由 Simon AI自主决策却无人担责？95%项目失败背后，信任危机正吞噬效率增益，人类掌控权面临严峻挑战！
如果你曾乘坐自动驾驶的Uber穿越洛杉矶市中心，你可能会体会到那种奇特的不确定性：没有司机、没有交谈，只有一辆安静的车在对周围世界做出假设。行程似乎顺利，直到车辆误判一个阴影，或为无害之物突然减速。那一刻，你看到了自主性的真正问题——它在该恐慌时不会恐慌，而信心与判断之间的差距，正是信任得失的关键。
如今的企业AI感觉惊人地相似：有能力却无信心，有效率却缺共情。因此，每个成功部署的决定性因素不再是算力，而是信任。
—
核心数据：95%的AI试点项目未能产生可衡量的投资回报
《MLQ 2025年企业AI现状报告》给出了尖锐的数字：95%的早期AI试点项目未能产生可衡量的投资回报。原因并非技术薄弱，而是技术与组织待解决问题不匹配。
这种模式在各行业重复上演：当领导者无法判断输出是否正确时会感到不安，团队不确定仪表板是否可信，而一旦互动感觉是自动化而非得到支持，客户会迅速失去耐心。任何被银行自动恢复系统因“答案错误”而锁住账户的人，都深知信心消散的速度有多快。
—
案例剖析：Klarna的大规模自动化与复杂现实
Klarna仍是大规模自动化最广为人知的案例。该公司自2022年以来员工数量减半，其内部AI系统承担的工作量相当于853个全职岗位（高于年初的700个）。收入增长108%，员工平均薪酬提升60%，部分资金来自运营收益。
然而，情况更为复杂：Klarna仍报告了9500万美元的季度亏损，其CEO警告可能进一步裁员。这表明，仅靠自动化无法创造稳定。在AI失效之前，缺乏问责和结构的体验早已崩溃。正如CCaaS提供商Cirrus的CEO Jason Roos所言：“任何动摇内外部信心的转型，其代价都无法忽视，可能让你处境更糟。”
—
警示：当自主性超越问责制
英国就业与养老金部曾使用一种算法，错误地将约20万份住房福利申请标记为潜在欺诈，而其中大多数是合法的。问题不在技术，而在于决策缺乏明确的责任归属。当自动化系统暂停错误账户、拒绝合理索赔或制造不必要的恐惧时，问题从来不只是“模型为何出错？”，更是“谁为结果负责？”没有答案，信任便脆弱不堪。
“缺失的一步永远是准备就绪，” Roos指出，“如果流程、数据和防护措施不到位，自主性不会提升绩效，反而会放大弱点。问责必须先行。从期望的结果出发，找出浪费精力的环节，检查准备情况和治理机制，然后才实施自动化。跳过这些步骤，问责制会与效率增益一样迅速消失。”
—
症结：追求规模，却无可持续的根基
部分问题在于痴迷规模却缺乏可持续的根基。许多组织急于部署能果断行动的自主智能体，却极少停下来思考当这些行动偏离预期边界时会发生什么。
《爱德曼信任晴雨表》显示，过去五年公众对AI的信任度持续下降。毕马威与墨尔本大学的联合研究发现，在近半数受调查任务中，员工更倾向于更多人类参与。这些发现强化了一个简单观点：信任很少来自对模型的强行推动，它源于人们花时间理解决策过程，以及治理机制更像方向盘而非刹车踏板。
—
客户侧：认知与现实间的巨大鸿沟
普华永道的信任研究揭示了认知与现实间的巨大鸿沟：多数高管认为客户信任其组织，但只有少数客户同意。其他调查显示，透明度有助于弥合这一差距——绝大多数消费者希望在使用AI的服务体验中获得明确披露。缺乏这种清晰度，人们不会感到安心，反而觉得被误导，关系变得紧张。公开沟通AI使用的公司不仅在保护信任，也在使技术与人类支持共存的概念常态化。
—
澄清：“自主AI”的本质
部分混淆源于“自主AI”这一术语本身。市场多将其视为不可预测或自我导向之物，而实际上它是具备推理和记忆的工作流自动化，是系统在人为设计的参数内做出适度决策的结构化方式。
安全扩展的部署都遵循相同顺序：从希望改进的结果出发，审视工作流中不必要的精力消耗，评估系统和团队是否准备好迎接自主性，然后才选择技术。颠倒顺序不会加速任何事，只会制造更快的错误。正如Roos所说，AI应扩展人类判断，而非取代它。
—
更广泛的真相：自动化浪潮终成社会议题
这一切指向一个更广泛的真相：每一波自动化最终都会成为一个社会问题，而非纯粹的技术问题。亚马逊通过运营一致性建立 dominance，但也建立了包裹必达的信心。当信心下降，客户便会离开。AI遵循相同模式：你可以部署复杂、自我修正的系统，但如果客户在任何环节感到被欺骗或误导，信任就会破裂。
内部同样如此：毕马威的全球研究强调，当员工不理解决策如何做出或谁为此负责时，他们脱节的速度有多快。缺乏这种清晰度，采用就会停滞。
—
情感维度：当AI承担更多对话角色
随着自主系统承担更多对话角色，情感维度变得更为重要。对自主聊天互动的早期评论显示，人们现在评判体验不仅看是否得到帮助，还看互动是否感觉专注和尊重。感到被敷衍的顾客很少独自消化沮丧。AI的情感基调正成为一个真正的运营因素，无法满足这一期望的系统可能成为负担。
—
艰难的事实与领导者的拷问
艰难的事实是，技术发展将始终快于人们本能上的舒适度。信任总会滞后于创新。这并非反对进步，而是主张成熟。每位AI领导者都应自问：
1. 我是否愿意将自己的数据托付给这个系统？
2. 我能否用平实语言解释其上一次决策？
3. 当出现问题时，由谁介入？
如果答案不明，组织就不是在引领变革，而是在准备道歉。
Roos总结得简单明了：“令人担忧的不是自主AI，而是无问责的AI。”
当信任消失，采用也随之消失，那个看似变革性的项目便成为95%失败率中的又一个条目。自主性并非敌人，忘记谁该负责才是。当自动驾驶的热潮最终退去，那些始终将人类之手放在方向盘上的组织，才会继续保持掌控。
—
延伸思考
1. 问责制设计：在AI系统日益自主的背景下，企业应如何设计清晰、有效的问责框架，确保在提升效率的同时，责任归属明确，避免出现“无人负责”的真空地带？
2. 信任重建：对于已经因AI决策失误（如误判、偏见）而受损的客户或公众信任，企业可以采取哪些超越技术修复的实质性措施来重建信任，并将其转化为可持续的竞争优势？
阅读 ArtificialIntelligence News 的原文，点击链接。