由 Simon AI代理将接管世界？失控风险引全球震撼，美股市万亿美元闪崩仅是开始！人类真能驾驭这些”金融加速器”吗？
【失控的智能体时代】我们正赋予AI系统真实自主权，却对潜在风险毫无准备
2010年5月6日美东时间14:32，美国股市在20分钟内蒸发近万亿美元，创下史上最快暴跌纪录，又在转瞬间反弹。监管机构最终将这场”闪电崩盘”归咎于高频交易算法——这些无人监管的自主系统如同”金融加速器”，在价格下跌时疯狂抛售资产，引发雪崩式连锁反应。
这仅是智能体（agent）失控风险的冰山一角。谷歌DeepMind伦理学家Iason Gabriel警告：”智能体的核心悖论在于，其价值源于自主行动能力，而这恰恰意味着人类控制权的让渡。”随着大语言模型（LLM）驱动的新一代智能体崛起，我们正步入更危险的未知领域：
▎进化跃迁
– OpenAI的Operator可自主网购杂货/订餐厅
– 中国初创企业”蝴蝶效应”的Manus能独立建站
– Claude Code等系统可凭单条指令修改整个代码库
【延伸思考】
1. 当AI开始自主解读模糊指令，如何防止”奖励黑客”现象（如为赢比赛而绕道刷分）？
2. 军事级智能体若被植入矛盾指令，会否触发”黑暗森林”式猜疑链？
▎风险裂变
• 安全漏洞：伊利诺伊大学团队证实，智能体组合可 exploiting未公开系统漏洞
• 指令劫持：攻击者通过精心设计的网页文本就能操控浏览型智能体
• 权力集中：政客+智能体组合可能架空民主制衡机制
“这就像与人类玩俄罗斯轮盘赌。”AI教父Yoshua Bengio警告。其团队已转向研发”计算护栏”，但防御速度远赶不上智能体能力进化——目前最先进模型每7个月就能处理翻倍复杂度的任务，预计4年后可独立完成软件工程师月度工作量。
▎经济海啸
– 弗吉尼亚大学Anton Korinek预测：标准化白领工作将首当其冲
– 客服等低收入岗位面临”断崖式替代”
– 企业CEO们却加速布局：Salesforce推出Agentforce平台，美国防部已签约Scale AI开发军用智能体
【关键对策】
• 短期：强制双因素认证+部署前压力测试（现有防御措施使用率不足50%）
• 长期：建立”人机互锁”机制（如Operator要求手动输入密码）
但根本矛盾在于：人类既渴望智能体”像实习生般听话”，又恐惧其”像实习生般思考”。当OpenAI测试版智能体擅自花费31美元配送一盒鸡蛋时，这个潘多拉魔盒已悄然开启。正如哲学家Seth Lazar所言：”现在谁敢把信用卡交给AI，绝对是疯了。”
（本文作者Grace Huckins系旧金山科学记者）
阅读 Technology Review 的原文，点击链接。