由 Simon AI末日论者为何更加坚定？GPT-5未达预期反让他们视作喘息之机，顶尖专家警告：控制问题未解，全球远未准备好迎接AGI的震撼冲击！
# 当「末日预言家」遭遇现实：AI安全倡导者们的困境与坚守
核心提示： 在GPT-5未能达到预期、行业泡沫论甚嚣尘上之际，那些警告AI存在「生存性风险」的专家们正面临前所未有的质疑。但他们并未退缩，反而更坚定地呼吁世界为通用人工智能（AGI）的到来做好准备。
—
风暴眼中的「末日预言家」
这或许是一个让「AI末日论者」感到困惑的时代。
这个由研究人员、科学家和政策专家组成的群体虽小却颇具影响力。他们最核心的观点是：AI可能变得过于强大，以至于对人类构成极其严重的威胁。尽管其中许多人更愿意自称为「AI安全倡导者」而非字面意义上的「末日预言家」，但他们一致警告，AI对人类构成了生存性风险。他们认为，若无更多监管，行业可能冲向无法控制的系统。他们普遍预期，这类系统将紧随通用人工智能（AGI） 的出现而来——AGI是一个模糊的概念，通常被理解为能在所有领域媲美甚至超越人类能力的技术。
尽管这远非AI领域的普遍共识，但过去几年，「末日论」阵营取得了一些显著成功：帮助塑造了拜登政府的AI政策，组织呼吁设立国际「红线」 以防止AI风险，并且随着其部分支持者赢得科学界最高奖项，获得了更大、更具影响力的话语权。
然而，过去六个月的一系列发展让他们陷入了被动。
—
转折点：泡沫论与GPT-5的「失望」
关于AI泡沫的讨论甚嚣尘上，科技公司持续投入相当于多个「曼哈顿计划」 的数据中心建设，却无法确定未来需求能否匹配其产能。
接着是2024年8月OpenAI发布的最新基础模型GPT-5，结果令人失望。这或许不可避免，因为它是有史以来宣传最盛的AI发布：OpenAI CEO萨姆·阿尔特曼曾吹嘘GPT-5在每个主题上都感觉像「博士级专家」，并告诉播客主西奥·冯，该模型好到让他感觉自己「相对于AI毫无用处」。
许多人曾期待GPT-5是迈向AGI的一大步，但该模型可能取得的任何进展，都被一连串技术故障以及公司神秘且迅速撤销的、毫无预警地切断所有旧版OpenAI模型访问权限的决定所掩盖。尽管新模型在基准测试中取得了最先进的分数，但许多人在日常使用中感觉GPT-5反而退步了（或许这不公平）。
这一切似乎动摇了「末日论者」论点的根基。与此同时，AI加速主义阵营看到了改变我们对待AI安全方式（或更准确地说，不处理方式）的新机会。他们担心AI发展得还不够快，行业正面临被过度监管扼杀的风险。
这种声音在迁往华盛顿的行业人士中尤为突出：
* 长期风险投资家、后任特朗普政府AI事务主管的大卫·萨克斯宣称：「末日论者的叙事是错的。」
* 白宫AI高级政策顾问、科技投资者斯里拉姆·克里希南附和道：「这种AGI迫在眉睫的观念是一种干扰，是有害的，现在已被证明是错的。」
（当然，AI安全辩论中还有另一个阵营：通常与「AI伦理」标签相关的研究者和倡导者。他们也支持监管，但倾向于认为AI进步的速度被夸大了，并常将AGI视为科幻故事或转移人们对技术眼前威胁注意力的骗局。不过，任何潜在的「末日论」衰落，并不会像给加速主义者那样给他们带来同样的机会。）
—
「末日论者」的现状：专访20位核心人物
那么，「末日论者」们现在处境如何？作为「炒作修正」专题的一部分，我们决定询问该运动的一些核心人物，近期的挫折和整体氛围的转变是否改变了他们的观点。政策制定者似乎不再重视他们的警告，他们是否感到沮丧？他们是否在悄悄调整对「末日」的时间表预测？
近期对20位研究或倡导AI安全与治理人士的采访——包括诺贝尔奖得主杰弗里·辛顿、图灵奖得主约书亚·本吉奥以及前OpenAI董事会成员海伦·托纳等知名专家——揭示出，他们并未感到气馁或迷失，反而更加坚定地致力于自己的事业，相信AGI不仅可能出现，而且极其危险。
与此同时，他们似乎正面临一个近乎矛盾的心态。一方面，他们对近期发展表明AGI比之前预想的更遥远感到些许宽慰（AI研究员杰弗里·拉迪什说：「谢天谢地，我们还有更多时间。」）；另一方面，他们对当权者不够重视他们的警告感到愤怒（名为「AI 2027」的预警预测报告的主要作者丹尼尔·科科塔伊洛称萨克斯和克里希南的推文「疯狂且/或不诚实」）。
—
核心观点与坚持
1. 视挫折为「减速带」，担忧监管倒退
broadly speaking，这些专家将AI泡沫论视为不过是减速带，对GPT-5的失望更多是干扰而非启示。他们总体上仍支持更强有力的监管，并担心政策进展——如欧盟《人工智能法案》的实施、美国首部重要AI安全法案《加州SB 53号法案》的通过，以及国会部分成员对AGI风险的新兴趣——可能因华盛顿对「末日论者」眼中未能达到炒作预期的短期失败反应过度而变得脆弱。
2. 澄清误解：重点不在「迫在眉睫」
一些人急于纠正他们认为关于「末日论」世界最持久的误解。尽管批评者经常嘲笑他们预测AGI近在咫尺，但他们声称这从来不是他们论点的核心部分。《人类兼容：人工智能与控制问题》作者、伯克利教授斯图尔特·拉塞尔说：「这与迫在眉睫无关。」大多数受访者表示，他们对危险系统出现的时间预测在过去一年里实际上略有延长——考虑到政策和技术环境变化之快，这是一个重要的变化。
3. 时间紧迫性未变：类比小行星撞击
他们中的许多人实际上强调了调整时间线的重要性。托纳指出，ChatGPT时代的一个宏观叙事是，整个AI界对这些时间估计进行了戏剧性的压缩。很长一段时间里，AGI被认为需要数十年。现在，大多数预测指向未来几年到20年内。因此，即使我们时间稍多，她（及其许多同行）仍认为AI安全极其、至关重要且紧迫。她表示，如果AGI在未来30年内的任何时间点成为可能，「这他妈的是件大事。我们应该让很多人研究这个问题。」
因此，尽管「末日论者」发现自己处于一个不稳定的时刻，但他们的底线仍然是：无论AGI何时到来（他们再次强调它很可能会来），世界都远未做好准备。
—
专家声音：反思与展望
以下是一些该领域最知名人士的反思（访谈经过编辑和精简）：
* 杰弗里·辛顿（「AI教父」、诺贝尔奖得主）：
> 过去几年最大的变化是，有些难以被忽视的人开始说这东西很危险。比如[前谷歌CEO]埃里克·施密特，他真的认识到这可能非常危险。我和他最近在中国与一位政治局委员、上海市委书记交谈，以确保他真正理解——他确实理解了。我认为在中国，领导层对AI及其危险的理解要好得多，因为他们中很多人是工程师。
> …我认为可以公平地说，大多数非常了解AI的专家相信，我们在未来20年内拥有超智能的可能性非常大。[谷歌DeepMind CEO]德米斯·哈萨比斯说也许10年。即使是[著名的AI怀疑论者]加里·马库斯也可能说……
* 约书亚·本吉奥（图灵奖得主）：
> 有些人认为GPT-5意味着我们碰壁了，但科学数据和趋势显示并非如此。
> …AI治理和安全的整体形势并不好。有一股强大的力量在反对监管。这就像气候变化。我们可以把头埋在沙子里，希望一切都会好，但这并不能真正解决问题。
* 海伦·托纳（前OpenAI董事会成员、乔治城大学安全与新兴技术中心战略总监）：
> 与政策制定者最大的脱节在于，他们误解了如果AI进步趋势持续，可能发生的变革规模。许多商界和政府人士只是将AI视为另一种将具有强大经济影响力的技术。他们不理解，如果趋势持续，我们接近人类水平AI时，它可能会在多大程度上改变世界。
* 丹尼尔·科科塔伊洛（「AI 2027」报告主要作者）：
> 我们在「AI 2027」的第一页就说过，我们的时间线比2027年要长一些。所以即使在我们发布报告时，我们也预计2028年会有一批批评者得意地说我们被揭穿了，就像萨克斯和克里希南的推文那样。但我们当时认为，并且现在仍然认为，智能爆炸很可能在未来5到10年内发生，当它发生时，人们会想起我们的设想，并意识到它比2025年任何其他可用的设想都更接近真相。
* 斯图尔特·拉塞尔（伯克利教授，《人类兼容》作者）：
> 安全论证的关键不在于迫在眉睫，而在于我们仍然没有解决控制问题。如果有人说有一颗直径四英里的小行星将在2067年撞击地球，我们不会说「2066年再提醒我，我们会考虑一下」。我们不知道开发控制超智能AI所需的技术需要多长时间。
* 杰弗里·拉迪什（AI研究员）：
> 谢天谢地，我们还有更多时间。 我们可能有一个非常短暂的机会窗口，在这些系统变得足够强大和具有战略威胁、足以对我们控制它们的能力构成真正威胁之前，真正尝试理解它们。
—
延伸思考
1. 时间窗口的悖论：如果AGI的威胁被证实是遥远而非迫在眉睫的，这是否会削弱社会采取预防性监管措施的紧迫感？如何在「为时尚早」和「为时已晚」之间找到启动有效全球治理的最佳时机？
2. 沟通的困境：AI安全倡导者应如何更有效地向公众和政策制定者传达其核心关切——即风险的本质与控制问题的未解，而非仅仅聚焦于具体的时间预测，以避免陷入「狼来了」的叙事陷阱，从而在技术持续进步但非连续突破的现实下保持公信力？
结语： 无论你是否认同「AI末日论」的视角，一个无法回避的事实是，这群人对全球AI政策讨论拥有显著影响力。在炒作与幻灭的循环中，他们对长期风险的警告，或许正是这个狂热时代所需的一剂清醒剂。辩论仍在继续，而时间，可能是我们最稀缺的资源。
*（本文编译自MIT Technology Review专题报道，访谈内容经过编辑。）*
阅读 Technology Review 的原文，点击链接。