由 Simon AI测评标准已失效？突破性动态测试揭示：顶尖AI算法题通过率仅53%，人类智慧仍占上风！这场评估革命将如何重塑人工智能的未来？
【AI测评危机：当标准答案失效，我们如何判断智能？】
作为科技记者，我常被问及“DeepSeek是否真的比ChatGPT强？”这类问题。若不想展开一小时的技术研讨，我的标准回答是：“它们各有所长。”这背后折射出一个更复杂的命题——我们究竟如何定义AI的“优秀”？
■ 传统测评体系失灵
当前主流的基准测试（Benchmark）正面临三重挑战：
1. 应试陷阱：模型通过针对性训练刷高分，而非真正提升能力（如SAT备考与批判性思维的脱节）；
2. 数据污染：测试题可能早已混入训练数据；
3. 天花板效应：SuperGLUE等测试中，模型准确率已超90%，细微提升失去意义。
■ 破局新尝试
– LiveCodeBench Pro：
▶ 取材国际算法奥赛真题，人类选手平均表现远超AI——中等难度题AI首次通过率仅53%，高难度题挂零！
▶ 开发者、NYU学生郑子涵指出：“AI擅长执行计划，但在精妙算法推理上仍逊于顶尖人类程序员。”
– Xbench中国方案：
▶ 红杉中国开发的“双轨测评”体系：既考STEM知识（如中文科研能力），也测实战场景（从800+创作者中匹配品牌推手）；
▶ 计划每季度更新题库，并向金融、法律领域扩展。
– 动态测评：Meta的LiveBench每半年更新题目，防止模型“过拟合”。
■ 延伸思考
1. 当AI在基准测试中逼近满分，是时候重新定义“智能”的维度了吗？
2. 在招聘、医疗等高风险场景中，模型“稳定性”是否应比“准确率”更重要？
【测评革命进行时】
学者们正从社会科学汲取灵感：
– 人类偏好测试：LMarena平台让用户盲评不同模型答案，但存在“甜言蜜语陷阱”——人们可能选择听着顺耳的错误回答；
– 风险优先评估：多所高校学者主张，应重点测评LLM的可靠性而非单纯性能，因为“一次失误可能引发灾难”。
纽约大学教授Saining Xie借《有限与无限的游戏》理论警示：若学术界沉迷刷榜竞赛，将牺牲深度创新。这场测评变革或许刚刚开始——当技术狂奔时，保持适度怀疑才是清醒剂。
（本文原载于MIT科技评论AI周刊《The Algorithm》，经编辑精简）
阅读 Technology Review 的原文，点击链接。