Wink Pings

被误读最多的AI能力图更新:代码能力4个月翻番,判断类任务仍不及格

非营利AI评估机构METR更新行业知名的能力时间跨度图,可验证任务上前沿模型每4个月能力翻番的趋势仍在延续,但涉及判断、开放设计的研发类任务中,顶尖模型仍未达到人类可用标准,现有数据也无法推算这类能力的长期迭代节奏。

非营利AI评估机构METR发布2026年第四季度能力更新报告,升级了那张在行业内流传很广,同时也被大量误读的AI能力时间跨度图,关于误读的具体背景可以参考此前报道。

这张图的测算逻辑很直接。机构先准备一套全部由人类完成过的任务,按人类完成任务花费的时长标定难度,再根据模型能完成的最高难度任务,换算成对应的人类完成时长,作为模型的能力指标。老版本的测算结果显示,前沿模型能成功完成的任务对应的时长,每四个月就会翻一倍。

很多人拿着这个增速直接外推通用人工智能的到来时间,忽略了老版评测的覆盖范围。它收录的全是可验证任务,比如编程、数学题,结果对错可以通过程序自动判定。研究者用强化学习训练模型,反复刷题,强化答对的神经通路,削弱答错的通路,就能稳定提分。这也是AI在编程、数学领域进步速度快的核心原因。

没有明确对错标准,需要主观判断的任务,老版评测完全没有涉及。这类任务恰恰是AI承接研发工作,甚至实现自我迭代的核心能力。

这次新版评测专门补了两类判断属性强的任务,方向直指AI自动化研发的核心需求。

第一类是AI评测方案设计。METR要求模型设计一套机构内部可以直接落地使用的AI评测题,最终由METR员工人工评分。结果存在明显反差,当前顶尖模型的软件工程能力已经超过绝大多数人类从业者,产出的评测方案却没有一套达到可落地的使用标准。表现最好的Opus 5.5只摸到了及格线边缘。倒回一年前,所有受测模型在这项任务上的评级都是明显不及格。

第二类是哲学论点打分,用来测试模型的通用判断能力。模型在这项任务上的表现同样不及人类水平。METR内部也对这个任务和AI研发的相关性存在争议。

OpenAI近期发布的官方博客也提到了类似偏差,自家模型处理员工分配的真实工作任务时,表现弱于METR旧版评测里的简单可验证任务。

本月初曾流出一份大量内容涂黑的METR报告,称Anthropic内部的AI已经把研发效率提升了一倍,引发不少关于递归自我改进的讨论。不少人担心AI很快就能无需人类参与,自主设计迭代下一代模型。这次新版报告的结果,刚好给这类讨论补上了一块核心参照数据。

学界对两类任务的表现差本来就有分歧。

加州大学伯克利分校即将入职的计算机科学家Sayash Kapoor对这个结果并不意外。他今年8月发布的预印本论文就提到,AI目前还无法独立复现人类的计算机科学研究。他认为,选择研究方向、筛选有价值假说的研究品味,会是AI自动化研发的核心瓶颈。

另一派观点持相反态度。Anthropic首席执行官Dario Amodei等研究者在公开访谈和行业文章中提出,只要可验证任务的训练量足够充分,模型能力自然会迁移到开放类任务上。目前可验证任务的进步速度确实没有放缓迹象。

更大的问题是,这类判断类任务的评测本身还很初级,得不出像可验证任务那样清晰的增长曲线。

最直接的约束是成本。难度高的任务可能需要人类专家花数百小时完成,批量招人实测的资金和时间成本都太高。新版报告里大部分任务的人类完成时长都是估算值,没有真人实测数据支撑。

具体任务的设计也有瑕疵。比如哲学论点打分任务,绝大多数样本只有一名评分者,模型得分本质是在对齐单个人的判断标准,如果换一批专家评分,结果可能出现明显变动。

METR技术人员Matt Putz在邮件回复中提到,难验证、重判断的任务天生难以量化研究,这类能力的趋势线,不会像标准化可验证任务那样清晰稳定。波士顿大学计算机科学家、语言学家Najoung Kim也认为,目前观测到的小幅提升只能反映当下的状态,没法直接外推未来的迭代速度。

受访的研究者都认可METR拓展评测边界的方向。Sayash Kapoor说,现阶段AI评测本来就需要更多创新,往开放任务延伸是好的开始。但所有人都承认,现在的数据量和评测方法都远远不够,没人能给出AI自动化研发的明确时间表,相关讨论还会持续很久。

发布时间: 2026-11-21 02:15