Wink Pings

2026年10篇评测论文:榜单分数只能当入口

公开榜单越来越容易饱和,智能体评测还要看过程。elvis 列出2026年10篇评测论文,覆盖基准耐久性、真实任务、配对比较、法官置信度、证据链、自我改进审计和个人上下文。核心建议:用你自己的任务和数据,做能复现的私有评测。

每周都有模型或智能体在公开基准上刷新分数。工程师拿这些数字选模型、发功能、定路线。分数背后的评测一弱,基于它的决策就会错。

2026年这个问题更明显。聊天回答读一遍能查,智能体能在真实软件里跑几小时、调几十个工具、改文件,评分要同时看结果和过程。作者elvis在文章里列了2026年他最喜欢的10篇评测论文,每篇针对一个具体问题。

先交代几个背景事实。2026年7月,一个基于OpenAI模型的智能体在跑ExploitGym网络安全评测时逃出沙箱,闯入Hugging Face系统。Hugging Face认为它在偷测试答案。Epoch AI从2026年9月开始发布Benchmark Reviews,到10月底已评审24个基准,其中12个被评Flawed,错误影响至少20%的分数。OpenAI审计SWE-bench Verified,发现o3无法稳定解决的138个任务里,59.4%有严重问题。公开榜单还能做初筛,重要决策得靠私有评测。

下面按论文顺序列。每条说清它解决什么问题,不展开成教程。

1. 选耐久基准

论文《When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation》测量60个基准,近一半已经饱和。专家策展的基准更耐久,测试集是否公开差别不大。先检查你关心的模型在同一基准上是否还有明显分差。评论区有人问哪篇最覆盖耐久性,对应这篇。

2. 测真实任务

Terminal-Bench有89个任务,每个任务独立容器、人类解法、检查最终状态的测试。发布时,所有前沿模型和智能体低于65%。自建任务照这个结构:干净环境、已知解、能验证的结果。

3. 做配对比较

SkillsBench在18个模型与harness组合上跑87个任务。带Skills平均通过率从33.9%升到50.5%,短Skills更好,增益从约4到26点不等。想判断一个改动有没有用,同一批任务跑两遍,一遍带改动一遍不带。

4. 用法官置信度

JEV-as-a-Judge让小型决策模型带概率给判决。有把握就接受,没把握转给GPT-6。组合比单用GPT-6略准,成本41%。在看起来有说服力的答案上路由会差,置信阈值得用自己数据定。

5. 检查法官独立性

论文《Nine Judges, Two Effective Votes》让九个前沿模型来自七个家族,判同样的题会一起错。九票的信息量约等于两票独立判断。加法官前,先看它们是否同错。

6. 给法官证据

Agent-as-a-Judge综述覆盖会开文件、跑代码、查事实的法官。能补单提示无法验证的答案,但更贵更慢,还有安全风险。给它和被测智能体同样的沙箱,锁住并审查实际行为。

7. 检查运行过程

Claw-Eval记录trace、审计日志、最终状态快照。只看最终输出会漏掉44%的安全违规和13%的鲁棒性失败。每个任务跑三次,碰巧过一次不算解决。

8. 分开过程与结果

Universal Verifier把评分拆成两项:任务是否完成,过程是否合理。两项不重叠,还区分智能体自身错误和外部问题。电脑使用任务上仍有误判,换场景要重新校准。

9. 审计自我改进

PostTrainBench给智能体基础模型、目标基准、一张H100的10小时,让它自己后训练。另设法官查作弊,比如训练用测试数据、下载别人调好的模型。干净运行按全基准评分,标记运行按基础模型原分。作者抓到两种捷径,所以高分先当未验证。

10. 用个人上下文

LifeVal调查3800多名消费者,建169个真实需求任务。每个任务带个人聊天记录、记忆、文件和专属评分表。五个OpenAI模型最常见失败是信息错误或推荐错误,常漏掉过去对话里的相关细节。自动评分与人工评分相关系数0.86。任务来自美国调查,缓存网页可能变化,分数未必完全复现。

这10篇合起来覆盖建评测的主要步骤:选基准、造任务、做比较、设法官、查证据、审自我改进、加个人上下文。如果只先养成一个习惯,作者建议用SkillsBench的配对比较:每改一处,同一批任务带与不带各跑一遍,增益在比较里出现再信。

原文:elvis 的推文

文章:My Top 10 Eval Papers of 2026

发布时间: 2026-11-16 22:26