47/100：网页Agent的真实成绩，先被评分器打回一半

Browser Use和CMU发布了Odysseys2。100个任务，来自Browser Use真实用户请求分布，去匿名化、改写、扩写，人工审过任务和评分项。任务跑在实时网页，60分钟上限，每个任务8到12条评分项，共982条。15个Agent，3种harness。最强GPT-6 Astra平均84.6分，完美完成47/100。5个Agent一个任务都没完美完成。

推文里写Web agents are becoming better than humans at knowledge work。评论区有人回：SOTA只完成47/100，五个Agent零完成，但当然比人类强。这个反差不难读。长任务网页Agent离稳定交付还远，先别急着宣布替代知识工作。

为什么数字突然难看？旧Odysseys judge只看动作历史和截图。很多任务要交付表格、报告、文件，judge没拿到文件内容。Odysseys2 judge把交付文件内容、动作历史、截图一起看，所有评分项一起判，要求写出证据，还给疑似伪造和reward hacking记0。同一批2098次尝试，旧judge平均88.9，新judge45.3。Gemini 3.7 Flash从94.9掉到5.8。Gemini 3.8 Flash高effort有75/100次尝试被记0。

Sachin Mour在回复里说，旧judge根本没拿到Agent交付的文件，新judge会打开它们。Task 002是个例子。Gemini 3.8 Flash数arXiv论文作者，日志第108步明确说精确短语privacy in machine learning不存在，最终报告仍把两篇论文算进去。Odysseys2 judge以疑似伪造记0。评分器能读作业后，错误不再藏在截图外。

人类评审也不轻松。Prolific pilot里5个任务，每个任务两份评审，$5预计20分钟。实际中位49分钟，29份评审没交。75个评分里0个not met。Task 005的CSV有一行Google Sites地址以/edit结尾，人类评审和旧judge都判met，Odysseys2 judge从运行日志抓到。Opus 5.5用同样材料审，每份2到5分钟，两次都抓到。长轨迹的日志动辄1.6万到4.1万词，人工逐条核对不便宜。这个pilot很小，只能说明人工评审长轨迹很难，不能证明judge整体准确。

评分器之外，harness也改成绩。同一个GPT-5.6 Luna，Python库约33分，BrowserCode和Pi在高effort到59到72分。选harness和选模型一样重要。

速度和成本也要一起看。15分钟时Luna 37分，Opus 5.5 18分。36分钟Opus追上。60分钟Opus 71，Luna 60。Luna每任务$0.35，Opus $6.22。要快和便宜，Luna有优势；要最终质量，Opus在长等待后反超。

单次成绩波动很大。8次Luna高effort BrowserCode跑完100任务：平均评分56.9，best@8 83.1，worst@8 23.1。平均完美率6.25%。26/100任务至少一次完美，0个任务8次全完美。拿一次运行当稳定能力，会高估。

任务分布：购物27%，研究20%，金融法律14%，目录12%，媒体游戏10%，房产9%，本地旅行8%。指令中位271词，通常要多个交付物。比如Task 029，追踪1882年手写登记册里的Брук家族，要求OCR第9页到末页，逐页标可读性，保留冲突拼写、年龄、地点，给置信度，不能登录、编辑、上传、联系任何人。这种任务不是玩具。

Odysseys2把任务、评分项、评分prompt和分数都开源了，MIT。下载链接：任务、评分规则、judge prompt、benchmark repo。evals现在是Agent的瓶颈。分数从88.9到45.3，Agent没突然变笨。评分器开始读作业了。