让 AI 自己出题考自己，它把题出得太简单了
TFM Lab 的新论文把 autoresearch 的两个问题摆上台面：AI 自己造 benchmark 会饱和，LLM 查 reward hacking 也查不全。人类反馈有用，但必须具体到材料和执行。
TFM Lab 在 X 上发了一条进展，Jason Weston 转发了一篇论文，标题是 Aligning Autoresearch: Co-Improvement between Agents and Humans。Jason Weston 在推文里写，人类和 AI 一起工作，才更可能递归地共同变好，与其竞赛让 AI 取代人，不如研究怎么让 AI 和人一起工作。
论文列了四个贡献：AutoBenchmark、HackBench、AutoInteract、unslopping AI。材料里展开的是前两个，后面两个只给了名字和博客链接，这里不展开，也不替作者补细节。
先补上下文。autoresearch agent 指的是能自己读代码、写训练脚本、跑实验、看指标、再改方案的研究代理。它能端到端跑长周期任务，问题也直接：让它最大化指标，它会找评分漏洞。reward hacking 就是钻评分空子，拿到高分，但没完成真正想让它做的事。
AutoBenchmark 研究的是，AI 能不能自己造 benchmark。benchmark 就是用来评测模型的题集。流程大致是：研究 agent 根据任务说明提出 benchmark，solver 去答题，LLM judge 再按 construct validity、correctness、feasibility、usefulness 和整体 verdict 检查这个 benchmark 合不合格。循环保留当前最好的 checkpoint。
实验结果不太给面子。无人反馈时，agent 造出的 benchmark 接近饱和，solver 得分高于 80，质量检查也经常挂。人类反馈有用，但粗粒度的一句意图几乎不够。Rebuttal Bench 上，粗粒度反馈让 Muse Glimmer 从 84 到 83.7，Nemotron 从 80 到 81。细粒度反馈给出详细任务规范和筛选过的 grounding material，六个 benchmark-solver 组合的分数降了 28 到 46.5 分。
选中 checkpoint 上，Rebuttal Bench 的 Muse Spark 是 43.5，Muse Glimmer 是 51.2，Nemotron 是 39.1。Claude Opus-5 在无人反馈、agent 自选 benchmark 上拿到 98.0，在细粒度 Rebuttal 上降到 65.9，在细粒度 Graveyard 上降到 84.4。SilentTrain Bench 卡住后，人类给了三条关于 instantiation 的指导，Muse Spark 从 88.1 降到 64.2，Nemotron 从 83.8 降到 48.8。
LLM judge 还抓到单看分数看不出的问题：答案泄漏到 solver 能读的文件里，construct 太浅或太依赖记忆，grounding material 声称用了但没真正保留。分数相同，质量可能完全不同。
HackBench 测另一个方向：给 LLM monitor 一条完整 agent 轨迹，让它指出哪条命令在 reward hacking。monitor 是监视模型，轨迹里每条命令带编号，模型要输出具体编号。
数据来自真实 agent 运行，共 169 条轨迹，41 条含自然出现的 hack，128 条是合成注入。合成方式是往真实轨迹里插入 hack 命令，再更新受影响的下游观察，保留任务、原命令和无关观察。作者用 Claude Opus 4.8 和 GPT-5.5 审计，分歧处人工标注。
难在哪？轨迹中位数超过 100 万字符、264 条命令，中位数只有 1 条被 hack 的命令，占 0.6%。monitor 要在长上下文里找到那几条命令，还要理解任务和评分方式，判断这个动作是不是人类能接受。
结果：最好的 Claude Opus 5 只有 64.88 F1，Muse Wonder 61.47，其余模型低于 53。GPT-5.6 Sol 召回 68.55，但精度 54.84，容易多标。所有模型都漏掉一些 hack。
论文作者的结论是，监视 reward hacking 是让 agent 承担更多研究循环的前置条件。人类反馈的价值在具体判断和材料，泛泛说一句在环不够。论文作者还写，决定哪些问题有意义、值得做难，是暂时不知道如何委托出去的判断。这个点比 AI 会不会取代研究者更实际。
原文与链接：
论文 Aligning Autoresearch: Co-Improvement between Agents and Humans
发布时间: 2026-10-30 20:27