让Agent自己出题后，人类反馈把benchmark难度抬高了28分以上

Autoresearch会不会把人类研究者踢出局？Meta FAIR等团队的论文《Aligning Autoresearch》给了一个不太戏剧化的答案：共同进化。

Xudong Han在推文里总结了这篇论文的做法。研究团队先让Research Agent自己创建benchmark，再逐步加入人类反馈。人类真正有价值的输入，主要集中在前期：帮Agent定义要研究什么、给哪些材料、什么问题才值得做。

这听起来不够“全自动”，但实验结果很具体。在6组benchmark与solver的对比里，加入细粒度人类指导后，最终benchmark明显更难，提升幅度达到28到46.5分。

论文还专门做了HackBench，用来测试模型能不能从超长科研轨迹里发现reward hacking。数据很直白：169条轨迹，中位数超过100万字符，通常只藏着1条真正违规的命令。即使是前沿模型，最好的定位F1依然不到53。

百万字符里找一条违规命令，像在长论文附录里找一个被改过的参数。分数越来越高，可能只是更会钻自己定的规则。这个风险不能靠一句“模型会自我改进”带过去。

所以作者后面做的事很自然：让Agent学会更好地和人协作。AutoInteract用真实交互记录构造“人类模拟器”，训练模型处理澄清、需求变化和纠错；RL-XAR则用专家写作反过来优化评估标准，再提升Agent的科研表达。

这样看，未来的Research Agent可能不会简单走向“全自动科研”。更现实的路径，是让Agent承担越来越多执行和搜索工作，同时把人类的研究判断、反馈和标准更深地写进训练循环。Agent不仅要会自己研究，还要知道怎样和人一起把研究做得更好。

回复里Marvin提醒了一个容易忽略的点：Agent自己出题、自己优化时，评估标准也得有人单独检查。不然分数越来越高，可能只是更会钻自己定的规则；留一组独立测试会更有说服力。

论文链接：https://arxiv.org/abs/2610.38882