Agent自进化涨了13.5个点,换个模型只剩2.2
RSIHub把AHE、Hyperagents、A-Evolve、GEPA放进同一套实验台。Terminal Bench 2上MiniSWE从56.2%到69.7%,换成Codex最大提升只有2.2个点,τ³ Banking的方法排名又变了。Agent到底学会了,还是更适应考场?
Agent自进化这两年方法很多:有的改Prompt,有的改Skill,有的改Tool,也有的直接改Harness,也就是Agent外面那层执行与编排框架。问题不在方法少,在比较难。很多论文会自己搭执行环境、评测方式和搜索流程,分数都在涨,但底层条件不同。提升到底来自方法本身,还是来自一套更顺手的实验环境,很难判断。
RSIHub想解决的就是这件事。论文作者把它做成一个开源框架,把执行环境、Evaluator、数据切分、版本管理和恢复机制统一起来。不同evolution方法只负责决定:选哪个候选、怎么看轨迹、改什么、留下什么。作者把AHE、Hyperagents、A-Evolve、GEPA搬进同一套框架,没有修改框架核心,方法特定逻辑留在recipes和operators里。
实验在Terminal Bench 2和τ³ Banking上做,使用MiniSWE和Codex,模型与评估器配置固定。结果很具体:Terminal Bench 2上,MiniSWE最高从56.2%提升到69.7%,涨了13.5个百分点。换成更强的Codex,最大提升只有2.2个百分点。到了τ³ Banking,方法排名又发生变化。有些方法整体分数提高,held-out split反而退步。held-out split可以理解成留出来、没有参与调优的那部分任务。
这也是有网友EVE在回复里强调的点:如果方法只在自己调过的环境里变好,那就是对harness过拟合,并非真的学习。公共实验台早就该有。另一位网友则直说,评测环境不统一很难受。
RSIHub的价值,更多在让候选历史可检查、评估条件绑定结果、组件可复用,少造一个榜单。大家已经很会让Agent改自己了。接下来要判断的是,它真的学会了,还是只是把当前环境调得更顺。
论文页:arXiv:2610.32253
PDF:arxiv.org/pdf/2610.32253
HTML:arxiv.org/html/2610.32253v1
发布时间: 2026-10-29 19:33