Agent开始自己分工,钱却花在读上下文
DAIR.AI 11月9日至15日论文周报里,s3、SoMem、Agency、WikiTrace 和一次从零预训练的 RSI 实验,把 Agent 的组织、记忆、成本和验证摊开了。数字比口号更有意思。
DAIR.AI 在 11 月 9 日到 15 日的论文周报里,主推摘要列了 7 项,正文展开到 10 项。把十篇放在一起看,Agent 自己分工、自己整理记忆、自己检查经验成了主线。另一条线更实际:成本。很多钱花在读上下文和重复工具调用上。
s3:角色不由人写
华盛顿大学和 Allen Institute for AI 的 s3 让一组同模型副本自己学组织方式。没有预设领导、角色和发言顺序,每个 Agent 在任务副本上决定什么时候单独做、什么时候发消息、什么时候读消息。所有 Agent 拿同一个团队奖励,每个 token 都带团队优势,任务动作和通信一起训练。
在训练和推理预算匹配时,用两倍于训练时的 Agent 数量评估,解决协调问题比最强基线多 25 倍以上。并行探索里,会通信的 Agent 重复工作少近 50%,比 best-of-N 最高高 9.4 分。实验用 Qwen3 0.6B 和 1.7B 小模型,说明协调能力可以从共享目标里学出来,不必全写死在 harness 里。
SoMem 和 WikiTrace:记忆不是越多越好
香港城市大学和腾讯 Jarvis Lab 的 SoMem 让 Agent 用普通文档管理记忆。摘要链回原始交互,原始证据只读;运行时检查每个编辑,再重建时间线、关系图和近期记忆视图;回答时 Agent 自己选搜什么、读什么,沿文档链接查证据。它在 LoCoMo 上比最强基线高 2.66 分,BEAM-100K 高 3.10 分,LongMemEval-S 高 2.00 分。
KAIST 的 WikiTrace 盯的是记忆诱导退化。编译器把每次过去运行转成成功或失败诊断和短洞察,洞察链到诊断和原始轨迹。新任务从所有洞察开始,遇到缺细节、冲突或来自失败运行的情况,Agent 沿链接用终端工具补证据。它在 ALFWorld、ScienceWorld、PlanCraft、AppWorld 和 τ³-bench Retail 上,平均比无记忆 Agent 高 10.7 分,比只用洞察高 3.2 分;原本可解任务的失败率从 6.5% 降到 4.5%。
Agency:先看账单
UC Berkeley 和 UIUC 的 Agency 发现,同模型同任务下,harness 改动可让成本差 2.6 倍,准确率几乎不动。读已有上下文最多占总成本 73%,即使有缓存。工具调用会增加成本但不增加 token,Agent 平均只用到 27% 的工具输出,检索重任务里最多 89% 的轮次花在搜文件系统。Agent 轨迹里平均有 1.3 到 2.7 个可并行的独立子任务。
Agency 放在 Claude Code、Codex 这类现成 harness 和模型之间,监控并修改上下文、工具和环境。五种概念技术最多降 35% 成本,准确率损失很小。这些技术是确定性的,不需要手动重置会话,也不需要训练模型丢弃上下文。
RSI:把自改进推到预训练
SII 和 GAIR 把递归自改进用到从零开始的预训练。预训练成本几十万 GPU 小时、持续数月、不能重复,真正目标是后训练空间,单个分数看不出来。他们把 RSI 拆成能闭环的小循环:Agent 调基础设施和数据,小 SFT 检查后训练空间,把专家判断转成数据管道指标,共享上下文存负面结果。
产出是 801-30B-A3B-Base,一个 30B MoE 模型,11.8T tokens,三个月,由一个新团队完成。作为 base model,它超过 Qwen3-30B-A3B 和 Nemotron-3.5-Lightning-30B-A3B,只落后更大的 Qwen3.5-35B-A3B;用 6B tokens 做 SFT、不做 RL,在四个 agentic benchmark 上平均分高于完整后训练模型。基础模型和 SFT 数据开源。
其余几篇也不轻
- Verified Quantum Programs:Google DeepMind 和 Google Quantum AI 在 Lean 里建量子程序库,Gemini 4 Agent 团队写程序并证明正确,Lean kernel 检查正确性和成本,单独 comparator 二次验证。结果里并行搜索最多提升 2.55 倍,量子算术 290 倍;聚变、光化学、药物代谢模拟分别提升 11 倍、8 倍、2.5 倍。证明检查替代模拟作为奖励信号。
- LongCapHarness:微软亚洲研究院给冻结模型套 harness,不训练模型。Llama3-8B 无训练平均涨 64.18 分;harness 迁移到 Qwen2.5-3B,在 HELMET 和 RULER 上超过依赖数据合成和训练的 NExtLong、PolicyLong,成本不到它们估计成本的一半。harness 由 GPT-5.6-Sol 写,小模型自己写会明显掉分。
- ReproBridge:Google 把一次成功复现变成可复用包,包括清理后的代码、环境配置、启动脚本和书面指南。在 1029 个任务、36 篇论文的基准上,精炼产物让四种模型复现成功率从 76.4% 到 92.6%,API 花费降 19.7%;独立审计员检查运行确实发生。最好和最差模型差距从 21.6 分缩到 3.9 分。
- AutoRefine:Meta 用测试是否通过、变更合并或放弃这类工作流信号细化代码 judge 的 prompt,教师模型整理标签并可弃权。Meta 部署的性能优化 Agent 上,judge 与真实结果一致性从 0.16 升到 0.51。
- LingBot-Touch:Robbyant 用 4,983 小时真实触觉数据预训练触觉基础模型,把压阻、磁、视觉触觉传感器映射到同一虚拟指尖。XHand1 的传感器模型没见过,冻结模型加小训练模块平均接触中心误差 0.16mm,FTP-1 加专用适配器是 5.89mm。六个真实任务里,LingBot-VLA 平均成功率 57.21%,加 LingBot-Touch 特征到 75.04%。
一个判断
这周论文没有给出一个通用答案。它们的共同点是把 Agent 的可靠性拆成可检查的工程层:团队怎么组织,记忆怎么连回证据,成本花在哪,结果怎么验证。论文数字只对应各自设置。想复现,先读原文。
原文:DAIR.AI 的 X 文章 https://x.com/i/article/2122023532167081985
发布时间: 2026-11-16 09:31