延迟工具加载:把Agent成本砍掉62.5%
Agent的成本大头不在模型,在上下文。Baseten用延迟工具加载把3个MCP带来的141k token开销降到1.3k,编码任务成本平均降62.5%。这个被忽视的优化,正在成为Agent架构的必修课。
Agent贵,模型价格只是一部分。很多时候,钱烧在了上下文窗口里那些用不上的工具定义上。
Baseten的Alex Ker最近发了一篇实战笔记,讲了一个叫做“延迟工具加载”(deferred tool loading)的做法。思路不复杂:别把工具列表一股脑塞给模型,等它需要的时候再加载。在Claude Code上跑了8个基准测试,结果很直接:
- 编码基准(Terminal-Bench、SWE-bench Verified、SWE-bench Pro v2、DeepSWE v1.1)平均成本下降62.5%,耗时缩短26.2%
- Agent基准(MCP-Atlas、AutomationBench、ComplexMCP、Toolathlon-GYM)平均成本下降51.1%,耗时缩短14.9%
为什么省这么多?问题出在“急切加载”上。
现在的主流Agent框架,比如Claude Code,会把你注册的每个MCP服务器(Slack、Notion、Baseten……)的全部工具schema,在每次请求时都塞进系统提示词。每个schema就是一份调用说明,模型并不需要全部用到。Baseten测了一下,3个MCP服务器,每次请求光工具定义就占了141k tokens。而模型完成一个任务可能要几十次请求,每个token后面都要被注意力机制反复读取。141k tokens,大部分是永远用不上的工具定义,成了每步解码都要付的过路费。
延迟加载的做法是:系统提示词里只放工具名和一个小工具搜索器(约1.3k tokens)。模型需要某个工具时,先调搜索器,找到对应工具,服务端再把完整schema插入到对话上下文末尾。这样前面的KV缓存不受影响,每个输出token需要“回顾”的内容大幅减少。理解起来就像前端里的懒加载:资源直到真正需要才加载。
Baseten在开放模型(DeepSeek、Kimi、GLM)的API上实现了这个能力,支持Chat Completions和Messages API格式。也就是说,用第三方开放模型时,也能享受和OpenAI/Anthropic API一样的延迟工具加载。注意,Claude Code和Codex在指向第三方模型提供商时,往往会关闭这个选项,需要手动打开,而且对方网关得支持。
社区的反馈也印证了思路。Viv在那条推文下说:“harness engineering的alpha在于做好上下文工程的交付。”她把LLM的上下文窗口称为“所有计算发生的圣边界”,保护它,用正确的东西填充它,Agent表现才会好。Daniel Priscu说得更直白:把垃圾挡在窗口外面,大概就是90%的活。
当然,这招不是万灵药。基准里Toolathlon-GYM任务需要平均68次工具调用,急切加载反而更快;DeepSWE和MCP-Atlas也略微变慢,但成本节省足以抵消。另外,Loay指出:在Claude Code里直接裁掉不用的MCP服务器,同样能把这140k token的浪费还回去,不需要换网关。
Sid Potti用Armature做了一个6分钟的解释视频,把过程可视化得很清楚:
现在,打开你的Claude Code,跑一条/mcp,看看哪些工具从来没用过。先删掉它们,再谈优化。
发布时间: 2026-11-20 16:14