清华开源 AKV：直接给 KV Cache 动刀，Agent 平均成本降 27.7%

2026 年 10 月 26 日，MarkTechPost 作者 Asif Razzaq 报道，清华研究人员开源了 AKV。这是一个基于 SGLang 的服务系统，SGLang 是一个开源 LLM 推理服务框架，AKV 主要用来做 Agent 场景下的 KV Cache engineering。

Agent 跑得越久，历史越长。用户消息、工具调用、外部返回、中间推理都会堆进上下文。常见缓解办法是摘要，把旧历史压成短文本再喂给模型。摘要能减少 token，但可能丢细节，也可能额外产生一次模型调用。

KV Cache 可以理解成模型推理时留下的缓存。每处理一个 token，模型都会生成对应的 Key 和 Value，后续轮次直接读取这些结果，不必重新计算旧内容。问题是缓存要占显存，历史越长，调度和成本压力越大。

AKV 的思路是把优化位置从文本层下移到缓存层。系统直接对 KV Cache 做丢弃和重定位：当前执行不需要的缓存删掉，还有用的缓存挪到合适位置。Agent 不必靠摘要维持全部历史，保留下来的是原始计算状态。

根据报道，AKV 在四个 Agent 基准测试上平均降低 27.7% 成本。报道没有说明成本的具体统计口径，这个数字应视为研究基准结果，不代表所有线上业务都能得到同样降幅。

这件事值得看的地方在于，Agent 成本优化已经不只在提示词和上下文裁剪上打转，开始深入推理服务内部的缓存生命周期。对普通用户来说，可以简单理解为让 AI 少为旧对话重复支付算力。

来源：MarkTechPost

你的 Agent 业务里，最占成本的是旧工具返回、长文档，还是多轮推理留下的缓存？