缓存命中率从30%到95%，TTFT还得按缓存层级拆开看
SGLang HiCache 把长前缀复用带到上下文并行、流水线并行、投机解码和 PD 分离服务。讯飞 Astron MaaS 接入外部存储后，多轮 agentic 工作负载缓存命中率从30%升到95%，中位 TTFT 低于3秒。但外部存储命中与 GPU 显存命中不是一回事，TTFT 还需要分层看。
Agentic 工作负载有一个很具体的浪费：多轮调用反复吃同一段长前缀。LMSYS Org 介绍了 SGLang HiCache 在并行与分布式服务里的做法，目标就是让这段前缀复用真正跨过上下文并行、流水线并行、投机解码和 PD 分离服务。它还提到统一 KV 布局，让兼容的并行配置之间可以复用缓存。
落地数据来自讯飞 Astron MaaS 团队。其 agentic CodingPlan 工作负载由 GLM-5.1/5.2 服务，使用 PP、PD Disaggregation 和 MTP。接入带外部存储的 HiCache 后，多轮 agentic 工作负载的缓存命中率从 30% 升到 95%。这些输入通常在 30K 到 200K token，最高到 1M。中位 TTFT 低于 3 秒，此前延迟曾让服务基本不可用。
数字很亮眼，但有一条回复值得放在同一张图里看：外部存储命中与 GPU 显存命中不是同一件事。缓存层级不同，TTFT 的构成也不同。95% 的命中率能说明复用生效，接下来更该看按缓存层级拆开的中位 TTFT。否则一个总命中率容易盖住从外部存储回填到 GPU 的成本。
博客原文：http://lmsys.org/blog/2026-11-02-hicache-distributed-serving
发布时间: 2026-11-03 22:41