Google开源TPU Sync：KV缓存跨层搬运，235B到480B MoE模型传输延迟降90%以上

Google 开源的 TPU Sync 是一个 C++ 库，用来在 TPU HBM、主机 DRAM、存储和网络之间搬运 KV 缓存与权重。Google 报告说，在 235B 到 480B 的 MoE 模型上，KV 传输延迟降低了 90% 以上。信息来自 MarkTechPost 的 Michal Sutter，原文链接在文末。

先把背景补齐。大模型推理时，KV 缓存保存历史 token 的键和值，避免每生成一个新 token 都把前面的内容重算一遍。上下文越长、并发越高，KV 缓存越大，搬运也越频繁。TPU HBM 是加速器上的高带宽内存，容量有限；主机 DRAM、存储和网络则是更外层的空间。推理系统一旦要把缓存挪来挪去，传输环节就可能变成等待点。

TPU Sync 切的就是这段搬运工作。它不负责训练，也不直接提升算力，解决的是数据在内存层级和机器之间移动的效率问题。Google 给出的场景包括 TPU HBM、主机 DRAM、存储和网络，说明它面向的是跨层、跨节点的缓存与权重流动。对做分布式推理、长上下文服务或多模型调度的人来说，这类基础库比一个漂亮的 benchmark 数字更值得看。

那个 90% 以上的数字需要拆开看。它指的是 KV 传输延迟，不是端到端推理延迟，也不等于吞吐或成本会按同样比例下降。MoE 模型参数规模大，但每个 token 只激活部分专家，KV 缓存和权重的调度逻辑更复杂。235B 到 480B 的模型规模说明测试覆盖了较大的 MoE 场景，具体收益仍取决于部署结构、网络条件和缓存命中情况。

这个库已经开源，语言是 C++，属于 TPU 生态里的基础设施。普通用户不必急着理解每个内存层级，只需要知道：大模型服务不只看芯片算力，也看数据搬得快不快。TPU Sync 的价值在于把搬运这件事做成可复用的库，减少团队自己造轮子的概率。至于它能不能在真实生产里稳定兑现 90% 的传输延迟下降，还要看后续的独立测试和落地反馈。

来源：Google Releases TPU Sync: Open-Source KV Cache Transfer for TPUs，作者 Michal Sutter。