KV压缩别只看压缩率：吞吐上不去，省下的带宽会还回去

KV cache压缩的论文很多，大部分先报压缩率。压到多少倍，质量掉多少，通信量省多少。这个指标当然重要，但在解耦式LLM serving里，它不够。

先补背景。解耦式服务把预填充和解码拆到不同节点，KV cache需要在节点之间传输。KV cache是模型生成时保存的键值状态，用来避免重复计算。传输量越大，网络压力越高，所以压缩KV cache看起来是直接有效的办法。

问题在于压缩本身也要执行。分布变换、低比特量化、无损压缩，每一步都有计算和内存访问开销。论文作者把注意力放在压缩管线的执行效率上：现代服务系统开始用高带宽互连，如果压缩管线不够快，省下来的通信时间会被压缩开销吃掉一大块。压缩率再好看，端到端收益也可能被抹平。

这篇论文题为Beyond Compression Ratio: High-Throughput KV Compression for Disaggregated LLM Serving，作者是Junhong Wu、Zedong Liu、Xinyang Ma、Yuhan Chen、Guangming Tan、Dingwen Tao，被NPC 2026接收。论文提出的高吞吐KV cache压缩数据路径做了两件事。第一，把分布变换和低比特量化阶段融合进一个KV-aware的tilelang kernel，去掉中间张量物化和多余的内存访问。第二，把原来的无损压缩后端换成基于LC的开放、可扩展、可搜索后端，让高性能压缩算子管线跑起来。

结果很直接。融合kernel最高5.9倍加速；新的无损压缩后端把压缩吞吐从不到90GB/s提升到500GB/s以上；在评估负载里，任务完成时间最多降低2.04倍。论文的结论是，这些优化让KV压缩在现代高带宽网络下还能保留有意义的通信收益。

这里值得留意的判断是，KV压缩方案的评估口径要变。只看压缩率，容易忽略压缩管线的吞吐和端到端开销。对做推理服务的人来说，选压缩方案时至少要多看两个数：压缩吞吐，以及在高带宽网络下压缩开销是否已经把通信收益抵消。压缩率是结果的一部分，不是全部。

论文链接：https://arxiv.org/abs/2611.04382

原始推文：https://x.com/DPZ/status/2117957972835831811