KV cache 为什么只存 K 和 V:Q 用完就扔
LLM 每生成一个 token 都要重算历史?KV cache 把 K 和 V 留下来,Q 只算一次就丢。省下算力,也把内存压力推到台前。
KV cache 里只存 K 和 V,不存 Q。第一次看到这个设计,容易觉得漏了什么。Q 明明参与注意力计算,为什么不留下来?
Akshay Pachaar 在 X 上写过一篇拆解,把这个问题从自回归生成讲到了注意力计算的最小依赖。答案不复杂,藏在每一层注意力的输入和输出里。
LLM 一次生成一个 token,预测下一个 token 时依赖前面所有 token。没有缓存,模型每一步都要把整个 prompt 重新跑一遍。KV cache 的作用就是跳过重复计算,它保留什么,正好暴露了注意力真正复用了什么。
在每一层注意力里,每个 token 产生三个向量。Q 描述当前 token 要找什么,K 描述它向其他 token 提供什么索引,V 携带它要传递的内容。注意力用 Q 和 K 算分数,softmax 把分数变成权重,再用权重混合 V。
关键在最后。一次前向传播后,每个位置都有一个 hidden state。只有最后一个位置的 hidden state 会进入 logits,用来采样下一个 token。要得到这个 hidden state,最后一层只需要最新 token 的 Q,加上所有历史 token 的 K 和 V。历史 token 的 Q 只服务它自己那一行,那一行算完就结束了,后面的步骤不会再读它。
Akshay 用 4 个 token 的 prompt 生成第 5 个 token 举例。prefill 阶段,模型一次并行读入 4 个 token,每层为每个 token 算 Q、K、V。最后一层里,只有最后一个 token 的 Q4 会去和 K1 到 K4 比较,softmax 把分数变成权重,混合 V1 到 V4,得到一行输出。FFN 处理这个位置,得到最后的 hidden state,第 5 个 token 从它里面采样出来。
token 5 加入后,每层为它算 Q5、K5、V5,然后拿 Q5 和 K1 到 K5 比较。K1 到 K4 和 V1 到 V4 是上一步已经算过的。因果掩码保证 token 不能看后面的 token,所以 token 5 的加入不会改变历史 K 和 V。Q4 只服务第 4 行,那一行已经完成,未来不会再用。
所以缓存留下所有 K 和 V。每一步只新建一个 Q,用一次,然后丢掉。有网友总结得很形象:新 token 提问,旧 token 只负责回答,过去的 query 在自己那一步结束后就没用了。
这也解释了缓存 Q 为什么不划算。有网友按 Llama 3 8B 估算,KV cache 每 token 约 128 KiB,8k 上下文约 1 GiB。Q 的头数更多,存下来只会更大,而且后续步骤不会读。另有网友算过 Qwen3-4B 在 fp16 下每 token 约 147 KB,32k 上下文约 4.8 GB,已经超过 4bit 权重约 2 GB 的占用。长上下文和小设备上,缓存经常比权重更占地方。
代价就在这里。KV cache 用内存换计算。Akshay 的文章提到,Qwen 2.5 72B 有 80 层、32K 上下文、hidden dim 8192,单请求的 KV cache 可以吃几 GB 显存;几百个并发请求时,缓存经常超过模型权重本身。GQA 和 MQA 通过共享 K、V 头来降内存,代价很小。上下文翻倍,缓存翻倍,能并发的用户数就下降。
首 token 慢也和这个有关。prompt 进来时,prefill 要一次处理整个输入,为每个 token 计算并缓存 K 和 V。缓存建好之后,后续每个 token 只需要一次单 token 前向传播,速度很快。Akshay 说 KV caching 在实际中大约带来 5 倍加速,vLLM、TGI、TensorRT-LLM 这些推理栈都建立在这个思路之上。
下次再看到 KV cache 里没有 Q,不用怀疑它漏存了。Q 是一次性向量,K 和 V 才是会被反复读取的账本。面试里被问到,别只答 Q 只算一次。补上因果掩码、最后 hidden state 的依赖,以及内存开销,答案才完整。Akshay Pachaar 的推文在这里。
发布时间: 2026-11-18 09:42