Wink Pings

你的LLM没在写答案,它在跑500遍模型

一个500 token回答意味着模型跑500遍。TTFT和ITL哪个更影响体验?KV cache为什么比模型还大?

你的 LLM 没在写答案,它在跑模型。一个 500 token 的回答,意味着整个模型被完整执行了 500 次,每次只预测下一个 token。

大多数人是在出问题时才被迫搞懂 LLM 推理的。模型在笔记本里跑得好好的,放到 API 后面,二十个用户上线,GPU 内存爆了。或者延迟从流畅变得痛苦,没人能说清为什么。这些问题基本都源于几个基础概念:模型如何生成文本、什么是 KV cache、它们如何占据 GPU 内存。

先看性能指标。一个生产级 LLM 服务通常有两类 SLO:准确性和性能。准确性上,量化等优化手段会轻微改变模型行为,需要对照模型卡上的基准验证。例如 Llama 3.1 70B 的 FP8 量化版,权重内存减半,平均准确率保持在原版的 99.88%,个别基准超过 100% 只是噪声。

性能上要区分几个速度。TTFT(首 token 时间)决定用户感知的“响应速度”,ITL(token 间隔)决定文字是否流畅。大致公式:请求延迟 ≈ TTFT + ITL × (输出 token 数 - 1)。一个 200 token 的回答,TTFT 300ms、ITL 30ms,总延迟约 6.3 秒。此时 ITL 减半能省 3 秒,TTFT 减半只省 150ms。所以响应越长,ITL 越重要。吞吐量和延迟又互相拉扯:GPU 上塞更多用户,总吞吐升了,单个用户的 ITL 通常恶化。推理工程很大程度是在这条曲线上选位置。

接着看内部机制。Transformer 每一层的 self-attention 里,当前 token 通过 query、key、value 三个投影查“图书馆”:query 是检索请求,key 是书脊标签,value 是书的内容。要计算当前 token 的输出,需要前面所有 token 的 key 和 value,当前 token 的 query 只用于自己。于是 KV cache 诞生:每算完一个 token 的 K 和 V 就存起来,后面直接读。没有它,每个新 token 都要重算前面所有 token 的 K/V,工作量随长度平方增长。

KV cache 是要还的代价。公式:每个 token 的 KV 内存 = 2 × 层数 × KV 头数 × head_dim × 字节数。Llama 3 70B:80 层、8 个 KV 头、128 维、BF16,每个 token 约 320KB。看起来小,上下文一长就吓人:128K 上下文时,单个请求的 KV cache 达到 40GB。而模型权重只有 140GB,看似很大,但权重是固定的、所有人共享;KV cache 是每个请求独立的,随 token 增长。10 个长上下文用户,KV cache 总量超过 400GB,一台 80GB 的 H100 根本装不下。

这也解释了为什么 Llama 3 70B 用 Grouped-Query Attention(GQA):8 个 query 头共用一组 K/V。如果每个 query 头都有自己的 K/V,KV cache 会膨胀 8 倍,128K 上下文一个请求就是 320GB。GQA 不是小优化,是长上下文模型能商业化服务的前提。

这些基础概念通了之后,batching、量化、PagedAttention 等优化手段看起来都是自然延伸。Sid 在 X 上的系列文章把这两部分讲得很清楚,数据来自原文:Part 1: How Inference Works and How to Measure It 和 Part 2: Self-Attention and the KV Cache。

发布时间: 2026-11-22 19:59