LLM 快不快，模型权重说了不算

Amit Shekhar 在 X 上发了一篇汇总，把六项 LLM 推理优化技术列成系列文章。原文点明用途：KV Cache、Paged Attention、Flash Attention、GQA、Speculative Decoding、Continuous Batching 这些技术，让 LLM 在生产环境跑得快、扛得住并发。

背景先说清楚。LLM 生成文本是一个 token 一个 token 往外吐，每吐一个都要做注意力计算。用户等首字，也等后续 token 的速度。服务端看的是同一块 GPU 能同时服务多少人。模型权重决定能力上限，推理栈决定成本和并发。模型评测榜很少给这些工程细节打分，GPU 账单会。

Amit Shekhar 的系列把六项技术拆开讲：

• KV Cache：缓存注意力里的 Key 和 Value，复用历史计算结果，避免每生成一个 token 都从头算。
• Paged Attention：解决 KV Cache 的显存浪费，借用操作系统管理内存的思路，让同一张卡服务更多请求。
• Flash Attention：标准注意力慢在 GPU 高带宽显存和片上 SRAM 之间的来回读写。Flash Attention 用分块、在线 softmax 和反向重计算减少搬运，现代 LLM 里很常见。
• Grouped Query Attention：从 MHA 到 MQA 再到 GQA，减少 KV 头数量，降低显存和带宽压力，是 MHA 和 MQA 之间的折中。
• Speculative Decoding：小草稿模型先猜多个 token，大目标模型一次验证。原文提到拒绝采样数学保证质量不降，实际有 2x 到 3x 加速。
• Continuous Batching：静态批处理要等最长请求结束，GPU 容易空转。连续批处理动态加入新请求，让每个生成步骤都有活干。

这几项技术解决三件事：重复计算、显存浪费、GPU 空转。它们不改模型知识，改的是单位时间能服务多少人、每 token 成本多少。上线聊天机器人时，用户感受是快慢，老板看到的是账单。两边都绕不开这些细节。

原文把每项都写成了独立长文，链接在上面。原帖：https://x.com/amitiitbhu/status/2054100147546837154