Wink Pings

生成500个token,不一定需要500步

Avi Chawla把自回归LLM和masked diffusion LLM放在一起讲。差别不只在解码顺序,还在KV缓存、注意力和延迟账本。

Avi Chawla 在 X 上解释了一个常被拿来面试的题:自回归 LLM 和扩散 LLM 到底差在哪。先记住一句话:生成 500 个 token,不一定需要 500 次顺序解码。token 可以理解成模型输出文本的基本单位。

多数人熟悉的 LLM 是自回归的。每次前向传播给出下一个 token 的概率分布,采样一个,追加到输入,再继续。因果注意力让一个位置看不到未来位置,所以早先 token 的表示不会因为后面来了新 token 而改变。这个性质很关键,它让每层的 K 和 V 可以缓存并复用。生成 500 个 token 通常还是 500 个顺序生成步骤,投机解码能减少昂贵模型前向的次数,但逐 token 的顺序生成仍是默认路径。

Masked diffusion 的起点不一样。输出位置先被 mask 住,和 prompt 一起进入模型。一次去噪 pass 用双向上下文为多个位置预测候选 token。置信度采样保留一部分预测,其他位置继续 mask,下一轮再填。模型逐步把序列补完,不一定先写完整草稿再逐字重写。有些实现按块生成,不必一次处理整段回答。多个 token 可以在一步里定稿,所以步数可能少于输出 token 数。步预算会影响速度和质量的平衡。

两者都能用 transformer 的嵌入、注意力和前馈层,差别在注意力模式与训练目标。

Avi Chawla 原推附带的演示视频:

这里有个工程账本容易被忽略。双向注意力让标准自回归 KV 复用更难。一个 token 的表示会在周围位置更新时变化,即使这个 token 本身没动。缓存能不能做,要看架构和解码策略。block diffusion 可以跨已完成块做 KV 缓存。少步数也不自动等于低延迟,因为一步可能处理很多位置,总计算量和实现质量都要算进去。双向条件还有一个直接用途:填文本或代码里的空缺。

Avi Chawla 在另一篇 KV caching 长文里把延迟来源拆得很清楚。用户发来 prompt 后,模型先做一次前向,把整段输入的 K 和 V 算出来并缓存,这是 prefill,也是最吃计算的一段。缓存热了之后,每个新 token 只需要一个 token 的前向。首 token 的等待叫 TTFT,prompt 越长,prefill 越长。Andika Rachman 在回复里把这件事比作:prefill 像读完整份会议记录,decoding 像开始参与对话。TTFT 慢,是因为模型在花时间补上下文。

代价是显存。每层每个 token 都要存 K 和 V。Avi Chawla 举了 Qwen 2.5 72B 的例子:80 层、32K 上下文、hidden dim 8192,单请求的 KV 缓存能吃到数 GB 显存。并发几百个请求时,缓存经常比模型权重还占地方。GQA 和 MQA 通过共享 key/value 头来降内存,质量损失尽量小。上下文长度翻倍,单请求 KV 缓存也翻倍,能并发多少用户就得重算。Paged attention 这类工作就是冲显存利用率去的。

Saahith J 在回复里贴了一个 GPT-2 的 3D 和 2D 可视化,设置里打开 KV-cache 模式可以对照看缓存作用。原推两张图放在下面。

GPT-2 可视化 1

GPT-2 可视化 2

更值得看的判断是:自回归和扩散不是一句谁替代谁。自回归的 KV 缓存和 serving 栈已经磨了很多年,工程路径成熟。扩散路线在并行解码、填洞、少步数上有吸引力,但缓存复用、每步计算量、质量稳定性都还要在实际服务里验证。只数解码步数容易得出漂亮结论,真正决定体验的是延迟、吞吐和显存三本账。

原文:https://x.com/DailyDoseOfDS_/status/2122641405134991645

KV caching 长文:http://x.com/i/article/2034896077460316163

发布时间: 2026-11-17 21:28