Wink Pings

500个token,不一定非要解码500步

Avi Chawla 把自回归和掩码扩散放在一起讲清楚了:一个逐 token 续写,一个并行填空。值得看的是 KV cache 和延迟之间的工程取舍。

Avi Chawla 在原推文里用一道 LLM 面试题做了对比:生成 500 个 token,是否一定要跑 500 次顺序解码?答案取决于模型怎么生成。

普通用户可以把 token 理解成模型输出的小块文本。自回归 LLM 和扩散 LLM 都能用 transformer 的 embedding、attention、feed-forward 层,区别在 attention 模式、训练目标和解码过程。

自回归 LLM:一次续一个 token

标准自回归解码里,每次 forward pass 产出下一个 token 的概率分布。选中的 token 接到序列后面,生成继续。因果注意力让一个位置看不到未来位置,所以先前 token 的表示不会因为新 token 到来而改变。K 和 V 可以缓存并复用。

代价在步数。500 个 token 通常要 500 次顺序 token 生成步骤。投机解码这类技术可以减少昂贵的模型 forward pass,但自回归的基本节奏还是逐 token 推进。

扩散 LLM:从 mask 位置开始并行填空

Avi Chawla 讲的 masked diffusion 方法里,生成从 prompt 和若干 mask 住的输出位置开始。一次去噪 pass 用双向上下文为多个位置预测候选 token。置信度采样会保留部分预测,其他位置继续 mask,下一轮再填。模型逐步补完整段序列,不一定先写完整草稿再逐 token 重写。

一些实现按块生成,不一次处理整段回复。每步可以 finalize 多个 token,所以步数有机会少于输出 token 数。步数预算会影响速度和生成质量。

少步数不等于低延迟

双向注意力让标准的自回归 KV 复用更难。一个 token 的表示可能随着周围位置更新而变化,即使这个 token 本身没动。缓存能不能做,取决于架构和解码策略。块扩散可以跨已完成的块做 KV 缓存。

另一个容易忽略的点:每步处理的位置更多,总计算量可能上来。Avi Chawla 的提醒很直接,少步不保证低延迟,总计算和工程实现都要算进去。

KV cache 在自回归模型里为什么关键,Avi Chawla 在另一篇文章里拆过:首个 token 慢,因为 prefill 阶段要处理整个 prompt,并缓存每层每个 token 的 K 和 V。缓存热起来后,后续 token 只需单 token forward pass。代价是显存。文中举了 Qwen 2.5 72B 的例子,80 层、32K 上下文、hidden dim 8192,单请求 KV cache 可能吃掉数 GB 显存。并发一高,它常比模型权重更早成为瓶颈。GQA、MQA、Paged attention 都在处理这笔账。

Saahith J 在回复里放了一个 GPT-2 的 2D/3D 可视化,可以打开 KV cache 模式看缓存怎么参与生成:llm-visualized dot com。

GPT-2 可视化 1

GPT-2 可视化 2

因果注意力为什么不能看未来,这条短视频用因果掩码讲了一遍。没有 mask 时,序列模型在训练里能读到答案,训练损失很好看,上线后下一个事件还没发生,模型没东西可抄。

评论区的问题更接近工程现实

有网友 Jerry Liu 指出,每步 unmask 多个 token 时,这些 token 独立采样,本该一致的两个 token 可能冲突。一次提交越多,质量越容易掉。双向注意力还会牺牲 KV cache。

Kushagra Mathur 追问,长代码输出里,扩散 LLM 的步数会不会又涨回去。Dharmendra Valiya 关心长输出时延迟交叉点在哪里。Ricardo Dias 给了一个更实用的判断标准:固定质量目标,看端到端延迟。顺序轮次少,但每轮更宽,或者达到同样质量需要更多去噪 pass,结果可能仍然更慢。

自回归 LLM 和扩散 LLM 更像分工,各自受缓存、质量和延迟约束。500 个 token 是否需要 500 步,不能只看生成范式,还要看每一步到底算了多少、缓存能复用多少、最终质量落在哪。

发布时间: 2026-11-18 02:36