一次草拟16个token:FlashMap在Qwen3-8B上报告6.14倍解码加速
Polymathic AI、普林斯顿和 USC ISI 的研究者发布 FlashMap,用 flow map drafter 一次草拟 16 个 token,在 Qwen3-8B 上报告最高 6.14 倍无损加速。它要解决的是投机解码里草稿成本和接受率之间的平衡问题。
FlashMap 是 Polymathic AI、普林斯顿大学和 USC ISI 研究者发布的投机解码 drafter。它的卖点很直接:一次联合草拟 16 个 token,在 Qwen3-8B 上报告最高 6.14 倍无损加速。来源是 MarkTechPost 的报道。
投机解码的思路不复杂。大模型逐个 token 解码慢,于是先让一个小模型草拟一段,再交给目标模型并行验证。草稿命中就省时间,草稿被拒就回退。真正难的是草稿模型:它要足够快,草稿质量还不能太差。草稿成本一高,省下来的时间会被吃回去。
FlashMap 的选择是 flow map drafter。按报道说法,它把草稿过程改成一次联合生成 16 个 token,不再一个接一个往外吐。这个方向的价值在于降低草稿阶段的串行开销,让投机解码更容易在真实推理里拿到延迟收益。
但 6.14 倍需要看上下文。它是在 Qwen3-8B 上报告的最高数字,具体任务、batch、硬件、接受率都会影响结果。无损加速也只说明验证机制保留了目标模型的输出分布,不等于所有场景都能白拿 6 倍。开发者真要接入,先看三件事:草稿接受率、草稿模型显存、和现有推理栈的兼容成本。
如果这套 drafter 能稳定复现,受益最大的是延迟敏感、又不想改目标模型输出的在线推理场景。对普通用户来说,这类工作不会让模型突然变聪明,它解决的是同样答案算得更快。
发布时间: 2026-10-28 16:18