扩散模型跨界做文本生成 英伟达开源Nemotron-Sigma 解码速度最高达自回归4.2倍
英伟达发布连续扩散语言模型Nemotron-Labs-Sigma,同步开源14个3B、8B参数规模的权重检查点。该模型将原本多用于图像生成的扩散架构迁移至文本领域,在训练得到的16维嵌入空间完成去噪生成,支持少步采样蒸馏,解码速度最高可达传统自回归解码的4.20倍,为文本生成技术路线提供了新的探索方向。
英伟达Nemotron Labs团队最近上线了全新的Nemotron-Labs-Sigma连续扩散语言模型,同步放出14个开源权重检查点,覆盖3B、8B两个参数规模。
当前商用和开源的主流大语言模型,基本都采用自回归架构。生成文本时按顺序逐个输出token,解码速度随文本长度线性下降。跑过本地大模型的人基本都有体会,参数稍大的版本,输出长文本时的等待感非常明显。高并发、端侧部署场景下,这类架构的算力开销和延迟都很难压下去。
Sigma把扩散模型的生成逻辑迁移到了文本领域。此前扩散架构主要落地在图像、视频生成场景,核心逻辑是从带噪声的随机数据里逐步剔除噪声,还原出符合要求的有效内容。这款模型先把文本映射到训练得到的16维嵌入空间,在连续空间内完成去噪生成,再解码成可读文本。它还支持蒸馏为少步采样器,进一步压缩生成流程。
官方公布的测试数据显示,优化后的Sigma解码速度最高可达传统自回归解码的4.20倍。
目前放出的14个检查点,覆盖不同训练阶段和采样配置,开发者可以直接拉取权重做适配测试。扩散路线做文本生成还属于相对小众的技术方向,速度优势之外,语义连贯性、长文本准确度等核心指标,还需要更多实测验证。
信息来源:MarkTechPost,作者 Asif Razzaq
发布时间: 2026-11-20 22:44