Prime Intellect 给 fused MoE kernel 补上反向传播，Qwen3 训练步最高快 34%

Prime Intellect 发布了 Prime Mega MoE，这是 DeepSeek fused Mega MoE kernel 的反向传播实现。它让这个 kernel 可以训练，并在 prime-rl 中把 Qwen3 MoE 的训练步最高提速 34%。原文标题还给出另一个数字：前向传播快 3.11 倍。

MoE 模型每次只调用部分专家，计算路径和通信模式比稠密模型更碎。fused kernel 做的事，是把多个小算子合并，减少启动开销和内存往返。这个方向在推理侧已经常见，训练侧更麻烦，因为训练需要前向传播和反向传播，反向传播还要算梯度、更新参数。只有前向快，训练闭环不完整。Prime Intellect 这次补的是反向传播这一段，价值在让优化真正进入训练流程。

两个性能数字口径不同，别混着看。3.11 倍指前向传播，34% 指 prime-rl 里的 Qwen3 MoE 训练步。对开发者来说，后者更接近端到端训练收益。看这类 kernel 优化，单个微基准的倍数容易好看，训练步时间和吞吐才更贴近实际。

Prime Mega MoE 属于偏底层的工程发布，没有花哨的演示。它解决的是 fused MoE kernel 在训练中能不能用、用了能快多少的问题。对做 MoE 训练和推理栈的人，这类改动值得跟进。普通读者可以把它理解成：模型训练要跑前向和反向两条路，这次把反向那条路也修通了。

来源：MarkTechPost，作者 Asif Razzaq，原文链接。