MoE路由的7种策略：从Top-K到哈希，Mixtral和DeepSeek-V4选了不同的路

MoE（混合专家）模型的核心是稀疏激活：每个token只由少数专家处理。路由策略就是决定“谁来处理”的规则。最近MarkTechPost的Asif Razzaq写了一篇指南，解释了7种MoE路由策略，从Mixtral的Top-2 softmax到DeepSeek-V4的哈希路由。这里挑几个重点说说。

Top-K路由是最常见的做法。对每个token，路由器计算所有专家的logit，用softmax归一化，然后选分数最高的K个专家。Mixtral用Top-2，Switch Transformer用Top-1。简单有效，但容易导致专家负载不均。有的模型会加一个负载均衡损失来缓解。

Expert-Choice路由把视角反过来：让每个专家选择分数最高的K个token。这样每个专家处理的token数严格相等，负载绝对均衡。但token可能被不同数量的专家处理，有的token没人要。

Sigmoid门控替换掉softmax。Softmax让专家之间竞争，概率总和为1；Sigmoid对每个专家独立判断，允许同时激活多个专家，也允许都不激活。DeepSeek-V2就用了Sigmoid门控，据说能提升训练稳定性。

动态路由不固定K值。模型根据token的难度或路由置信度，动态决定用几个专家。简单的token少用专家，复杂的token多用。这样能更精细地控制计算量，但实现复杂，训练也更难。

哈希路由更激进：直接用哈希函数把token映射到专家，完全放弃学习路由器。DeepSeek-V4据称用了这种策略。好处是确定性强、负载天然均衡（如果哈希设计得好）、没有路由崩溃问题。代价是失去了自适应性，token无法根据内容选择专家。

原文还介绍了其他几种变体，比如Noisy Top-K和Expert Capacity Factor，这里不展开。从这些方法看，路由策略在简单和均衡之间找平衡。Top-K简单但难均衡，Expert-Choice均衡但可能浪费，哈希简单但牺牲灵活性。选哪个取决于模型规模、训练目标和硬件约束。

原文链接：MoE Routing Strategies Explained: Top-K, Expert-Choice, Sigmoid Gating and Dynamic Routing (2026 Guide)