10个开源 MoE 模型的路由配置对比：DeepSeek、Qwen、Mixtral、Llama 4、gpt-oss 差在哪

MoE 模型的总参数经常被拿来做传播，但每个 token 到底走哪几个专家，看的是路由配置。MarkTechPost 的 Michal Sutter 整理了一份配置核验过的对比，覆盖 10 个开放 MoE 模型，包括 DeepSeek、Qwen、Mixtral、Llama 4、gpt-oss。对比项很直接：总参数、激活参数、专家数量、top-k、共享专家、门控函数、负载均衡方法。

先把背景补上。MoE 层里有一组专家，每个 token 经过门控打分，只激活其中少数几个。总参数决定模型容量和显存占用，激活参数更接近单次推理的计算量。top-k 是每个 token 选几个专家。共享专家常驻，不参与路由竞争，用来兜住通用能力。门控函数决定怎么给专家打分。负载均衡方法防止训练时专家忙的忙死、闲的闲死。这几项配置放在一起，模型的行为和成本结构就出来了。

原文的价值在于“配置核验过”。很多模型卡只给总参数和激活参数，top-k、共享专家、门控函数、负载均衡方法要么散落在论文里，要么在代码里。把 10 个模型拉到一张表上，差异比想象中直接。DeepSeek、Qwen、Mixtral、Llama 4、gpt-oss 的路由选择并不统一，也没有一套放之四海皆准的最优解。选型时只盯总参数，容易把推理成本和微调难度看错。

对开发者来说，这张表更适合当检查清单。复现、蒸馏、换模型之前，先对齐路由配置。否则 token 分配逻辑一变，训练稳定性和推理吞吐都可能跟着变。

谁再说 MoE 只是把参数堆大，可以把这篇原文甩过去：MarkTechPost 原文。