单台 DGX Spark 跑 124B MoE，解码吞吐提升 42.5%，精度没掉

NVIDIA 在一台 DGX Spark 上跑了蚂蚁集团 inclusionAI 的 124B Ling-3.0-flash。按 MarkTechPost 的报道，三项叠加优化之后，GSM8K 的解码吞吐提升 42.5%，精度没有可检测变化。

这个结果最值得看的地方是 decode 吞吐。单机跑大 MoE 模型的新闻不少，能给出具体任务、具体吞吐变化和精度结论的不多。MoE 模型每次 token 只激活部分专家，参数总量大，计算量不一定同比例增长。decode 阶段逐 token 生成，显存带宽、专家调度和推理框架都会影响速度。三项优化叠加，说明单点调参不够，系统层和推理层要一起动。

原文只给了结果，没有展开三项优化分别做了什么，也没列 batch、上下文长度、量化方式、并发数这些条件。42.5% 对本地单机部署有参考价值，尤其对卡在吞吐上的团队。但 GSM8K 是数学题基准，decode throughput 不等于所有真实负载都能拿到同样提升。看这个数字，也要看它背后的测试边界。

来源是 MarkTechPost，作者 Asif Razzaq，原文链接：NVIDIA Shows 3 Ways to Speed Up MoE Inference on DGX Spark, Lifting Ling-3.0-flash Throughput 42.5%。如果后续能看到三项优化的配置和复现条件，这个结果才更有迁移价值。