Wink Pings

280B参数只激活14B:百度ERNIE 5.5 Flash Base先发基座,没做后训练

百度发布 ERNIE 5.5 Flash Base:280B 稀疏 MoE、14B 激活参数、33.5T tokens 训练,发布时未做中后训练。它适合研究和二次开发,直接当聊天产品未必合适。

百度放出了 ERNIE 5.5 Flash Base。MarkTechPost 的 Michal Sutter 在报道里给了几个关键数字:280B 稀疏 MoE,14B 激活参数,33.5T tokens 训练,发布时还没有做 mid-training 或 post-training。原文链接:MarkTechPost。

这几个数字要拆开看。280B 是总参数,14B 是每个 token 实际参与计算的参数。MoE 模型靠路由选择专家,所以总参数大,单次推理的计算量更接近 14B 激活规模。显存、权重存储、路由和并行工程仍然要按 280B 体系考虑。普通读者可以把它理解成:模型里有很多专家,每次只叫醒一部分干活。

33.5T tokens 是训练数据规模。这个量级说明训练投入不小,但基座模型和聊天产品之间还隔着指令微调、偏好对齐、安全训练等步骤。素材明确说发布在 mid-training 和 post-training 之前。拿它直接对话,表现未必像常见助手。

对开发者,这类未后训练基座的价值在于二次开发空间:做领域继续预训练、SFT、评测路由行为,或者研究 MoE 在不同任务下的专家利用。对普通用户,现阶段不必把它当成马上能用的聊天模型。

报道来源是 MarkTechPost,作者 Michal Sutter。原文没有配图,本文不补图。

发布时间: 2026-11-06 05:33