65B的密集模型打赢975B的MoE，花了3200万美元

Ricursive Intelligence 发布了 Ripple-65B Preview。65B 参数的密集 Transformer，从零预训练，12 万亿 token，支持最高 1M 上下文。在美国开源权重模型里，TerminalBench 2.1 得分 80.52，SOTA。

对手名单：Reflection Beam 501B（80.1）、Meta Muse Spark Open 816B（76.4）、Thinking Machines Inkling 975B（63.8）、NVIDIA Nemotron 3 Ultra 550B（56.4）。一个 65B 密集模型，赢了一串参数量十倍以上的 MoE。

有网友在回复里算了笔实际账：65B 密集模型能放进两张 80GB 的 GPU，不需要多节点集群。

Ricursive 是个全栈 AI 实验室，通过协同优化硬件、软件和模型来构建自改进系统。Ripple 的通用变体，内部版本在跑他们的 AI 芯片设计平台。这也解释了为什么他们从零训练了一个模型，目的先落在芯片设计上。

成本数字是 3200 万美元。Ricursive 说这是完整研发开销，包含从零开始的预训练、数据配比、评测、调试、合成数据生成、后训练配方开发，以及最终的主训练和后训练。官方称这是上一个 agentic coding 开源 SOTA 成本的十分之一。Sam Altman 在 2023 年说 GPT-4 训练成本超过 1 亿美元，Dario Amodei 后来预测前沿模型的预训练成本会到 10 到 1000 亿美元。3200 万是另一个量级。

技术选择上有个反常识的点。其他实验室普遍用 MoE 来堆参数量，Ricursive 选了现代密集 Transformer。官方说法是，优先做能降低预训练和后训练基础设施复杂度的决策。结果是在简单 sharding、无自定义 kernel、无量化（BF16）的条件下，预训练和后训练全程保持了 40% 的 MFU。开发团队从 1 人扩展到 5 人。

架构是 thin-and-deep，d_model 只有 5120，80 层。从 Olmo 3 的类 Llama 架构换成了类 Gemma 3N 架构，提升大规模训练的稳定性。增加注意力头数量，同时提高 SWA 与全局层的比例、缩小 SWA 窗口来抵消成本。额外加了 FFN 激活裁剪、门控注意力、全局 NoPE、value residuals。

模型 ladder 是另一个效率来源。从 Olmo 3 的 model ladder 起步，v1.0 到 v1.6 逐版迭代：StepFun 的 batch size 和 learning rate 缩放律、pre+post norm、sigmoid 门控注意力、全局 NoPE、value residuals。v1.4 的 2-stream mHC 在小规模有效，4B 规模没提升，被砍掉。最终代码计算效率相对 Olmo 3 ladder 提升 16 倍，hero run 到 55 倍。

后训练用了混合 RL 配方，truncated importance sampling、score centering、线性长度惩罚，配高质量长周期合成环境。TerminalBench 2.1 到 80.5 只用了 140 万次 rollout，大约是前 SOTA Reflection Beam 的七十分之一。

本地运行是另一个卖点。65B 参数能塞进 NVIDIA DGX Spark，官方也提到 MacBook Pro。提供 NVFP4 checkpoint 和 colab 帮助上手。数据中心 GPU 上，量化前、无自定义 kernel，2 张 B200、batch=8 能跑到 250 tok/s。预训练用 8K 序列长度，long context 阶段拉到了 2M。

发布渠道：

• HuggingFace: https://huggingface.co/ricursiveAI/Ripple-65B-Preview
• Together AI: https://www.together.ai/models/ripple-65b-preview （页面显示即将上线）
• GMI Cloud: https://console.gmicloud.ai/model/llm/ripple-65b-preview/abfc023e-35b7-4e9e-bb97-cef5db95f171
• OpenRouter: https://openrouter.ai/gmicloud/ripple-65b-preview

Apache 2.0 许可。BF16 指令微调模型、NVFP4 版本、BF16 base model 都在 HuggingFace 上。Fireworks 当天晚些时候上线。

基准表里，SWE-bench Pro v2.0 Hard 上 Ripple 拿 79.1，Beam 501B 是 76.5。DeepSWE 1.1 上反而是 Muse Spark Open 816B 的 60.0 领先，Ripple 44.3。官方也承认基准复现困难，Terminal-Bench 2.1 用官方 Terminus 2 harness、128K 序列长度加摘要时，除了 Muse Spark Open，所有模型分数都更低。他们把这点写进了 model card。

社区反应里，Nathan Lambert 留了一句 BIG OLMO，指的是模型 ladder 基于 AI2 的 Olmo 工作。Ricursive 在博客里也感谢了 AI2、Prime Intellect、RadixArk 和 NVIDIA 的开源贡献。

一个 65B 模型在特定任务上打赢大规模 MoE，不意味着参数规模不重要了。但模型卡里有个细节值得注意：Nemotron 3 Ultra 在传统预训练评测上表现强势，到了 agentic 任务上没转化出来，官方推测是合成数据相对这些任务分布外。评测集和真实能力之间的错位，比排行榜名次更值得看。