65B 模型在美国开源权重编程榜登顶，研发账单 3200 万美元

Ricursive Intelligence 发布了 Ripple-65B Preview。一个 65B 的稠密模型，从零预训练，12 万亿 tokens，支持最高 1M 上下文。官方给它的定位很直接：美国开源权重模型里，agentic coding 的新 SOTA。

TerminalBench 2.1 上，Ripple-65B Preview 拿到 80.52。对比名单里，Reflection Beam 501B 是 80.1，Meta Muse Spark Open 816B 是 76.4，Thinking Machines Inkling 975B 是 63.8，NVIDIA Nemotron 3 Ultra 550B 是 56.4。参数量一个比一个大，分数没有跟着变大。美国开源权重模型这个榜单，参数规模已经不是唯一叙事。

成本部分更值得看。官方说，Ripple-65B Preview 的完整研发成本是 3200 万美元，包含预训练阶梯开发、数据混合、评测、调试、合成数据生成、后训练配方开发，以及最终预训练和后训练运行。按官方估计，这是前一个开源权重 agentic coding SOTA 成本的十分之一。2023 年 Sam Altman 说 GPT-4 训练成本超过 1 亿美元，2024 年 Dario Amodei 说前沿模型训练成本可能到 10 亿美元，并预测 2026 到 2027 年仅预训练会到 100 亿到 1000 亿美元。这个背景放在这里，3200 万美元不是小数目，但在前沿模型叙事里很扎眼。

架构选择也有点反常识。Ricursive 选了稠密 Transformer，没有走 MoE。官方理由是降低预训练和后训练基础设施复杂度，同时保留推理和 agent 能力。模型是 thin-and-deep，d_model 5120，80 层，注意力头数量给得偏多，同时提高 SWA 与 global 层比例，缩小 SWA 窗口来补成本。还加了 FFN activation clipping、gated attention、global NoPE、value residuals。预训练和后训练期间 MFU 保持 40%，用简单分片，没有自定义 kernel，没有量化。小参数包络让它可以跑在 NVIDIA DGX Spark 这类本地设备上，这类设备相对数据中心加速器是高 FLOPs、低内存带宽。

RL 配方没有靠蛮力。官方说没有购买后训练数据，自己做了合成数据管线、质量过滤和覆盖度指标。混合 RL 配方用了 truncated importance sampling、score centering、linear length penalty，配高质量长时程合成环境。RL 任务按模型能力调，模型变强就继续加更难的任务。最终从强 SFT checkpoint 爬上去，只用了 140 万次 rollout，拿到 TerminalBench 2.1 80.5。对比 Reflection Beam，官方说 rollout 少约 70 倍。

预训练配方来自模型阶梯实验。起点是 Olmo 3 的 model ladder。v1.0 实现 StepFun 的 batch size 和学习率 scaling law，v1.1 换成平滑缩放架构维度和模型深度的新 ladder，v1.2 从 post-norm 基线切到 pre+post norm，小规模中性，4B 开始有提升，v1.3 加 sigmoid gated attention，v1.4 的 2-stream mHC 在小规模有效但 4B 没提升，被拒，v1.5 切 global NoPE 并加最终 LR cooldown 到零，v1.6 加 value residuals。最终版换成自定义预训练数据集，大幅上采样代码。以 dolma_stack 交叉熵衡量，这些改动在 4B 规模把代码计算效率最高提升 16 倍。换句话说，达到 Olmo 3 ladder 类似代码表现，算力少 16 倍。官方还提到 Olmo 3 ladder 基线斜率更平，意味着规模继续放大时，效率提升可能更明显。

Ripple-65B Preview 是通用变体。内部变体在 Ricursive 的 AI 芯片设计平台里跑。官方说目标是开始闭合模型和硬件之间的循环。模型已在 Hugging Face、Together AI、GMI Cloud、OpenRouter 上线，Fireworks 稍后。官网：https://www.ricursive.com/ripple。Hugging Face：http://huggingface.co/ricursiveAI/Ripple-65B-Preview。Together AI：https://www.together.ai/models/ripple-65b-preview。OpenRouter：https://openrouter.ai/ricursiveai/ripple-65b-preview。

开源生态部分，Ricursive 致谢了 AI2 的 Olmo 团队、Prime Intellect、RadixArk、NVIDIA。这个致谢不客套。一个 65B 模型能在公开榜单上压过更大模型，靠的是数据、架构、RL 配方和工程效率的组合。模型卡和论文细节公开后，社区大概会先去复现 140 万次 rollout 和 16 倍计算效率这两个数。它们比参数量更能说明问题。