65B 稠密模型拿下美国开放权重 agentic coding SOTA，成本 3200 万美元

Ricursive Intelligence 发布了 Ripple-65B Preview，一个从零预训练的 65B 稠密模型。发布页给出的重点很明确：美国开放权重模型在 agentic coding 任务上的新 SOTA，以及一笔拆得很细的训练成本账。

先看分数。Ripple-65B Preview 在 TerminalBench 2.1 上拿到 80.52，超过几个参数量更大的美国开放权重模型：Reflection Beam 501B 为 80.1，Meta Muse Spark Open 816B 为 76.4，Thinking Machines Inkling 975B 为 63.8，NVIDIA Nemotron 3 Ultra 550B 为 56.4。需要注意限定词：这是美国开放权重范围内的 SOTA，不是全球所有模型的排名。TerminalBench 2.1 测的是 agent 在终端环境里完成多步编码任务的能力，分数高不等于所有编码场景都强。

模型规格：预训练使用 12 万亿 token，支持最高 1M 上下文。架构上，Ricursive 选择了稠密 Transformer 路线，没有采用 MoE。稠密模型每次推理会激活全部参数，工程上更直接；MoE 靠稀疏激活降低计算量，但训练和服务复杂度更高。Ripple 的选择是 thin-and-deep：d_model 为 5120，共 80 层，注意力头数量做了超额配置，同时提高 SWA 与全局注意力层的比例、缩小 SWA 窗口来抵消成本。还加入了 FFN activation clipping、gated attention、global NoPE 和 value residuals。

成本是这次发布最值得看的部分。Ricursive 称 Ripple-65B Preview 的全研发成本为 3200 万美元，约为此前 agentic coding 开放权重 SOTA 的十分之一。这个数字覆盖从零开始的预训练阶梯开发、数据配比、评测、调试、合成数据生成、后训练配方开发，以及最终的预训练和后训练正式运行。发布页还引用了 Sam Altman 关于 GPT-4 训练成本超过 1 亿美元的说法，以及 Dario Amodei 对前沿模型训练成本可能达到 10 亿到 100 亿美元级别的预测。对比之下，3200 万美元的账本确实少见。

后训练没有靠蛮力堆 RL。Ricursive 自建合成数据管线、质量过滤和覆盖度指标，没有购买后训练数据。RL 配方使用 truncated importance sampling、score centering 和 linear length penalty，配合高质量长周期合成环境。模型能力提升后，任务难度也持续加码。最终只用了 140 万次 rollout 就把 TerminalBench 2.1 分数推到 80.5，官方称这比此前的 SOTA Reflection Beam 少约 70 倍 rollout。

预训练配方来自一系列模型阶梯实验。起点是 Olmo 3 的 model ladder，团队在小规模上测试改动，重点关注编码能力。v1.0 引入 StepFun 的 batch size 和学习率缩放律，v1.1 换成新的阶梯方法，v1.2 从 post-norm 切到 pre+post norm，v1.3 加入 sigmoid gated attention，v1.4 的 2-stream mHC 在小规模有效但在 4B 规模没有提升，被拒绝；v1.5 切到 global NoPE 并把最终学习率冷却到零，v1.6 加入 value residuals。最终版本换用自定义预训练数据集，大幅上采样代码。官方称这些改动在 4B 模型规模上把代码计算效率最高提升 16 倍，按 dolma_stack CE 衡量，达到与 Olmo 3 ladder 相似的代码表现只需约 1/16 的算力。

部署方面，Ripple 的稠密架构和较小参数包让它能在 NVIDIA DGX Spark 这类本地设备上运行。训练全程维持 40% MFU，使用简单分片，没有自定义 kernel，也没有量化。对开发者来说，模型已经上了 Hugging Face、Together AI、GMI Cloud 和 OpenRouter，Fireworks 当天晚些时候上线。发布页在 Ricursive 官网，权重和试用入口可以直接查。

这条发布值得留意的地方，是把参数规模、训练成本、RL 采样效率和本地部署放在同一张表上。65B 稠密模型能在 TerminalBench 2.1 挤进 80 分区间，说明训练配方和任务设计的分量在上升。至于它能不能在更广泛的编码任务里复现这个分数，还得等开发者自己试。