65B 稠密模型在终端编程榜超过 816B，训练成本 3200 万美元

Ricursive Intelligence 放出了 Ripple-65B Preview。65B 参数，稠密 Transformer，从零预训练，目标场景是 agentic coding。官方称它在美国开放权重模型里拿到 TerminalBench 2.1 的 SOTA，得分 80.52。

先补两个背景。开放权重指权重可下载，训练数据、代码、许可不一定全部开放。TerminalBench 2.1 测模型在终端环境里完成多步任务，接近让模型自己改代码、跑命令、查错误。美国开放权重 SOTA 限定在美国团队发布的开放权重模型范围内。

官方给出的对比很直接：

Ripple-65B Preview 对 Beam 的领先只有 0.42 分，差距不大。榜单只代表这个任务，不能直接外推通用聊天、数学或长文本能力。

更有意思的是成本。官方说 Ripple-65B Preview 的完整研发成本是 3200 万美元，从零开始，包含预训练 ladder、数据混合、评测、调试、合成数据、后训练配方，以及最终正式预训练和后训练。按他们的估算，这大约是之前 agentic coding 开放权重 SOTA 的十分之一。模型用 12 万亿 token 预训练，支持最多 100 万 token 上下文。

后训练也没有走蛮力路线。官方称只用了 140 万次 rollout，就爬到 80.5 分，rollout 数量约为 Reflection Beam 的七十分之一。他们没有买后训练数据，自己搭合成数据管线、质量过滤和覆盖度指标。RL 配方里用了 truncated importance sampling、score centering、linear length penalty，配合高质量长时程合成环境。任务难度随模型能力往上加。

架构选择也反着来。别的实验室大量上 MoE，Ripple 用了稠密 Transformer。官方解释是降低预训练和后训练基础设施复杂度，同时保留推理和 agent 能力。模型是窄而深的结构，d_model 5120，80 层，增加 attention heads，提高 SWA 与 global 层比例，缩小 SWA 窗口抵消成本。还加了 FFN activation clipping、gated attention、global NoPE、value residuals。预训练和后训练期间 MFU 维持 40%，只用简单 sharding，没有自定义 kernel，没有量化。

预训练配方来自一串模型阶梯实验。起点是 Olmo 3 的 ladder，v1.0 用 StepFun 的 batch size 和学习率缩放规律，v1.1 换新 ladder 平滑缩放维度和深度，v1.2 从 post-norm 切到 pre+post norm，v1.3 上 sigmoid gated attention，v1.4 的 2-stream mHC 在 4B 规模没提升被放弃，v1.5 用 global NoPE 并把最终学习率冷却到零，v1.6 加 value residuals。最终版换自定义预训练数据，大幅上采样代码。官方称在 4B 模型规模上，这一串改动把代码能力的计算效率最高提升 16 倍。

可用渠道已经开了：Hugging Face、Together AI、GMI Cloud、OpenRouter，Fireworks 当天晚些时候上线。官方还说小参数包能在 NVIDIA DGX Spark 这类本地设备上高效运行。

这条消息真正值得看的地方，可能在 65B 这个数字之外：成本结构和工程路径。稠密架构、软硬件协同、小规模 ladder 试错、RL 样本效率。大模型竞赛里“更大”仍然好卖，但这次榜单至少给参数规模叙事泼了一点冷水。需要保留的判断是，0.42 分和官方自测都还要等第三方复现，开放权重也不等于完全开源。

来源：Ricursive Intelligence 的 X 帖和 Ripple-65B Preview 官方博客。榜单、成本和 rollout 数字均为官方公布或估算。官方博客：https://www.ricursive.com/ripple