后训练正在吃掉前沿实验室的算力,开放研究还有大片空地
前沿实验室把 55% 算力花在后训练,开放文献却还有大片空白。Nathan Lambert 的 Cornell 演讲把六个开放问题、post-post-training 和 RSI 争论一次讲清。
Nathan Lambert 在 Cornell 放了一组新 slides,标题叫“Pushing Frontiers in Open Language Model Post-Training”。他是 Trillium Labs 的 Executive Director,这场演讲的实质,是把后训练领域最重要的开放问题摆上台面。
开场两个判断:
- 前沿的完整后训练正在变得像 2023 年初的预训练:资源门槛快速抬高,可解,但需要大量资金和长期承诺。
- 开放后训练文献在关键想法上有大片空位,五年后回头看,这些空位大概率很重要。
“后训练”指让预训练好的 next-token 模型对下游任务更有用的一整套方法:SFT、偏好对齐/RLHF、可验证奖励强化学习(RLVR)。过去一年,配方变化比之前三年还大:2022 到 2023 是 InstructGPT 式 SFT→RM→RL;2024 是 Llama 3、Tülu 3 加 RLVR;2025 是 DeepSeek R1 把大规模 RL 变成中心;2026 是 MiMo-V2-Flash 引入 MOPD,把多个领域专家模型蒸馏回一个学生模型。DeepSeek V4、Nemotron 3 Ultra 也在用。

后训练正在吃掉前沿实验室的算力。SemiAnalysis 的估计显示,OpenAI + Anthropic 的算力中,预训练从 2024 Q1 的 67% 降到 2026 Q4 的 7%,后训练和 RL 从 5% 升到 55%。

拿单个模型看更直接:
| 模型 | 预训练 | RL | RL/预训练 |
|---|---|---|---|
| DeepSeek R1 (Jan 2025) | 2.66M H800 GPU-hours | 0.14M H800 GPU-hours | ~5% |
| Beam (Oct 2026) | <4.1M GB300 GPU-hours | ~7.1M GB300 GPU-hours | >1.7× |
| Inkling 2 Small (Nov 2026) | ~0.11M GPU-hours* | ~0.44M GPU-hours | ~4×* |
*Inkling 的预训练 GPU 数是估计值。RL 花大量时间采样,所以它占的 FLOPs 份额小于 GPU-hours 份额。
注意一个趋势:开源世界开始分层。Nathan 把“构建核心推理行为”叫 post-training,把“在已后训练的模型上做领域适配”叫 post-post-training。过去 12 个月,多数开放权重实验室只发布后训练权重,不再发 base model。Harvey 用 Fireworks 把 Kimi K3 后训练成法律模型,律所可以拥有自己的模型;Mercor 和 SkyRL 把 Qwen3.5-397B-A17B 在专家数据上做 RL,脚本和权重都公开。这就是 post-post-training 的雏形。
接下来是他最关心的六个开放问题,按计算强度从低到高排:
- Harness specialization and design:怎么设计上下文管理环境,让 LLM 能被更有效地编排进具体任务?Context Language Models 是个例子:模型自己编辑 context,而不是靠 harness 命令。
- Character training:模型的人格、价值观怎么来,影响安全、信任和采用。工业界已经换到 OpenAI 的 agent Model Spec,开放文献没跟上。Trillium 把这块当成第一批研究方向。

- Open-source RL environments:后训练没有预训练那样的数据公共资源。Nemotron、Olmo、OpenThoughts 是起点,但不够。TMax 用九轴组成任务,造 terminal-bench 数据,把 2B 到 27B 的 Qwen 变成 terminal agent。

- Reasoning efficiency in RL:怎么控制 CoT 长度。前沿实验室已有巨大 token 效率收益,但公开论文没讲清楚做法。一个简单思路:把更多 RL 算力花在最难的题上。GRPO 对同一 prompt 采多个回答,整组全错时没有梯度可学;Never Give Up(NGU) 在这种情况下继续多采样,而不是放弃。在 Manufactoria 上,GRPO 在 hard tests 卡在 19%,NGU 到 88%。

- Scaling laws for RL:怎么预测大后训练 run 的结果。ScaleRL 用 sigmoid 拟合 reward 和 log compute,但预训练 ladder 的 RL 等价物还没出现。
- Multi-agent scaling laws:多 agent 系统能在墙钟时间上更快,也能提高峰值表现。OpenAI 的 GPT-5.6 在 SEC-Bench Pro 上用 16 个 agent 比 1 个 agent 更早达到同样分数;Anthropic 的 Claude Opus 5.5 在 Lean 定理证明上,10 个 agent 以上就基本封顶。训练时怎么为 sub-agent 设计 RL,还是空白。
演讲最后是 RSI。Anthropic 的 R&D Automation Index 里,Claude 主导的模型研发任务从 2 月不到 1% 涨到 8 月 26%,完全自动化的 AL5 还是 0。Nathan 的观点是:LLM 加快产出,但几乎不加快理解。资深科学家几乎不写代码,反而更忙;junior 科学家靠手工低效的活建立理解,训练时间可能变长。

评论区里,Lewis Tunstall 转发了 Ramez Naam 当天的长文《The Most Important Charts in AI are Wrong》。Ramez 用 OpenAI 和 Google 内部数据对比评估机构 METR、AI Futures 的 AI 2027 预测:80% 成功率下,真实研发任务的任务长度是 OpenAI 约 16 分钟、Google 约 9 分钟,而 ECI→METR 外推是 33 倍和 41 倍,AI 2027 场景超过 100 倍,差距还在扩大。Benjamin Todd 在评论区反驳,认为 50% 成功率下 4 个月翻倍的速度已经足够快,Anthropic 的领先可能更大。
这个争论没有结论。但至少说明一件事:只看基准曲线,和看真实世界的 messy 研发任务,会得到非常不同的时间线。可靠性缺口,比能力曲线更重要。
评论区还有两个值得顺着读下去的东西。Chinmay 的实验用 agentic judge 给模型生成的推理片段打细粒度分数,发现 judge 标出的 span 确实在让模型靠近正确答案,但训练后的模型主要变化是更快锁定答案,省了大约 1900 token。Cornell 的 PhantomEnvironments 用纯规则生成的虚构世界训练搜索 agent,迁移到真实 multi-hop 搜索,效果甚至超过真实训练数据。这两个方向,一个在动 reward,一个在动 environment,正好踩中 Nathan 列出的开放问题。
Nathan 说视频会重录。slides 在 natolambert.com/cornell-2026。如果你也在做这些方向,他说保持联系。
发布时间: 2026-11-22 16:07