Wink Pings

后训练正在吃掉AI的算力预算

预训练从67%跌到7%,后训练从5%涨到55%。Nathan Lambert在康奈尔讲清了post-training的演变,以及六个没人解决的开放问题。

Nathan Lambert在康奈尔大学做了一场演讲,51页幻灯片,把后训练(post-training)这个领域几年的演变梳理了一遍。月球大叔转发了,评价是"做的真挺好的,对于后训练的发展,脉络理得可以"。

幻灯片封面

所谓后训练,是让预训练模型对下游任务更有用的那套技术:指令微调(SFT)、基于人类反馈的偏好对齐(RLHF)、可验证奖励的强化学习(RLVR)。这个领域变化之快,Lambert用一句话概括:后训练配方的变化,过去一年比之前三年都大。

最值得注意的是算力分配。SemiAnalysis的数据显示,Anthropic和OpenAI合计算力里,预训练从2024年Q1的67%降到2026年Q4预计的7%;后训练和RL从5%涨到55%。

算力占比变化

具体到单个模型,差距同样夸张。DeepSeek R1的RL算力约为预训练的5%。2026年的Beam超过1.7倍,Inkling 2 Small约4倍。后训练从预训练的零头变成了大头。

方法也在快速迭代。2022-2023年,InstructGPT的三阶段是标准:SFT、奖励模型、PPO。2024年,Llama 3和Tülu 3在此基础上加入更多阶段和RLVR。2025年,DeepSeek R1把大规模RL变成中心。2026年,MiMo-V2-Flash引入了MOPD,训练多个领域专家模型,再蒸馏回一个最终模型。

DeepSeek R1流程

Lambert判断,完整的后训练正在变得像2023年初的预训练一样,资源门槛快速抬高。一个新的分工因此出现:很多人直接从现成的推理模型出发,做领域适配。他管这叫post-post-training。Harvey用Kimi K3的base model后训练出法律模型;Mercor和SkyRL把Qwen3.5-397B后训练成知识工作agent,脚本和权重都放了出来。

演讲的主体部分,是六个他认为最要紧的开放问题,按所需算力从低到高:

Harness专业化与设计。怎么设计环境和上下文管理,让模型在特定任务里高效工作。他的例子是Context Language Models,让模型直接管理自己的上下文,而不是靠结构化的harness命令。

Character训练。模型的人格和价值观怎么塑造。这个方向工业界已经基本重建完——OpenAI发布了面向agent的新Model Spec——但开源文献没跟上。Lambert说这是Trillium Labs最早投入的方向之一,测量性能极其困难。

开源RL环境。后训练没有预训练那样的数据公共资源,需要个人和机构投入才能解决。好的数据项目经常以主导作者把每条数据重新读一遍收尾。TMax是一个例子:造terminal-bench数据,把2B到27B的Qwen模型后训练成终端agent,做到SOTA。

RL中的推理效率。为什么没有论文清楚展示,怎么做才能像前沿实验室那样实现巨大的token效率提升?一个自然的想法:把更多RL算力花在最难的题上。GRPO每个prompt生成多个completion,全对没梯度,全错就放弃。NGU的做法是:如果全部completion都错,就以概率p继续扩采样。

GRPO vs NGU

RL缩放定律。怎么设计大规模后训练的实验方法。预训练有ladder的概念,RL没有对应的东西。

多智能体缩放定律。多个agent并行能换墙钟时间,也能提高硬任务的峰值性能。但哪些任务受益、模型多样性怎么用、要不要为多智能体改变训练方式,都还没答案。

幻灯片最后聊了RSI(递归自我改进)。Anthropic的R&D自动化指数显示,Claude主导的研发任务份额从2026年2月的不到1%涨到8月的26%,全自动还是零。Lambert说LLM加速产出,但几乎不加速理解。他自己已经几乎不写代码,但作为科学家比以往更忙。年轻研究者反而要靠低效的手工活建立理解。

Anthropic R&D自动化指数

有网友提到Ramez Naam当天发的一篇长文,说那些AI任务时长翻倍的经典图表,和OpenAI、Google内部真实数据差距巨大,且还在扩大。Lewis Tunstall评价这种分析能对冲X上那些吓人的图。

另一条回复指向"AI slop"——有网友说,希望看到更多关于模型怎么写出一手令人沮丧的文字的研究。Zhizhuo Zhou正在做相关benchmark。

Cornell的学生Anmol Kabra提了自己的论文PhantomEnvironments:用纯规则生成的虚构世界训练LLM做多跳搜索,不依赖LLM生成数据,零边际成本,训练出的agent能迁移到真实世界benchmark。这属于开源RL环境的一个解法雏形。

Lambert说演讲视频会重录一版。幻灯片全文在natolambert.com可以看。

发布时间: 2026-11-23 03:25