Amazon公开了后训练配方：八个阶段，没有秘密老师

Amazon的研究团队把一套后训练流程完整写成了论文，名字叫Rufus-Air: An Open LLM Post-Training Recipe。Rufus是Amazon购物助手在用的名字，拿它命名训练配方，落地意图挺明显。

先说清楚后训练是什么。预训练让模型学会说话，后训练决定它会不会办事。前者喂海量文本，后者喂任务、给奖励、调行为。业内公开的往往只有结果，比如某个模型在榜单上刷了多少分，具体怎么训的，一句“我们做了精细的后训练”就带过去了。这份论文反过来，把阶段顺序、数据构成、奖励设计、基础设施、每个阶段的结果都列了出来。

底座是GLM-4.5-Air-Base，106B总参数、12B激活参数的MoE。总参数是仓库里有多少货，激活参数是每次干活实际调多少。MoE的好处就在这，参数堆得大，单次推理的开销按激活的那部分算。

八个阶段串着跑：

1. SFT，监督微调。拿现成的问答对教模型基本格式和说话方式。
2. Reasoning RL，推理强化学习。练数学、逻辑这类有标准答案的题。
3. Coding RL，代码强化学习。跑测试用例，过了给分。
4. Instruction-Following RL，指令遵循。练“让你写三段就别写五段”。
5. General Agent，通用智能体。学调工具、多步执行。
6. Coding Agent，代码智能体。在真实仓库里改代码、跑测试。
7. Search Agent，搜索智能体。练检索、筛选、把信息拼成答案。
8. RLHF，人类偏好对齐。让输出更像人想要的样子。

这条线有个清晰的设计：奖励从硬到软。前几个阶段用的是可验证奖励，规则判分、单元测试跑通没跑通，对错是确定的。越往后任务越难用规则判，就换成judge模型或奖励模型打分，靠软性判断。先学会做对，再学会做好。顺序颠倒会怎样，论文没明说，但可以想见：模型还没学会把代码跑通，就让它对齐人类偏好，等于教一个不会写字的人练书法。

工程量也写得细。用了Slime、Megatron-LM、SGLang这些开源组件，做适配而不是重造。数据大部分按发布状态直接用，没有新增人工标注，也没有内部蒸馏教师模型。

最后这句是关键。很多后训练配方卡在这：我们有一个更强的老师模型，蒸馏一下，效果就上来了。这话说出来等于没说，别人没有那个老师，复现不了。Amazon这份把这条路堵死了，用公开数据和开源工具硬跑，跑出来的东西才谈得上可复现。

有人看到八阶段第一反应是费卡。确实，全流程跑一轮，卡时不会少。但论文的目标写得很清楚，让其他团队按阶段复现或复用部分内容。意思是你不必从头到尾跑一遍，缺代码能力的可以直接看第3、6阶段，缺工具调用经验的看第5阶段。配方被拆成八个可以单独下手的模块，这对算力有限的团队反而是个口子。

还有个值得留意的地方：这份配方最能说明问题的，可能不是它用了什么，而是它没用什么。没有新标注、没有蒸馏、没有闭源组件，靠一套按顺序排好的阶段和奖励设计把能力推上去。如果这条路能稳定走通，后训练的门槛会比想象中低一些。

论文：https://arxiv.org/abs/2609.29421

Hugging Face Papers：https://huggingface.co/papers/2609.29421

如果你只挑其中一个阶段复现，会挑哪个？