四个训练阶段，可能只是一个算法的特例

CMU、约翰霍普金斯和Aurora Innovation的一篇论文，把基础模型训练里那四个常见阶段放进了同一个算法。论文标题很直白：Training Foundation Models with a Single Algorithm。

对没有训练背景的读者，四个阶段可以粗略理解为：预训练让模型学会预测下一个词，中期训练继续用特定数据塑造能力，SFT用指令数据教模型回答问题，RL用奖励信号调整输出。通常它们被拆成不同阶段，数据、损失函数、训练器都可能换。

论文的切入点是，把适合的RL目标改写成对模型生成目标分布的最大似然拟合。这样一来，RL生成和静态数据共享一个损失函数和一个训练器。分阶段训练成为统一训练的一个特例。训练设计的问题随之变化：选哪些数据、按什么比例、在什么时候喂进去。

实验分几块。作者先从零训练一个124M模型，预训练语料20B token，中期训练语料510M token。最佳的统一训练运行在RL任务上超过分阶段训练，在模型没见过的更大谜题上也更好。那些运行把中期训练语料复用了2次和4次。固定计算预算下，统一训练在最小和较大预算上准确率最好，分阶段训练在中间预算领先。泛化结果几乎都偏向统一训练。

真实一点的测试用0.76B模型做数学RL，混入0%到5%的中期数据。数学准确率保持相近，保留能力提升。编码准确率随混合比例增长而下降，混合中途结束能恢复一部分。持续学习的结果更清楚：做完数学训练后，所有统一模型最终编码准确率都高于分阶段训练，尽管起点更低，5%混合最好。

有网友说，如果阶段真能合并，很多训练流水线图会短一截。还有网友盯住中间预算：分阶段训练在中间预算领先，说明统一训练的搜索有时会落到一个更差的点，而这个点本来就包含在搜索空间里。论文摘要没有解释中间区间发生了什么，这个问题比平均分更有意思。也有网友问，RL部分是否还需要奖励模型。论文把RL目标转成最大似然拟合，具体奖励设置还得看原文实现。

作者自己承认实验规模小，也没有找到跨场景普遍最优的混合或日程。这句话很关键。统一训练把工程问题从切阶段挪到选数据、配比例、定时间。方向有意思，但离重画大模型训练管线还有距离。

论文：https://arxiv.org/abs/2610.40564

DAIR.AI 论文页：https://academy.dair.ai/papers/training-foundation-models-with-a-single-algorithm-2610.40564