Transformer循环32次，Meta发现收益会到顶再反转

Meta FAIR和MIT放出一篇论文，专门回答一个问题：Transformer该怎么循环，才不白花算力。

论文标题是 How to Loop Your Transformer: Loop Scaling, Specialization, and Parallel Inference，arXiv编号2610.40325。核心做法不新：复用同一组权重，把同样的Transformer或其中一部分反复应用到token表示上，让模型变深，但不增加参数量。

真正值得看的是实验条件。作者从零训练dense decoder-only模型，最大到1B参数，训练token到155B，FLOPs到1.07×10^21，循环次数最多32次。这个规模不算前线大模型，但足够把几个工程约束拆开看。

结论先摆出来。

固定参数预算时，循环整个Transformer通常质量最强。训练FLOPs受限时，循环中间一段block回报更好。循环次数也不是越多越好，增益会饱和、反转，甚至变得不稳定。论文写得很直白，增加循环并非一致有益。

这也解释了为什么有些循环论文偏爱全栈，有些只动中间层。参数和算力谁先卡住，答案会变。

另一个细节是适配器。作者比较了严格权重共享和给每个循环加一小段低秩适配器，让每一圈学到略有不同的变换。循环次数少时，这些适配器收益有限；权重被复用更多次后，适配器的作用变得稳定。

并行推理部分更有意思。普通循环会让解码变慢，延迟大致随循环次数增长。Parallel Looped Transformers试图在相邻token位置之间传hidden states，让循环阶段并发跑。但作者发现，原式在其实验里不能稳定保留普通循环的质量增益，循环加多了质量还可能退化。

他们的修正方式不花哨：保留当前token表示，把它和循环状态分别归一化，再控制组合方式。这样改完，PLT在不同模型规模和训练预算下才恢复出较强性能。

评论区的问题比摘要更接近工程现场。有网友问，额外循环对推理密集型任务帮助更大，还是普遍有效；也有人问1B模型下32次循环何时进入收益递减。推文摘要没有展开这些答案，得翻正文和附录。arXiv页面显示论文149页含附录，信息量不小。

还有网友说，循环参数让人想到更早的循环神经网络。这个联想不奇怪。循环Transformer省的是参数，花的是训练算力和推理延迟。它像一种资源置换，不是免费加深。

论文链接：https://arxiv.org/abs/2610.40325