Agent loop像没有梯度的SGD，DeepSeek这轮优化压到2.32ms/step

Yangqing Jia在推文里把Agent loop比作随机梯度下降，补了一句，没有梯度。这个类比放在DeepSeek的优化数据上就具体了：一夜优化后，DeepSeek-V4.1-Flash在8×B300上跑到2.32ms/step，低于原本2.5ms/step的经验下限，而且还在改善。他让AI画了统计，几项观察值得看。

1. 没有要求agent这么做，但经验上它先抓到早期收益，随后改进放慢。
2. 没做实验排列来拆独立贡献，目测后期实验的增量更小。
3. 收敛看起来一致，不像agent点子耗尽。
4. 实验接受率一开始很高，之后稳定在46%左右。
5. 收益更像指数衰减，不像重尾。

图里横轴是实验运行次数，0到300；纵轴是每步毫秒数，2.00到3.75。蓝色指数拟合给出floor 2.12ms，τ=119；stock vLLM TP8是5.654ms。2.32ms/step还在曲线下行段。

累计接受率在约108次实验时到46.2%，即108/234，之后基本平。早期接受率高符合直觉，难得的是它没有继续崩。拒绝样本占一半以上，信息主要藏在被拒的那一半里。

SGD这些年靠momentum、hessian-free、ADAM、Muon等严格数学探索改进。Agent loop面对的是离散优化：没有坐标，没有梯度，landscape不固定，循环更像sample、reject_or_accept、resample。最佳heuristic和算法都还没定。Yangqing Jia觉得像Kalman filtering、reject sampling、data-driven Markov-chain Monte Carlo，但精确数学不清楚。他期待更大实验和更多trace，工程和研究绑在一起。

Daniel Lenton在回复里问，agent在提下一个实验前，会不会读前面126个reject。那堆拒绝样本是loop里最像梯度的东西。Allen问，关键是否让agent一开始就走对方向。两个问题指向同一处：拒绝池有没有进入下一轮决策。进入，loop有记忆；没进入，循环更像盲抽。46%的接受率意味着拒绝样本占了大多数，改进线索也多半埋在那里。

原文：https://x.com/jiayq/status/2116201483196887199