RL 采样失配的表格很全，回复区却把矛头指向 serving

Nathan Lambert 在 X 上翻 score-centering RL 论文，准备给书补笔记，结果在附录看到一张表。表叫 Table 1，把基于 importance sampling 的 train-inference mismatch 修正方法排成网格。

这张表信息密度很高。Level 决定统计量按 token 还是按 sequence 算。Stat 是 ratio 或 tv。Low 和 High 给出区间，Outside 说明超出区间后是 clip 还是 drop。Sign 说明修正哪些 advantage 符号：both 对每个 token 都加权，neg 只加权负 advantage，ppo 用 PPO 的悲观 clip，只在会让目标增大的方向绑定。

表里排了 Naive IS、TIS、CISPQ、MIS 也就是 IcePop、PPO、DAPO、GSPO、TOPR、DPPO。几个细节值得看：PPO 和 DAPO 都在 token 级用 ratio，区间分别是 0.8 到 1.2 和 0.8 到 1.28，超出 drop，Sign 是 ppo，并带 dual clipping at 3。GSPO 跳到 sequence 级，ratio 区间是 0.9997 到 1.0004，超出 drop。TOPR 是 sequence 级，区间 0 到 1.0，超出 clip，只修正负 advantage。DPPO 用 tv，区间 0 到 0.2，超出 drop，不做 importance-ratio clipping。

Nathan 的判断是，自 GRPO 起飞后，这些方法成了 RL 算法研究的最大焦点之一。这个表格适合当索引，能快速看出各家在 token 和 sequence、clip 和 drop、修正符号上的取舍。

回复区没有停在算法层。Mohammad Vazin 说，一半的 mismatch 是 serving 问题被包装成 RL 理论。rollout engines 和 trainer 用的 kernel 不同，batch-dependent reductions 和累加顺序也不同，即使权重一样，logprobs 也会漂移。他的建议很直接：先把 deterministic rollout kernels 修好，再谈 IS 技巧。

Renan Santos 把表里的方法分成两类：TIS 式 token 级截断，直接 clip ratio；以及把 sampler 和 trainer logprobs 偏离太大的 token 或序列 mask 掉。clipping 保留每个 token 的有偏信号，masking 丢数据但更接近 on-policy。这个取舍比表格里的 clip 和 drop 更贴近训练现场。

Max Petrusenko 补了一条工程前提：importance weights 只有在逐 token 记录 sampler 和 trainer 概率差时才有用。否则 mismatch 会藏进 reward noise，权重看起来在修正，实际没有可追踪的抓手。Saksham Jain 解释了 GSPO 那组看起来像 typo 的数值：0.9997 到 1.0004 对比 PPO 的 0.8 到 1.2，是因为 GSPO 在整条 response 上做几何平均，统计量贴近 1 不奇怪。

Cameron R. Wolfe 在回复里贴了一篇相关博客：Off-Policy Drift in LLM RL。Gangadhar Payyavula 则提到 score centering 在他训练 decision models 时提升明显，看到 evals 结果有点意外。

这张表容易被当成算法选型清单，但它只覆盖 IS 修正这一层。若 rollout 和 trainer 的 logprobs 本身在漂移，权重修正是在给系统噪声做包装。IS 技巧很优雅，前提是概率差被记下来，kernel 和 reduction 的差异被控制住。回复区把这句话说得很清楚：先修 serving，再谈算法。