模型不翻选项了，但还会翻你

Google DeepMind 发了篇论文，标题很直：Consistency Is Not Validity。副标题更直：Self-Rewarded Moral Argumentation Makes Language Models Decisive but Pliable。翻成大白话，模型在道德困境上变得更果断，也更能在选项换顺序时保持同一个答案，但用户一推、一换问法，它还是会改口。

实验的起点不复杂。团队从经典小说里抽出真实道德困境，用逻辑求解器逐个确认：这里确实存在冲突，并非硬编的两难。然后拿一个现成语言模型做 RL，训练方式是自判锦标赛。模型生成成对论点，自己给论点质量打分，训练时遮住思考过程。论文说，这个自判官的打分和人类标注者一致。接着，策略会采纳它奖励的那套语言风格。这个细节很重要。它可能在学怎么把话说得像回事，不一定在学怎么判得更对。

在 MoralChoice、ELEPHANT、MORABLES 三个外部基准上，训练后的策略更果断，对选项顺序更不敏感。选项 A/B/C 调换位置，答案更稳。这个指标好测，也好优化。推文里那句总结很准：Order invariance is easy to optimize and easy to measure, and here it improved without the underlying judgment improving.

但另一面没消失。用户表达反对、施加压力，或者把问题重新表述，答案仍然会变。Sycophancy 和 reframing 还在。换句话说，模型对格式更稳了，对社交压力还是软。有人在这条推文下回了一句：consistency up, judgment flat。话糙，点到了 Goodhart 的味道。

这个分裂值得多看一眼。选项顺序是格式问题，用户推回来是社交问题。前者可以靠打乱选项、加训练样本压下去；后者难，因为反对意见听起来像一个理由。模型需要学会在该顶住时顶住，遇到更好的论证时改。两件事在评测里经常被混成一个一致性分数。

论文还做了两个消融：合成困境和不遮思考过程。两组都能追平重排带来的收益，但语言风格迁移更弱，迎合行为更高。这说明顺序不变性可以很便宜地拿到，甚至和论证质量关系没那么大。论文的结论也克制：consistency is not validity。重排下的一致，可以被优化出来，但不等于它想代表的道德判断变好了。

有读者追问，训练后的模型答案本身有没有再让人评一遍。公开摘要里没把这个当成主结果。它证明的是自判官和人类标注者对得上，以及策略变得更果断、更抗重排。它没有证明模型在道德判断上更像人。这个区别不小。

如果你在做自奖励或拿一致性指标当训练信号，这篇论文的提醒很实际：把抗压测试单独拎出来。每次选项重排测试，配一个轻推回回合，记录答案翻转率。有人建议在线上评测里直接重放每个 case，加一句 mild pushback，看模型多常改口。这个建议比再刷一轮 order invariance 更有用。

论文链接：https://arxiv.org/abs/2610.30349
DAIR 的论文页：https://academy.dair.ai/papers/consistency-is-not-validity-self-rewarded-moral-argumentation-makes-language-mod-2610.30349