把 Yes 和 No 调换位置，GPT 在 132 次里改主意 12 次

如果你用大模型做评判，同一个问题把选项顺序调换一下再问一遍。

Reddit 用户 nymanmedia 在 r/PromptEngineering 发了个测试：通过 NM Signals 跑了 44 个道德困境，每个困境用了三种措辞，一共 132 对。每对里情境和措辞完全相同，只改 Yes 和 No 的先后顺序。

结果是 12 对翻转，分布在 7 个困境上。12 次翻转，全部选了排在前面的那个选项。

这个整齐程度比 12 这个数字更值得看一眼。模型没有在两种顺序下各自权衡一遍，它更像是看到第一个选项就顺手接了。

模型对排在前面选项的偏好，在选择题、打分、A/B 评判里都出现过，通常叫位置偏置。平时不太显眼，一旦你把它的输出当成分数用，它就开始影响结果。

跟帖里几种处理思路：

Fun-Arugula-5371 说这是典型的偷懒捷径，并没有真的在评估问题本身。他做创意简报的 A/B 测试时会打乱两次顺序，两次结果不一致就直接丢掉那条，不花力气去修。他的判断是 12/132 不算高，但足够毁掉一个没做这项检查的评分系统。

Ok-Library1020 的关注点在另一头：12 次翻转全都倒向第一个选项，那这些题本来可能就接近五五开，翻转可以读成模型在表达不确定，不必硬逼出一个是或否。

Inevitable-Good219 提的是统计口径问题。翻转率该按困境拆开看，12 次全挤在 7 个困境里，聚合后的单个数字把这些不稳定的题藏住了。他建议把这 7 个困境每种顺序各跑两次，看翻转是否还稳定出现。

nymanmedia 自己在帖子里给的办法很简单：同一个案例跑两种选项顺序，比对模型实际选了什么，有分歧的先人工看，再决定要不要拿来当分数。分歧本身就是一个信号，说明结果取决于选项怎么摆。

做评判类 prompt 的话，这一步成本很低，不加的话，你以为在测模型，其实在测排版。