五个模型当裁判,全被markdown带偏了
同一份答案,一份用markdown排版,一份用纯文本。五个模型当裁判,全选了markdown。有个模型甚至指出了错误事实,还是把票投给了排版好看的那份。
同一份答案,换个排版,大模型的判断就变了。
有人做了个测试,想搞清楚一件事:让大模型当裁判比较两个答案时,它到底在看内容,还是在看排版。
方法很直接。50对答案,内容完全一样,一份用markdown写,一份用纯文本段落。请5个模型来判断哪个更好。这5个裁判是Claude Haiku 5.5、GPT-6 Luna、DeepSeek V4.1 Flash、Qwen3.8 Flash和Gemini 3.5 Flash-Lite。总共跑了1880次调用。
结果整齐得有点难看:五个模型全都偏好markdown。选markdown的比例在70%到81%之间,纯文本只有15%到30%。作者还筛出了24对两个答案都完整的样本,排除掉被截断的干扰,markdown仍然以64%对31%胜出。
这跟模型大小没关系。原论文里Gemini 2.5 Pro和Claude Sonnet 4对markdown的偏好更强。越大的模型,越吃这套。
更麻烦的是翻车案例。作者在markdown版本的答案里埋了一个错误事实。四个会推理的模型都没上当。Gemini 3.5 Flash-Lite在20次里有6次选了错误答案,三次运行结果一致。多数情况下它甚至指出了那个错误,然后还是把票投给了markdown版本。它看见了问题,但排版赢了。
那在prompt里写“忽略格式”管用吗?部分管用。五个模型一共给出240个裁决,其中180个是平局。剩下60个里有55次markdown赢,5次纯文本赢。平局多了,但偏好还在。
让模型先逐步推理再比较,效果更好一些。要求裁判先单独评估每个答案,再做对比。四个推理模型给出192个裁决,大部分也是平局。有明确立场的40个里,markdown赢28次,纯文本赢12次。偏向还在,但小了很多。
作者的建议是:如果用LLM judge比较不同prompt版本的输出,选会推理的模型,让它先分析每个答案再下结论,同时告诉它忽略格式。平局要单独统计,因为“忽略格式”这条指令会把大多数裁决变成平局。
评论区有人补了一句,说这在客户项目里也常见。markdown让东西看起来更结构化、更“完成”,哪怕内容一模一样。用LLM比较草稿时,不把格式剥掉,评的就是呈现而不是实质。
原文作者回复说,写prompt的时候,通常不会想这么深。

完整报告:talhaanwar.com/blog/llm-as-a-judge-bias,代码和原始数据在GitHub。
发布时间: 2026-11-17 01:05