评分表能给满分，但答案可以是残缺的

假设你有一个负责打分的 LLM，还有一张评分表。在动手调模型之前，先做一件事：拿一份故意写残的答案喂进去，看评分表能不能把它拦下来。

一个很小的例子。

提供的材料：“Entries close Friday at 17:00 UTC. Late entries are not accepted.”

任务：“用少于 30 个词说明截止时间、时区和迟交政策。”

一张有缺陷的评分表，每条一分：

• 少于 30 个词。
• 包含 Friday 和 17:00。
• 包含 UTC。
• 是一个完整句子。

答案 A：“Entries close Friday at 17:00 UTC; late entries are not accepted.”

答案 B：“Entries close Friday at 17:00 UTC.”

B 少了迟交政策，但四条标准它全过。原因很直接：评分表里根本没有一条标准在检查这件事。哪怕判分模型百分之百忠实地执行了这四条，它也没法从一个没被定义的分里扣分。

修补的方法不复杂。为迟交政策单独加一条标准，并标记为整体通过的必要条件。同时保留各条单独得分，这样两种失败不会混在一起：格式没写好，和政策被漏掉，看起来应该不一样。

这个检查可以复用到自己的评分表上：

• 把任务里每一条明确要求，都对应到检查它的那条标准上。
• 从一份人工确认过的完整答案出发，每次只删掉或改坏一条要求，其余部分不动。
• 记下每份改动后的答案应该在哪条标准上失败，然后把这些成对的样本跑一遍判分器。凡是改坏之后仍然整体通过的，逐个看。

它能帮你分清两类问题。评分表缺一条标准，改表；标准在，但判分器视而不见，那是判分环节要去查的事。两者的处理方式完全不同。

原作者也说明了边界：这些是提出的检查方法，不是模型测试结果。上面那个例子是刻意做简单的，说明不了真实判分器多久会失败一次。动机是评分表的有效性，跟刷榜无关。

相关的讨论可以看 RIFT，它研究评分表自身的缺陷，包括缺失的标准和失准的权重，地址在 https://arxiv.org/html/2604.01375。它用的信号来自模拟的专家小组，这替代不了人亲自去看你的任务到底要求什么。

评分表写得对不对，跟模型有多聪明关系不大。先怀疑表，再怀疑模型。