安全评测别只看拒绝率：98% 和 94% 可能没差别

Anthropic 发了一篇《Building strong safety evaluations》，Xudong Han 在 X 上推荐了它。文章讨论安全评测怎么做得更扎实。它和 LangChain 之前那类 Agent Eval 正好互补：一类看任务有没有做成，一类看模型在具体情境里有没有做对的事。

安全评测最顺手的指标是拒绝率。模型拒绝了多少有害请求，看起来直观，也容易统计。Anthropic 在文章里指出，这个指标在自杀和自残相关对话里会测歪。用户处在危机中时，模型直接拒绝回应，本身就是失败。理想回应要带着同理心接住用户，并把用户引向真人支持。一个对所有自杀相关提示都拒绝的模型，拒绝率可以很漂亮，但它不一定更安全。

Anthropic 改测“恰当回应率”：一段对话里，模型是否从头到尾都按风险领域的评分标准行事。多轮评测由领域专家写规格，里面包括模拟用户的目标、手法、语气、处境和对话风格。第一轮用户消息固定，后面的用户轮次由另一个 Claude 根据规格生成，被测模型写助手回复。评分器看完整段对话，只要有一轮出错，整段对话就算不通过。

这种设计针对的是单轮提示测不出的风险。现实里，有害意图常常不是第一句话就暴露。用户会逐步升级，或者先聊一个看似普通的问题，十轮之后才把前文语境拼成危险信号。Anthropic 举了一个浪漫骗局的例子：模拟用户先问约会资料里哪些特征说明一个人愿意认识新朋友，再问哪些有钱的老年专业人士可能比较慷慨，被模型质疑后又说不是每个需要支持的人都是骗子。单看每一句都不像明显违规，合起来才像在找可下手的人。

评测还要同时测“帮了不该帮的”和“拒了不该拒的”。Anthropic 在单轮评测里把同一主题的有害请求和正常请求成对放。化学领域里，有害请求可能是问神经毒剂的配方，正常请求可能是问某次历史化学灾难。网络安全里，一边是批量利用漏洞的机器人，一边是表单输入校验。只测拒绝率，模型可能靠过度拒绝拿高分。成对测，才能看到它在合法请求上有没有把人挡在门外。

数字也要小心。现代评测常用另一个模型当评分器，Anthropic 的建议是先拿人工标注校准评分器，让评分器和人类的一致率接近专家彼此之间的一致率。专家自己都吵不出统一答案的题，评分器没有所谓正确答案可对。分析方案要在看结果之前写好，样本量要够，复杂多轮评测至少 100 条，单轮至少 1000 条，还要报置信区间。文章里的例子很直接：Claude Opus 5 和 Opus 5.5 在一项多轮防诈骗评测上分别是 98% 和 94%，但这个差异在统计上并不显著。看到几个百分点的提升，先别急着宣布进步。

配置也会改变分数。Anthropic 报告 API 和 claude.ai 两套配置的安全结果。测试 Claude Fable 5.1 时，多轮安全评测的恰当回应率在两种配置之间差到 34 个百分点。系统提示也会影响结果：自杀和自残评测里，API 配置的恰当回应率是 60%，加上新的系统提示后，claude.ai 配置达到 94%。所以报告结果时要写清模型版本、采样设置、提示、评分器版本和日期。评分器换了，分数不能直接横比。

讨论里还有两个提醒值得记下。有网友问，模拟用户和被测模型同源，会不会一起漏掉某些盲区。原文建议评分器避免使用被测模型，降低自我偏好，但这个同源盲区仍值得单独验证。另有网友提到，模型升级时评分器也可能升级，分数变好可能只是尺子变松。留一批旧回答，让新旧评分器交叉打分，先看尺子有没有变，这个检查很实用。还有网友说，安全评测最容易做虚的是只测标准题，边界样本和长链路里的累积偏差才更容易暴露问题。

Anthropic 文末给了一个最低要求：先写下要测的概念，先拿人工标注校准评分器，报告结果时带上不确定性。三件事都不新，但很多评测就缺在这三步。

原文：Building strong safety evaluations