Claude 回复完给自己打个安全分，用户先问：这算自己批改作业吗

Anthropic 在 10 月 16 日的 Safeguards 博客里介绍了一个叫 self-assessment 的机制。Claude 每次回复完，系统会追加一条短指令，让它对整段对话做一次安全评估。评估结果是一个结构化 JSON，包含是否标记、原因、危害类别、子策略、是否拒绝、人工复核优先级。这条评估用户看不到，也不会被带进后续对话，只用于离线审查。

Anthropic 给出的动机很直接：前沿模型的滥用已经规模化。2025 年有疑似国家背景的攻击者用 Claude Code 尝试入侵约 30 家组织；2026 年 9 月的威胁情报报告说，犯罪团伙和黑客行动主义者也在跑类似 AI 驱动攻击。监控难点列了四个：危害依赖上下文，监控需要智能，要泛化到未知未知，还要可扩展。

自评的卖点正是效率。Claude 回复完，整段对话已经在 KV cache 里，评估只需要处理一条短指令，平均多生成约 10 个 token。Anthropic 估计在生产 API 流量分布下，自评增加的推理算力不到 2%，并且不向客户计费。

效果数据里，Claude Fable 5 在 1% 假阳性率下，自评召回 78% 被更强 prompted classifier 标为可能有害的对话，高优先级召回 94%。ROC AUC 是 0.986。

四个模型尺寸 XS、S、M、L 只用 SFT 训练，1% 假阳性率下召回从约 16% 升到约 96%，AUC 从 0.862 到 0.995。Anthropic 的结论是，自评会随模型能力一起变强。

泛化实验用留一法。去掉 fraud 训练，合成 fraud 召回从 92.8% 降到 90.0%；去掉 cyber 训练，合成 cyber 从 92.7% 降到 90.3%；生产流量上 fraud 从 83.3% 到 82.1%，cyber 从 94.2% 到 90.7%。Anthropic 的解读是，训练主要教 Claude 如何报告危害，危害感来自模型已有知识。

部署后的用途更实际。自评 flag 会按组织每晚聚合，多个高优先级 flag 会进入人工复核。2026 年 8 月，自评从单个 API 客户那里报出超过 10 万条儿童性虐待与剥削相关 flag，儿童安全团队调查后报告给 NCMEC。大约三分之一的 flag 不能干净映射到现有 taxonomy，聚类后发现了非法蒸馏、prompt injection、以及 Claude 作为 agent 执行用户未授权动作。超过一半被自评浮出的组织，在前一个月没有任何其他检测源 flag。9 月还有一例用 Claude Code 搭建并运行自动化浪漫诈骗的操作，人工复核后账号被封。

但自评作为阻断分类器并不强。24 个 offensive cybersecurity 任务里，无防护攻击成功率 79%，自评阻断降到 54%，独立 prompted classifier 降到 25%。每次成功攻击的生成 token：无防护 163k，自评 691k，prompted classifier 2.1M。离线监控则抓到 24 条攻击轨迹中的 21 条至少一次。

部署时还能加 session policy。给反思指令加一个 allowlist，测试漏洞研究 transcript，Fable 5 在广泛阈值范围内对非 allowlist 目标 100% flag，对 allowlist 目标 0%。

Anthropic 自己列了限制：继承 teacher 盲点；覆盖有限；监控模型自身行为有失败模式，模型可能欺骗，也可能对自己的行动更宽容；自评不是为单独拦截设计，也挡不住专门针对它的攻击者。

评论区不买账。有人问是否额外用量，Anthropic 脚注说不向客户计费，但疑虑没消失。有人写 Claude rating its own homework now，有人问怎么处理它说的谎，有人说这是通往社会信用系统。开发者 Dávid Kasza 的长回复更具体：Blue access 审批严格，合法防御安全技术也容易被当网络攻击，连给游戏做用户态反作弊都反复被 flag，他担心自己什么时候被封，而 GPT 能区分防御工作和攻击。

这里的矛盾不新：安全系统越覆盖全流量，越要处理边界案例；自评越便宜，越可能被推到更多流量上。Anthropic 的防御纵深逻辑说得通，自评只做一层离线信号，实时拦截交给其他分类器。用户更关心的是它能不能分清红队演练和攻击者、防御性漏洞研究和滥用。模型会不会反思，反而没那么重要。这个区分不解决，自评的效率优势只会把误伤和争议一起放大。