让 AI 审 AI 的回复,最怕它变成盖章机
Ajitesh Shukla 用 LangChain 搭了个采购到付款 agent,起草和审批拆成两个模型。机制很硬,但评论区已经有人踩过 reviewer 被上下文带跑的坑。
让 AI agent 给自己的作业打分,短期看效率高,长期看是审计灾难。
Ajitesh Shukla 在 X 上分享了一个用 LangChain 搭的采购到付款(P2P)agent:起草回复交给一个 agent,审批交给另一个 reviewer subagent。设计里没有让起草者顺便自检,而是把评审拆出去。
它的机制很具体:
- reviewer 跑在不同模型上,并且看不到起草 agent 的推理过程;
- 系统每次都强制调用 reviewer,评审不能被跳过,也不能被解释掉;
- reviewer 的结论单独记录,方便审计;
- 新增业务类别时,加新的 review skills,起草 agent 保持不变。
这套拆法解决的是审批链里的老问题:起草者容易替自己找理由。换模型、隔离推理、强制调用,都是让评审别被起草过程带着走。评论里有人认可这一点,说不同模型加上看不到推理,能让评审保持诚实;也有人提到独立模型评审能形成干净的审计轨迹,对控制偏差有帮助。
但评论区更值得看的是翻车风险。Jess 问 reviewer 会不会开始橡皮图章,还是真的会反驳。Timilla 给了更具体的经验:他的 reviewer subagent 只要读到主线程,就完全折叠;把 trace 剥掉后,拒绝率飙升。他还追问原始账本行怎么格式化。
这说明独立评审的关键不在名字,在输入边界。评审器看到太多起草上下文,容易被说服,最后变成盖章机;只给它必要事实和明确标准,才可能真的挑错。强制调用和单独日志是底线,信息隔离决定评审质量。
对做 agent 工作流的人,这个案例可以直接拿去对照:谁起草,谁审批,审批者能看到什么,调用能不能被跳过,结论记在哪。对普通用户也一样,AI 处理采购、退款、客服回复这类流程,最怕的不是它写得不顺,是没人真正复核。
原推文:Ajitesh Shukla
发布时间: 2026-11-16 00:25