Agent循环里的护栏,别都堆在最后
Frank Coyle在AI Engineer Code Summit Day 1讲了一个容易被忽略的位置问题:工具输入、工具输出、结果合理性,都该在agent loop的步骤之间检查。
Frank Coyle在AI Engineer Code Summit Day 1的分享,主题很具体:guardrails该放在agent loop的哪里。
很多团队把护栏做成外层过滤器,等模型生成完再审核。这个位置有用,但漏掉了agent最忙的一段路。模型决定调用工具,工具返回结果,模型再基于结果继续行动。错误常在这几步之间出现。
分享里给出的检查点可以拆成三层:调用工具前验证输入,拿到工具结果后检查输出,进入下一步前判断结果是否合理。三层听着像常识,工程里最容易省掉。输入验证能挡住参数错误和越权调用,输出检查能发现工具返回的脏数据,结果合理性判断能防止模型把无关信息当证据继续推理。
护栏位置比数量重要。检查点放错,后面加再多规则也只是补延迟。循环中间做验证,会增加每次工具调用的开销,也会让agent行为更难调试,需要按风险分级。
这次分享没有给一键方案。它给的是位置感:guardrails属于步骤之间,不是最后一道门。工具调用越顺,越要留意中间那段没人看的路。
发布时间: 2026-11-13 15:25