Wink Pings

先别让Agent动手:IBM在工具调用前加了一道门

IBM的JevAct不改模型和工具,只在工具调用前做策略检查。Telecom上八个Agent三跑成功率平均提升16.9个点,Opus 4.6从39.5%到80.7%,但Airline结果混合,限制也写得很清楚。

IBM发了一篇关于Agent决策门的论文。做法不复杂:在Agent和工具之间加一道运行时检查,模型和工具都不改。

LLM Agent决策门论文图表,展示GPT-4.1、Opus 4.6、gpt-oss-120b、Qwen3.8-27B等在Airline、Telecom和BFCL上的ReAct与JevAct得分对比

这套东西叫JevAct。它先让LLM把领域策略转成可执行的代码检查和是/否问题。每次选中的工具调用真正执行前,代码检查工具记录里的事实,Jev类判定模型回答对话上下文相关的问题。判定模型只做预填充,输出概率判断,不生成句子。调用没过检查,就带着反馈退回Agent,让它在有限范围内改。

结果里最扎眼的是τ²-bench Telecom。Opus 4.6三次运行的成功率从39.5%升到80.7%。Telecom场景下八个Agent三次运行成功率平均提升16.9个点。BFCL上九个Agent三次运行成功率都有提升,至少一次成功的结果则 mixed。Airline的变化小,且因Agent而异。论文的意思是,增益来自harness。

评论区有人问,策略转成代码后,谁来检查这段代码。也有人问每次工具调用都过门,延迟增加多少,素材没给数字。还有网友判断,Airline提升有限、Telecom提升明显,说明门的效果取决于领域策略能不能干净地编译成检查,Telecom的策略大概更接近规则形状。这个解释合理,但仍是网友判断,不是论文结论。

论文自己也写了限制。Telecom的增益在换用gpt-oss-120b用户模拟器后没有出现。260条标注的开发集写调用里,101条错误调用中有42条没有触发任何编译出的问题。门有盲区,而且盲区来自策略到检查的编译质量。

另一个值得看的视角来自评论区:改一条策略规则,重新生成门,回放同一批工具轨迹,看哪些决策翻转。这样能发现门是不是比策略本身更严格。对做Agent系统的人来说,这比只看一次基准分数更接近工程现场。

论文链接:https://arxiv.org/abs/2610.38620

Chat with Paper:https://academy.dair.ai/papers/think-before-you-act-decision-gate-for-llm-agents-2610.38620

发布时间: 2026-11-01 10:40