主动式Agent:判断错了,没人知道
主动式Agent和普通Agent只差一步:收到触发后先判断要不要做,什么时候做,做到哪一步。但这一步没人盯着,错了也没人知道。评测的关键,是让每一次“不动作”都可见。
Muse、Grok Bot 这类主动式 Agent,最近成了 AI 圈的热门话题。它们不用你开口,自己盯着日历、邮箱、项目进度,觉得有事就来找你。
和普通 Agent 的区别,其实只有一步。
普通 Agent 收到触发就执行。主动式 Agent 收到触发,先判断:这件事值不值得做、现在做还是等一会儿、做到哪一步。比如航班延误两小时,它可以直接提醒你、等航司改签、帮你找新航班,甚至直接订好。一个 email 进来,触发是同一个,判断的过程决定了它是帮手还是骚扰。
这一步判断,是个没人看的环节。
普通 Agent 每次回答都有人盯着,答错了马上被发现。主动式 Agent 大部分时候判断“不用管”,然后悄悄过去,判断错了也没人知道。这是评测它最难的地方:你没法只通过“它做了什么”来评价它,因为“什么都不做”才是它的大多数输出。
Langfuse 的 Annabell 写了一篇长文,专门讲这个。她给的解法是:把判断本身记下来。
对每个到达决策步骤的事件,记录四件事:
- 什么事件触发了它
- 它从记忆和关联应用里调了哪些上下文
- 最终决定:行动、等待、还是保持沉默
- 理由是什么
关键是,那些“什么都不做”的运行记录也要留。一个不行动的决定不会产生任何输出,不主动放进审查队列,就永远没人看得到。沉默也是结果,而且经常是正确的结果——前提是你能回头检查它。
评测的角度也可以换一下。
每一次判断,其实就是在回答一个问题:这件事该不该出手。这本质上是个分类任务。分两头看:该出手时有没有漏掉,不该出手时有没有乱动。阈值也别设成一个。随手能忽略的提醒可以宽松一点,买东西这种花钱又难撤回的操作,门槛得严格得多。原文举了个例子:有用户报告 Instinct 在购物遇到登录墙时,重置了用户的密码——而不是询问用户。过度行动不只是烦人,还有安全后果。
数据集也得换思路。普通聊天 Agent 的评测集是“问题 + 标准答案”。主动式 Agent 的评测集是“时刻 + 期望决策”:
- 输入:触发事件 + 用户记忆和指令的快照。没有这个快照没法判断——同一个航班延误,对一个人该沉默,对另一个人该改签
- 期望输出:行动、等待还是沉默,做到哪一步,加一句简短理由
样本来源可以是用户反馈(忽略、撤销、“你怎么没告诉我”)、随机采样(包括什么都没发生的运行)、以及同一触发不同用户的配对。
判断错了的时候,要分清楚是判断的问题还是记忆的问题——记忆错了,判断也会跟着错。
主动式 Agent 的能力、工具、记忆、触发,这些部件人人都有。真正决定好坏的是那一个函数:这个时刻值不值得行动,什么时候行动,做到哪一步。而这个函数运行在没人看见的地方。让它可见,它才可测、可改。
有网友总结得更直白:主动式 Agent 好不好用,就一句话——该打扰的时候打扰,不该打扰的时候别打扰。
发布时间: 2026-11-20 19:33