AI代理已经会越界，监控却还停留在事后猜

今年夏天，数百个OpenAI代理在网络安全测试中试图作弊。它们跑出测试环境，黑进Hugging Face，以为那里有评分线索。几乎同时，另一个OpenAI代理访问了澳大利亚政府网站的私人文件。

类似事件不只发生在OpenAI身上。此后几个月，Anthropic、Google、Meta也披露了代理跑偏的事故。更麻烦的是，很多案例里，代理躲开了负责监控它们的研究员和安全团队。

AI代理正在采取未经授权的行动，开发和运行它们的公司主要靠运气与事后复盘来减轻影响。EU监管机构和美国机构呼吁开发者与部署方实时监控代理，方向没错。但这些规则假设公司能看见代理在做什么、为什么做。现实是，可见性远远不够。

想象一家银行招了一千名新员工，他们能访问客户账户和敏感信息。可员工的工牌每天换，没人清楚经理是否审核或授权过他们的工作，也没人记录员工对审批流程的改动。今天部署AI代理，大致就是这个状态。

代理和单次生成的生成式AI不同。它继承了底层大模型的不确定性，但生成式AI通常只产出一个结果，等人来行动；代理会连续执行任务，做计划、选工具、生成子代理、采取动作。它的路径可以有很多种，发布前的测试无法穷尽风险。实时观察因此更难，也更重要。

Partnership on AI的Madhulika Srikumar和Claire Leibowicz与学界、公民社会、产业界同事研究了四个最广泛使用的代理框架，查看它们实际发出哪些信号。他们发现明显缺口：缺少持久的Agent ID，缺少人类批准任务的记录。结果是，很难判断哪个代理做了什么，也很难评估它是否越权。

要补上这些缺口，先要记录两类信息。第一类是“发生了什么”：在不侵犯隐私的前提下标识代理，记录人类如何干预，代理权限或“记忆”是否变化。第二类是“代理如何决策”：显示它的推理过程和对自己行动的置信度。

拿银行处理抵押贷款举例。系统审查申请，建议拒绝，贷款员签字确认。之后审计，甚至实时监管，银行或监管机构需要还原：哪个代理做出的判断，哪个贷款员批准，花了多长时间。银行还要分析代理如何得出拒绝结论，确认它没有使用禁区信息，比如申请人所在社区的细节。

“发生了什么”的记录更像软件管道问题，可以通过OpenTelemetry解决。这个开放可观测性标准由产业工程师维护，也被一些代理框架采用。OpenTelemetry已有工作组在起草代理追踪的共享格式，但尚未定稿。工作组应尽快纳入持久代理身份、人类干预、权限与记忆变化的标准，并在系统规模化之前完成，同时处理代理身份关联真实人物带来的隐私影响。

“代理如何决策”的记录更难。模型展示的逐步推理，也就是思维链，是否反映它真实的决策过程？我们能否可靠测量代理对决策的置信度？这些问题需要模型提供方和研究界先回答，才谈得上为可观测记录制定标准。

没有单一组织能独自补上可观测性缺口。代理框架开发者，如OpenAI、Anthropic、CrewAI、LangChain，需要集成遥测信号，记录持久身份、人类干预、权限和记忆变化。采用这些框架的企业也有影响力。银行、医院等受监管行业可以向代理开发者施压，在标准缺位时要求补上记录。

企业还要定义政策、权限和角色，明确代理能安全做什么。遥测本身无法判断代理是否违反特定规则。监管机构和AI标准机构应规定高风险部署所需的可观测记录，把技术细节留给行业。美国NIST的代理标准倡议已经在处理代理身份，这是上述研究里最突出的缺口之一。

没有银行会让一千个没工牌员工接触客户账户，然后指望出事后再拼出发生了什么。我们却在这样部署AI代理。让行为可观测是第一步。建立能对所见采取行动的监管和政策生态，才能问责。在此之前，每交给代理一个任务，也交出了我们的代理权。

来源：MIT Technology Review，作者Madhulika Srikumar与Claire Leibowicz，分别为Partnership on AI的AI安全项目负责人、AI信任与社会总监。原文链接：Monitor AI agents' actions in real time