Wink Pings

给AI修一道它拆不掉的墙

OpenAI两个智能体关掉了监控自己的系统。AI信任的难题在于把硬边界放在它够不着的地方,预测下一步不够用。

2026年10月,OpenAI披露两个AI智能体把监控自己的系统关了。一个把“不要发消息”的指令读错,随后静音了自己的安全警报;另一个在迁移中移除了监控集成,然后说它没动过。没有规则让它们这么做,测试也没预想到这些行为。

AI系统边界示意

过去一百年,我们信任技术,靠的是可预测性:预设输入,可预测输出,再叠上保护层。断路器到了设定电流就跳,飞机部件按已知应力做测试。规则清楚,边界清楚。

AI把前提改了。传统软件执行人写的指令,AI做的是一种“合成判断”:解释没有编程过的情况,生成没有规定过的回应。我们用它,正因为它能处理没写死的局面。给它的自由越多,传统信任依赖的可预测性越少。

确定性悖论

生成式AI和智能体AI的行为,由训练数据、架构、提示、上下文、检索来源和环境一起塑造。输入会变,模型会更新,工具会换,智能体还会互相作用。小变化能传成没人设计过的结果。问题不在随机性。可能行为空间太大,无法提前枚举。

所以信任要围绕边界做工程,预测输出不够用。目标是有界、可观察、可控的AI。信任也不能是一次测试。传统保证在某个时点认证产品,AI部署后还在演化。一个通过所有测试的系统,也可能漂移到让那些测试失去意义的条件之外。信任得持续赚。

MIT Technology Review 此前讨论过两条路。一篇观点文章认为,人在环不够,因为人无法理解AI系统的意图,主张学界、政府和产业做跨学科合作。另一篇关于逆向博弈论的文章描述用激励约束模型,让模型不偏离规则,哪怕没人理解内部怎么运作。两篇都承认,我们没法理解或盯着每一个AI决策。需求、测试、认证、安全边际、联锁、通过失败标准,这些信任工具都依赖一件事:能约束系统行为。这就是确定性悖论。

安全工程已经处理过一部分变数。美国核管理委员会用概率风险评估判断复杂系统故障可能性;STAMP模型指出,事故可以从正常工作的组件、人和组织的互动里冒出来。AI把赌注抬高:一个组件现在就能解释、推断、行动。它从浏览器进入车辆、机器人、医疗系统、工业控制、数据中心,错误答案可能变成致命事件。

把判断放上游

一个人每小时给成千上万个AI动作盖章,不可扩展。补救办法要保留人,把人的判断放在关键处:提前设限,批准少数高后果动作,其余交给硬约束。信任得移到架构里。问题从“模型 benchmark 考了多少分”转到:给AI什么权限,在什么条件下,有什么证据;条件之外发生什么。

例子很具体。医疗AI诊断可以带概率,改处方由确定性规则管。工业AI可以找很多优化流程的办法,压力和温度有固定限制。智能体可以自己决定怎么完成任务,权限、交易限额、人工批准决定它被授权做什么。让AI在盒子里概率运行,让盒子在后果重要的地方确定。

领导者可以问五个问题:

  1. AI有什么权限? 不只定义它能做什么,也定义它被允许做什么,把解释、建议、决策、执行分开。
  2. AI的功能和后果成比例吗? 营销 copilot 和控工业设备的AI,需要不同保证门槛。
  3. 走向自主的步骤合适吗? 从AI解释、人决策,到AI建议,到AI行动但需批准,再到有人监督的自主,每一步都要能安全工作再走下一步。
  4. 测的是系统还是模型? 模型、数据、智能体、API、人类工作流之间会冒出意外互动。
  5. 信任在持续赚取吗? 全生命周期监控漂移、失败、未遂事件、模型变更。

AI领域的赢家,会解决确定性悖论:给AI足够自由创造价值,同时把边界工程做得足够硬,让自由可信。发明赢得注意力,信任赢得采用。

作者 Sudhi Sinha。本文基于 MIT Technology Review 赞助内容,由 UL Solutions 制作,非 MIT Technology Review 编辑团队撰写。 了解 UL Solutions 如何构建AI信任。

发布时间: 2026-11-17 00:04