Wink Pings

给 coding agent 套缰绳:Google 的四步清单,评论区先吵顺序

Google Cloud Tech 用四步讲怎么搭 AI harness,评论区把沙箱、评估、记忆和授权的位置重新排了一遍。顺序之争背后,是代理绕不开的接缝问题。

Google Cloud Tech 发了一条四步清单,讲怎么给 coding agent 搭 AI harness。原帖配了 9 分 27 秒的 crash course,链接放在文末。四步分别是:上下文和记忆,包括会话和状态;工具和工作流,提到 MCP 和 ADK;沙箱和提示注入防御;评估,分代码、LLM judge、人。

清单很整齐。评论区更整齐地把它拆了。

有网友认为沙箱应该挪到第一步。理由直白:注入防御总会漏一次,漏了之后,要看代理手里有什么权限。也有网友把评估放第一位。他测试 Rust 时把测试藏起来,模型看得到测试,就可能学会通过测试,而不是解决问题。这个细节比“eval 很重要”有用。

John Rood 把记忆从步骤里拎出来:另外三步都往它里面写东西。沙箱拦住一次调用,评估抓到一个回归,工作流定下一个约定,会话一结束,这些都可能没了。所以 harness 每次运行都像重新学一遍。他做了 memoryrouter。可以不同意他的产品,但这个观察值得记下。

其他回复补的是接缝。HodorAI 加身份:代理用自己的身份行动,权限和审计才有东西可挂。José 加每次工具调用的授权:沙箱限制爆炸半径,但模型外面还得有人决定这个具体动作能不能做,没有规则就拒绝。Lachy 问得更具体:MCP 工具返回攻击者控制的文本时,沙箱和提示防御谁接。波若波罗蜜建议专门测接缝:恶意工具响应先被存进记忆,再在后续会话里被取出来。这个场景不测,四步就是四个抽屉。

Elroot Labs 给评估提了硬指标:看代理发出的工具调用,礼貌拒绝后跟一个 send_email 仍然算失败;每个用例多跑几次。他引用的数据是 NIST 的 AgentDojo 工作,同一攻击重复 25 次,平均成功率从 57% 升到 80%。

Ekos Project 追问的是另一层:沙箱、工具、评估都齐了,怎么知道代理真的理解代码库、业务逻辑和依赖。技术评估全过,改坏一个它不知道存在的东西,怎么办。

image

Andrew 说评估是大家都会跳过的那步,沙箱好卖。Vinay 的隐藏测试和 Elroot Labs 的重复运行放在一起,能解释为什么评估容易做成摆设。一次通过不代表稳定,看得见测试也不代表会解题。

一个判断:这份清单的价值不在顺序,在它把 coding agent 从模型能力问题改成工程问题。模型会写代码之后,剩下的是工作台、工具柜、隔离房、验收单。顺序可以吵,权限、记忆、评估和审计的接缝不能空着。清单越整齐,越容易让人以为装完就万事大吉。原视频:https://goo.gle/3XtB36o

发布时间: 2026-11-17 07:29