Wink Pings

Uber 让 Agent 自己验收自己:办法是把它塞进真实的 staging 环境跑一遍

Agent 写的代码怎么验证?Uber 的做法不是让 agent 自己审自己,而是把它的分支部署进 SLATE 隔离环境,跑一遍 main 和分支的对比,把回归截图贴到 PR 上。Web、iOS、Android、后端 API 都这么干。

Uber 让 Agent 自己验收自己:办法是把它塞进真实的 staging 环境跑一遍

Uber 的 Distinguished Engineer Uday Kiran Medisetty 在 The Pragmatic Engineer 的播客里讲了他们的做法,原话大意是:假设我在改一个跨两三个服务的功能,我怎么知道端到端是通的?

这个问题在 agent 写代码之前就存在。Uber 为此搭了一套叫 SLATE 的东西。

SLATE 是什么

简单说,工程师可以给自己创建一个实例,这个实例部署的是你正在开发的分支。然后你把测试账号的 UID 路由到这个实例上。请求进来,跑你的分支代码,上游和下游的其他服务仍然打到原来的 staging 环境。

效果是:你能端到端测自己的改动,不用管基础设施的其他部分。这在 agent 出现之前就是 Uber 工程师的标准工作流。

Agent 接入后做了什么

关键点在这里:Uber 没有另造一套验证系统,他们把 SLATE 的部署能力和各服务的 API 教给了 agent。Uber 的说法是,既然已有这套东西,只需要让 agent 学会怎么部署 SLATE,再给它能调用这些服务的 API。

Agent 拿到这些之后干四件事:

  • 在 SLATE 环境里跑一个 agent 浏览器,分别访问 main 和工程师的分支,做 A/B 对比
  • 生成改动前后的完整报告,指出有没有回归
  • 把运行过程中的截图和视频贴到 PR 上作为证据
  • 同一套机制覆盖 Web、iOS、Android 和后端 API

注意第三点。这不是 agent 自己说“我测过了”,是 PR 里躺着一段可回放的运行记录。

为什么这个设计比“让 agent 自测”靠谱

有个细节值得说。Agent 自己写测试,测试和改动往往共享同一个盲区:它没想到的情况,它写的断言也不会覆盖。

一条回复里有人点了出来:改动前后对着 main 跑的报告是最有价值的部分,因为它能抓到 agent 根本没想到要测的回归。在真实 staging 环境跑真实分支,才让这件事超出“自我审查”的范围。

这也是我觉得值得留意的地方。多数团队讨论 agent 写代码时,焦点在生成质量。Uber 把功夫下在验证链路上:环境隔离、流量路由、对比基线、证据留存。生成端的模型换一代,验证链路不用推倒重来。

补充

SLATE 不是为 agent 造的新东西。它原来解决的是人的问题:跨服务改动怎么在本地验证。Agent 接进来只是复用。这一点比技术细节更值得记住,先有可复现的验证环境,再谈让 agent 自己验收。

Uber 的 AI Infra 相关内容,The Pragmatic Engineer 播客里还有更多:

https://x.com/GergelyOrosz/status/2100549218117022176

原始推文:

https://x.com/Pragmatic_Eng/status/2122238245765267871

发布时间: 2026-11-16 17:26