Wink Pings

你的Agent测试全绿,上线照样翻车?Google 95分钟课:过程早就歪了

你的Agent测试全绿,上线照样翻车?不是模型菜,是没人看过它办事的过程。Google 95分钟课程讲透了ADK eval:response match看结果,trajectory看过程,都塞进pytest自动跑回归。真正的问题,常常藏在过程里。中文字幕已出。

你的Agent测试全绿,上线照样翻车。不是模型菜,是没人看过它办事的过程。

Google最近出了一堂95分钟的课程,核心是ADK eval。两个内置指标:response match管最终输出合不合规,trajectory管agent走完整个任务的中间轨迹——查了什么、调了什么、中间改了几次主意。两个指标直接塞进pytest,扔进CI/CD,每次改prompt自动跑回归。整套搭完,不到半小时。

trajectory值得单独说。它暴露了一个常被忽略的盲区:答案可能是对的,过程完全不可控。线上翻车的坑,往往不在最终结果,而是过程早就歪了。

课程还给了一个反常识的解法:agent输出老不合规,别拿标准答案硬比。写一个checker,逐条查约束,再算分。ADK optimize会一轮跑30个候选,8到10分钟,自动修改instruction。说白了,agent自己给自己改作业。

但评估器不是万能的。课程明确提醒:拿LLM当judge,选错模型,后面跑再多轮都白费。先用几十条人工标注的数据验一遍,再上量。

有开发者看完这堂课,把手上agent的中间步骤全打出来过了一遍,发现好几个坑不是答案错,是过程早就歪了。中文字幕已经出了,收藏好,找时间细品。

发布时间: 2026-10-27 01:26