Agent 说"已完成"的时候，你拿什么验证

晓辉博士最近在琢磨一个问题：怎么让 AI Agent 持续改进自己。越往下研究，越发现得先回答另一个问题，怎么知道 Agent 真的做对了。

他录了一期视频，聊了三组实践：@poteto 的 Verification Skill、@addyosamani 分享的 Claude Code 团队代码审查做法、@yetone 的 Agent Loop，另外讲了自己改造录音转写工作流的尝试。

视频的结论不复杂。真正重要的是把标准写清楚，把可重复的操作做成工具，把确定的要求变成检查，让每次反馈都能留下来。

听起来像句正确的废话。但大部分 Skill 卡住的地方恰恰在这里。

大部分 Skill 的现状

一份操作说明，依赖 AI 去理解和执行。写得好的，AI 能跑出不错的结果。写得含糊的，同一个任务跑两次能出两个样。

更麻烦的是，你很难判断哪次是对的。Agent 说"已完成"，你只能选择信或者不信。

晓辉博士给了一份改造指南。让能访问 Skill 文件的 Agent 先读现有文件、做诊断，再和用户确认标准，最后才动手改。这个顺序很重要。有网友说，以前一上来就整段重写，验收标准飘了还不知道。

指南分四步。

第一步，理解现有 Skill。梳理工作地图，看任务目标、步骤、输入输出、依赖关系、关键分支。哪些操作已经有工具支持，哪些重复的、确定性的步骤值得封装成工具。目前怎么判断任务完成，哪些要求只有文字说明没有实际检查。用户指出错误后怎么修正，同类问题会不会再犯。原则是尽量保留已有的有效设计，不要为了重构而重构。

第二步，跟用户确认验收标准。好结果长什么样，哪些要求必须满足，哪些只是偏好。最不能接受什么错误，过去有哪些反复出现的问题。哪些环节必须人工确认，哪些能放心交给 Agent 自动跑。提问有讲究，优先从文档、历史反馈和样例里找答案，只问缺失或模糊的问题，每轮最多三个。

第三步，实施改造。结构化，建立简洁的工作地图。工具化，把重复、确定性的操作封装成可复用工具，需要时给统一 CLI 入口，但不强制所有 Skill 都开发 CLI。可验证，把明确要求转成自动检查，记录检查对象、结果和证据，内容变了相关验证要重新跑，语义和审美这类主观判断保留人工复核。可改进，建立反馈记录，优先把错误转化成认可样例、程序检查或工具修复，必要时再更新 Skill 说明，区分单次要求和长期规则，避免规则无限膨胀。

第四步，测试与交付。用已有样例做回归测试，对比改造前后，确保原有重要功能没退化。未经确认不覆盖重要原始文件。明确区分四种状态：自动验证通过、AI 评估通过、人工确认通过、尚未验证。

指南里有条核心原则值得单独拎出来：没有证据，不宣称验证通过。

网友补了几个关键点

有网友提醒，让 Agent 直接编辑 Skill，真正的风险不在改坏一次。错误标准被写进下一轮迭代，才麻烦。至少要保留版本、差异审查和一键回滚。

有网友认为，执行和验证要分开。执行 Agent 负责完成任务，独立测试负责检查结果，回归测试防止旧功能退化。如果执行任务的 Agent 同时负责改 Skill 又负责判断自己成功，很容易形成闭环幻觉，它觉得自己修好了，实际可能只是换了一种方式犯错。

关于检查本身会膨胀的问题，有人直接问指南里有没有淘汰旧检查的环节。程序检查写多了，时间一长一堆规则没人敢删。这是个真问题，指南强调避免规则无限膨胀，但淘汰机制还得靠人定期清理。

AI实操派给了一个具体建议：自迭代之前先给 Skill 配一套硬验收。录音转写可以用词错率加关键实体召回当指标，留三到五个真实任务当回归集。没有这套标尺，Agent 很容易把"跑通一次"当成"做对了"，越迭代偏得越远。

还有网友提醒，从反馈里泛化，别过拟合。单次错误值得修，但不是每个单次要求都要变成永久规则。

说到录音转写，有网友追问后来加了哪些检查项。另一个网友补了一句，转写对不对，专有名词一搜全露馅。这话实在。人名、数字、专业术语这类东西，错了就是错了。

野心不止一个维度

晓辉博士的视频引用了 Felix Rieseberg 的一篇文章，把野心分成四类：速度、高度、深度、广度。

速度是同样的事用更少时间做完。高度是往上抽一层，盯最终结果，别盯单个任务。深度是像领域顶尖专家那样对待任务，往下摸底层数据、工具和问题。广度是引入多个学科，用平时不会碰的知识和方法。

这个分类放到 Skill 改造上也成立。大部分 Skill 停留在速度层面，省点打字时间。往上走一层，问的是这个 Skill 到底要什么结果。再往下走，问的是行业里最好的人会怎么做这件事。最后引入不同视角。

Nate 那篇用 Claude 找遗迹的文章是个好例子。他让 Claude 写检测器，先在已知遗迹上测，再去找新地方，找到之后让独立的 AI"怀疑者"去推翻每一个发现，最后交给真正的考古学家判断。整个过程里，验证不是最后一步，是每一步。

回到开头那个问题。Agent 说"已完成"的时候，你拿什么验证。

答案不复杂：先写下来，什么算完成。