Wink Pings

自己给自己打分的AI,永远及格

Anthropic Labs给Claude一句话,6小时拿回一个完整App。模型没换,换的是流程:三个agent,没人给自己打分。自评的agent永远及格,拿Playwright的陌生评审不会。这套逻辑,同样适用于你的AI账单。

Anthropic Labs一篇harness论文,信息密度很高。

他们给Claude一句产品需求,6小时后拿回一个完整App。模型没换,Claude还是那个Claude。变化在流程:三个agent分工,没有一个负责给自己打分。

prompt → spec → contract → build → QA → fix

六个环节,边界清晰:

1. Planner:读1-4句话的输入,产出16个功能点的spec。只到产品层,不含实现细节。

2. Sprint contract:写代码前,生成器和评估器在文件里反复协商,定义"完成"。这一步跑完才动手。

3. Generator:每个sprint做一件事。自检完,交给QA。

4. Evaluator:用Playwright在真实运行的App上点击验证。第3个sprint有27条验收标准。

5. Hard thresholds:深度、功能、设计、代码。任何一项不达标,sprint判负。

6. Cost:Solo 20分钟$9,游戏不响应输入。Harness 6小时$200,游戏可玩。

一个自己给自己打分的agent,永远通过。一个拿Playwright的陌生评审,不会。

原因不复杂。自评意味着标准可以在失败后悄悄下调。外部评估意味着标准在开工前写进contract,中途改不了。

评论区有人问:谁来检查QA agent?这个问题问到根上了。评估链的末端必须站着一个人。

这套逻辑不只对论文里的agent成立。rari(@0xwhrrari)在另一篇长文里把它搬进日常AI工作流,叫Mode Engineering。核心观察:你的AI账单不是模型价格的问题,是把多少工作送进了顶级模型的问题。

模式工程把活儿按类型分流:

判断性工作,人读 → 好模型
策略问题、回客户、写发布文案。质量可见,错误公开。

常规工作,人读 → 便宜模型
每日摘要、站会总结。形状每天一样,不需要顶级模型。

没人读的文字 → 最便宜模型
打标签、分类、字段提取。你付的是没人看的句子。

有唯一正确答案 → 代码
求和、查询、日期、阈值。这不是模型该干的活。

关键操作:把模式设在渠道上,而不是每次对话时选。工作已经按渠道分好了——研究频道是硬问题,站会频道是摘要,收件频道是打标签。每个渠道一个默认模式,选模型从每天变成每季度。

再补两个杠杆:

没事可做 → 不运行
最贵的运行是空转。每小时检查一次,23小时什么都没发现,但每个小时都在付顶级模型的账单。条件脚本能跳过空转:模型只在新东西出现时启动。原文给过一个例子:720次AI运行变成72次。省掉的648次是脚本检查,不花钱。

固定步骤 → 脚本化
每天早上的数据汇总,不该让模型读40行数据心算。脚本负责拉数、求和、对比,把五个数字交给模型,模型只写结论。运行更短,费用更少,错误归零。

你的AI账单不是模型价格的问题,是把多少工作送进了顶级模型的问题。

先问:这一步,需要模型吗?

发布时间: 2026-11-21 03:42