Wink Pings

先写考试,再写代码:harness工程正在终结

中国研究者发表论文,主张手写harness工程即将终结。一个会自我评分的循环将接管工作,人类的活只剩写考试。配合Hanako对Loops和Graphs的拆解,看这个判断如何落地。

中国研究者刚放出一篇论文,标题值得每个 agent 框架团队看一眼:“The End of Harness Engineering”。

Harness,围绕大模型写的那层程序。调用、约束、编排模型,都是它的活。论文的论证一句话说完:手写这段程序,作为一种技能,已经到头了。

一个人写的 harness,是某个下午对某个任务的一次猜测。写完就上线,跑几个月,没人读,没人打分。一个由循环写出来的 harness,是一份会给自己评分的文件。机制不复杂:一个小型 4B 参数模型读取失败记录,提出 8 个编辑;只有那些在留存问题上得分最高的编辑才会被保留。大模型全程保持冻结。

把 Claude Fable 5.2 放到那个位置,每一轮循环都在重写围绕它的 harness。人类的工作被压缩到只剩一个工件:评分集。harness 好不好,由评分集说了算。框架变得可丢弃,考试变成了工作。

论文一句话版本:先写考试,再写代码。

循环:先写检查

论文讲方向,落地还需要工具。Hanako 在另一篇长文里把循环和图拆开讲了一遍,完整教程在 agent-layers.vercel.app。想让 agent 少被盯着,需要两样东西,大多数人只造了其中一样。一个循环让一个工作单元在没有你的情况下保持正确。一个图决定哪些工作单元存在。

先看循环。剥掉所有装饰,循环就四个部分:产出,检查,修正,重复到变绿。检查是核心。如果在你不盯着的时候,没有任何东西能让工作失败,那你拥有的只是一个调度器,不是循环。

这话听起来像废话,但几乎没人先写检查。大家通常先把工作做了,然后在结尾硬接一个审阅,让另一个模型看看输出。两个乐观主义者互相点头。

正确的检查得写成程序能评估的形式,注意区分:

  • GREEN:测试全部通过
  • GREEN:每条声明都带来源行号
  • GREEN:改动只涉及计划里列出的文件
  • NOT A CHECK:输出看起来不错
  • NOT A CHECK:模型说它很有信心
  • NOT A CHECK:没有任何报错

最后一条经常坑人。没有错误不等于正确。基于这个逻辑搭循环,你会得到一个自信地重复同一个错误直到预算耗尽的系统,日志全程干净。

循环有天花板:它能让一个单元变更好,但不知道哪些单元该存在、顺序是什么,也看不出来两个步骤根本不需要互相等待。于是你得到一个很优秀的 agent,却在用错误的顺序跑错误的步骤。每一步都对,结果还是又慢又歪。这个时刻,人们习惯性怪模型。问题不在模型,在下一个层级。

图:工作的形状

图是工作的形状:什么跑、什么并行、什么等待、什么永远不跑、结果回到哪里。节点是单元工作,一个输入一个输出。边是依赖关系,这个节点的输出喂给那个节点的输入。

最常见的错误是把“然后”当成边。总结文件,然后查天气,这两者之间没有边,天气不消费总结。这是两个独立节点,被一个线性脚本串起来了,串起来的原因只是你按那个顺序打字。

对每一根已经存在的箭头问一句:下一步真的在读取上一步的输出吗?如果说不出来有哪个变量在跨边界流动,这条边就不存在。多数流水线里有两三根这样的箭头,找出来通常就是最大的加速。

节点有四种:拆分器、工作者、代码节点、门。拆分器把工作切块,放在最前面,它对最终结果的影响最大。按文件夹切,四个工作者审计同一批文件;按爆炸半径切(改动的影响范围),每个人看到的都不一样。

代码节点是最容易被忘记的。合并、排名、去重、对比,这些不需要推理,每一个都只有一个正确结果,写几行代码就行。用模型跑这些步骤,等于给一个本来没有波动的环节增加成本、延迟和方差。如果你能不用“判断”“决定”“评估”“总结”这些词来描述一个转换,它就是代码。

一个每条边都坐着一个 agent 的图,是在为它自己的连接线支付租金。

循环和图的位置关系,一句话就能说清楚:循环住在节点里,图住在节点之间。一个节点内部:产出、检查、修正、重复到变绿。节点之间:拆分、扇出、合并、门控、回传。没有节点内循环的图,在并行产生未经验证的工作,比串行更糟,因为量更大了。没有图包裹的循环,是一个很好的步骤,躺在一个没人设计的队列里。

返回路径:纠正和学习

图还需要两条返回路径。没有返回路径的图只是流水线,产出输出然后忘记。纠正边很短:一个门把某个单元驳回给产出它的步骤,修复的是当前这次运行。学习边很长:接受的结果作为约束回到拆分器,修复的是之后的每一次运行。

几乎所有人都只造第一条,跳过第二条。这类系统跑得快,但永远不变聪明。

学习边携带的是从输出推导出的约束,不是输出本身。比如:

  • ACCEPTED:工具切片迁移完成,一次通过
  • DERIVED:适配器保持关键字参数完全一致
  • LANDS IN:落入拆分器为后续所有切片生成的简报

注意约束落在了哪里。落在拆分器的简报里,不在工作者的指令中。一个被确认的因变成了规则,下一次工作从一开始就站在上一次结束的地方。

返回路径上最贵的错误是返回批次而不是单元。四个切片都改了,一个测试失败。整个批次退回去,三个正确的切片被重写,新版和旧版不同,但不一定更好。你为了一个失败付了四份不确定的代价。一次运行里出现两次,整个系统永远收敛不了。

一个返回携带的东西包括:单元、判定、原因、证据、范围。最后这条范围线比看起来重要。没有范围限制,agent 打开文件,看到旁边两个小问题,顺手也修了。一个修复变成四个文件的改动。限制三次尝试,超过三次,问题出在计划层,循环本身看不见计划。

门:看爆炸半径,不看置信度

门应该看爆炸半径,不是置信度。置信度是最弱的输入,因为它是唯一一个模型自己能影响的变量。强变量是:如果这个改动坏了,撤销成本有多高。

  • 可逆且范围小:改个文案、一个测试、有覆盖的独立函数。坏了一次回滚就完事,开放。
  • 可逆但范围大:共享工具、数据结构变更、十几个调用方会碰到。门控要过确定性检查加干净轨迹。
  • 难以逆转:迁移、删除、写生产数据、移动钱。这扇门不开放,不管分数多高。

第三类没有门,门槛高不高无所谓。门槛会被调整,关闭的通道不会打开。

人类的活放在哪一步?放在后果最高、可逆性最低的那一步。批准合并,决定哪些修复上线。不是检查中间输出,不是确认每个步骤。人站在图中,就成了图中最慢的节点,整个图跑得和一个读东西的人一样快。

回到论文。如果你认可考试才是工作,那下一步就是设计考试。先写评分集,再写代码。衡量路径,而不只是答案。一次不改变下一步行动的判定只是一份报告。没有变成永久约束的失败,你还会再见它一次。

大多数人会继续调他们的循环,并把那叫做系统。而那些把图画出来的人,会跑出一整支舰队,并且永远搞不懂为什么别人那么吃力。

发布时间: 2026-11-20 19:45