Wink Pings

Agent 能不能干活,先看 harness 这层

Rohit Ghumare 把 agent 的执行框架拆成七步。Demo 里最容易被省掉的权限、预算、验证和日志,恰好决定它能不能上生产。

Rohit Ghumare 最近在推一个词:Harness Engineering。按他的拆法,一个能干活的 agent 要跑完七步:

  • 加载正确的代码、文档和历史
  • 让模型提出下一个动作
  • 运行工具前检查权限
  • 在时间和成本上限内执行
  • 用测试和策略检查验证结果
  • 把失败反馈进有界重试循环
  • 保留日志和追踪,方便排查

这七步听起来像工程常识。放到 agent 场景里,少一步就会出问题。

Harness 是模型外面的执行骨架。它决定模型看到什么上下文、能调哪些工具、什么情况下必须停下来。Rohit 给的定义很直接:harness 定义 agent 能做什么,工作怎么被检查,以及什么时候必须停止。

他推文里的流程图把这条链路画得更清楚:用户目标“修复失败的测试”先进入 Context,里面放代码、文档和历史;模型提议工具调用;权限门控器决定允许还是阻止;工具执行层出现 GitHub、Docker 这类例子;最后到 Verify,检查测试、策略和限制。右侧挂三个控制项:Permissions、Time + budget、Logs + traces。

很多 agent demo 只拍到“模型提议”和“工具执行”两段。权限、预算、验证、日志被省略。Demo 能跑,生产环境不敢用。原因不复杂:没有权限门控,模型调错工具就是事故;没有预算,循环能烧到账单爆炸;没有验证,结果对不对全靠猜;没有日志,失败后连复现都做不到。

Rohit 在推文里挂了 AI Engineering from Scratch 课程。页面写的是 542 节课、20 个阶段,Python、TypeScript、Rust、Julia 四种语言,算法先从原始数学实现,再引入框架。免费开源。想补 agent 工程和 harness 这层,可以顺着链接看。

课程链接:AI Engineering from Scratch

原推文:Rohit Ghumare

Agent 能不能自己修 bug、跑测试、提交代码,表面看模型能力,落到系统里看 harness 有没有搭完整。七步缺几步,最后都会在生产环境里补课。

发布时间: 2026-10-29 17:31