Wink Pings

Agent还没写,评测先跑:一个发票查询项目的开工顺序

Ajitesh Shukla团队做供应商发票查询Agent时,先写eval runner,再定Ports,最后写Agent。Mock适配器让评测第一天就能跑,真实接口后替换,回归套件也顺手留下。

Harrison Chase转推了Ajitesh Shukla的一条推文,主题是AI agent的开发顺序:先写eval runner。

Ajitesh Shukla的团队正在用LangChain deep agents做P2P流程里的供应商发票查询Agent。P2P指采购到付款,Agent要回答发票状态相关问题,后面要调真实系统。他们的做法是,eval runner第一件写,Agent往后放。

为什么先写评测:

  • 写第一个skill之前,得先定义什么叫“正确”
  • 每次skill、模型或工具改动,都在同一份golden dataset上重新打分
  • 改进Agent靠数字,不靠手感

关键设计是Ports。Agent依赖小的Python接口,测试时插入mock adapter,返回固定测试数据。代码片段来自推文:

class InvoicePort(Protocol):
    def get_status(self, invoice_id: str) -> InvoiceStatus: ...

class MockInvoiceAdapter:
    def get_status(self, invoice_id):
        return FIXTURES[invoice_id]

Agent无法分辨自己连的是mock还是真实系统。这个细节让评测可重复,也让Agent开发不必等访问权限。后面用真实adapter替换mock,Agent和evals都不用改。冻结下来的mock会变成回归套件。

image

这个顺序的收益:

  • 可重复的evals,每次运行结果一致
  • Agent工作从第一天开始,不用等权限
  • 真实adapter后替换mock,Agent和evals无需改动
  • 冻结的mock成为回归套件

这个做法不花哨,但把两个常见问题提前处理了:等后端权限,和凭感觉改Agent。Evals first. Ports second. Agent third.

原文链接:https://x.com/hwchase17/status/2121980898136801584

发布时间: 2026-11-16 05:26