Agent还没写,评测先跑:一个发票查询项目的开工顺序
Ajitesh Shukla团队做供应商发票查询Agent时,先写eval runner,再定Ports,最后写Agent。Mock适配器让评测第一天就能跑,真实接口后替换,回归套件也顺手留下。
Harrison Chase转推了Ajitesh Shukla的一条推文,主题是AI agent的开发顺序:先写eval runner。
Ajitesh Shukla的团队正在用LangChain deep agents做P2P流程里的供应商发票查询Agent。P2P指采购到付款,Agent要回答发票状态相关问题,后面要调真实系统。他们的做法是,eval runner第一件写,Agent往后放。
为什么先写评测:
- 写第一个skill之前,得先定义什么叫“正确”
- 每次skill、模型或工具改动,都在同一份golden dataset上重新打分
- 改进Agent靠数字,不靠手感
关键设计是Ports。Agent依赖小的Python接口,测试时插入mock adapter,返回固定测试数据。代码片段来自推文:
class InvoicePort(Protocol):
def get_status(self, invoice_id: str) -> InvoiceStatus: ...
class MockInvoiceAdapter:
def get_status(self, invoice_id):
return FIXTURES[invoice_id]
Agent无法分辨自己连的是mock还是真实系统。这个细节让评测可重复,也让Agent开发不必等访问权限。后面用真实adapter替换mock,Agent和evals都不用改。冻结下来的mock会变成回归套件。
这个顺序的收益:
- 可重复的evals,每次运行结果一致
- Agent工作从第一天开始,不用等权限
- 真实adapter后替换mock,Agent和evals无需改动
- 冻结的mock成为回归套件
这个做法不花哨,但把两个常见问题提前处理了:等后端权限,和凭感觉改Agent。Evals first. Ports second. Agent third.
发布时间: 2026-11-16 05:26