把 Agent 的翻车记录，做成下一轮 eval

Agent 想变好，先得能看见自己在哪翻车。

Kartikeya Gupta 在推文里把路径拆成两步：先用 traces 自动长出 evals，再拿这些 evals 去调 harness。NeoSigma 的 NeoEval 落在第一步。它从生产数据入手：真实任务、失败记录、人工修正。产品方 Gauri Gupta 的说法是，这些数据里藏着判断一次成功需要什么，时间一长会变成团队自己的制度知识。

NeoEval 要做的是把这些经验转成 eval 环境，环境贴着真实任务、工作流和边缘案例。Agent 能在自己的环境里重放，团队再看它有没有过，按业务真正关心的指标评估和优化。这个流程听起来朴素，价值在闭环：线上翻车被收进 eval，eval 再变成调 harness 的靶子。用久了，生产经验开始复利，团队手里会多一个自己的 intelligence lab。

当然，产品视频和推文给的是愿景，效果要看接入成本、trace 质量、eval 稳不稳定，以及重放环境能不能贴近线上。对做 agent 的团队来说，方向很清楚：先把真实失败做成能重复跑的 eval，再谈调 prompt 和 harness。