写完测试就够了吗?Software 3.0 需要两种新的 eval
Itamar Friedman 认为,当模型和 agent 接管越来越多软件开发和运行工作,测试和 ML benchmark 就不够用了。Software 3.0 需要两种 eval:一种验证软件本身,一种验证造软件的那台「工厂」。
Qodo 的 CEO Itamar Friedman 最近写了一篇长文,核心观点很直接:我们构建软件的方式每变一次,验证它的方式也得跟着变。
他把软件开发分成三个阶段。这里的 1.0、2.0、3.0 是他自己用的划分方式,不是行业标准术语,但描述的变化并不陌生。
Software 1.0:人一行一行写代码,用测试来验证。单元测试、集成测试、端到端测试,目标是尽可能覆盖整个执行路径。测试通过,才敢上线。
Software 2.0:代码里开始塞进机器学习模型。这些模型相对孤立,所以原有测试保留,另外加一套 ML benchmark 来单独评估模型。模型挂了看模型,代码挂了看代码,分得清。
Software 3.0:情况不一样了。模型和 AI agent 占软件的比例越来越大,已经很难把它们和其余代码分开。模型和 agent 也大量参与开发本身。
Itamar 在视频和文章里提出:Software 3.0 需要两种新的 eval。
第一种是 software eval,评估整个软件。它跑真实用户场景。比如「客户取消了一个已付款订单」,代码检查确认订单状态和退款,LLM judge 按你的策略给回复打分,每个场景跑多次,最后得到一个通过率,比如 420 个场景里通过率 96%。
这和传统端到端测试的区别在哪?Itamar 的解释是:e2e 测试脚本固定步骤、断言精确结果,适合确定性流程。但模型驱动的流程每次可能走不同路径、用不同措辞,结果仍然是对的。software eval 允许这种灵活性,它看的是结果和质量够不够好,以及正确的频率有多高,不纠结某一次的具体输出。
第二种是 factory eval,评估造软件的那套系统。改一条规则、一个技能、一条策略,做版本管理,把历史 ticket 和失败案例在新旧两版工厂里重放。返工率降了吗?review 多抓到问题了吗?比如 100 个场景,返工率从 28% 降到 19%,再决定采纳、灰度还是回滚。Itamar 的说法是:就像发布软件一样发布工厂。
为什么工厂也需要 eval?评论区有人说得挺清楚:一个工具描述或者 prompt 微调,就会改变 agent 行为,而这些东西根本不在代码测试的覆盖范围里。Celine 提到,工厂的 eval 比代码的 eval 过时得更快。Routekit Shell 的评论更直接:没有对工厂的检查,每次调整技能或 prompt 都像是在猜还有什么东西动了。
把工厂当成一个系统来看,Itamar 画了一个蓝图。输入是 spec、支撑 spec 的数据、evals,由人和 agent 提供。输出是可读的代码、更犀利的 evals(工厂也会建议调整你的 eval)、以及微调过的模型。他把这套东西拆成三个平面:执行平面负责交付,工厂平面负责自我改进,人的平面负责验证意图、分析风险、调整策略。
Itamar 提到,在 Software 3.0 里,测试仍然有用,特别是支付、交易这类关键流程,它们大概率不重度依赖模型。但很大一部分软件现在依赖模型,所以必须加 software eval。他甚至提到,看到不少人在讨论删掉所有测试,他不提倡这么做,但能理解这种冲动从哪来。
评论区里还有几个值得拎出来的讨论。
Mihir 问了一个很实际的问题:怎么 eval eval 本身?Itamar 的回答是,先用有明确正确答案的任务来评估,每次出了「问题」,就补一个相关的 eval 任务。他说这是自己踩过坑学来的,在服务数百万用户的系统上做 eval,关键用例和边界用例都得有清晰的「好长什么样」的验证标准。
Dimitris 补充了一个工程细节:规则和策略做版本管理之后,每条合并的变更应该记录它是在哪个版本下通过的。否则回滚策略时,你分不清哪些变更是在更宽松的版本下进来的。
Luke 则提出,工厂里每个「站点」需要不同的检查和门禁。比如设计站点,它有没有问对问题?spec 在交接前够不够清楚?这个视角把 factory eval 拆得更细了。
Ábel 的质疑也有代表性:大部分人连 Software 1.0 都没做好,微调工厂应该是最后才做的事。Itamar 的回应是,我们不需要知道所有关于骑马的事,也能研究怎么让自动驾驶更安全。言下之意是,基础没打好不等于不该往前看。
回到实际问题上。如果团队现在重度使用 AI 写代码,或者产品里模型占的比重越来越大,Itamar 的建议很具体:先找出一个价值和风险都足够清楚的工作类别,定义它的准入规则,建立验证手段,限制它的权限,设计好失败时的回退方案。带人监督跑一段时间,统计人还需要在哪里介入。每次介入都是证据,说明某个能力缺失或者边界没画清楚。
至于要不要现在就建工厂 eval,Itamar 没给时间表。但从他的描述看,这件事的优先级跟你的软件里模型占比有关。占比越高,光靠测试和 ML benchmark 就越不够用。
发布时间: 2026-11-18 00:33