Wink Pings

AI编码agent,跑得快不代表省事

EveryDev.ai:AI编码agent基准测试漏掉了最重要的事。用同一个bug测Claude Code和Codex,跑三次,最快的那个不一定是赢家。

EveryDev.ai 在 X 上挑了个刺:AI编码agent的基准测试,都在比谁跑得快、谁通过测试,但没人管修完之后你要不要返工。

Claude Code和Codex是目前有代表性的AI编码agent,分别来自Anthropic和OpenAI。EveryDev.ai建议这样测:挑同一个bug,让这两个agent分别去修。每跑一次,记四个数:通过测试的时间、token成本、需要手动改几处、最后会不会把这个结果merge(合并)进代码库。每个agent跑三轮。

四个指标里,时间最容易骗人。一个agent就算几秒钟跑完测试,如果生成的代码需要你花半小时手动纠正,或者token消耗高得离谱,你敢合并吗?反过来,慢一点的那个可能一次就改对,你检查一下就能签收。

为什么跑三次?因为模型有随机性。一次结果可能是运气,三次下来才看得出稳定水平。而且每个agent有自己的性格:有的擅长快速产出,但细节总差一点;有的闷头多干几步,但结果更干净。

EveryDev.ai的结论是:最快的agent不是总赢家。基准测试不等于实际开发体验。下次看agent评测,别只盯着速度数字,多问问手动修正量和token成本。这两个才是真实账单。

这条推文没有贴具体数据,但方法本身就是个提醒:当工具比拼越来越卷,评估标准反而要回到最原始的问题:这个结果,你愿意用它上线吗?

发布时间: 2026-11-20 23:33