Wink Pings

Garry Tan删了一个技能,评论区开始算成本账

模型升级后,技能库该做减法。Garry Tan删掉/investigate,评论区提醒:删之前先看它挡住了什么,删之后别停掉eval。

Garry Tan发了一条推,说他删掉了/investigate这个agent skill。原因很直接:Opus 5.5不用它做得更好。

image

他还给了一个更大的判断:为agent skills建立eval驱动的开发循环是必要的。每代新模型都更强,你可以删掉不再需要的东西。原推链接在这里。

这句话不复杂,但评论区把问题拆得更细。

先说背景。agent skill可以理解成给agent的一包固定指令和流程,像一本工作手册。模型能力不够时,手册能兜底。模型变强后,手册可能变成天花板,也可能变成每次运行都要交的成本税。

所以Garry Tan删掉/investigate,表面是清理一个技能,实际是在做模型升级后的减法测试。

评论区里,Alpha Batcher问得更狠:真正有意思的是eval循环怎么做出删除决定,其他技能里有多少能扛住一次裸模型对比。

John Rood提醒了一个容易被忽略的点。删技能容易,但技能里可能还写着之前踩坑后加上的排除项。模型能力追上来了,不代表那些排除项自动失效。要检查它当初在防止什么,不只看它现在还有没有帮助。

Jeff Bruchado补了后半句:删掉技能后,/investigate的eval要继续跑。如果未来某个模型在这块退步,这个eval就是把它带回来的信号。

Tavio给了一套可执行的方法:选一个技能,先写清它原本要完成什么、防止过哪些失败、在什么条件下最有价值;用同一模型、同一工具、同一预算,在全新会话里跑三组对比,完整技能、简化技能、去掉技能;记录成功结果、每个被接受结果成本、执行时间和回归情况;最后决定保留、缩短、限制还是退役。证据不够,就写清下一个实验。

成本线也有人在算。评论区有人提到,修复一个bug的成本约1.4倍,多出43%,折合每个bug多38美分。这些数字来自回复讨论,不是原推正文。但它指向一个现实:技能对准确率中性,也可能在每次运行时收税。

有回复说得更直白:多数skills只是给已经毕业的模型写的笔记。也有人讽刺,/investigate最可靠的发现,是每个bug多花了38美分。

这些吐槽背后是一个正经判断。每次模型发布,技能列表应该有机会缩小。只增不减,等于给一个移动目标不断套包装。Sachin Vedaraj的说法是,如果技能列表只增长,你只是在收集wrapper。

但减法不是乱删。Vincent Koc说,你没法vibe一个eval。Jatin Garg也提醒,不能因为一次测试就说裸模型更会修bug,但可以因为额外成本删掉技能。Nash提到早期Claude Code Opus需要强约束,因为它真的会rm -rf整个repo;现在很多Claude.md更像虚荣配置。这个对比很具体:约束曾经是安全带,后来可能变成拘束衣。

所以这条推值得看的不是“又删了一个技能”。是模型升级后,团队有没有一个循环去问:这个技能还在解决什么问题,它防止的失败有没有被记录,删掉后谁来发现回归,成本账有没有人算。

技能不是勋章。模型越强,脚手架越少。删之前记下它挡住了什么,删之后继续测。AGI tide rising这种话可以当背景音,真正要做的还是那些枯燥的对比跑分和回归用例。

发布时间: 2026-11-07 23:30