Wink Pings

吵了一年模型大小,最后是一个markdown文件赢的

84个真实任务,Claude Haiku配上技能文件通过率27.7%,Opus裸跑22.0%,成本只有五分之一。这个对比不干净,但完整的SkillsBench数据给了答案:人类写的技能平均+16.2分,模型自己写的反而-1.3分,把整个wiki灌进去倒扣2.9分。技能工程有六块,缺哪块,症状就不一样。

84个真实任务,Claude Haiku 4.5配上一个文件夹的说明,通过率27.7%。Claude Opus 4.5什么都没配,22.0%。前者的成本大约是后者的五分之一。

这个数字在网上传得很快。但对比本身不干净:Haiku多了技能,Opus少了技能,两个变量同时动了。有人当场就问,Opus配上同样的技能测了吗?原文没答。另一条回复点了同一个问题:文件夹只改变了小模型的分数,如果84个任务都是那种有写好的流程就能做好的类型,技能赢是构造决定的。

所以先别急着换模型。值得看的是后面的基准数据。

SkillsBench说了什么

2026年2月发布的SkillsBench,84个任务,11个领域,7308次运行,全部自动判分。几个数字可以记住:

人类专家写的技能,平均提16.2分。分领域差得很多:软件工程只涨4.5,因为模型本来就懂;医疗涨51.9,因为模型不懂。

模型自己写的技能,平均-1.3分。作者的结论大意是,模型写不出它自己读了会有用的那套流程。

2到3个聚焦技能,提18.6分。把整个wiki当技能灌进去,反而-2.9分。

84个任务里有16个用了技能更差。Agent执行坏指令和好指令一样忠诚。

规律很清楚:懂这份工作的人来写,写短,写完测试。

一个技能就是一个文件夹

格式是Anthropic在2025年10月推的,12月开放成标准。现在Claude、OpenAI Codex、GitHub Copilot、Cursor这些都能读同一个文件夹。

结构简单:一个文件夹,里面一个SKILL.md。

它分三层加载。启动时只读每个技能的名字和描述,一个约100 token。匹配上了,才读SKILL.md,要求控制在500行、5K token以内。SKILL.md里再指向参考文件、模板、脚本,用到哪步读哪个文件,不用就是零token。

这就是一个agent能挂几十个技能还不把上下文撑爆的原因。

六个部分,缺一个症状就不一样

原作者把技能工程拆成六块,按重要性换个顺序讲。

Spot:第二次就是信号。 第一次跟agent解释一件事,那是prompt。第二次解释同一件事,那就是一个还没写下来的技能。你上周粘过的指令这周又粘了一遍,你第二次纠正同一个错误,你有个叫“我喜欢的做法”的笔记在反复复制。这些都是信号。

Trigger:描述决定它会不会被触发。 Agent有50个技能,不会读50个文件,只读50条描述然后挑。“帮助处理报告”这种描述永远不会触发。“把销售电话记录转成周一的pipeline更新,用户发来通话记录、转录或要求pipeline更新时使用”,这样才会触发。写清楚做什么、什么时候用,用你自己会打出来的词。

Steps:写顺序,不写解释。 正文是流程,不是散文。Anthropic的指南拿PDF任务举例:50个token的版本直接点明库名加三行代码,150个token的版本先解释PDF是什么。模型知道PDF是什么,不知道你要怎么处理这个PDF。

Layers:SKILL.md是目录,不是教科书。 所有额外文件都从SKILL.md直接链接,只嵌一层,因为从别的文件再链出去的文件会被agent略读。超过100行的参考文件,顶部放目录。

Scripts:必须每次一样的东西,写成代码。 求和、日期、格式转换、校验,这些不该写成句子让模型读,该写成脚本让agent跑。脚本执行时,代码不进上下文,只有输出进,比如一行“校验通过”或者具体的报错。更可靠,省token,省时间,每次一样。判断标准很土:如果搞错了会尴尬,那就是脚本,不是一句话。

Test:写之前先定三个任务。 不带技能跑一遍,记下哪里出错。挑三个真实的、你已经知道正确答案的任务。跑基线。写刚好够补上这些缺口的技能。再跑三个任务对比。之后每次真实使用中的失败,都变成技能里新加的一行和一条新测试。写技能的和用技能的,最好是两个不同的agent,写过的那个已经知道你的意思了。

一句话总结:没触发的技能,是描述的问题。结果时好时坏的技能,是步骤在解释而不是在命令。总额一个月错一次,是把数学交给了模型。

一个具体的例子

有作者拿周一pipeline更新举例。每个周一,把上周的销售电话记录变成pipeline更新:每个单子的阶段、总额、下一步。

prompt版本:每次粘400字指令,agent写完,花25分钟改,大概三周错一次总额。

技能版本:

  • Spot:那400字已经粘了九个周一
  • Trigger:描述写清楚做什么、什么时候用
  • Steps:9个编号步骤加一张清单,52行
  • Layers:每个阶段是什么意思放reference/stages.md,单子换阶段时才读
  • Scripts:totals.py算总额,agent不做心算
  • Test:三个过去的周一,答案已知,每次改完都重跑

结果:修复时间从25分钟到4分钟,总额从过去10周错3次到接下来10周错0次,那400字再也没粘过。同一个agent,同一个模型。

六个症状,对六个部分

技能不干活的时候,症状会告诉你哪块坏了:

  • 装了30个技能只用4个:spot没做,剩下的都是一次性的
  • 该触发时不触发:描述里没有你会打的词
  • 每次都跑,每次结果不一样:步骤在解释,没在命令
  • 读2000行做一件小事:全塞进SKILL.md了,分层没做
  • 一个月错一次总额:数学还在让模型心算,该写成脚本
  • 三月还能用,现在没人知道它停了:没有测试可以重跑

六个症状,六个部分。换更大的模型,一个都修不了。

让技能变废的几种做法

让agent自己写,然后走人。SkillsBench里自写技能平均-1.3分。可以让它起草,但流程得你来。

把整个wiki粘成一个技能。全面文档让结果更差。技能是那50行关键的东西,不是存在的5000行。

一个巨大技能管全部工作。描述没法说清楚什么时候用,因为答案是“一直用”。按任务拆。

装陌生人的技能不读。技能可以让agent跑代码、往外发数据。Anthropic的文档说得很直接,把它当装软件对待,先把每个文件读一遍。

写完不更新。工具变了,客户变了,价格变了,技能还用老办法自信地跑。

今晚可以做的事

翻上周的聊天记录,找粘贴了不止一次的指令。挑最费时间的那个。

先写描述:做什么,什么时候用,用你会打出来的词。抄上面的模板,填括号,控制在一屏。找三个过去的任务,你知道正确答案,跑一遍。下周数一下你又粘了几次同样的东西。

模型还会继续变大。但另一个变量一直在你手里:有没有把自己会的东西写下来。有网友把这事说得更狠:你能写的最好的prompt,是只需要写一次的那个。

另:时间线上还有另一场讨论

同一天,Thariq发帖说软件工厂是个临时问题,模型以后会自己造,更值得想的是怎么搭一个让agent和你协作的工作区。那条帖子的数据不小,213.4K浏览,约4K赞。回复里吵成几派:有人说共享上下文不等于每个agent都读所有东西,agent需要的是关于“决定了什么、为什么、谁负责、什么时候问人”的共享记录。同一天,Swarms发了个叫AgentRearrange的东西,用两个操作符在一行里定义多agent工作流。

一边在争谁来写工作流程,一边已经有人把流程写成了一个文件。两条线,最后指向同一个动作:把手上的活写下来。

Thariq 关于软件工厂和工作区的贴文截图

发布时间: 2026-11-17 23:30