Wink Pings

NVIDIA 开源 SkillEvaluator:能测 Agent Skill,但 README 没给结果

写一个 agent skill 不难,难的是知道它有没有改变 agent 的行为。NVIDIA 的 SkillEvaluator 用三层检查质量、重叠和实际效果,不过 README 没有公开自己的结果。

NVIDIA 开源了 SkillEvaluator,Apache-2.0,目标很具体:检查 agent skill 的质量,并测量它是否真的影响任务结果。Agent skill 是存放指令和辅助文件的文件夹,按 Agent Skills specification 组织。写一个能加载的 skill 不难,难的是证明它改变了 agent 的行为。SkillEvaluator 把这件事拆成三层,也是 NVIDIA Verified Skills pipeline 的一部分,README 里附了论文 arXiv 2608.20614。

SkillEvaluator 三层流程

Tier 1 做验证:检查 skill 是否安全、格式正确、与 harness 兼容。默认通过阈值是 70。README 里的 text-analyzer 样例拿到 86.2/100,B,退出码 0。这一层不需要 API key,也不依赖 GPU 或 Docker。但静态质量通过不等于发布证据完整,README 明确说 publication evidence 仍是 INCOMPLETE;完整安全覆盖还要外部扫描器。

Tier 2 做去重:用 embeddings 和 chat 判断指导内容是否重复或重叠。加 --catalog ./skill-catalog.json 可以比较不同 skill 之间的重叠。这个问题会越来越实际,skill 库大了以后,互相打架比单个 skill 写错更常见。有网友就说,overlap flag 可能是被低估的功能。

Tier 3 做 live evaluation:用和不用 skill 各跑一遍,对比任务结果,测量 skill 对结果的影响。它需要 provider 访问、一个受支持的 agent 和一个运行中的 sandbox,默认 Docker。Tier 3 默认不阻塞 validate,除非加 --block-on-agent-eval。支持级别标的是 Experimental,社区支持,没有 SLA。

接入方式有三种:CLI、CI 和直接接到 agent。最轻的检查一条命令:

pip install skillevaluator
skillevaluator validate ./my-skill --tiers 1

CI 可用 skillevaluator ci init。Claude Code、Codex 或其他支持 skill 的 agent 可以 npx skills add NVIDIA/SkillEvaluator。

社区反应比 README 更直接。有网友问,无 key 的 Tier 1 单独能抓到什么;没有结果,很难判断这些门禁有多大意义。还有网友问,with/without 分数是基于任务通过率,还是也会检查 skill 实际有没有被加载;一个 agent 从未激活的 skill,看起来就是零效果。另一个网友认为 with/without 才是唯一可靠的办法,加载正常但不改变行为,就只是一个 prompt 文件。

Agent 第一次遇到这个 skill 时的样子

这条消息本身标注了 README read, not run。工具方向清楚,分层也合理,但 README 没放自己的评估结果。对要放进 CI 的团队来说,功能表只是前半句,结果页才是后半句。来源:https://github.com/NVIDIA/SkillEvaluator

发布时间: 2026-11-16 08:26