NVIDIA 给 Agent Skill 加了道体检:先看能不能加载,再谈好不好用
SkillEvaluator 1.0.1 发布,HarnessCheck 不用模型 key 就能查 skill 被漏掉、拒绝或截断的问题,还能进 CI。网友提到一个描述超限 4 个 UTF-16 单位的例子,肉眼很难发现。
NVIDIA 的 SkillEvaluator 更新到 1.0.1。它现在先检查一件事:你的 agent skill 会不会在加载阶段就被漏掉、拒绝或截断,然后再去衡量它工作得好不好。
这听起来不如“评测 agent 能力”刺激,但更接近日常维护里的麻烦。skill 在 Claude Code、Codex、Copilot CLI、Hermes、OpenClaw、OpenCode 这些环境里跑,描述格式、长度限制、清单文件等细节出问题,模型还没开始干活,skill 已经没了。
HarnessCheck 做的就是这类加载前检查。命令不复杂:
skillevaluator harness-check ./my-skill
关键是它不需要模型 key。有网友 Sharful 提到,README 示例里 Copilot CLI 会跳过一个 description 超出 1,024 限制 4 个 UTF-16 单位的 skill。4 个单位,肉眼基本看不出来,但工具会直接指出来。这个细节比“支持多少模型”更有用。
另一个更新是 NeMo Gym 集成,并且可以放进仓库的 CI。有网友 vexor4i 说,无 key 检查加上 CI 里的 NeMo Gym,意味着能形成真实反馈循环,准备这周拿几个 skill 试。这个判断很务实:skill 多了以后,靠手工点选和肉眼比对不现实。
它的价值更像 lint。先把低级错误挡在模型调用之前,再谈效果评估。对维护 skill 的人,先跑一遍 harness-check,比直接问“为什么我的 skill 没反应”省时间。
发布时间: 2026-11-19 17:28