72万条AI决策数据公开，但用之前先看评论区这句话

Maziyar Panahi 在 X 上发了一条推，说放出了 5 个数据集、72 万条决策记录，全部公开。推文里列出的使用场景很具体：工具调用、agent 轨迹、客服、路由、策略检查。每条数据都带源标签和 Jev 的回答，可以拿来训练自己的小型决策器，放在医院内部跑也行。

72 万条听着多，拆开看更清楚。他在回复里把三个主要数据集的细节展开了。

Policy Verification 180K，18 万行，45,281 个决策组，84,007 个唯一上游源行。任务是判断一条回复是否遵循了给定的原则、哪条更好、有没有跑偏。适合做 reward model、response ranking 和校准。Jev 读入 2.2 亿 token，输出 438 万 token，总成本 $9.30，零错误。

Intent and Domain Routing 130K，13 万行，129,976 个决策组。要回答的问题包括：用户想干什么、属于哪个域、是哪种 RAG 任务、哪种 agent 负载。适合训 intent 分类器、模型路由器和多语言路由。Jev 输入 2.4 亿 token，成本 $10.20，零错误。

Agent Trace Audit 100K，10 万行，但只有 5,556 个唯一上游源行。每个 source 行被拆成了多条决策：这次 agent 运行的结局是什么、用了哪些工具、有没有产出 patch、下一步该自动关闭还是转人工。适合 trace 审计、失败分析和 reward shaping。Jev 输入 3.1 亿 token，成本 $13.01，零错误。

三个数据集加起来成本不到 33 美元，跑了约 7.7 亿输入 token，没报错。这个价格放出来，等于把“用模型打标”的门槛又往下压了一截。

但数据集卡片里有一组数字比成本更值得注意。

Jev 和上游源标签的“描述性一致性”如下：Policy Verification 74.60%，Intent Domain Routing 92.52%，Agent Trace Audit 67.50%。卡片写得很清楚，这是行为审计，不是准确率或 benchmark 声明，上游标签本身也可能有噪声。

Agent Trace Audit 的拆分更具体：trace_outcome 一致性 26.62%，trace_disposition 36.53%，patch_presence 49.39%。也就是说，判断“这次 agent 运行到底成没成功”这件事，Jev 和外部 resolver 的结果在四分之三的情况下对不上。这不一定是 Jev 错了，更可能说明用 resolver 结果来定义 agent 成败本身就很难对齐。

推文评论区里，Oleg Zankov 的回复被顶得挺高。他说：Jev 和源标签不一致的那些行可能特别有用，建议在蒸馏之前先抽一批看看，把真正的标签纠正和不该让本地决策器继承的错误分开。Maziyar 回了一句：这是这里最多人要求的功能。

这个互动点出了这批数据实际怎么用的问题。72 万条决策，如果直接拿来当监督信号训一个小模型，等于默认每一条 Jev 的输出都是对的。但卡片明确写了 Jev 的输出是模型预测，不是 ground truth，置信度也没校准过。不一致的地方恰好是信息密度最高的地方，留着可以研究 teacher-human disagreement，扔掉就等于把最有意思的部分滤掉了。

还有一个细节值得注意。Agent Trace Audit 的 10 万行是从 5,556 个上游 source 行扩出来的，平均每个 source 行衍生出 18 条决策问题。这意味着同一段 trace 被反复阅读、反复提问，每行都保留了完整的 request、原始响应、token 用量和延迟，可以按 request_json 或 group_id 去重。如果有人直接按行数做训练集划分，同一个 group 的样本可能同时出现在 train 和 test 里，评估结果会虚高。卡片说用了 component-safe splits，已经按 group 和 source row 做了隔离，但自己再处理的时候还是得留意。

Jev 本身是 jev-1.13.0，五个数据集统一用这个版本打标。Policy Verification 和 Intent Domain Routing 的上游来源主要是 NVIDIA 的 HelpSteer2 和 HelpSteer3，Agent Trace Audit 来自 nvidia/Open-SWE-Traces，底层是 nebius/SWE-rebench-V2 的仓库任务，MIT 许可。

Maziyar 在推文里用的词是“train your own tiny decider and keep it inside your hospital”，意思是这些决策可以蒸馏进一个小模型，部署在本地，数据不用出门。这个方向对隐私敏感的场景很实在，医院、银行、政府机构都有类似需求。

但回到 Oleg 那条评论，用之前先看分歧。72 万条数据里，模型和源标签一致的部分能直接当监督信号，不一致的部分才是需要人看一眼的地方。拿来蒸馏之前不做这一步，等于把 Jev 的判断和上游标签的噪声一起打包塞进小模型，后面想拆就难了。

数据集链接在 Hugging Face 上都能找到，三个主要的搜索名字就能进：Jev-Policy-Verification-180K、Jev-Intent-Domain-Routing-130K、Jev-Agent-Trace-Audit-100K。完整列表在 Jevmaxxing collection 里。