AI审稿人可能毙掉96%的人类论文，问题出在粒度

AI科学家系统有个常被忽略的硬伤：它判断一篇研究提案新不新，是整体打分的。有研究给了个数：现有judge可能杀掉96%人类后来发表的想法。

整体提案层面的新颖性判断，连人类专家审稿都吃力。大多数论文并非每个贡献都新，它们是在前人工作上加增量。一个整体分打下去，增量想法容易被误伤。

伊利诺伊大学厄巴纳-香槟分校的Miri Liu、Xiayu Zhao、Encheng Xie和ChengXiang Zhai写了篇论文《Do AI Scientists Know What's New?》，设计了一个分析新颖性的框架，用四个数据集构建提案和评审争议，检验框架有效性。他们提出的工具叫CLAIMNOV。

思路是换粒度：把提案拆到claim级别，生成一个claim画像，标明哪个贡献被哪篇论文覆盖、覆盖到什么程度，再让judge去权衡这个画像。这样新颖性检查能保住建立在先前工作上的增量想法，也能直接告诉生成器该改哪条claim。它甚至可以当AI科学家agent的训练奖励用。

数据上，ScholarEval误报率11.8%，CLAIMNOV降到1.5%。AI Scientist v1的误报率是52%。CLAIMNOV只保留366个源名称里的核心主张，没有保留NA（未提取）。

推主Jinyan Su提到，看到越来越多关于“taste”的研究。判断新颖性本来就更接近品味问题，不是查重问题。查重能告诉你两句话像不像，品味得告诉你哪句值得留下。