AI查新过滤器，把96%后来发表的论文筛掉了

伊利诺伊大学厄巴纳-香槟分校的一篇新论文，给AI科研流程里的查新环节做了压力测试。论文标题是《Do AI Scientists Know What's New?》，作者包括 Miri Liu、Xiayu Zhao、Encheng Xie、ChengXiang Zhai，arXiv 编号 2610.36511。

背景不复杂。AI scientist pipeline 生成一批研究 idea 后，会跑 novelty check，决定哪些 idea 值得分到算力。问题在于，这类检查通常把整篇 proposal 当成一个整体判新不新。真实论文很少从零长出来，多数会接着已有贡献往前走。整篇一起判，容易把“有旧成分”直接当成“没新意”。

Rohan Paul 在推文里给了这组对比：一个已经部署的查新器抓住了全部380篇伪装副本，同时拒掉了96%后来被人类研究者发表的 idea。ClaimNov 的做法不同，它把 proposal 拆成几个 claim，逐条去和先前论文里的 claim 匹配，再把逐条证据交给 judge。结果它抓住约97%的伪装副本，只拒掉1.5%后来被发表的 idea。图注里给出更细的数字：ClaimNov 正确拒绝367篇伪装论文，在366篇里指出了来源，在400个后来被人类实现的想法里错误拒绝1.5%。

96%这个数字比380篇更值得看。一个拒绝一切的过滤器也能抓住全部伪装副本。Lakshay 在回复里说，拒绝一切也能抓完380篇，96%才是唯一要紧的数字。Iris晴柔补了另一面：被拒的 idea 根本不会跑，检查器永远没机会知道自己判错。这个反馈回路很窄，错误被藏起来了。

Elev 的评论更损：一个拒掉96%后来发表论文的检查器，完全学会了审稿人2。笑话背后是评估单位的问题。以整篇 proposal 为单位判新颖，等于要求一个想法不能带任何旧痕迹。可现实里，好想法经常是旧结果的重新组合。有网友补充说，这个拒掉96%的检查器来自 Si 等人那篇找了100多位 NLP 研究者的研究，那篇研究还得出过“AI 的点子比人类专家更新颖”的结论；按这篇论文的复现，把原论文从库里拿掉后，它照样拒了380篇伪装稿里的359篇。这个补充把问题指向更基础的地方：查新器在判“像不像已有工作”，不在判“值不值得做”。

论文给出的工程建议很具体。pipeline 要过滤 idea，别整篇打分后一刀切。把 proposal 拆成 claim，分别评新颖性，保留那些建立在1个已知结果上的提案。再留一个申诉口。有网友在回复里提到，后来发表的论文说明“not novel”这个判断需要可申诉。对自动科研流程来说，查新器更像分诊台，别让它当法官。分错诊的代价，是后面没有实验来纠正。怀疑应该启动调查，不该直接终止调查。Marcus van der Erve 在回复里也提到，非传统想法容易被既有科学预期否定，转折点在于让 AI 把想法发展成可检验命题，再拿证据碰。

ClaimNov 不是完美过滤器，97%的召回和1.5%的误杀仍然要放到具体 pipeline 里看。它给出的方向清楚：新颖性判断要从整篇 proposal 下沉到 claim，把“有旧成分”和“没有新贡献”分开。对做 AI scientist 工具的人，这比再调一个二分类阈值更有用。