AI 提了 135 个研究问题，专家只认其中三分之一

Fan Nie 和团队做了个项目叫 After42，让 AI 提研究问题。名字借自《银河系漫游指南》：超级计算机算出终极答案是 42，但没人知道问题是什么。After42 想反过来，让 AI 找值得问的问题。

29 位专家参与评估，覆盖数学、统计、理论计算机科学和物理。135 个最终问题里，45 个被判定真正有趣、值得做。大约三分之一。

但这是迭代之后的结果。

同一套流程在相变子领域的早期实验里，专家对初始提案的"有趣"判定只有 3%。经过过滤、多轮解题打磨，最终问题升到 33%。

先解题，再提问

核心思路不复杂：好的问题往往在尝试解决的过程中才变清楚。

研究者给一个宽泛的领域目标，比如"理解大量局部随机规则如何产生宏观层面的质变"。系统先从文献里生成一大批候选问题，筛掉弱的问题，剩下的进多轮循环。每一轮，求解智能体试着解题，开发智能体根据发现来修改问题，模型评委比较新旧版本。所有评委都认可才通过修改。

有个例子能说明这个过程。稀疏几何那个问题，最初问的是：能不能从广度优先搜索的队列长度记录里恢复几何信息。解题尝试发现，三角形数量才是关键，而且这些三角形大多落在大组件外面。问题最后重写成：高维球面上随机几何图，在特定维度尺度下，是不是等价于一个 Erdős–Rényi 图加上泊松数量的随机三角形？专家评价这次改写"纠正了最初对几何信息藏身处的直觉"。

从 3% 到 33% 的曲线是这样的：

97% 的问题只是排列组合

论文里有个词叫"组合"，指问题直接建立在已知工作上，重组、修改、或沿已有对象走下一步。数学样本 100 个初始提案，97 个属于这类。70 个最终问题，61 个还是这类。

有评论指出，97% 这个数字听起来像模型局限，但回头看人类研究，大多数问题也是组合。Daniel Lenton 说自己的博士工作 97% 也是组合式的。这话有道理。不过论文提到一层区别：Broadbent 和 Hammersley 1957 年提出渗流模型，Erdős 和 Rényi 1960 年研究随机图演化，这类问题是引入新对象、开辟新方向的，在当前 AI 提案里几乎看不到。

专家觉得有趣的问题也可以是组合式的。真正稀缺的是跳出组合的那部分。

模型能抓住共识，抓不住个人品味

第二个问题是 AI 能不能判断哪个问题有趣。四个前沿模型和九位专家对同一批 70 个问题排名。

模型集成的前 20 名覆盖专家共识前 20 的 80%，这个数字和单个专家之间的对齐度差不多。但对单个专家的 top 20，模型集成只覆盖 35% 到 85%。只被一位专家排在高位的问题，模型几乎不选。论文指出，这类问题有时恰恰开新方向。

研究品味是分散的，专家之间在很多问题上不一致。模型能抓住共识，但共识之外的部分，它没有能力判断。

各领域差异很大

相变子领域 47% 的最终问题被认为有趣，黑洞 ringdown 38%，在线算法 33%，prediction-powered inference 14%，等离子体物理 0%。越靠近数学的子领域，比例越高。

数学那轮用 GPT 6 Astra 跑了一天，产出 70 个最终问题，消耗约 260 agent-hours、26 亿 token。

问题是一等公民

Han Xiao 转推时说，这套设计最聪明的地方在于：解题不是目的，解出来的问题会作为"中等"被过滤掉，没解决的问题反而存活下来。问题本身是 first-class citizen。这跟 curiosity 驱动的系统逻辑一致。

有人问，他觉得 best practice 是问题生成还是评估。他回答说，验证器是单独的话题，一个高效、安全、难作弊的沙箱验证器很重要，但好的软件工程能解决。After42 更聚焦在提问本身。

论文自己也谈到评估的局限：没有可靠的自动评估器，最终判断依赖专家，而专家资源有限。整个评估覆盖的问题、子领域和专家数量都不算多。

一点观察

这件事值得注意的地方，是它没把"有趣"硬编码成一个可优化的代理指标。引用数、证明长度这类指标容易优化，也容易偏离研究者真正在意的东西。After42 把最终判断交给专家，模型只负责把候选范围缩小。

代价是成本高。平均每个问题，专家要花 35 分钟阅读和写评论。这个流程没法轻易规模化。

AI 提问题的瓶颈不在生成，在判断。After42 给出的方案是让研究者保留最终选择权，模型在共识层面帮忙筛。这可能是目前最诚实的做法。