Wink Pings

OpenAI 首次公开预训练困惑度,想给 AI 竞赛装限速器

OpenAI 首席科学家 Jakub Pachocki 罕见披露内部预训练数据,提议用困惑度作为行业安全基线。这个冷门指标,可能成为前沿模型竞赛的新关卡。

11月22日,OpenAI 首席科学家 Jakub Pachocki 发了一篇长文,罕见地公开了内部预训练进度。文章题为 Perplexity and Intelligence(困惑度与智能)。核心动作有两个:公布 OpenAI 多年来跟踪的困惑度数据,以及提议全行业用困惑度作为共同的安全限制指标。

先把概念说清楚。困惑度(perplexity)衡量模型对下一个 token 的预测能力。越低,说明模型对数据的压缩能力越强。Pachocki 认为,现代 AI 本质上就是训练一个压缩器,在海量语料上做预测,各种能力是后来从这种预测能力里引出来的。

OpenAI 从 GPT-3.5 时代起就盯着一块固定的内部代码库数据集测 log-perplexity,也就是交叉熵 loss。几个关键节点:

  • GPT-3.5,log-perplexity 约 0.99,能流畅对话,催生了初代 ChatGPT。
  • GPT-4,约 0.91,能有效利用思维链做推理。
  • 现在,loss 降到 0.8 以下后,模型开始在网络安全和数学领域出现变革性能力。
  • log-perplexity 到 0.76 左右时,模型开始连续解决长期未解的数学问题。

这个观察最反常识的地方在于:能力的出现和特定困惑度阈值之间有对应关系,但事前没人能预测。Pachocki 自己说,这些能力本质上是伴随压缩率提升而涌现的潜藏能力。

另一条帖子里有人顺着这个数字算了一笔账。OpenAI 内部模型对自家代码库下一个 token 的平均预测概率约 48%,按每个 token 4 字节算,相当于 30:1 的压缩率。这个数字足够惊人。

Pachocki 这次公开数据,不是单纯展示成绩。他明确说,公布内部困惑度会让竞争对手看清 OpenAI 的位置,但建立行业共享安全标准的紧迫性超过这个顾虑。

他的提议是:前沿模型开发者共同设定一个困惑度上限,在监控和理解 AI 行为的能力达到某个具体里程碑之前,不越过这条线。可以理解成给预训练竞赛装一个限速器。

他还提了一个更紧迫的时间线。AI 对自身算法研究的参与可能带来突变,数学领域已经出现过类似转折。他认为最快到 2027 年,预训练研究可能迎来雪崩式的进展。

当然,困惑度作为公共指标有不少问题:不同实验室数据集不同,难以直接比较;困惑度不能对应某个具体任务;思维链等推理技术不会降低困惑度,却能大幅提升能力;而且没人知道数据本身的熵下限,接近下限时小进步可能对应大飞跃。

即便如此,Pachocki 认为困惑度是少数经受住时间考验、能跨实验室讨论的指标。OpenAI 已经迈出第一步,接下来要看其他实验室接不接。

OpenAI 预训练困惑度变化图

评论区有人打趣,说终于明白 Codex 为什么这么爱用 gated 这个词。有人则等着看其他实验室会不会跟进。这个问题,确实比模型本身更值得盯。

发布时间: 2026-11-23 02:39