Wink Pings

OpenAI公开预训练数据:AI的能力,一个数字说了算?

OpenAI首席科学家Jakub Pachocki罕见公开内部预训练困惑度数据,提议以此为基础设立共享安全上限。从0.99到0.76,每个数字都对应着AI能力的一次跳跃。

OpenAI首席科学家Jakub Pachocki发表了一篇长文《Perplexity and Intelligence》。他做了两件事:公开OpenAI内部追踪多年的预训练困惑度数据,提议全行业以这个指标为基础建立共享安全标准。

Pachocki的核心观点是:现代AI的能力,本质上来自一个更简单的过程:训练一个压缩器(等价于预测器),在超大规模数据上预测下一个token。各种提示词、微调、强化学习,都只是在“调用”这个压缩器里已经存在的智能。

困惑度(perplexity)衡量的是这个预测的准确程度。数字越低,模型对数据的预测越准。OpenAI追踪的是对数困惑度(log-perplexity),也叫交叉熵损失。从GPT-3.5开始,他们一直在同一份内部代码库评估集上记录这个数字。

这些数字对应着能力跃迁的节点:

  • GPT-3.5,约0.99:流畅对话,ChatGPT的起点。
  • GPT-4,约0.91:能有效利用思维链推理,催生了现代推理模型。
  • 跌破0.8:出现网络安全和数学领域的变革性能力。
  • 约0.76:开始解决长期悬而未决的数学问题。

image

Pachocki描述了一个场景:当模型升级到0.76后,它在一个Slack线程里连续解决了多个他和其他数学家长期思考的问题,一个接一个。“感觉很超现实。”他说。

他推测,深度学习研究领域也可能在2027年出现类似的雪崩式进展。预训练算法研究可能迎来突然爆发,和渐进式优化不是一个路径。他特别提到,AI已经在其自身的设计中做出了有意义的贡献,但他认为,对齐和监控方面的进展可能不够快,不足以支撑预训练的全面加速。

这也是他提议设立“共同限制”(common limits)的原因。具体来说:基于困惑度等指标设定一个上限,开发者承诺在理解AI行为达到某个具体里程碑之前(比如开发出CoT monitors的继任者),不跨越这个限制。

公开内部数据是有代价的:竞争对手会借此看清OpenAI的位置。但Pachocki认为,建立共享安全标准的紧迫性超过这个顾虑。他希望在首次部署前沿模型之前,开发者们能共同建立评估规范和红队安全案例的标准。

这个提案并非没有漏洞。Pachocki自己列出了四项挑战:不同实验室的数据集不同,难以跨实验室比较;困惑度不直接对应任何具体任务能力;思维链等预训练之外的进展无法体现在这个指标中;没人知道数据固有熵的下限。越接近下限,同样的数字降低对应的智力飞跃越大。

这些局限让提案看起来不像一个完美方案,更像一个可执行的起点。它把安全讨论从“感觉”转向了“测量”。先有一个全行业能共同看到的仪表盘,再谈什么时候踩刹车。

现在的问题是:其他实验室会跟进公开数据吗?以及,如果2027年的预判成真,这个仪表盘还来得及报警吗?

发布时间: 2026-11-23 03:46