OpenAI 想用 Perplexity 给 AI 踩刹车,但刹车线可能画歪了
OpenAI 首次披露预训练 perplexity 数据,并提议行业据此设置共同安全上限。指标有价值,但作为刹车线问题不少:跨实验室难比较、不涵盖思维链、未知下限。网友更关心 internal model 何时发布。
OpenAI 首席科学家 Jakub Pachocki 发表了一篇长文,标题叫 Perplexity and Intelligence。同一天,Sam Altman 在 X 上转发并配了一句:这是 OpenAI 一段时间以来最重要的发布。
这个最重要的事,在于公开预训练进度的内部数据,并提议行业基于同一个指标——perplexity——设立共同安全上限。
Perplexity 直译是困惑度,衡量模型在预测下一个 token(文本片段)时的平均表现。数字越低,说明模型对数据规律掌握得越好。OpenAI 的观点是,预训练本质上是在大数据上训练一个压缩器,perplexity 是追踪这个压缩器智能水平的核心标尺。
OpenAI 给出了一组数据:GPT-3.5 的对数困惑度(log-perplexity)约为 0.99,GPT-4 约为 0.91,而到了当前模型,已经低于 0.8。每次跨过一个阈值,就有新能力涌现。GPT-3.5 跨过流畅对话的门槛;GPT-4 开始有效使用思维链;而低于 0.8 后,模型在网络安全和数学上出现了变革性能力。
Pachocki 在文章中提出,开发者应该共同承诺:在理解和监控 AI 行为的能力达到某个具体里程碑之前,不越过基于 perplexity 和其他指标设定的共同限制。也就是说,给 AI 的发展画一条明确的刹车线。
为什么要拿 perplexity 当标尺?因为它可以跨模型、跨实验室比较。但这也是争议最大的地方。
不同实验室用的数据集、数据混合方式完全不同。OpenAI 用的是自己内部代码库的固定快照,别家怎么对标?perplexity 不直接对应任何实际任务能力,它更像一个底层指标。此外,思维链推理带来的能力跃升,并不会反映在 perplexity 的下降上。还有最根本的问题:我们不知道数据的固有熵到底是多少,loss 的底线在哪,越接近底线,perplexity 的微小下降可能意味着巨大的能力飞跃。
Pachocki 还提到一个加速因素:AI 已经开始参与预训练算法研究。他写道,当模型达到对数困惑度约 0.76 时,开始在数学上产出突破性成果,甚至让人感到超现实。他推测,2027 年可能出现类似的预训练研究雪崩。这恰恰说明,靠人类手动设置限制的窗口期可能很短。
Sam Altman 在转发里说:希望我们能作为朋友就共同限制达成一致。可能是打字太急,friend 拼成了 frield。评论区迅速抓住这个梗,但更强烈的情绪来自别处。
有网友直接说:你不会让我们停下来,开源开放权重模型会赢。有网友问:谁来审计这些 perplexity 限制?还有不少人反复问同一个问题:OpenAI 那个传说中的 internal model 什么时候发布?看起来,社区对自我监管的信任程度,并不比对这个指标的确信程度高。
OpenAI 这次主动交出底牌,确实罕见。但底牌是不是真的?其他实验室会不会接?指标本身又能不能经得起推敲?都是悬而未决的问题。唯一确定的是,AI 发展速度和解释能力的差距,第一次被一个数字量化地摆了出来。
发布时间: 2026-11-23 02:42