Wink Pings

OpenAI想用Perplexity给AI发展设上限,但这把尺子够准吗?

OpenAI首席科学家Jakub Pachocki公开了内部perplexity数据,并提议以此为基础给整个AI行业设置安全上限。这个单一指标能承载这种重量吗?其他实验室会跟进吗?

OpenAI首席科学家Jakub Pachocki在官网发了一篇长文,题目叫《Perplexity and Intelligence》。他在文中公开了OpenAI内部一直用来衡量预训练进展的指标:perplexity。

image

perplexity衡量的是模型对下一个token的预测能力,越低越好。Pachocki的观察是,AI的能力来自一个更简单、更不可解释的过程:在超大语料上训练一个压缩器。perplexity下降,能力就涌现。他此前把这种能力称为“外星心智”。

在OpenAI内部长期跟踪的数据集上,GPT-3.5的log-perplexity(交叉熵损失)约为0.99,这是ChatGPT的基础。GPT-4是0.91,开始能有效使用思维链。当loss降到0.8以下,模型在网络安全和数学领域出现跃迁式能力。到了0.76左右,模型开始连续解决长期悬而未决的数学问题。

Pachocki认为,能力涌现和perplexity之间存在关联,但具体能力在哪个阈值出现,事先无法预测。也就是说,这个指标能预警,但不知道会放出什么。

他提议,整个行业应该基于perplexity等指标建立共同的安全下限。开发者承诺,在理解和监控AI行为达到某个具体里程碑之前,不越过这条线。比如,造出CoT(思维链)监控器的下一代。他还预测,AI对自身发展的加速很快会波及预训练算法研究,2027年可能看到类似数学领域的“雪崩式”突破。如果预训练进展加速,perplexity会下降得更快,安全上限的意义就更大。

这个提议听着合理,做起来难。不同实验室的数据集和数据配比不同,数字没法直接比较。Pachocki自己也承认这一点。另外,perplexity不直接对应任何具体任务,思维链推理显著提升能力,却不会让perplexity降低。单靠它不够。

更值得注意的是,OpenAI选择公开这个内部指标。这等于告诉竞争对手自己的预训练进展到了哪里。Pachocki说,比起竞争,建立共享安全标准的紧迫性更重要。这个理由能否成立,还需要观察。

perplexity不是万能尺子,但它提供了一个少见的横向比较维度。当AI能力越来越难用benchmark衡量时,一个简单的数字也许能帮我们看清进展。OpenAI走出了第一步,接下来就看其他实验室跟不跟。

发布时间: 2026-11-23 04:47