OpenAI想用一个数字,给AI发展设上限
OpenAI首席科学家Jakub Pachocki发文,主张用perplexity作为衡量AI智能水平的通用指标,并公开内部预训练数据。他提议行业以此为基础设立开发红线:在人类理解AI行为的能力达标前,模型不得越过特定perplexity门槛。
OpenAI首席科学家Jakub Pachocki发表了一篇文章,主张用perplexity(困惑度)作为衡量AI智能水平的通用指标,并公开了OpenAI内部的预训练进展数据。他提议全行业基于此建立共同安全限制:在人类理解AI行为的能力达标之前,不越过一条明确的开发红线。
思路是:现代AI本质上是一个压缩器,或者说预测器。模型在海量数据上预训练,学习预测下一个内容单元(token)。perplexity衡量的就是这种预测能力,数值越低,预测越准。实践中通常追踪log-perplexity(对数困惑度,也叫交叉熵损失)。Pachocki把预训练产生的模型称为“外星心智”:一个具备难以预测的涌现能力的智能体。后续的提示、微调、强化学习,都只是在引导这个心智的能力。
perplexity的下降与能力跃升之间有清晰对应。GPT-3.5在log-perplexity约0.99时具备了流畅对话能力,成为ChatGPT的基础;GPT-4在约0.91时能有效利用思维链推理。现在OpenAI的log-perplexity已经降到0.8以下,网络安全和数学领域出现变革性能力。
OpenAI各模型的log-perplexity演变,从GPT-3.5开始记录(来源:OpenAI)
最让他和团队感到不真实的时刻发生在数学上。OpenAI用一年多时间向模型抛开放数学问题,当模型升级到log-perplexity约0.76后,开始产出突破性成果。长期悬而未决的问题,答案一个接一个出现在Slack线程里。
这些能力事先无法预测。随着指标降到特定点位,它们会突然涌现。Pachocki认为这正是perplexity比下游benchmark更值得追踪的原因,用现代基准评测早期模型意义不大,当年的基准到GPT-4时已经饱和。相比之下,预训练进展这个指标长期有效。他预测进入0.68-0.7窗口时会有新的未知能力出现,具体是什么,今天可能还没有对应的测试方法。同时,现有的对齐审计手段会进一步失效。
他担心的不仅是能力本身,还有AI对自身研究的加速。在最近的模型中,OpenAI已经看到AI在设计上的实际贡献。Pachocki判断,类似数学领域那种“雪崩式突破”,可能最早在2027年出现在预训练研究领域。AI也会加速对齐研究,但速度可能赶不上预训练进展。
这正是他提议设限的原因。Pachocki建议前沿模型开发者共同建立基于perplexity等指标的“共同限制”,承诺不越过红线,直到理解AI行为的能力达到具体里程碑,比如开发出CoT monitor的继任者。他还呼吁建立共享的透明度标准,以及新模型首次使用前的红队安全测试规范。这个思路延续了Anthropic CEO Dario Amodei此前提出的“we must pace the frontier”。Pachocki承认,公开数据会让竞争对手看清自己的位置,但建立共享安全标准的紧迫性更大。
perplexity作为通用指标并不完美。不同实验室的数据集不同,难以横向比较;它不与具体任务能力直接对应;思维链等推理技术不改变perplexity但大幅提升能力;而且没人知道数据固有熵值,即perplexity的理论下限。越接近下限,表面进展越慢,每次微小下降对应的智能跃升可能越大。
但Pachocki认为,这个指标经受了时间考验,是少数能持续带来通用智能提升的度量。OpenAI选择先迈出这一步,希望行业能共同建立这个科学基础。
发布时间: 2026-11-23 05:45