OpenAI把内部模型交给四家机构审查,评论区只问6.2在哪
OpenAI公布首批嵌入式评估:Apollo Research、METR、Transluce、Goodfire获得内部模型、代码、训练数据和监控系统访问权限。评估协议写得很细,评论区却在催新模型。
OpenAI在11月16日公布首批嵌入式评估合作。四家独立机构拿到的不只是公开接口,还包括内部模型检查点、源代码、训练和评估数据、监控系统、技术文档,以及和一线研究员、工程师直接讨论的机会。
合作方是Apollo Research、METR、Transluce和Goodfire。OpenAI称,这类评估让外部专家在一段时间内深入内部系统,检查模型对齐情况和安全防护是否有效。相关说明发布在OpenAI官网。
四家机构分别看什么
Apollo Research要评估模型是否会暗中违背开发者意图,以及现有防护能不能发现这种行为。它要检查训练、安全测试和内部使用中的证据,分两阶段验证四项主张:训练没有激励颠覆,强评估和红队测试没有引出颠覆,模型在内部使用中没尝试颠覆,颠覆背后的推理可以被检测到。
METR的任务集中在模型对齐和监控。第一阶段,METR会评估OpenAI迄今最大的强化学习训练运行中的错位行为,包括现有测试和监控可能漏掉的失败。OpenAI还会提供相关检查点、训练和评估推演记录、错位监控记录。双方也初步同意再做一次更广的监控评估,但范围还在谈。
Transluce评估后训练阶段的对齐评估,重点看质量和覆盖范围。它会开发额外测试,针对测试盲区提出改进建议。双方计划在2027年初做一次约八周的后续评估,访问更多模型,并了解评估结果如何影响模型发布决策。
Goodfire的可解释性研究员会使用自家平台分析模型内部,目标包括训练运行监控、调试和对齐,帮助OpenAI研究员发现并改进安全问题。
协议写得很细
访问权限大,限制也不少。需要接触敏感机密信息的评估者要在OpenAI办公室现场工作,使用OpenAI提供的设备。OpenAI说,这样做主要是保护信息安全,也方便评估者和专职员工沟通。评估者运行实验时,至少要遵守和OpenAI员工相同的安全标准。
监督方面,OpenAI基金会董事会的安全与安全委员会(SSC)可以介入评估前、中、后阶段,拿到未删节报告,也能和评估者私下交流。OpenAI和评估者出现分歧,会先升级到安全咨询组和高管,限时解决;如果仍未解决,交给SSC。
员工讨论采用非记录方式。评估者可以据此形成判断,但不能公开发表或归因到具体员工。另有一条认证路径:评估者可以请求OpenAI认证某段陈述,用来核实、纠正或澄清从员工那里了解到的信息。OpenAI可以认证,也可以拒绝,评估者可以公开认证声明,或披露OpenAI拒绝认证。
利益冲突和冷静期也写进了协议。Apollo Research和Goodfire接受财务补偿,但补偿不与评估结果挂钩。METR和Transluce不接受财务补偿,可能接受API额度或算力。参与嵌入式评估的第三方员工,在嵌入另一家AI开发商前要遵守短暂冷静期,降低机密信息泄露风险。
发布环节,评估者保持独立,但OpenAI保留删改机密信息的权利,也可以请求负责任披露延迟,以便处理可能带来安全风险的问题。
评论区在催模型
这条消息下面的反应很分裂。有人问,四家机构是不是已经拿到GPT-6.2 Astra。有人问周四前能不能做完。有人直接说,想要新模型。
有网友把安全评估称作拖延发布的新理由,说Anthropic同样重视安全,却仍能发布前沿模型。也有人表示理解,认为即使拖慢节奏,这些步骤也该做。
一条被转发的回复视频很能代表这种情绪:
从公开信息看,OpenAI这次把外部评估从“看公开材料”推进到“进内部系统”。评估范围、访问边界、监督路径、披露规则都写了出来。评论区关心的却是另一件事:模型什么时候发。安全工作和产品节奏之间的拉扯,在这条推文下面摆得很清楚。
原文链接:https://openai.com/index/our-first-phase-of-embedded-assessments/
发布时间: 2026-11-17 03:28