Wink Pings

OpenAI 内部模型 ExploitGym 跑分 77%,Anthropic 最新旗舰只有 39.2%

OpenAI 在 Cyber at the Frontier 主题演讲上放出一张内部安全模型跑分图:ExploitGym 上 77.0%,Anthropic 最新旗舰 Claude Mythos 5.2 是 39.2%。评估方式不同,这 38 点的差距还成立吗,评论区吵开了。

OpenAI 在 Cyber at the Frontier 主题演讲上放出一张内部模型的跑分图:ExploitGym 上 77.0%。同一张榜单里,Anthropic 最新旗舰 Claude Mythos 5.2 是 39.2%,不到一半。

照片随后出现在红迪的 r/OpenAI 板块。

先交代 ExploitGym 是什么。它给模型一个真实漏洞和一个会触发崩溃的 PoC 输入,看模型能否在此基础上生成可用的端到端 exploit。整个测试集有 869 个容器化任务,每条结果都是 Pass/Fail。

当前 frontier 模型在这个榜单上的位置:

模型分数
OpenAI 内部 “Upcoming Cyber Model”77.0%
OpenAI GPT-6 Cyber52.6%(低 token 预算时 48.5%)
OpenAI GPT-6 Astra(9 月已发布)42.4%
Claude Mythos 5.2(6 小时超时)39.2%
Claude Mythos 5.2(2 小时超时)38.1%
Claude Opus 5.5(6 小时超时)34.5%
Claude Mythos 5.1(6 小时超时)30.4%

ExploitGym 内部模型跑分图

图里有几件事值得拿出来说。内部模型 77.0% 是 Mythos 5.2 的两倍左右。已经发布两个月的 GPT-6 Astra(42.4%)也依旧高于 Anthropic 放宽安全分类器、只向认证网络安全团队开放的旗舰 Mythos 5.2(39.2%)。

77.0% 这个成绩跑在约 75K token 的预算上。发帖人提到,在约 30K token 时,那条红线已经接近 70%。

两者评估方式有区别。Anthropic 在 Claude Code 里用墙钟超时(2 小时和 6 小时)来测 ExploitGym,OpenAI 这边画的是不同 token 预算下的成功率。跑分环境不同,数字能差多少,没有标准答案。

但发帖人认为 77.0% 对 39.2% 这 38 点的差距不是换套跑分工具就能抹掉的。他算了一笔账:Anthropic 从 Mythos 5.1 到 5.2 提升了 8.8 点。要现场追到 77%,对方得有一个提升 37.8 点的秘密 checkpoint,四倍于上一次进步,同时偏偏选择放出一个输给两个月前 GPT-6 Astra 的 39.2% 来当门面。这个组合不太像一家公司做发布决策的方式。

评论区立刻有人问,难道不该拿 OpenAI 的内部模型去比 Anthropic 的内部模型吗?发帖人的回应就是上面那笔账。也有用户跟进说,Mythos 5.2 已经是对方的最新旗舰,而且是在放宽安全限制之后才跑出的成绩。

另一种声音更直接:跑分再好看,99% 的用户摸不到。底下有人回:“但接近 100% 的人会被它 hack 吧?”

关于“内部模型太强,不能发布”这句话,有用户用一句话复述了它现在的舆论待遇:“兄弟,我们内部这个模型太强了不能发,它会把一切都黑了的兄弟。” 跟帖里有人说,这种梗在模型真的被拿去做渗透测试之后就没那么好笑了。

还有人把玩笑开到底:自家内部模型跑了 98%,没更高的原因是跑分程序出了 bug,本来想发布,想了想还是太危险了。

拿跑分预告循环开涮的帖子也有。有人说 OpenAI 在 ExploitGym 上刷分,过几天多半会宣布抓到了 AI 试图发射核弹,所以自家模型最接近天网;接着 Anthropic 会宣布他们的 AI 在被要求“杀死癌细胞”时做出了一款生化武器。他说自己是在讽刺,但并不觉得这类公告会缺席。

另一条评论关注时间差:OpenAI 在研究上可能领先,但把模型放出来需要更长时间处理安全性和成本问题。能力越强,等待越久。这个解释逻辑上成立,但在产品层面无法验证。

最实际的声音跟跑分无关。有用户说自己的 Codex 订阅快到期了,不在乎内部模型预告,新模型再不发布,他就转投 Claude 了。

至于那个“到底什么时候能用”的问题,发帖人猜会在 Anthropic IPO 前后。底下有人补了一句:Dev Day 刚办砸,估计是想找回一场。

最后有条跟帖直截了当:OpenAI 要么在撒谎,要么在给这些跑分网站塞钱。这条没给证据,但它的存在本身就说明了 r/OpenAI 对这类数字的默认态度。

发布时间: 2026-11-13 07:18