Wink Pings

Anthropic用Claude开发Claude,新基准只给Opus 5.5打了45分

Latent Space播客披露了Anthropic用Claude开发Claude的内部流程:每1美元成本对应2美元收入,超一半顶级客户在用。Cognition的新基准FrontierCode 2.0把编码评估从“会不会合并PR”升级到“该不该合并PR”,Opus 5.5只拿45%。

Anthropic正在用Claude开发Claude。这期Latent Space播客聊的正是这条内部流程,受访者是平台背后的工程负责人Katelyn Lesse和产品负责人Ang Jiang。这个平台产出了Code、Tag、Duet这些第一方工具,也被Anthropic超过一半的顶级客户使用。

节目提到一个数字:Anthropic现在每支出1美元成本,对应2美元收入。有网友追问:这个账有没有把数据中心的take-or-pay合同算进去?照付不议,容量上线后不用也得付钱。节目里没展开。问题指向AI公司共同的软肋:基础设施账单。

评论区还有人问,Opus 5.5发布时,harness(模型外部的工具链)改了什么?另一个人说,最想听一个上线前被拦下来的改动:模型写了什么、哪项检查没过、最后怎么修。顺利发布是结果,被拦下来才是过程。

Opus 5.5被播客称为“目前世界第一的LLM”。节目嘉宾的回应是:第一名取决于你问谁。排名上是第一,但在新基准里,事情变得微妙。

Cognition本周发布了FrontierCode 2.0,一个专门测“超越规格”能力的编码基准。大多数编码eval看模型能不能按规格写出代码。FrontierCode 1.0问:你会合并这个PR(代码合并请求)吗?2.0多加了一层:不只问“你会不会合并”,还问“你该不该合并”。

FrontierCode 2.0信息图

任务更多样、范围更大、可合并性标准更高。提示词故意写得模糊,把工程决策留给模型。结果就是,这个基准远未饱和。

Cognition的Walden Yan说,质量门槛很高,团队在构建基准时拒绝了80%的PR,退回给开源维护者改进。他说这是最符合他对模型直觉判断的eval。他的同事Cheng-Yuan Lee补充:软件工程领域感觉已经解决了,但agent依然会漏掉细节,做不出彻底的实现。

FrontierCode 2.0各模型得分

分数分布说明了很多。Opus 5.5拿45.5%,GPT-6 Astra 42.6%,Claude Sonnet 5.5 40.8%,头部差距很小。再往下,Claude Fable 5.1 32.4%,Grok 4.7 28.5%。有用户在评论区指出,Sonnet 5.5离Opus 5.5和GPT-6 Astra很近,但明显领先Fable 5.1。还有人在讨论Fable 5.5要出的传言。

Opus 5.5发布于2026年9月22日。费用管理公司Ramp的数据显示,Anthropic在模型上的支出中,Opus 5.5占了63%。这家公司不只把Claude卖给客户,自己也在重度使用Claude。用Claude开发Claude,是一笔认真的投入。

新基准的态度是:最强模型也只到45%。距离“该合并”,路还长。

Cognition把评估方法、评分标准和样本任务都公开在了博客上。想验证模型真实工程判断力的人,可以去对照。

发布时间: 2026-10-28 17:30