12T模型和“缅北园区”:这条硅谷爆料,评论区先不信了
爆料称谷歌同时训练了多个12T模型,Anthropic用高成本方式防止蒸馏。评论区从参数规模吵到信源可靠性,几乎每个细节都有人反驳。
一条来自 @lee_xeo 的推文,把谷歌和 Anthropic 的训练细节抖了出来。信息量不小,争议也不小。原文链接在文末。
先说爆料本身。
Gemini Argon 和 Gemini Carbon 由两拨人做,模型架构一模一样,数据和训练方法不同。原文写作 12TA555B,没有展开解释。两拨人做同架构模型,类似国内的赛马。谷歌极有可能同时训练了多个 12T 模型,最后成了两个。推文还判断,中美算力差距远大于两个数量级。
Google 内部目前没有更强的模型,但 Anthropic 有。
Anthropic 的工作模式被形容得像缅北 KK 园区。招了很多人,进去参与某个项目,但参与者并不知道自己做的项目最终是给模型造数据,还是模型的一部分。研发成本因此很高,Anthropic 也不想让别人蒸馏自己。蒸馏通常指用强模型的输出训练小模型,降低训练成本。
Anthropic 的模型应该比 Google 的小,Opus 也比 Gemini 4 小。具体多大,推文说没问到。
评论区没有顺着爆料往下推,先开始拆数字。
有网友不信两个 12T 模型的差异会像原文说的那么大。也有人盯着知识量:如果 Carbon 真是 12T,为什么世界知识表现不像 12T,反而被 Fable 5.2 压着打。按这位网友的倒推,Fable 5.2 该是 20T 级别。另一位网友补了一句,Hydrogen 是从 Carbon 蒸馏出来的。
参数规模也被反复质疑。“12T?怎么可能这么大”“km3.1 参数也才 3 万亿,4 倍参数量的提升远不可能只有这些”。还有人直接说,1、2、4 肯定是错的。
信源同样没被放过。有人写“经典先我有一个朋友,然后后面的话其实都是自己编的”,有人问“你这瓜保熟吗”,也有人用反话嘲讽,说谷歌负责人和 Anso Pika 首席工程师都给爆料者发微信了。
一条回复提供了另一个细节:谷歌还有一个内部模型没发布,位置在 Argon 和 Barium 之间。另一条回复则把赛马解释得更具体:如果信源靠谱,赛马可能捕捉到小规模试验漏掉的东西,小规模有效的训练配方,放大算力后未必继续领先。
这些说法目前都没有官方确认。能确认的是,大模型竞赛的信息差已经大到爆料、反爆料和参数猜测混在一起。看这类消息,正文和评论区一起看,信息更完整。
来源:原推
发布时间: 2026-11-16 04:26