Wink Pings

200美元年费用出10万美元账单,Anthropic靠什么赚钱

Vlad Mihalcea晒出账单质疑Anthropic商业模式。答案藏在KV cache和编码agent的工作方式里:输出token只是小头,反复读取上下文才是大头,而缓存读对提供商几乎免费。

Vlad Mihalcea在X上贴了一张账单截图:Pro计划年费200美元,他用了160亿tokens,按API单价算,大约10万美元。他问,看不懂Anthropic的商业模式。

Gergely Orosz转发了这条推文,给了一个很工程师的解释:推理工程101,读KV cache很便宜,投机解码让会话更高效。编码场景重度使用这两样东西,所以推理非常赚钱。

Gergely Orosz 推文截图

Vlad Mihalcea 账单截图

先把背景补清楚。大模型推理分两步。Prefill阶段读输入,把整段提示词过一遍前向计算,成本跟输入token数相关。Decode阶段逐个生成输出token,每生成一个token,模型都要把整个上下文从高带宽内存里读一遍。输出token更贵,主要贵在内存带宽。

KV cache是中间结果。模型把已经处理过的上下文表示存下来,下次再碰到同一段上下文,不用重新算。读缓存几乎不消耗计算,也不怎么占内存带宽。写缓存要花一次prefill的成本,所以有的厂商收一点缓存写入费。

编码agent把这件事放大了。Agent是一个循环:模型读上下文,发出工具调用,工具返回结果,结果再塞回上下文,模型继续读。每一轮都要重读之前所有内容。上下文有N个token,工具调用有T次,总输入token大约是按N乘T增长。上下文越滚越大,成本随会话长度二次增长。

Diogo Almeida在那篇《KV Cache Rules Everything Around Me》里拆过账单。输出token,普通人以为最贵,其实只占总额的9%到18%。剩下的大头是模型反复读自己的历史。Martin Alderson模拟过一个100轮、6万token上下文的会话,缓存读取约占Opus 5账单的76%。

缓存命中率稍微变一点,账单差很多。Claude Code公布的命中率是89%,同样负载成本从107万美元变成197万美元,多了84%。有团队测到95%,从95%提到98%,大约省17%。

所以200美元年费用出10万美元API等价账单,看起来像疯狂补贴。SemiAnalysis算过,200美元每月的Claude计划最多能产出8000美元每月的API等价token,OpenAI的计划最高到14000美元每月,标价上相当于40到70倍补贴。但这里说的是API标价,不是提供商的真实成本。

有网友用星巴克打比方:送出一杯标价6美元的拿铁,不能说损失6美元,豆子和牛奶成本可能只有0.8美元。API价目表上的数字,和实际服务成本不是一回事。

Shantanu Goel补充了另一面:缓存带来的收益,很多厂商已经部分传给用户。开源模型上缓存读可以便宜到接近免费。Anthropic的缓存读价格大约便宜20倍,同时还在收缓存写入费。他认为推理本身是盈利的,KV cache和投机解码更多是提高容量,不是单独制造利润。

另一个反常识的点是路由。很多人想用便宜模型处理简单步骤,贵模型处理难步骤,省输出token。但输出token本来就是小头。第二个模型一碰上下文,KV cache不共享,缓存要重建。省下的输出费很容易被缓存成本吃掉。子代理也一样,除非它不需要父级完整上下文。

如果agent跑在规模上,自托管开放权重模型的意义就出来了:把缓存的便宜留给自己,不交给API厂商。至少现在是这样。缓存读价格还在降,Fable 5.1把价格从每百万token 1美元降到0.25美元,说明还有下降空间。

有网友补了一张计算图,把缓存读取和输出成本拆得更细。

网友补充的缓存成本计算图

这件事的核心不是token总数,是上下文被读了多少次,以及每次读取谁在付钱。做agent的人可以盯两个数:缓存命中率,工具调用次数。工具调用次数比单次token量更影响账单。厂商不太想让你知道这套账,因为讲清楚之后,API价目表看起来就没那么像成本表了。

发布时间: 2026-11-21 07:59