Claude 把长对话缓存到服务端，请求从 800KB 降到 1.8KB

Claude 的 Messages API 多了个 message threads，公测。

以前每轮请求都要把整段对话历史重新发一遍。现在 API 在服务端缓存对话，客户端只发新消息和上一条消息 ID，模型接着已有上下文往下走。

官方给的数据很具体。Claude Code 里已经接了 message threads。50 万到 100 万 token 的请求，首 token 中位时间低约 35%。长对话里，中位请求体从大约 800 KB 降到 1.8 KB。

用法不复杂，请求里加 thread 参数和 beta header。Claude Platform、AWS 上的 Claude Platform、Microsoft Foundry 里的 Claude、Google Cloud 上的 Claude 都能用，按标准 token 价格计费。完整说明在这篇博客。

但别把它当成永久记忆。有网友在回复里提到，thread 在 5 分钟无活动后过期，客户端仍然要自己保存历史。它解决的是每次重复上传对话的问题，不是替你托管长期记忆。

另一个容易混的点是 prompt caching。缓存早就降低了重复发送长历史的成本。threads 更直接的变化是请求体变小、首 token 更快。有网友总结，prompt caching 省的是计算成本，threads 省的是请求大小和延迟。两者不是同一件事。

有开发者补充，TypeScript SDK 的 toolRunner 在支持的客户端上已经按 thread 跑，每轮只发新消息，传 thread: false 能退回旧的全量历史行为。

有网友调侃，过去两年很多人写 SQLite 包装器来管理上下文数组，现在 Anthropic 把状态放到了服务端，客户端少背一个包袱。至于这个包袱会不会在 5 分钟后自动消失，得看你怎么设计重试和落盘。