AI 成本优化别只换小模型：六个杠杆里，缓存和路由先上

Alex Xu 列了六条 AI 系统成本优化策略，配了一张信息图和一段短视频。原推文在 这里。视频把六种方法放在一张图里，适合先建立全局感。

六项分别是：

1. Prompt Caching：缓存稳定的提示前缀，避免重复计算。系统提示、工具定义、固定长文档都适合放前面。
2. Model Routing：根据查询难度路由到最经济的模型。简单问题别交给最贵的模型，难问题再升级。
3. Batch API：批量处理大量请求，用异步和延迟换成本。适合离线任务、数据清洗、批量标注。
4. Semantic Cache：复用相似问题的答案，不必再次调用模型。命中率越高越省，但要处理答案过期和一致性问题。
5. Trim the Context：限制历史记录，只检索当前需要的内容。上下文越长，成本和噪声一起涨。
6. Go Smaller：为特定任务创建精简或量化后的较小模型。领域固定、任务单一时，小模型往往够用。

这些策略的排序有讲究。缓存类通常先做，因为改动小、收益直接。路由是实际系统里最常拉的杠杆，有回复就提到，常规工作交给更便宜的模型。Batch API 省的是钱，花的是等待时间，适合不急着要结果的场景。Semantic Cache 看起来很美，实际要盯命中率和错误答案复用。Trim the Context 常被低估，它不只降 token，还能减少模型被无关信息带偏。Go Smaller 放在后面更稳，先确认任务边界和评估集，再谈蒸馏、量化或专用小模型。

一个反常识点是，降本经常把账单从模型费挪到工程复杂度上。缓存要维护失效，路由要训练分类器或写规则，语义缓存要评估相似度阈值。只盯着模型单价，容易漏掉这些长期成本。

如果只看一个指标，先算每次请求的平均成本，再拆成模型、token 和缓存命中率。账单不会因为换了个小模型就自动好看。