Wink Pings

别数 token 了,数合并了几个 PR

一个编码 agent 任务可能烧掉聊天 10 到 50 倍的 token。限额能止血,也会砍掉价值。把账算到每个合并 PR 上,才能看清 AI 编程到底值不值。

一个编码 agent 接到任务后,会计划、生成代码、跑测试、改错,再循环。单次任务消耗的 token,可能是普通聊天提示的 10 到 50 倍。agent 越有用,调用越多。按 token 收费时,最能干活的工作流,账单也最像失控。

AI 编程成本

财务压力已经出现。据报道,Uber 在扩大 Claude Code 使用后,2026 年 4 月就用完了全年 AI 预算。GitHub Copilot 从固定费率转向按量计费 credits。据 Gartner 预测,到 2028 年,AI 编程的 token 成本会超过开发者的平均工资。

最自然的反应是限额:使用上限、席位限制、启动前审批。问题在于,一刀切限额会先卡住那些正在交付价值的工作流,还会优化一个错误的数字。每 token 成本衡量的是消耗,不衡量结果。有些花费是重试和跑飞的循环,有些花费是软件真的被交付。计数器分不清,支出上限也分不清。

更靠谱的指标是每个合并 PR 的成本:AI 辅助开发总成本,除以通过评审并合并的变更数。旁边再跟踪返工和缺陷,避免更便宜的变更掩盖质量下降。如果 AI 使用上升,这个成本下降,质量没垮,说明团队把更多消耗转成了有用软件。该问的问题变成:这笔投入产出了多少完成的工作。

改善这个等式,需要两件事。第一,把贵推理留给真正需要的任务。agent 编程不必每一步都用最强模型。困难规划和新颖推理可以用前沿模型,政策要求时用本地旗舰模型。代码生成、测试创建、重复重构,可以路由到自托管开源权重模型。网关按任务复杂度、数据敏感度、成本和延迟分发请求。只计量例外,别给整个工作流套上高价。开源权重模型在部分软件工程基准上接近前沿,但这不等于每个仓库、每个流程都等价。上生产前,用自己的代码、测试和验收标准评测。

第二,改变重复使用的经济性。租用推理,每次调用都加账单。拥有容量,大部分成本前期投入,调用越多,单次越便宜。自有容量不免费,电力、运维、维护、折旧都要算。真正要看的是全负载成本,落在每个合并 PR 上。自有容量还带来一张不会出现在发票上的价值:敏感代码控制。代码生成和测试跑在本地,专有代码留在企业内。只把批准的规划提示和受治理的例外,通过组织控制的网关送到外部模型。那些安全卡住采用、又藏着最大收益的敏感仓库,才有机会打开。

HPE 的案例可以当作一个运营模型测试。其混合 AI 平台把 150 多个内部应用的常规负载,路由到本地运行的开源权重模型,包括 HPE Private Cloud AI。结果是 token 成本下降 30% 到 50%。混合的意思在这里:拥有推理容量,不等于放弃前沿模型。大体量跑在自有容量上,最难的工作交给网关送出去。

数据也说明, usage 比 licensed headcount 更能驱动支出。前 5% 的用户产生了大部分消耗,同一许可证下,重度用户用量约为轻度用户的 450 倍。如果重度用户从少数人扩到一半员工,人数不变,月度支出可能涨约 4.4 倍。每家公司的人员结构不同,这正是需要测量的原因。

HPE 跟踪两个指标,也建议客户照做。一是每活跃开发者成本,因为把所有许可证平均,会藏住拉高支出的重度用户。二是每个合并 PR 成本,因为它把 AI 花费和真正上线的软件连起来。改基础设施前,先给这两个成本做基线。然后在自有容量上跑一个完整开发周期。如果使用上升,两个指标没改善,当前模型可能仍是更好的选择。

自有容量不适合所有人。用量低或不可预测,API 更合适,不必把资本压在闲置基础设施上。持续需求能把容量跑满,所有权才划算。多数企业会走混合: demanding 或间歇性工作用前沿 API,可重复的大体量用自有容量。受治理的网关决定什么离开大楼,既能用前沿模型,也不放弃代码主权。

开发者越依赖编码 agent,用量越会涨。真正的选择是:增长变成更大的变动成本账单,还是变成更多软件,跑在自己拥有的容量上。领先 AI 辅助开发的公司,不会靠限额采用来控制成本。它们会建一套运营模型,让更多 AI 使用改善经济,而不是削弱经济。

注:原文为 HPE 赞助的 MIT Technology Review 内容,案例和数据来自 HPE 披露。HPE Private Cloud AI 的更多信息在这里。

发布时间: 2026-11-02 21:10