推理优化不再一劳永逸：Together Compiler 用 Agent 把吞吐最高提升 2.6 倍

Together AI 发布了 Together Compiler。它做的事情可以拆成两层：一层是编译器，另一层是 agent 驱动的持续循环。官方给出的结果很直接：在单个模型上，不到 24 小时，推理吞吐比 InferenceX 的最佳配置最多高 2.6 倍。TPS 指每秒生成的 token 数，是推理服务里最实际的指标之一。

过去推理优化更像一次性工程。上线前选 kernel、定并行策略、调 batch size，配置定完就跑。流量模式一变，原来的最优解可能变成次优解。Together Compiler 把优化动作放进循环里：agent 不断编译、测量、再调整推理前向计算，让配置跟着流量走。

这个结果有边界。2.6 倍是最高提升，对比对象是 InferenceX 的最佳配置，时间是单个模型不到 24 小时。公开信息没有展开支持哪些模型、硬件和框架，所以暂时不能把它理解成通用加速比。但它指出的方向很清楚：推理栈开始把持续编译当成常规动作。上线时做一次，已经不够。

对开发者来说，这意味着调优的粒度可能从人肉试配置，转向 agent 自动搜索配置。对普通用户来说，结果更直接：同样硬件，单位时间能多吐 token，单位 token 成本就有下降空间。

原文：https://www.marktechpost.com/2026/11/05/together-ai-together-compiler-continual-compilation-ai-inference/