开源 AI 栈正在变得可组合，但换模型前先测工具调用

开源模型离生产环境越来越近。很多团队想从闭源切过来，以为换个 API 就完事，结果发现后面站着一整摞东西：模型、推理、网关、harness、工具。这套东西现在正变成可组合的。

Together AI 在博客《The Open Source AI Stack》里把这套栈总结为 MIGHT。M 是模型，负责理解请求并决定做什么；I 是推理，提供模型实际运行的基础设施；G 是网关/路由器，决定请求发给哪个模型或提供商；H 是 harness，管理对话、给模型工具、连接代码库；T 是工具，包括技能和 MCP 服务器。五个层次各自独立，每一层都能单独替换。想换模型，不用重写工作流；想换供应商，不用动代码。新模型发布后，几分钟就能试上。

模型层是大多数人的第一反应。但模型不是越大越好。大模型在模糊、复杂任务上更强，比如重构认证系统、升级框架、审查 PR。小模型在处理明确任务时跟大模型差距不大，而且快得多、便宜得多。博客举了个对比：Kimi K3 是 1.8T 总参数、104B 激活参数；GLM 5.3 Flash 是 320B 总参数、18B 激活参数，大约小 6 倍，成本低 20 倍。日常的改函数、补测试这种活，小模型就够用。把模型当工具，别当信仰。

想发现新模型，可以看 The Open Frontier、Artificial Analysis 这类排行榜，但别把榜单分数当唯一标准。你的真实工作负载才作数。

模型运行在推理提供商上。同一款模型在不同提供商的结果大致相同，但价格、速度、API 功能不同。由于不是所有提供商都托管所有模型，网关和路由器这层开始有用。OpenRouter、Vercel AI Gateway 把多家提供商聚合在一个 API 后面；LiteLLM 可以自己搭一个路由。切换模型变成改一行配置的事。

Harness 是你在电脑上跑的那个程序，管理对话、给模型工具、连接代码库。模型决定做什么，harness 负责执行。所以一个编码智能体的质量不只看模型，还看 harness 会不会整理上下文、打补丁、恢复错误、征求许可。同一个模型在两个 harness 里的体验可能完全不同。常见的有 PI、OpenCode、Amp。如果你已经会用一个编码 harness，切换到开源模型的门槛比想象低。Claude Code 这类闭源 harness 也能通过 Together Link 连接开源模型。

工具层由 Skills 和 MCP 组成。Skills 是可复用的指令，MCP 是连接外部工具的标准协议。两者都在扩展 harness 的能力。

不过，可组合也带来了新问题。有网友说得很到位：换模型前留一套工具调用回归用例。接口能接上只是一关，多轮状态、错误重试、结构化输出能不能接着跑，又是另一关。可组合不等于无痛，每一层的替换都可能引入新的行为差异。

上下文管理也是容易被忽略的点。会话越长，模型要推理的东西越多，效果越差。换模型、换任务、换思路时，最好开新会话。博客还推荐了一个工作流：大模型做计划，小模型逐项实施，再换一个大模型审查。三个模型分工，别让一个模型全程硬扛。

开源模型最让人兴奋的点，是整个栈的每一个零件都可以独立升级。模型数量只是开始。你不用再选择一个 AI 编码产品。你可以自己拼一个。这对闭源供应商来说不是什么好消息。

内容参考：Together AI 博客《The Open Source AI Stack》 ，作者 Hassan El Mghari。推文来自 @togethercompute。文中网友观点来自 Marvin 的回复。