Wink Pings

375 家 AI 提供商,153 家免费,这个开源网关全接上了。但代码会流向哪?

OmniRoute,MIT 协议,GitHub 6.3 万星。本地一个端点把 Claude Code、Codex、Cursor 接到 375 家模型提供商,153 家免费。自动降级、token 压缩、20 种路由策略。免费背后的隐私和稳定性代价,评论区有人替你问了。

有人做了个免费网关,把 375 家 AI 提供商(OpenAI、Anthropic、DeepSeek 这类)接到同一个端点上。其中 153 家免费,免费层聚合额度估算每月约 16.2 亿 token。

项目叫 OmniRoute,MIT 协议,GitHub 6.3 万星,900 多名贡献者。它跑在你自己的机器上,Claude Code、Codex、Cursor、Copilot 这些 AI 编程工具把请求发给它,由它决定转发给哪家模型提供商。

OmniRoute 的 GitHub 仓库目录页面。

一个提供商触发限额,自动切到下一个。Kimi、GLM、DeepSeek、MiniMax、Claude、GPT,都在这一个端点后面。请求在转发前会被压缩,官方数据是 token 用量省 15% 到 95%,RTK 加 Caveman 两层叠加平均省 89.2%,代码块和 JSON 结构原样保留。

这事之所以成立,是因为便宜模型确实够用。MIKE 在另一篇文章里给过一个对比:Artificial Analysis 的 Coding Agent Index 2.0 里,Claude Code 跑 Opus 5.5,每个任务成本 11.42 美元;Codex 跑 DeepSeek V4.1 Flash,只要 0.39 美元。便宜 96.6%。一个 Claude 任务的预算,能跑大约 29 个 DeepSeek 任务。

那篇文章盘了六个值得关注的模型:MiniMax M3.1 Flash,0.15 美元/百万输入 token,1M 上下文;DeepSeek V4.1 Flash,开源模型里 Code Arena WebDev 榜首,MIT 协议;Kimi K3.1 Pro,适合硬推理和长文档,开放权重(可下载自托管)11 月 4 日发布;GLM-5.3-Flash,自托管速度快;Ming-3.0,0.5B 参数的文字转语音,MIT 协议;MiniCPM-V 4.7,在手机上读截图,iPhone 17 Pro Max 上跑 13+ token/s。OmniRoute 把这些都接进了你现有的工具。token 是 AI 计费的基本单位,约等于大半个英文单词;1M 上下文指模型一次能读相当于几本厚书的文本。

用起来不复杂:

npm install -g omniroute
omniroute

然后在 Claude Code 或 Cursor 里把 Base URL 指向 http://localhost:20128/v1,模型填 auto。自动路由会按健康度、配额、成本、延迟给候选提供商打分,选一个合适的。配额用完,自动降级。

评论区有人问了几件现实的事。

编码代理的 prompt 常常是整份文件加 diff。免费提供商记录不记录、拿不拿去训练,你控制不了。OmniRoute 的机制是本地优先,密钥用 AES-256-GCM 加密存储,guardrails 可以过滤敏感信息,目录里标记了 tos: avoid 的提供商默认不参与自动路由。但"默认不参与"不等于"不可能",具体规则得自己看。

还有一致性问题。任务中途切换模型,新模型的行为方式不同,代码可能看起来像两个人写的。OmniRoute 有 20 种路由策略,其中 LKGP(last-known-good-provider)会尽量钉住上次成功的提供商,减少中途换人。但免费层本来就不稳定,这个风险只能自己评估。

客户项目是另一回事。有网友明确说,客户代码不能流到 150 个随机免费提供商。如果数据敏感,更稳妥的做法是把开源模型权重下载到自己机器上跑,比如 GLM-5.3-Flash 或 DeepSeek 的量化版(压缩后可在消费级显卡上跑的版本),12GB 显存的游戏显卡就能带起来。

免费额度本身也会变。OmniRoute 的免费目录每两周重审一次,有提供商停掉免费层,数字就往下掉。项目自己写得很清楚:不是保证,是目录实际计算出来的结果。

日常 90% 的活走便宜模型,最难的 10% 留给 Claude。这个策略本身没什么问题。OmniRoute 把这事的工具链打通了。但在把公司代码接进去之前,先搞清楚数据去了哪、免费额度能撑多久、降级时模型换了怎么办。

仓库地址:https://github.com/diegosouzapw/OmniRoute
原始推文:https://x.com/mikenevermiss/status/2114822790461161617
MIKE 的文章:https://x.com/i/article/2114621340133052416

发布时间: 2026-10-27 14:15