Wink Pings

开源AI项目批量变成公司,但生意和代码是两回事

一类新的AI基础设施公司正从开源系统研究里长出来。开源成功带来信誉和分发,却不直接等于客户和商业模式。以vLLM团队创立的Inferact为例,看看这些公司如何把技术变成生意,以及网友怎么说。

开源项目做大了,下一步是什么?一批AI基础设施公司正从开源系统研究里冒出来。

Sonnet Xu在推上列了一张清单:

  • vLLM → Inferact
  • SGLang → RadixArk
  • Orca / continuous batching → FriendliAI
  • speculative decoding optimizations → Novita AI
  • open kernels and systems research → Together AI

这些名字对熟悉AI开发的人不陌生,但普通人可能没概念。vLLM是当前最流行的LLM推理引擎之一,SGLang是另一个推理框架,Orca是调度优化的代表性工作。它们决定了AI服务的速度和成本。

image

清单里的关键观察是:这些公司变现技术专长的方式非常不同。开源成功给你信誉、分发和技术先发优势,但客户和商业模式是另一套。做开源时,你服务的是社区;做公司时,你服务的是愿意付钱的客户。

Inferact是最典型的例子。它是vLLM创始团队成立的公司,官网写着 Frontier inference you control。你可以把平台部署在自己的云或数据中心,也可以用他们提供的GPU。卖点是控制成本、延迟、吞吐,以及新模型发布当天的Day-0支持。合作伙伴包括AMD、MiniMax、Moonshot AI等,覆盖从芯片厂商到模型实验室。

Inferact主页

有网友在回复里指出,生产级vLLM其实已经在上游开源里了,不是他们的差异化;真正的差异化在于控制、持续优化和效率。Inferact的定位就是超越开源vLLM,提供维护者嵌入团队、定制kernel、训练speculator等服务。

这条推文引发了不少讨论。有人说开源做起来不等于生意顺,客户和商业模式得另算一套。有人说maintainers终于能拿到报酬,早该如此。还有人说vLLM转成商业公司,有点意思。

一个叫Victor的网友提醒了更现实的问题:GPU推理的能耗。同样一个集群,在英国工业电价和海湾地区比,成本完全不同。利润率跟着电费走。技术再强,也扛不住电费账单。

开源项目商业化,技术领先只是入场券。谁付钱、为什么付钱,才是真正的问题。Inferact们给出的答案各不相同,但至少,maintainers开始有饭吃了。

发布时间: 2026-11-21 04:50