HyperQwen 实测：一张 3090，千问 27B，64 路并发 1035 tok/s

一张 RTX 3090，功耗锁 250W，跑 Qwen3.8-27B，64 路并发合计 1035 tok/s。这个数字来自开源项目 HyperQwen，syv-ai 出品，Apache-2.0 协议，GitHub 可查。README 第一行写着：Large Qwen models, served fast on the GPUs people actually own。翻译过来就是：让大模型在用户真正拥有的显卡上跑快。

官方实测数据（RTX 3090，限 250W）：

• 单人聊天（单路）：127 tok/s
• 64 路并发 decode：合计约 1035 tok/s
• 输出引用自身 prompt 时：381 tok/s
• 上下文：默认 64k，可调到 150k，极限 240k
• 量化：W4A16（4bit）

视频是官方录的：先看单路吐字，再切 64 路一起跑。

HyperQwen 的工作方式，是一组针对 vLLM 0.31.0 的补丁，加一条模型预处理管线：requantized heads、calibrated draft vocabulary、从 prompt 里做 draft 的投机解码。投机解码是让小模型先猜几个 token，大模型一次性验证，猜中的部分不用重新算。原理不新鲜，但落地到消费卡并开源，不多见。

用起来两条命令：

git clone https://github.com/syv-ai/HyperQwen && cd HyperQwen
cp .env.example .env

docker compose --profile single up -d     # 个人或少人聊天
docker compose --profile batch up -d      # API 后端，多路并发

首次启动拉约 9.5GB 镜像，本地 requant（重新量化）模型约 20GB，一次性。之后服务跑在 :18020，OpenAI 兼容接口，带 key 鉴权。仓库在 GitHub: syv-ai/HyperQwen。

1035 tok/s 这个聚合数字，先别急着下结论。64 路摊到每路约 16 tok/s，当聊天服务用，首字延迟和单路吞吐更值得盯。网友 ByteLee 在回复里提醒了这一点。batch 模式适合当 API 后端接 pipeline 流量，不是给 64 个真人实时聊天。

单路 127 tok/s 才是这个项目最扎实的地方。一张 2020 年的消费卡，功耗压在 250W，跑 27B 模型能到 127 tok/s，这个数字比聚合值更说明问题。有网友已经把它和 GPU 解锁（放开功耗限制）组合起来跑：Emsi 在 32K 上下文下，提示处理（prefill）速度从 1278 tok/s 提到 1989 tok/s，首字延迟从 26.1 秒降到 16.8 秒；128K 上下文下，首字延迟从 146 秒降到 96 秒。完整对比见图。

另一位网友 Volkan，3090 满功耗 390W，Q5_M 量化，96K 上下文，开 MTP（多 token 预测），单路 58 tok/s。他的总结是：一张卡上榨不出更多了。

精度方面，有网友问过会不会掉，回复是：优化在调度和并发，模型权重没动。但 W4A16 的 4bit 权重本身是有损量化，官方文档里附了 IFBench、perplexity、GSM8K 的分配置数据。跑生产前，拿自己的数据压一遍再决定。

数字都来自项目自己的 3090 @250W 测试，功耗墙和驱动栈不同，结果会有出入。项目在 README 里专门征集其他显卡的复现测试，约 30 分钟能跑完，数据可以提交到 issues。

有网友已经行动了：“二手 3090 又要涨价了，我那张先不卖了。”

一张 2020 年的消费卡，还能榨出新性能。数据中心的优化没到头，消费卡也没到头。