Basalt 0.4.0 把 Qwen 27B 推到 776 tok/s,这个数字该怎么读
Basalt 0.4.0 支持首个 dense 模型 Qwen 3.8 27B,作者给出 5090 单卡、400W、单流下最高 776 tok/s 的结构化输出成绩,也回应了精度和硬件范围的疑问。
Basalt 0.4.0 发布了。这个本地推理项目在 r/LocalLLaMA 更新了进展,核心变化是加入首个 dense 模型 Qwen 3.8 27B(稠密模型),同时继续推进多模型与路由支持。

作者给出的数字很直接:Qwen 3.8 27B 在 5090 上,结构化输出最高 776 tok/s,对话 262 tok/s,散文 194 tok/s,单流。tok/s 是每秒生成的 token 数,单流可以理解为一次只跑一个请求。4k 上下文 prefill 约 12,000 tok/s,prefill 即预填充,处理输入上下文的阶段,上下文变长后会下降。质量方面,top-1 与 BF16 全精度模型对比为 92.8%,KLD 0.0262。KLD 可以粗略理解为量化后输出分布和全精度模型的偏差,越低越接近。功能上覆盖聊天、工具调用、thinking、图像和视频,上下文最高 262K。
标题里的 770 tok/s 容易被误读。帖子标题提到 5090,正文又出现 5060 Ti。有网友追问单张 5090 到底能跑多少。作者回复,27B 这组数字只用了一张 5090,功耗 400W,第二张卡空闲;5060 Ti 参与的是 MoE 模型、QFN 和 DeepSeek 4.1 那些测试。这个澄清很重要,776 tok/s 也不是日常对话速度,它对应结构化输出。
另一个疑问来自 prefill 的 4-bit activations。有网友说,如果 prefill 用 4 bit 激活,希望看到比 512 token wikitext 更长、更严格的 KLD 测试,比如每行至少 16k token 的 agentic 数据集。作者回应,4-bit 激活来自 NVFP4 checkpoint 本身,NInfer 和 Infernix 也这么跑;他正在用 16K+ token 的 agentic 行对 BF16 测 KLD,结果出来会补上。这个回复没有把质疑糊弄过去,但最终还得看数据。
0.4.0 之外,Basalt 之前已经做了多模型和路由,起步支持 DeepSeek V4.1 Flash。作者给出的成绩是 5090 加 5060 Ti 上,IQ1_M 对话 90 tok/s,结构化 246 tok/s。新版还加了视频支持、聊天里放文件,以及一批修复改进。
帖子里的演示视频:
评论区里,硬件适配是另一个焦点。有网友想要 Ada 卡支持。有人提到一个分支 adamant,由 nixcat-dev 维护,已经支持 Ada,也开始支持 Ampere。该网友用 4080 和 3080,配 128GB DDR4 内存,跑 4-bit 量化,prefill 约 1700 tok/s,decode 约 150 tok/s,并开了 0.5 的 tail routing,质量测试仍通过。decode 即逐 token 输出阶段。这个数据来自个人环境,不能当成官方基准,但能说明非 5090 用户也在找路子。
还有 5070 Ti 加 3060 能不能用、Windows 5080 只剩 14GB 显存能不能加载、有没有 Docker 镜像、有没有 Qwen3.8-Flash-Next-Basalt IQ3 的 uncensored 版本。帖子里没有完整答案。Docker 只得到一句 should be a docker。Windows 和混合卡的问题也没有官方结论。想上车的人最好先看仓库的硬件说明,别只看标题里的 5090。
Basalt 的 GitHub、站点和 27B 量化模型链接都在原帖里:
GitHub: https://github.com/jesdga95/basalt
Site: https://basalt.jgulfo.com/
27B quant: https://huggingface.co/jesdga/Qwen3.8-27B-Basalt
这次更新最值得看的点,可能是 Basalt 在为 Qwen 4 提前铺 dense kernel,同时把速度数字摆到台面上。至于 776 tok/s 有多能打,等更长上下文的 KLD 和更多硬件实测出来再下结论。
发布时间: 2026-11-16 01:30