Wink Pings

单张 5090 跑 Inkling 2 Mini:613 tok/s 解码,1M 上下文

Reddit 用户 jesdga95 放出 Basalt 0.5.5 运行 Inkling 2 Mini 的实测:单张 RTX 5090 上结构化输出解码 613 tok/s,预填充约 14K tok/s,同时保留原生图像、工具调用和 1M 上下文。

Thinking Machines 发布了一款小 MoE 模型 Inkling 2 Mini。它在部分任务上超过 Qwen 3.8 27B,架构和性能在 r/LocalLLaMA 上讨论不少。Reddit 用户 jesdga95 的 Basalt 0.5.5 把它跑在单张 RTX 5090 上。

Basalt 运行 Inkling 2 Mini 的界面

速度数据分三类:散文生成 287 tok/s,结构化输出 613 tok/s,聊天 338 tok/s。预填充在 2K 上下文约 14K tok/s,16K 上下文约 12K tok/s。同一张卡上,llama.cpp 配 IQ4_NL GGUF 大约是 95 tok/s 解码、3.1K tok/s 预填充。差距主要来自 Basalt 对 NVFP4 专家的打包方式。

发帖者最在意质量。专家层是 NVFP4,Basalt 打包时保持发布时的精度。与原始发布的 KLD 约 0.003,top-1 一致率 97.8%,可以理解为量化后输出分布很接近原版。他还提醒,如果现在用 NVFP4 GGUF 得到垃圾输出,那是 llama.cpp 的 loop slot bug,Unsloth 的修复 PR 已经合入。

功能方面,Basalt 支持 DSpark drafting、原生图像、工具调用和 reasoning effort。单张 5090 能开 1M 上下文,不常用的专家只在长对话需要空间时才移到内存。131K 和 400K 的 needle 检索测试通过。16GB 显存卡也能跑,发帖者在 5060 Ti 上测到约 60 tok/s。模型激活参数 3.4B,在他的 agentic coding 测试里不输大得多的模型。

跟帖里有人问,它是不是比 Qwen 3.8 27B 更啰嗦。发帖者承认它确实想得多,但在他几项测试里,实际耗时仍少于 27B 的约 200 tok/s。另有人关心并发:vLLM 同时跑 4 个请求,每个约 45 tokens;有网友用 SGLang 和 DSpark 在 8 张 5060 Ti 16GB 上做 TP8,单流生成 537 tok/s,开到 8 路后总吞吐 597 tok/s,折合每路约 75 tok/s。并发更多改善响应,吞吐提升有限。图像支持也澄清过,模型原生支持图像,Basalt 的动态图像机制在空闲时几乎不占显存。

Pack 和引擎都放出来了:

原帖:https://www.reddit.com/r/LocalLLaMA/comments/1y1x7zo/basalt_inkling_2_mini_on_one_5090_at_up_to_613/

发布时间: 2026-11-21 21:35