少想一半，反而更准：Unsloth 给 Qwen3.8-Flash-Next 的新量化

同样大小的量化模型，token 用量少一半，准确率还高 15%。这是 Unsloth 这次给 Qwen3.8-Flash-Next 交出的数字。

11 月 6 日，Unsloth 发布了基于 Dynamic V3.1 的新 GGUF。官方称，量化版的 thinking 和 token 使用水平，能追到全精度 Qwen3.8-Flash 的 95%。换成直白的话：它想得更省，答得还不差。

先补两句背景。Qwen3.8-Flash-Next 是 Qwen 用新架构做的开源多模态模型，125B 总参数，6B 激活，原生 256K 上下文。它本身是 Qwen4 架构的预览版。Unsloth 做的事，是把它压成 GGUF，让普通设备也能跑起来。

量化这件事，本质是用精度换空间。位宽越低，文件越小，掉点越多，这是常识。Unsloth 没有改常识，但改了一点：哪部分该掉，哪部分不该掉。

Dynamic V3.1 的做法是按层分配精度。N-gram embedding 这类对精度敏感的层，最低只做到 4-bit。官方文档写得很直接：这些层有随机访问模式，量化太重会损坏模型。剩下的层，可以更激进地压。

从量化分析表看，UD-Q4_K_XL 占 111.3GB，top-1 准确率 92.255%，和 Q8_0 的 94.122% 只差不到 2 个点，但体积少了 77GB。官方自己的说法是，用 79% 更少的磁盘空间，恢复到 80% 的 top-1 准确率。

想要接近全精度的体验，4-bit 是个比较舒服的档。再往下压，就得接受明显掉点。1-bit 的 UD-IQ1_S 只有 77.325% top-1，72.5GB。

这里有个细节值得说。推文里写 "Run on 32GB+ RAM setups"。这话不算错，但要看语境。官方文档的硬件表是：1-bit 32GB，2-bit 42GB，3-bit 50GB，4-bit 64GB，8-bit 128GB。而使用指南的正文又写，跑这个模型至少需要 75GB 内存或统一内存。三个数字，三种口径。

32GB 对应的是最小号 1-bit 量化，准确率掉到 77% 那一档。想要 4-bit 的 92% 准确性，准备 64GB 往上。

另一个值得看的是 MTP。多 token 预测让推理速度提升 1.3 到 1.7 倍，在单张 RTX 6000 PRO 上，从 100 tokens/s 到 170 tokens/s。官方做了共享版 MTP 模块，Q8_0 的 shared 版本 2.79GB，普通版 4.14GB，省 1.35GB。老 Mac 这种内存带宽低的设备，收益会小一些。

还有个小设计：engram 表可以自己换。UD-Q4_K_XL 自带的表是 IQ4_NL，28.8GB，相对 RMSE 0.0757。如果硬盘够，可以换成 Q8_0 的表，54.4GB，RMSE 0.0053。换表要下载 set_split.py 脚本改文件头，不让 llama.cpp 报错，操作量很小。

技术数据之外，评论区有几个值得记下来的声音。

有网友直接问：Qwen 4 今天就要发了，为什么还要关心这个？这是个合理的问题。Qwen3.8-Flash-Next 自己就是 Qwen4 架构的预览版，Unsloth 这轮 V3.1 量化的价值，大概在于给后面 Qwen4 铺路。

也有人问：哪些工作负载的 token 用量降得最多？官方没回。50% 的 token 节省是个整体数字，落到代码、工具调用、长文档这些具体场景上，比例可能差很多。这个信息比总数更有用。

还有人在问 MTP 的 GGUF 会不会跟进 llama.cpp 官方实现，以及能不能顺便发点 MLX 量化。都没有下文。

量化本身没什么新鲜。更有意思的是 token 效率。同一道题，用更少的 token 完成，意味着推理成本、交互延迟、内存占用一起降。这比准确率数字更接近"能不能日常用"这个问题。

只是官方给的数据里，token 节省没有按场景拆开。所以"少想一半"这个说法，目前还是个总数，不是保证。