32GB内存跑125B模型，Unsloth的量化精度只丢了20%

Unsloth发布了Qwen3.8-Flash-Next的新GGUF，用Dynamic V3.1算法重新做了一遍量化。官方数据：比其他前沿量化方案准15%，在Terminal Bench 2.1、DeepSWE v1.1、Automation Bench等agentic基准上分数最高。

跑基准烧了26.2B token，DeepSWE占18.1B，Terminal Bench占5.2B。采样参数固定：temperature 1.0，top_p 0.95，top_k 20，min_p 0，不加presence和repetition惩罚。上下文开到256K（非YaRN），通用非agentic基准用128K。

1-bit 75GB，top-1精度80%

最小的1-bit量化版是75GB，比BF16的355GB小了79%，top-1精度保留80%。硬件需求如下：

新架构里的N-gram embedding层（PLE）最低只量化到4-bit，因为它是随机访问模式，砍太狠会损坏模型。结果就是1-bit版本的体积没有压到极限，但精度损失反而收窄了。

有网友在评论区做了个对比：IQ1_M在Terminal Bench 2.1上69.5分，IQ3_XXS 70.8分，都高于BF16基线的68.3分。他顺带问了一句，每个点位跑了几次。当量化版本在单个基准上超过原始模型，通常说明测试方差比差距还大。这个观察可以留意，但不改变整体趋势：多数基准上量化版仍低于BF16。

MTP加速：1.3到1.7倍

MTP（Multi-Token Prediction）在RTX 6000 PRO上把推理速度从100 token/s拉到170 token/s。老款Mac内存带宽低，收益会小一些。Unsloth Desktop默认开启MTP，llama.cpp需要单独下载MTP文件，用自定义分支编译。

多留1到2GB内存给MTP。3-bit量化加MTP需要91GB内存。

engram层可以换精度

Q4_K_XL自带的engram表是IQ4_NL（28.8GB）。如果磁盘够，可以换成Q8_0（54.4GB，相对RMSE 0.0053）甚至BF16（102.4GB，RMSE 0）。用仓库里的set_split.py脚本改分片头信息，重命名后替换原来的表分片就行。

跑起来

方式一，Unsloth Desktop，支持macOS、Windows、Linux。搜Qwen3.8-Flash，选想要的量化版本，下载，跑。参数自动配好，MTP默认开启。

方式二，命令行：

unsloth run --model unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL

或者用llama.cpp，模型卡里给了完整的下载和启动命令。Ollama、vLLM、LM Studio、Docker的配置也都有。

模型本身是125B参数、6B激活的MoE架构，加51B n-gram embedding和4B MTP，原生支持262K上下文。1-bit版本跑在32GB内存设备上，靠mmap把engram层扔到SSD里。125B参数的多模态模型在32GB内存的设备上跑起来，两年前还不太现实。代价是20%的精度。

原始推文 模型下载 运行文档