Qwen3.8-27B 的新量化包，顺带回应了一场基准争议

Unsloth 发布了 Qwen3.8-27B 的 Dynamic v3.1 GGUF。GGUF 是 llama.cpp 用的模型文件格式，量化位数越低，占的显存和硬盘越小，精度通常也越低。这次更新覆盖 2-bit 到 6-bit，3-bit 没动。

Unsloth 的说法是，在 DeepSWE、Terminal Bench 等基准上，新量化比 UD3、GSQ-RCO 和 Exllama-3 高 5% 到 10% 的准确率。测试设置：agentic 基准用 256K 上下文，其余用 128K；temperature 1.0，top_p 0.95，top_k 20，min_p 0，不加 presence 和 repetition penalty，开启 preserve_thinking 和 xhigh reasoning。LiveCodeBench 跑了 6 次，HMMT 等 8 到 16 次，agentic 基准也跑了多次。

3-bit 没更新，作者 Daniel Han 在评论里解释，UD3.1 在 3-bit 上和 UD3 表现差不多，还在查。有网友说 IQ4_XS 是自己的甜点，不知道要不要升级；Daniel 只回复了 3-bit 仍然用旧 UD3。另有网友说图看不懂：标签缺得多，Q3 到 Q4 在 DeepSWE、Terminal Bench 上分数反而往下掉，24GB 到 32GB 显卡该选哪个不清楚。Daniel 回复说 3-bit 还是旧 UD3，基准跑起来很慢，只能尽量把点填上。

Exllama3 的对比里有个细节：Unsloth 的图去掉了 token embedding 层，因为 Exllama3 对所有 embedding 用 BF16。按 Unsloth 的说法，如果算上完整下载体积和实际 RAM 占用，Exllama3 在磁盘、内存和准确率的权衡上更差。他们没查 Exllama3 为什么保留 BF16 token embedding，猜测 lm_head 已经被重度量化，embedding 层可能吸收了大部分量化损伤。他们愿意测 8-bit token embedding 的新 Exllama3 量化。

帖子里还回应了和 ISTA 的 GSQ-RCO 之间的分歧。GSQ-RCO 之前的 LiveCodeBench 结果说 Unsloth UD3 更差，Unsloth 说他们复现后结论相反：128K 下 UD3 更好，GSQ-RCO 可能用了 96K 上下文预算。AIME25 上，GSQ-RCO 说自己的量化恢复率是 100%、100%、100% 和 96.7%，并说 Unsloth 更差。Unsloth 估算对方只跑了 1 次，他们跑了 14 次，平均恢复率在 93% 到 96%，旧 UD3 平均还更好。两边样本量差太多，这个争议暂时不会有统一答案。

模型文件在 Hugging Face 的 unsloth/Qwen3.8-27B-GGUF，详细基准在 Unsloth 文档的 Qwen3.8 页面。帖子里有人问 NVFP4 会不会更新，也有人开玩笑说 Unsloth 已经拿到 Qwen4 权重。Daniel 在另一条回复里说他们不睡觉。原帖在 r/LocalLLaMA。