Unsloth 发布 Qwen3.8-Flash-Next 量化更新，支持 n-gram embedding 混搭

Unsloth 放出了 Qwen3.8-Flash-Next 的 GGUF V3.1 更新。发帖人 jacek2023 在 r/LocalLLaMA 上说，这下晚上的时间又得交代给下载新版本了。

官方文档里的说法是准确率提升 15%。

这次更新里比较实在的一个变化是 n-gram embedding 支持混搭。danielhanchen 在评论区确认，社区提的需求被采纳了，现在提供 IQ4_NL、Q5_1、Q8_0 和 BF16 几种 embedding 量化版本，可以按需组合。

有人问 UD-IQ3_XXS 和 UQ-Q3_K_XL 哪个更好。danielhanchen 的回复是 KLD 指标显示 UD-Q3_K_XL 仍然占优。另外 IQ4_XS 也更新了，UD-Q4_K_XL 做了调整让 engram 切换能正常运作。

评论区里一位用户 Gold_Coconut9777 贴了张对比图，提醒大家注意误差棒和噪声，说高比特量化区间的差距基本在噪声范围内，低比特确实有真提升。

有人追问具体哪张图有问题，他回应说图本身没毛病，只是指出差异幅度有限。不过他也顺带讲了个有意思的事：帮朋友在 8GB 显存加 32GB 内存的机器上跑 Qwen3.8-Flash-Next 的最小量化版本，解码能到 25-30 t/s，prefill 大约 800 t/s。朋友拿它做了个私人 Android 应用，全程围着个人需求转，跑得挺顺。比之前用的 Qwen3.6-35B-A3B 更能干活。

还有人提到 ISTA IQ2_XS 的误差棒大得离谱，解释了为什么同一款量化在不同人手里体验能差那么多。有位用户说自己就是因为 IQ2_XS 反复出问题，最后退回了 Qwen3.8 27B。

关于量化对比的争论，有人截了 Gold_Coconut9777 的主页，发现发帖记录被隐藏了。他倒是大方承认图是自己贴的，说和 ISTA 没有利益关系，只是觉得差异在噪声范围内。

另一个观察来自评论区：1-bit 量化在基准测试里和 8-bit 基线的差距小得惊人，72.6 对 69.5，跟 KLD 图表给人的印象完全不是一回事。低比特量化没那么不堪。