748B 模型塞进 64GB 内存，Unsloth 推文没说的那半句

Unsloth 的 HuggingFace 仓库里上了 DeepSeek-V4.1-Flash-1017 的 GGUF，量化算法升级到 Dynamic V3.1（预览版）。模型 748B 参数，1M 上下文，MIT 许可。

社交平台上流传的推文写得很亢奋：64GB 内存原地起飞，推理狂飙 3 倍，基准全面屠榜。

翻完 Unsloth 的指南，这三个数字都需要加注释。

先说 64GB。文档原话是：128GB 以上内存的设备可以本地运行，64GB 也能跑，但更慢。两个数字差了一倍，推文挑了小的那个说。

能让 748B 模型跑到消费级硬件上的，是 Engram 机制。DeepSeek-V4.1 的 748B 里有 196B 是 Engram conditional memory，一张 n-gram 查找表。Unsloth 把这张表放在 SSD 上，用 mmap 按需加载，表本身 110.6GB 到 202.8GB，不占内存。真正需要常驻的是剩下的 552B 主干权重。

所以文件大小和内存需求是两回事。最小的 UD-IQ1_S 下载下来 233GB，内存只需要 128-145GB，因为 110.6GB 的 Engram 表待在 SSD 里。

推文里的 3 倍加速也有上下文。文档写的是：Unsloth Desktop 加 llama.cpp 的组合，比其他的 CPU/VRAM/ngram 仓库快 3 倍。DSpark 投机解码单独贡献 1.3 到 1.5 倍解码加速，需要额外下载 8GB 左右的 drafter 模块，版本要对齐。

基准测试部分倒是实打实的。

这张图是 6 个基准的平均分。UD-Q2_K_XL 拿到 87.49，和 508.4GB 的 Q8 参考版 87.68 只差 0.19 分，AIME25 上甚至反超，97.50 对 97.08。

更有意思的是 Unsloth 和 ISTA-DASLab 的隔空交手。ISTA 的 GSQ-RCO 量化版在 README 里声称所有位宽在 AIME25 上都是 100% 准确率。Unsloth 复现了一遍，每个量化跑 30 题乘 16 次采样，结论是 GSQ-RCO 保留了基线的 94.64%，不是 100%。

Unsloth 还回应了 KLD 可以作弊的说法，用多组 held out 数据做了对比，结论是自己的 UD V3.1 在所有测试区域都优于 GSQ-RCO。

有个容易被忽略的副作用：量化越激进，模型想得越久。Unsloth 在 32K 上下文下测试，低比特量化的截断率明显更高。文档建议给低比特版本留更高的 reasoning budget。

硬件要求整理一遍：

跑法有两条路。Unsloth Desktop 是图形界面，搜模型、下载、调参数、连工具都在一个窗口里完成。命令行则用他们维护的 llama.cpp PR（#30817），编译完加 --load-mode mmap --lazy-mode on，Engram 就从 SSD 按需加载。

模型页在这里，完整指南在这里。

值得留意的不是 64GB 那个数字，而是 1M 上下文加 MIT 许可这个组合。本地跑满 100 万 token 上下文，整个代码库一次性丢进去，对数据不出内网的团队来说，这才是能落地的场景。至于 64GB 能不能跑起来，文档已经写清楚了：能，慢。

别被推文的感叹号带偏。