Unsloth说64GB能跑DeepSeek-V4.1，官方硬件表说要128GB起

Unsloth发布了DeepSeek-V4.1-Flash-1017的Dynamic V3.1量化GGUF，原帖的措辞是“64GB内存就能原地起飞”。翻同一份指南的硬件表，1-bit量化那一栏写着RAM加VRAM需要128-145GB，Engram放SSD。两个数字摆在一起，差了一台机器的钱。

先把模型本身说清楚。DeepSeek-V4.1-Flash-1017是748B参数的MoE模型，552B主干加196B的Engram参数。Engram是条件记忆，用n-gram查表的方式工作，最多四token的组合去查几行表数据。这张表本身有110.6GB到202.8GB不等，可以放在SSD上通过mmap按需加载，不占显存。这就是门槛能被拉下来的关键。

代价也很直接：每次查表都要走硬盘。评论区有人提到，还在用老SATA盘的人先别激动。这话不假。Engram放SSD省的是内存，赌的是你的硬盘IO。

各量化版本的实际尺寸和内存需求如下：

注意这里说的内存需求是估算值，指南原话是“估计允许比非Engram权重多5-10GB”，运行时和上下文还可能再往上要。1M上下文窗口是模型能力上限，开满它，KV cache会跟着上下文一起涨。评论区第一条回复就点到了：64GB能加载不等于能开满1M上下文。原帖作者自己也回了句“1M估计有难度”。

速度方面，DeepSeek-V4.1带了个DSpark投机解码，先猜多个token再由主模型验证，配上Q8_0的drafter（8GB）能让解码快1.3到1.5倍。Unsloth在llama.cpp基础上做了优化，官方说法是比同类CPU/VRAM/ngram仓库快3倍。这个3倍是对比数据，不是绝对速度，具体能跑多快还得看硬盘。

量化质量这块，Unsloth跟ISTA-DASLab放出的GSQ-RCO量化打了一架。对方宣称AIME25上所有量化位宽100%准确率，Unsloth复现不出来，按每题16次采样、30题共480个答案跑下来，GSQ-RCO平均保留94.64%。两边还在KLD指标上互相质疑，Unsloth用多个held out测试集证明自己V3.1的KL散度和top-1一致率更高。

GitHub上确实有人在动手验证。评论区里David说正在5090加128G加三星980 Pro上跑权重。也有人问4060 8GB加64GB内存能不能行，这个配置面对233GB起步的模型，内存和显存都紧。还有人对1-bit量化本身有意见，说Q1每8到9个token就有一个错。这些都得等实测出来才能定论。

回到那个64GB。指南原文写的是“runs locally on 128GB+ RAM setups or 64GB RAM (slower)”，括号里的slower是关键。64GB是能启动的下限，不是能舒服用的配置。想开满1M上下文，想跑得快一点，内存还得往上加。有人在评论里说等待实测速度，这个态度是对的。模型和指南链接都在下面，自己去看硬件表，比看宣传语靠谱。

模型：https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF

指南：https://unsloth.ai/docs/models/deepseek-v4.1-flash