64GB 内存跑 DeepSeek-V4.1-Flash-1017：233GB 的包，先别急着信

Unsloth 放出了 DeepSeek-V4.1-Flash-1017 的 GGUF，Dynamic V3.1，宣传语里最扎眼的是 64GB+ RAM。

先把事实摆出来。DeepSeek 官方把 1017 定义为 V4.1-Flash 的小版本更新，但跑分不是小修：Terminal-Bench 4.0 从 31.2 到 42.3，DeepSWE v1.1 从 74.2 到 77.0，HLE 无工具从 36.8 到 42.6。模型卡标 763B 参数，1M 上下文，MIT 许可。

Unsloth 的 GGUF 页面写 748B 参数，文档拆成 552B 主干加 196B Engram。Engram 是条件记忆，最多四 token 的 n-gram 查表，表不必常驻 GPU。这个设计是 64GB 宣传的支点。

但文件体积没消失。最小 1-bit UD-IQ1_S 233GB，2-bit 300GB 起，4-bit UD-Q4_K_XL 500.7GB，8-bit 508.4GB。Unsloth 文档自己列的内存需求：1-bit 128 到 145GB，3-bit 256 到 290GB。推文里的 64GB+ RAM 对应的是把 110.6GB 的 Engram 表放 SSD，用 mmap 和 lazy-mode 按需读，内存只留热行、上下文和运行时。64GB 能跑，慢。有网友在回复里直说 233GB 的最小量化让 64GB 听起来很乐观。这个质疑成立一半：能启动和能当日常 agent 用，中间差着内存带宽和缓存命中。

安装命令里能看到关键参数：--load-mode mmap、--lazy-mode on、--override-tensor 'per_layer_token_embd.weight=CPU'。七个 shard 放同一目录，指向第一个。Engram 表可以换精度，MXFP8 202.8GB，Q6_K 161.3GB，Q5_K 135.2GB，IQ4_NL 110.6GB。想省内存就换小表，代价是 KLD 和 top-1 一致率。

量化结果这块，Unsloth Dynamic V3.1 的卖点是低比特损失小。UD-Q2_K_XL 334.8GB，六项平均 87.49，Q8 参考 87.68，差 0.19 分；UD-IQ2_XXS 的 Aider pass@1 是 44.38。IQ1_S 233GB 平均 83.53，掉得明显。Unsloth 还公开质疑 ISTA-DASLab 的 GSQ-RCO 量化：对方说 AIME25 所有量化都 100%，Unsloth 跑 30 题乘 16 次，说平均只保留 94.64% 基线，复现不出来。这个争议看看就好，选量化还是看自己的任务和内存。

KLD 那部分 Unsloth 解释得挺直白：量化目标是让下一 token 预测接近原模型，KLD 到 0 就是完全重建 logits。他们拿多个 held-out 集测，反驳 KLD 被 game 的说法。你可以不信厂商自测，但至少表格给了尺寸、KLD、top-1 一致率，能自己算取舍。

官方还展示了从游戏到 3D 建模的端到端项目生成。

跑起来的路子：Unsloth Desktop 或他们维护的 llama.cpp PR。推荐温度 1.0，top_p 1.0，关闭 top-k 和 min-p，上下文 1,048,576 tokens，输出至少留 256K。DSpark 投机解码配 8GB Q8_0 drafter，文档说解码快 1.3 到 1.5 倍。Unsloth 还声称比其它 CPU/VRAM/ngram 仓库快 3 倍，这个数字依赖硬件和 offload 配置，别当统一常数。

谁适合现在折腾？有 128GB 统一内存的 Mac Studio、DGX Spark，或者 256GB 内存的机器，可以认真试 1-bit 到 3-bit。64GB 笔记本能跑，但更适合验证流程，不适合长上下文 agent 连续跑。普通用户用 API 更省事，官方搜索和 fetch 接口每 1000 次 0.75 美元，DeepSeek Harness、Claude Code、Codex 里的服务端工具调用到 2026 年 10 月 31 日 16:00 UTC 前免费。这个价格和本地电费、硬盘、折腾时间比，自己算。

我看这次更新的真正变化，是把本地大模型的门槛从买更多内存，挪到管理存储层级。233GB 的文件躺在 SSD，内存只留热数据，听起来像操作系统该干的活，现在模型推理栈自己做了。64GB 是宣传线，128GB 是舒适线。想尝鲜可以下 1-bit，想干活先看 3-bit 以上和 256GB 内存。别把 64GB+ 当成免费午餐，也别被 233GB 吓退，先看自己的任务能不能接受那点量化损失和 SSD 延迟。

来源：Unsloth 推文、DeepSeek 模型卡、Unsloth 文档。