150GB 内存跑 428B 模型，Unsloth 的 2-bit 量化保住 91.5% 准确率
Unsloth 把 MiniMax-M3.1-Flash 压成了 143.9GB 的 2-bit 量化模型，Top-1 准确率保住 91.5%，150GB 内存就能本地跑。428B MoE 多模态模型，量化数据、硬件门槛和部署方式都整理好了。
MiniMax-M3.1-Flash 现在能跑在本地了。
Unsloth 在 10 月 26 日放出 GGUF 量化版：2-bit 文件 143.9GB，Top-1 准确率保住 91.5%，体积比原版小 45%。Unsloth 给出的硬件需求是 150GB 内存。
背景：MiniMax-M3.1-Flash 是 MiniMax 本月发布的 428B 参数 MoE（混合专家）多模态模型，23B 活跃参数，1M 上下文窗口，面向编码和智能体（Agent）场景。MiniMax 官方透露，此前以 200T+ tokens 登顶全球榜单的“Space Bunny”是它的早期版本。模型权重 10 月 23 日放出。
Top-1 准确率指量化模型每次预测的第一个 token 与原始模型一致的比例。91.5% 意味着绝大多数输出跟原版没有差别。模型压掉近一半体积还能做到这个数，不容易。
性能方面，官方基准显示 Automation-Bench 62.2 分，DeepSWE 73.7 分，BabyVision（带工具）91.0 分，多数项目上高于同级别的 DeepSeek-V4.1-Flash 和 Kimi-K3。API 定价也激进：100 万 tokens 输入 $0.15、输出 $0.60，缓存读取 $0.015，价格是 M3 的三分之一，速度是 3 倍。
问题变成：不调 API，自己能不能跑？
Unsloth 的答案是量化。量化把模型权重从高精度压到低精度，体积变小，精度打折。M3.1 训练时加入了 QAT（量化感知训练）和稀疏注意力，所以压到 2-bit 还能保留这个精度——模型天生对量化友好。
各档位表现：
| 量化档位 | 文件大小 | 聊天 Top-1 | 数学 Top-1 |
|---|---|---|---|
| UD-IQ1_M (1-bit) | 129.4 GB | 86.2% | 94.9% |
| UD-Q2_K_XL (2-bit) | 143.9 GB | 88.5% | 95.7% |
| UD-Q3_K_XL (3-bit) | 194.0 GB | 92.6% | 97.4% |
| UD-Q4_K_XL (4-bit) | 249.4 GB | 97.3% | 99.0% |
| UD-Q8_K_XL (8-bit) | 259.1 GB | 97.8% | 99.3% |
8-bit 版本是原始 safetensors 的无损转换。Unsloth 的量化评估覆盖编码、数学、聊天、工具调用、多语言、推理和 Agent 七个类别，避免在单一 benchmark 上过拟合。编码任务上，2-bit 仍有 91.2% 的 token 一致率，4-bit 到 97.6%。
内存门槛：1-bit 134GB，2-bit 150GB，3-bit 176-208GB，4-bit 256GB，8-bit 272GB。部署指南建议 2-bit 预留 160GB 以上。128GB 统一内存的 Mac 用户，刚好被挡在门外。
部署有两条路。一是 Unsloth Desktop：搜索 MiniMax-M3.1-Flash，下载 UD-Q2_K_XL，按推荐参数运行。命令行方式：
unsloth run --model unsloth/MiniMax-M3.1-Flash-GGUF:UD-Q2_K_XL \
--temp 1.0 --top-p 0.95 --top-k 0 --min-p 0.0 \
--chat-template-kwargs '{"reasoning_effort":"high"}' \
--host 127.0.0.1 --port 8080
二是 llama.cpp：编译 PR #31192 分支，下载四个分片，跑 llama-server。图像输入需要额外下载 1.74GB 的视觉投影器 mmproj-BF16.gguf。DSpark 投机解码也支持，不过要加载额外的 draft 模型。
社区的反应很现实。有网友说，150GB 内存意味着办公室要多一台专用机器，但对代码不能碰云 API 的客户来说，这台机器已经值得买。有人问能不能出 64GB 的量化，有人关心 2-bit 在长上下文 Agent 场景和工具调用 JSON 上的表现——毕竟这些场景不只看出 token 一致率。
一个 428B 参数的模型，每 token 只激活 23B。MoE 把模型做大，量化把门槛降低。对数据不能出内网的公司，这笔账已经算得过来了。
资源：
发布时间: 2026-10-27 10:12