428B模型压到143.9GB，2-bit量化开始啃本地硬件

MiniMax M3.1 Flash 的社区量化把 428B 模型压到了 143.9GB。这个数字来自 UnslothAI 和 danielhanchen 的 2-bit Dynamic GGUF 权重，官方推文把参与本地部署的团队逐个点名。海报上写得直白：Thank you, local builders。Coding、Agents、Tool use 三个场景排在一起。

低比特量化的账不复杂。权重位数降下来，加载模型要的内存少，解码时搬动的权重数据也少。麻烦在后面：校准要做，低比特 kernel 要写，专家层还得按硬件放到 GPU 和系统内存里。官方提到这几个环节时，没有把 143.9GB 说成一颗药丸。这个态度比数字本身更值得看。

名单里有几种路线。Unsloth 给出 2-bit Dynamic GGUF 的 143.9GB，并做了编码、工具调用等负载的保真测试。ViC305 做 SAGE-EXL3，给 token 级保真测量和单台 DGX Spark 的配方。PeasantSmith 的 Project Maya 做量化，也做面向本地编码和工具使用的专家卸载。MiaAI_lab 做 EXL3-EAQ。jundotkim 和 mlx-community 做 oQ 量化，并在 Apple Silicon 上通过 oMLX 用 DSpark 解码。AIatAMD 把 Quark MXFP4 适配到 AMD Instinct。atomic_chat_hq 提供本地桌面工作流的 GGUF。superalesha 把量化权重、专家缓存和系统内存拼到 4 张 RTX 3090 上。

这像一份本地部署施工清单，不像单纯发版。每个团队解决一段：权重量化、kernel、校准、专家放置、硬件适配、测量。官方感谢名单里，有人回 Mom, I'm on TV，也有人直接贴出配方链接。Justin 在回复里给了 ViC305 量化在双 DGX Spark 上的优化配方，地址是 https://github.com/justincasey/MiniMax-M3.1-Flash-EXL3-2x-DGX-Spark 。这种回复比一句“强大”有用。

质疑也在。Solar Nomad 算了一笔账：143.9GB 对 428B 权重，平均约 2.7 bits per weight，所以“2-bit”动态量化会保留一部分张量在 2 bit 以上。放到 4 张 3090 的 96GB 显存上，仍有 48GB 以上要放进系统内存。他追问哪些张量拿了额外位数。这个问题很实。doanbactam 补了一句，23B active per token 听起来轻，但每个专家仍要占内存。Duckets 则说 35B 和 122B 模型就算 Q1 也不一定塞进一台 Mac Studio。硬件容量不会因为一句本地运行就消失。

工具调用是另一条压力线。Shubham Malhotra 问 2-bit 下工具调用测过没有，重压量化通常先在这里出问题。Max Petrusenko 追问 2-bit GGUF 的工具调用表现，有效 JSON 率是否和全权重一致。官方推文说 Unsloth 的测试覆盖了 coding、tool use 等工作负载，但回复区没有给出逐项数字。这里需要等更多复现，不能把“能跑”直接当成“能稳跑”。

还有一条负面反馈来自 Krypto Whitehat，说更愿意用 Qwen 3.8 flash，理由是 MiniMax 3.1 flash 的幻觉水平很高。这是单个用户的体验，不是基准测试，但本地部署的讨论里，模型能不能少胡说和能不能塞进显存同样重要。另一位用户兄貴丸则抱怨 MiniMax Code Agent 的图像生成慢，22 美元套餐里三张图吃掉 20% token。这些声音和量化成果不在同一层，却提醒一件事：本地量化解决的是运行门槛，不解决产品体验和模型可靠性。

MiniMax 这次把社区量化者请到台前，等于承认本地部署不是官方一家能做完的活。428B 压到 143.9GB 是结果，校准、kernel、专家放置、有效 JSON、系统内存才是过程。下一步值得盯的不是海报，是复现：2-bit 动态量化在工具调用上到底掉多少，4 张 3090 的系统内存占用能不能接受，Apple Silicon 和 AMD Instinct 的配方能不能稳定跑长任务。有人已经把配方贴出来了，接下来该看跑完的结果。