4bit能跑，不等于模型没坏

Hugging Face 在 X 上开了一场 Local AI 301: Quantization 直播。原帖在这里：Hugging Face 的推文，直播回放在这里：Local AI 301: Quantization 直播。

量化是本地 AI 的常见动作。把模型权重从高精度压到低精度，显存占用和带宽需求都会降下来，笔记本、小 GPU 才有机会跑得动。4bit 是很多人默认会试的档位。问题也常从这里开始：模型还能跑，输出是不是还好。

评论区比直播标题更接近实际使用。有人看不了直播，要求结束后补一份量化总结。有人直接问，低于 4bit 到底损失多少质量，4bit 的模型会变差多少。还有人提到直播里一个细节：用错语言做校准，会带来 16% 的漂移。这个数字来自评论区转述，具体上下文需要看直播确认，但它指向一个容易被忽略的变量：校准集的语言。

一条中文回复把问题说得更具体。量化教程真正难的地方，不在把权重压到 4bit，而在校准集怎么选。分数高，长链推理和数学任务也可能掉点最狠。原文还提到，AGQ 和 AWQ 的差距，往往大于从 8bit 掉到 4bit。这里保留原表述，AGQ 是否为笔误需要对照直播内容。对做本地部署的人来说，这句话值得停下来想想。格式选错、校准数据偏了，损失可能比位数本身更大。

Steven Villanueva 给了一个观看顺序：bartowski 的校准场次，和 Michael Goin 的 vLLM microscaling 场次。前者偏 GGUF 在笔记本上的实践，后者偏小 GPU 盒子上的 MX 格式。同一个模型，两条路线。他提的要求很实际：希望展示 tool-calling 质量，不只给 perplexity。这个点很关键。量化后的模型如果只会做困惑度测试，到了工具调用、长上下文、数学推理，表现可能完全不同。

量化常被当成压缩体积的开关。实际更像一次数据分布考试。权重压下去以后，模型在训练分布内的任务可能还稳，离开校准集覆盖的范围就开始露馅。校准语言不对，任务类型不覆盖，长链推理缺少样本，最后都会落到用户能感知的输出上。普通用户看到的可能是回答变短、格式乱、工具调用失败。开发者看到的是离线分数还行，线上体验不对。

如果你正在本地跑 4bit 模型，至少检查三件事：校准数据语言是否匹配使用场景，任务覆盖是否包含你真正关心的长链推理和工具调用，格式与推理后端是否被测试过。只看困惑度，容易把能跑当成没坏。

直播可以等总结，评论区的问题清单已经可以先看。4bit 能不能跑只是门口，模型有没有被校准坏，才是后面要回答的事。