Hugging Face 办量化直播,vLLM 和 llama.cpp 的维护者都来了
一场关于量化的直播 workshop,嘉宾来自 vLLM、llama.cpp 和 Hugging Face。从 double quantization 到 k-quants,零基础也能听。
Hugging Face 的 Merve 在 r/LocalLLaMA 发了个直播预告:一场量化主题的 workshop。标题写的是 Quantization livestream with goats of inference。嘉宾包括 Michael Goin(RedHat 的 vLLM 首席维护者)、Colin Kealty,也就是 bartowski(同样在 RedHat)、Maxime Labonne 和 Aditya Tadimeti。
直播会从量化怎么工作讲起,覆盖 double quantization、calibration 这些现代做法,还会讲 llama.cpp 的 k-quants 和 i-quants。Merve 在帖子里写,哪怕完全没概念也能听。
原帖正文没放直播链接,评论区有人补了 YouTube 地址:YouTube 链接。直播会在 Hugging Face 的 YouTube、X 和 LinkedIn 上开。有人用 RemindMeBot 把提醒设在 11 月 10 日 16:30 UTC,备注是直播开始前 30 分钟。

对本地推理感兴趣的人,量化早晚要碰。这场直播的阵容挺实在,几位都是实际维护推理栈和量化工具的人,讲的内容应该会落到具体实现上。
发布时间: 2026-11-05 19:46