本地AI入门：27B模型压到13.5GB，先算清内存账

Niels Rogge 在卡塔尔一个 hackathon 上分享了 Getting started with Local AI 的 slides，并放出了 Google Slides 链接。内容覆盖本地AI是什么、模型概览、部署细节和本地 agents。图片和 slides 都在下面。

slides 先把本地AI的账摊开：数据不发给第三方，离线可跑，不锁定某家服务，不怕停机，没有配额和使用限制。Niels Rogge 还给了一个判断：多数任务不需要前沿智能。这句话对本地部署很关键，因为很多场景要的是稳定、可控、便宜，不是榜单第一。

真正落地先看量化。slides 里的定义很直接：量化是把模型缩到更小尺寸，同时让性能接近原模型。精度按每参数多少 bit 算：float16 是 16 bit，int8 是 8 bit，int4 是 4 bit。拿 27B 模型举例，float16 要 27B × 2 bytes = 54GB，int8 要 27GB，int4 约 13.5GB。数字一摆，本地AI的门槛就从有没有显卡变成内存和显存够不够。但 int4 能装下不等于体验一样，量化有精度损失，工程上还要处理 GGUF、prefill 与 decode 这些细节。slides 把这些单列出来，说明入门不是下载一个模型就结束。

模型结构部分，slides 讲了 dense 和 MoE。回复里有网友问，dense 模型现在是不是恐龙。这个问题值得留着：MoE 在推理成本上有吸引力，dense 在简单部署和小规模场景仍有位置。素材没有给结论，别急着站队。

工具入口方面，slides 提到使用 @Llama_app，Google Slides 链接在这里：https://docs.google.com/presentation/d/1zr10eYFVxJhN8RBAHh_eeHVnZSXz9UvwT3No1N4x4ug/edit?usp=sharing

如果只想记一句话：本地AI的卖点常被说成免费，实际更值钱的是控制权。控制权有价格，价格通常写在内存账单和量化损失里。