大模型训推先卡在哪？这套230分钟课程从显存讲到服务

Jia-Bin Huang 在 YouTube 放了一个系列，9集，约230分钟，主题是 LLM Training and Inference。课程还在 WIP，作者自己在 X 上问还该补什么。

视频列表：https://www.youtube.com/playlist?list=PLXrQ2OzD3YKA

这套课的顺序值得看。它没从参数规模讲起，从模型塞不进一张 GPU 开始。显存先不够，数据并行又会复制优化器状态和梯度，于是才有 ZeRO、FSDP，再往千卡、万卡走。这个顺序更接近工程现场。

9集大致覆盖这些内容：

1. ZeRO & FSDP，约23分钟。浮点与混合精度怎么吃显存；数据并行会复制优化器状态与梯度。ZeRO-1/2 切优化器与梯度，ZeRO-3 再切权重；FSDP 是同一套分片日程在 PyTorch 里按模块落地。

2. 五维并行，约40分钟。纯数据并行不够时，沿数据、张量、序列与上下文、流水线、专家切开。张量并行的行列切与 all-reduce；上下文并行与 ring attention；流水线从 GPipe、1F1B 到 zero-bubble / DualPipe；MoE 的 all-to-all；并用 Llama 3 的 16384 GPU 布局作示例，给出排并行的三步小抄。

3. LoRA 与变体，约21分钟。冻住 W0，学低秩 ΔW=BA；初始化常用随机 A、零 B。LoRA+ 给 A/B 不同学习率；QLoRA 用 NF4 等把骨干量化、适配器仍高精度，字幕称可在单卡48GB上微调70B量级，这是讲者表述；VeRA 共享冻结随机基、只训缩放；DoRA 拆幅度与方向。

4. 投机解码，约25分钟。小草稿模型往前猜，大模型并行验证；拒绝采样保证与目标模型同分布。再展开 draft tree、Medusa、MTP、EAGLE 系列与 DFlash / DFlash 2。

5. On-policy 蒸馏，约31分钟。软标签与暗知识到序列级蒸馏；曝光偏差；on-policy RL 奖励稀疏。学生用自己的轨迹，仍拿教师的稠密指导；强调 KL 方向；应用提到推理、个性化、数据复用与自蒸馏。

6. GRPO，约23分钟。从 REINFORCE、baseline 与价值函数、GAE、Actor-Critic、TRPO/PPO 尤其 clip 推到 GRPO：同一题采一组回答，组内归一化奖励当优势，整段共用优势，可不另训 value；相对参考策略加 KL。Dr. GRPO 去掉长度归一与标准差除法，减轻对了就变短、难了优势被放大等偏差。视频将其与 DeepSeek-R1 类推理训练挂钩。

7. AdamW，约7分钟。SGD 到动量、RMSProp、Adam；Adam 把衰减和自适应步长缠在一起会伤泛化；AdamW 解耦 weight decay，成为长期默认。

8. Muon / MuonClip，约18分钟。线性层动量矩阵近低秩，稀有方向更新弱；Muon 用 Newton-Schulz 等把动量矩阵正交化，讲者称相对 AdamW 算力效率约高一倍，为片中说法。大规模时配合衰减与按矩阵尺寸调学习率；注意力 logit 爆炸用 QK-clip，MLA 场景延伸为 MuonClip。

9. LLM Serving，约42分钟。素材标注为会员内容，前8集看完觉得有需要，可以自行学习。

评论区里，作者明确说系列还在 WIP，问大家该补哪些主题。回复很集中：有人提 KV-cache、prefix reuse 和长 agent 运行时的失败模式；有人提 paged attention，因为变长 KV cache 的显存碎片往往比算力更早卡住推理；有人建议补量化与压缩，包括 PTQ、QAT、KV cache 量化、剪枝和蒸馏；还有人提 roofline 模型，用它解释 decode 为什么是内存受限。服务侧的建议包括把 KV cache 当分布式存储系统、continuous batching、chunked prefill、请求调度和 SLO 感知调度。评估侧也有人提醒校准、不确定性、幻觉检测，以及 benchmark 污染。数据配比和清洗同样被点名，公开课里系统讲这块的确实少。

有个细节挺有意思。作者故意把并行合在一集，是为了比较不同并行方式的取舍；有网友想要拆开单独讲。Marvin 给了个实用学法：每节顺手记下它在省哪部分显存、增加哪种通信、牺牲什么，最后串成一张对照表。Zhou Quan 的问题更直接：讲得清不等于会调，手搓过没。这个问题不客气，但点中了课程和实战之间的差距。

一个直接判断：这套课最大的价值在顺序和取舍，不在名词表。它把训练和推理放在一条资源约束线上讲，显存、通信、适配成本、延迟、RL 优化器和服务调度依次出现。看的时候别只记 ZeRO、GRPO、Muon 这些名字，记它们各自替掉了什么成本。

课程还在更新，评论区那些数据、KV cache、量化、评估和成本口径，可能才是下一阶段更缺的章节。