LLM 课程缺什么：评论区把 KV cache 和调度推到了前排

Jia-Bin Huang 在 X 上更新了一个 LLM 训练与推理播放列表/课程，状态写着 WIP。已经覆盖的主题有分布式训练、微调、RL、OPD、serving、spec. decoding 和基础优化器。他发帖问，还该补什么。原帖在这里，播放列表在这里。

评论区很快变成一份免费课程委员会纪要。有人把 KV cache 和 prefix reuse 放在前面，还提醒长 agent 运行时的失败模式。这个建议很实际：长任务跑到后面，上下文缓存、前缀复用、超时和状态管理比多讲一章优化器更容易让人翻车。Jia-Bin Huang 回复说 prefix reuse 的视频快有了，并继续问长 agent 失败模式有哪些参考。

另一组建议集中在推理服务。有网友点名 paged attention，理由是变长 KV cache 把 GPU 内存切碎，内存碎片往往比算力更早杀死推理。还有人把 KV cache 当成分布式存储系统来讲，顺带列出 continuous batching、chunked prefill、请求调度和 SLO-aware scheduling。另一位网友补了 roofline 模型，用它解释 decode 阶段为什么受内存带宽限制，以及量化、压缩为什么能帮上忙。量化部分包括 PTQ 与 QAT、KV cache 量化、剪枝和蒸馏。Jia-Bin Huang 回复说 serving 视频快上了，量化也会尝试纳入。

并行训练也有人提。有人希望把所有并行方式拆成单独视频。Jia-Bin Huang 的解释是，他故意把并行放在一个视频里，方便比较不同并行类型的动机和 trade-off。这个回应值得记下：课程设计里，拆细和放在一起比较各有代价，评论区想要的是查阅方便，作者想要的是建立权衡感。

评估和可信 AI 被单独拎出来。有网友建议加校准、不确定性估计、幻觉检测，还补了一句很扎心的观察：后训练常让模型更自信，却没让它更正确。再往后是评测和污染，也就是 benchmark 数字可能骗人。Jia-Bin Huang 直接回复说这个方向很有意思，但自己零知识，求参考。这个缺口比再加一个热门主题更值得补。

还有零散但有用的建议：万亿参数多模态模型怎么训；RLHF；attention 的演化，包括 FlashAttention、MLA、residual 等；怎么构建数据集，有人提到 Hugging Face 的 FineWeb 指南；harness design、autoresearch、RSI；以及用一集长视频讲 LLM 常用的 RL 方法。也有人提醒保持数学解释的风格，说那是最好玩的部分。另有网友分享了自己做的类似内容，链接在这里。

把这些回复摊开看，课程清单里真正稀缺的，是生产环境里的失败模式。训练和推理的知识点已经很多，KV cache 管理、请求调度、量化取舍、评估污染、长 agent 跑崩，这些更接近实际踩坑现场。优化器章节可以继续有，但评论区已经把优先级写得很清楚。下一步要看作者怎么把这些建议塞进播放列表，以及会不会真的补上可信 AI 这一块。