从零写一个 mini-sglang:这门免费课程把推理引擎拆开讲完了
Datawhale 和 RadixArk 联合做的 zero-to-sglang 已完结,中英文全章节上线。它先讲清推理概念,再手写 mini-sglang,最后回到真实 SGLang 源码和 PR 流程。

zero-to-sglang 的书面课程已经完结。项目由 Datawhale 和 RadixArk 联合发起,后者由 SGLang 团队创立。课程免费,中英文全章节完成,写作从 2026 年 8 月 24 日开始,到 11 月 10 日结束。配套视频还在制作,预计 2026 年 11 月底完成,发布在 YouTube 和 Bilibili,链接会补到课程大纲。
课程仓库:https://github.com/datawhalechina/zero-to-sglang
SGLang 主仓:https://github.com/sgl-project/sglang
推理引擎教程一直有个尴尬:讲概念的停在概念,不碰代码;直接读源码的,又把初学者丢进 SGLang 仓库里找入口。zero-to-sglang 想填这个缝。它的路径分四段。
Part 0 先部署一个 SGLang Server,用 Qwen3-0.6B 在自己 GPU 上跑起来。Part I 只讲概念,不需要 GPU,覆盖 LLM、推理、GPU、KV Cache、Benchmark。Part II 开始手写 mini-sglang,从 forward pass、generation、KV Cache、HTTP 服务,一路加到 Continuous Batching、Paged KV Cache、RadixAttention、多进程与张量并行、投机解码。Part III 回到真实 SGLang,讲 Attention 后端、量化与低精度推理、分层缓存、DP Attention/EP/PP、Prefill-Decode 分离。Part IV 更偏贡献:用 Cookbook 部署,做 profiling 和 trace 分析,走一遍 SGLang PR 流程。
课程 FAQ 说明了硬件门槛:Part I 不需要 GPU;Part II 多数代码可以在 CPU 调试,完整实现和性能测试最好上 GPU,云 GPU 也行。CUDA 不用先学,Part III 碰到 attention 后端时再补。
有网友在回复里问,有没有适合初学者的 issue 列表可以和课程搭配。Yichi Zhang 的回复是,在 GitHub 搜 good first issue 标签。另一位网友说这周已经开始 mini 项目,进展不错。这类反馈比收藏等于学会实在。
mini-sglang 参考实现:https://github.com/sgl-project/mini-sglang
如果只想要一条最短路径:先读 Part I 建立图景,跟着 Part II 写出 mini-sglang,再用 Part III 对照真实源码,最后用 Part IV 做第一次 PR。课程已经放在那里,剩下的是动手。
发布时间: 2026-11-10 19:28