Wink Pings

从零手写GPT:这份开源仓库把路铺好了

《Build a Large Language Model (From Scratch)》官方代码仓库。用 PyTorch 从零实现 GPT,覆盖预训练、微调,普通笔记本可跑。附视频课程和大量进阶实现,想深入理解 LLM 内部原理,这是值得收藏的路径之一。

有个 GitHub 仓库值得收藏:Sebastian Raschka 的《Build a Large Language Model (From Scratch)》官方代码。整本书的代码都在里面,从数据预处理到预训练、微调,一步步用 PyTorch 实现一个 GPT。

Build a Large Language Model (From Scratch) 封面

很多人在接触 LLM 一段时间后会遇到一个坎:会用 API,但不知道模型内部发生了什么。这个仓库提供了一条听起来很笨、实际最直接的路:自己写。作者把门槛压低了:代码不依赖外部 LLM 库,主章节在普通笔记本电脑上就能跑。如果刚接触 PyTorch,附录 A 有简明入门。

仓库的章节安排清晰:

  • 第2章:文本数据处理,包括 BPE tokenizer 的实现
  • 第3章:注意力机制
  • 第4章:从零实现 GPT 模型
  • 第5章:在无标注数据上预训练
  • 第6章:微调做文本分类
  • 第7章:微调以遵循指令

全书知识框架图

每一章都有完整代码和练习,答案在附录里。如果不想看书,还有 17 小时 15 分钟的视频课程,作者会逐章敲代码。另外每章配了约 30 道测验题的 PDF,免费下载,适合自测。

视频课程截图

bonus 部分更值得看。除了标准 GPT,仓库还包含 Llama 3.2、Qwen3、Gemma 3 等架构的从零实现,以及 LoRA 微调、DeepSeek 稀疏注意力、Mixture-of-Experts 这些进阶主题。跑完基础章节后,这些材料能把视野打开。

这个仓库也可以当参考手册。写代码时遇到概念不清楚,去对应章节的 notebook 里找,比翻文档或搜索引擎快。

作者还写了续作《Build A Reasoning Model (From Scratch)》,从预训练模型出发,实现推理时扩展、强化学习、蒸馏等方法。如果对推理方向感兴趣,可以接着看。

仓库地址:https://github.com/rasbt/LLMs-from-scratch
如果打算动手,直接克隆:
git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git

发布时间: 2026-11-21 14:36