Karpathy 的免费 AI 课，别从 nanoGPT 开始

Karpathy 在 GitHub 上有一套按依赖顺序排好的 AI 课，7 个仓库，推文截图显示合计 306,741 stars。Machine Learning FLX 转发的推文把它称作一套免费 AI 学位。收藏它的人很多，按顺序跑完的人少。差别不在免费，在顺序。

推文里的路径从反向传播开始，到能整夜跑实验的 agent 结束。每个仓库是下一个仓库的前置层。下面按原顺序拆开，链接和数据都保留。

1. micrograd，神经网络怎么学
   用约 100 行 Python 实现反向传播，再叠一个约 50 行的神经网络库，API 像 PyTorch，但只操作标量。它把每个神经元的加法和乘法拆成计算图。仓库 demo 用 2 层 MLP 在 moon 数据集做二分类。
   
   
   链接：https://github.com/karpathy/micrograd

2. nn-zero-to-hero，视频课和 notebook
   Karpathy 的 YouTube 课程，从单个神经元讲到 GPT。视频里写的 Jupyter notebook 放在 lectures 目录。课程覆盖 makemore、MLP、BatchNorm、手动反向传播、WaveNet 式结构、GPT、tokenizer。适合把第 1 个仓库里的标量反向传播扩展到张量。
   链接：https://github.com/karpathy/nn-zero-to-hero

3. minbpe，文本怎么变成 token
   字节级 BPE 的极简实现。GPT、Llama、Mistral 这类模型训练 tokenizer 都用 BPE。仓库里有 BasicTokenizer、RegexTokenizer、GPT4Tokenizer，后者和 OpenAI tiktoken 的输出对齐。也可以拿自己的文本训练 tokenizer。Karpathy 在课程里提过，LLM 的一些怪行为能追到 tokenization 这一层。
   链接：https://github.com/karpathy/minbpe

4. nanoGPT，训练自己的 GPT
   推文说它是最简的 GPT 训练和微调仓库。到这一步，tokenizer、反向传播、Transformer 结构都已经在前三层出现过，nanoGPT 把它们拼成可训练模型。
   链接：https://github.com/karpathy/nanoGPT

5. llm.c，把训练过程摊开
   同一个训练过程，用原始 C 和 CUDA 写，底下没有 PyTorch。它适合看框架帮你藏了什么。推文把它放在 nanoGPT 后面，意图清楚：先会用，再看底层。
   链接：https://github.com/karpathy/llm.c

6. nanochat，端到端聊天模型
   一个完整聊天模型的训练流程。推文给了一个成本对比：GPT-2 级训练在 2019 年约 43,000 美元，这里约 48 美元。这个数字是推文口径，不是通用报价，但能看出训练成本降了多少。
   链接：https://github.com/karpathy/nanochat

7. autoresearch，让 agent 做研究
   agent 自己改训练代码，训练 5 分钟，保留有改进的版本，然后重复，整夜跑。推文把这个仓库放在最后，因为前面六层提供了它要改的代码、要评估的模型和要读的日志。
   链接：https://github.com/karpathy/autoresearch

推文最后写得很直白：从零训练一个 GPT，就会成为被交付 AI 项目的人，连同涨薪。这句话有招聘广告味。仓库本身是另一回事：它把一条学习路径的依赖关系写死了。跳着看能跑通 demo，遇到报错时还是得回到前一层。免费 AI 课不缺，缺的是按顺序跑完一个循环。