从100行反向传播到整夜跑实验，Karpathy把AI学位拆成7个仓库

Andrej Karpathy 是前特斯拉 AI 总监、OpenAI 创始成员之一。他在 GitHub 上放了一套按顺序学习的 AI 课程，拆成 7 个仓库。路线从反向传播开始，最后到能整夜运行研究的智能体。对开发者，它是一张可执行的路线图；对非技术读者，每个仓库也能看清一个关键环节在解决什么。

有网友把这条路线概括成一句话：从微分到智能体，像搭积木一样从零造出 GPT。

顺序本身有教学逻辑。先理解神经网络怎么学习，再理解文本怎么变成 token，再训练自己的 GPT，然后下探到 C 和 CUDA，最后做聊天模型和自动研究。收藏夹里放一百个链接，通常不如先把第一个 100 行跑通。

1. micrograd：神经网络如何真正学习。大约 100 行 Python 代码的反向传播。
   github.com/karpathy/micrograd

2. nn-zero-to-hero：视频课程和讲座笔记本，从一个神经元到 GPT。
   github.com/karpathy/nn-zero-to-hero

3. minbpe：文本如何变成令牌。每个大语言模型都从这个分词器开始，代码干净简洁。
   github.com/karpathy/minbpe

4. nanoGPT：训练和微调自己的 GPT 的最简单仓库。
   github.com/karpathy/nanoGPT

5. llm.c：同样的训练，没有隐藏层封装。纯 C 和 CUDA，不依赖 PyTorch 底层。
   github.com/karpathy/llm.c

6. nanochat：端到端的完整聊天模型。GPT-2 级别的训练成本在 2019 年约 43000 美元，这里约 48 美元。
   github.com/karpathy/nanochat

7. autoresearch：能做研究的智能体。智能体编辑训练代码，训练 5 分钟，保留改进的部分，然后整夜重复。
   github.com/karpathy/autoresearch

这套东西的价值不在“免费”两个字，而在可运行。每个仓库都把抽象概念压到能跑通的代码量级。真要从头学，按顺序走，别跳到第 6 步才开始。