Karpathy的7个GitHub仓库，排好顺序就是一份免费AI学位

Andrej Karpathy，前特斯拉AI总监、OpenAI创始成员，在GitHub上放了一串项目。有人把它们按顺序排好，发现这7个仓库就是一套完整的AI课程——从最基础的反向传播，到能自主跑一夜研究的agent。7个仓库，累计306,741颗星。

每个仓库都是前一个的下一层，按顺序学，别跳。

1. micrograd

神经网络到底怎么学习的？用大约100行Python实现反向传播。
这是起点，也是理解一切的基础。

github.com/karpathy/micrograd

2. nn-zero-to-hero

视频课程。配套的Jupyter notebook，从一个神经元讲到GPT。

github.com/karpathy/nn-zero-to-hero

3. minbpe

文本怎么变成token？所有LLM都要过的tokenizer，用干净极简的代码写出来。

github.com/karpathy/minbpe

4. nanoGPT

训练和微调你自己的GPT。最简实现，没有花哨的东西。

github.com/karpathy/nanoGPT

5. llm.c

同样的训练过程，但底层不藏东西。纯C和CUDA，没有PyTorch。

github.com/karpathy/llm.c

6. nanochat

一个端到端的完整聊天模型。2019年训练一个GPT-2级别的模型成本约4.3万美元，现在用这个仓库，大约48美元。

github.com/karpathy/nanochat

7. autoresearch

agent自动做研究。它修改训练代码，训练5分钟，保留改进的部分，然后整夜重复。

github.com/karpathy/autoresearch

上面是实践部分。Karpathy还配了视频课程，就是斯坦福实际在教的那套AI内容，也在GitHub上：

顺序很重要。有人直接跳去nanoGPT，跳过micrograd，第一次loss不降就懵了。从反向传播开始，一步一步上来，整个图景才清晰。

有个现实：大多数人会收藏这份清单，然后永远不打开。能完整跑通一遍的人，已经超过90%的收藏者。

顺便说一句，训练一个GPT从0到1的成本变化，比任何课程都更能说明这个领域的进展。2019年，4.3万美元。现在，48美元。