Wink Pings

Karpathy 3.5小时LLM深潜,被拆成一张故障地图

模型不会拼单词、数不清字母、顺着你说、会幻觉,这些怪现象都能在训练栈里找到位置。1044万播放的视频很长,按层跳读会快很多。

Andrej Karpathy 的《Deep Dive into LLMs like ChatGPT》播放量 1044 万,点赞 14.2 万,时长 3 个半小时。Karpathy 是 OpenAI 创始成员、前特斯拉 AI 总监,现在做 Eureka Labs。原视频:https://www.youtube.com/watch?v=7xTGNNLPyMI

Karpathy 视频封面

有网友按“每一层解释了什么现象”重排了这条视频,把 3.5 小时切成可跳读的段落。后半段还覆盖 SFT 到 RL、DeepSeek-R1、AlphaGo、RLHF,按需要看。

1. 预训练数据和分词

Karpathy 从互联网语料讲起。Common Crawl 抓网页,过滤、去重、去 PII,最后得到高质量文本。视频拿 FineWeb 举例,清洗后约 44TB。接着切片成 token。token 是模型读写的最小单位,不等于字或词。

这一层解释了一类反常识问题:模型不会拼单词、数不清字母、对奇怪格式敏感,根子常在分词。有回复提醒,分词能解释一部分拼写和计数翻车,但同一套分词下常见词和生僻词表现差很多,训练分布、位置编码也占一份。把锅全给分词会误判。

动作:拿一段中文去数 token,看看长文档为什么截断,同样字数不同语言为什么成本不同。

2. 网络 I/O 和推理

输入 token 序列,输出下一个 token 的概率分布。它不查答案,逐 token 预测。理解这一层,就不会指望它给出确定事实。

基座模型只会续写,不会对话。让它变成助手的是后训练。

3. 后训练:助手人格

用大量人类对话做微调,模型才有了“助手”人格。这也解释了它为什么容易顺着你说。训练目标偏向像助手,未必像真相。

4. 幻觉、工具、记忆

幻觉来自没有依据也要预测下一个 token。工具调用和上下文是外挂补救。模型在生成,未必在知道。

5. 模型需要 token 来思考

让它一步步写,等于给它更多计算步;不给,就要它一步到位。所谓“锯齿智能”,能解竞赛题却数不清字符,是这套机制的副作用。

自测清单

  1. 遇到拼写或计数翻车,你会怪分词,还是也看训练分布和位置编码?
  2. 需要事实时,你给了检索工具,还是让它硬答?
  3. 复杂问题你让它分步了吗?
  4. 你有没有把“像助手”当成“说得对”?

把 LLM 当成被训练成助手的 token 预测器,大多数怪现象都能解释,也就知道该在哪一层加护栏。

原视频:https://www.youtube.com/watch?v=7xTGNNLPyMI
推文:https://x.com/zg0820/status/2121789134411080072

发布时间: 2026-11-15 14:31