斯坦福把LLM从零构建压成2小时，但作业量是普通课的10倍

斯坦福放了一个2小时的视频课，标题很直接：从零构建LLM。覆盖分词、模型如何解码你的prompt、训练pipeline、从零搭架构。视频挂在网上，评论区有人立刻收藏，有人说解码那节值得先看，还有人看完分词部分说，知道了byte-pair encoding在底层怎么跑之后，对上下文窗口的理解变了。

但这里有个容易忽略的事实。2小时视频不是完整课程，它是CS336的浓缩版。CS336全称Language Modeling from Scratch，由Percy Liang和Tatsunori Hashimoto在斯坦福开设，课程网站把每节课的讲义、录播、作业全放在网上。视频只是入口，真正的消耗在后面。

先看课程要求。学生需要熟练写Python，有深度学习和系统优化经验，懂微积分、线性代数、概率统计，外加基础机器学习。这是一门5单元的课，官方原话是very implementation-heavy，意思是代码量极大。课程页面写得很清楚：学生拿到的脚手架极少，要写的代码至少是其他AI课程的一个数量级以上。换句话说，2小时视频教你看懂大概，作业教你自己动手写出来。

五个作业拆开看：

作业一，基础。实现tokenizer、Transformer架构、优化器，然后训一个最小语言模型。评论里有人自嘲，2小时课看完，自己的tokenizer还是像只困惑的浣熊。这不是段子，作业一就是让那只浣熊学会认字。

作业二，系统。用profiling工具测模型和层的性能，自己用Triton实现FlashAttention2，再把训练代码改成内存高效、可分布式的版本。

作业三，缩放。理解Transformer每个组件的作用，调用训练API拟合缩放定律，预测模型规模上去之后的表现。

作业四，数据。把Common Crawl原始转储变成能用的预训练数据，做过滤和去重，看这些操作对模型效果的影响。

作业五，对齐与推理RL。做监督微调，用强化学习训练模型解数学题，可选部分还包括DPO这类安全对齐方法。

自学者跟着做，绕不开GPU账单。课程页面给了几个选项，单张B200的公开报价：Modal每小时6.25美元，每月送30美元额度，按实际计算量计费；Lambda每小时6.69美元；RunPod每小时4.99美元；Nebius每小时5.50美元，抢占式实例3.05美元；Together每小时7.49美元，最少8张卡起。官方建议先在CPU上调正确性，再上GPU跑训练和基准测试。

图：课程页面提供的Stanford NLP Group与CRFM标识

课程在荣誉准则里专门写了对AI工具的态度：可以用ChatGPT问底层编程问题或语言模型的高层概念，但不能直接拿它解题。他们还强烈建议关掉Cursor Tab和GitHub Copilot这类自动补全，理由很实在，AI补全让人更难深入理解内容。

回到那个2小时视频。它适合建立直觉，知道一个LLM从文本到输出中间经过哪些环节。有网友说2小时揭开黑箱，这话不假。但黑箱揭开之后，你要自己造一个。斯坦福把入口做得足够低，门槛留在了作业里。视频看完，想继续走，先去把tokenizer写出来。

课程网站：https://cs336.stanford.edu
YouTube播放列表：https://www.youtube.com/watch?v=JuoVZkPBiKk&list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV