Wink Pings

斯坦福这门深度学习课,作业不计分,考试让你猜实验结果

CS 312 把深度学习当实验科学来教:跑实验、看现象、预测未见实验的 loss。作业占 0%,85% 成绩来自 7 次 quiz,2 次可 drop。X 上有帖子提到 DeepMind、Pluralis、Sakana AI Labs 的研究员在学。

斯坦福2026秋季有一门CS 312,课名直译过来叫深度学习炼金术。X上有帖子提到,发帖者看到一些头部实验室的研究员在学,包括DeepMind、Pluralis、Sakana AI Labs。原帖链接:https://x.com/alacheng/status/2121534854521029060。课程官网:https://deep-learning-alchemy.github.io/。

CS 312 推文配图

CS 312 课程页

这门课最反常的地方在评分。作业占0%,只用来在quiz里引用拿部分分。15%来自tutorial参与,85%来自7次quiz,7次里可以drop 2次。官网提前说明,这是5学分课,要跑大量实验,7次quiz不轻松,也不会调分。选课前最好想清楚。

授课的是Tatsunori Hashimoto和Suhas Kotha,CA是Tristan Thrush、Kaiyue Wen。课在周二、周四下午1:30到2:50,地点CoDa B90。录播和课程材料都会公开。

课程页把两个信念写得很清楚:Alchemy is learned by hand 和 Prediction is understanding。官网原话大意是,深度学习里有很多谜团,顶尖研究者也没完全搞懂;不少课教的 mental model 和实验经验对不上,比如经典 bias-variance tradeoff 和现在的 scaling 时代不一致。所以这门课让学生自己设计干净实验,先对现象建立直觉。考试则反过来,给你一个没跑过的实验,让你预测结果。

Quiz是40分钟的实验预测。题目会给实验描述,包括代码diff,学生要预测这个实验会得到什么结果。不能查外部资料,连自己的报告也不能翻,但可以在答案里引用报告,推理靠谱能拿部分分。示例题里,有一道是拿depth 8 transformer做leave-one-out ablation,比较去掉prenorm、residual、MLP、attention、positional embeddings之后的loss排序。还有一道更硬的,把residual改成前一层和再前一层各取0.5,预测loss差。官网自己提醒,这两道都难,没跑实验没直觉很正常。

作业主题也具体。前5个作业围绕小规模语言模型预训练,从超参和scaling、优化器、loss landscape,到深度稳定性、模型容量。第6个作业换到DNA。作业不评分,但会逼你跑实验、画图、写报告。每周还有30分钟tutorial,每个学生要和另外三个学生加一个课程staff见面,聊正在跑的实验,做quiz练习题。tutorial参与拿满15%。

这门课允许用AI工具做作业,实现、可视化、模拟quiz都行。但quiz不能带外部资源。这个设计有点讽刺:大部分课怕学生用AI写作业,这门课把作业权重调到0,然后用quiz确认人脑子里还剩多少直觉。

对AI从业者,这课解决一个日常痛点:调参和改架构常靠手感,手感又说不清。课程把直觉拆成可预测的实验题。对普通读者,炼金术在这里指实验直觉,不是骂人。课程也说不要求先学透深度学习,作业自带脚手架,但开头会更累。数学要会微积分、线性代数、基础概率统计,代码用Python。

在家跟课需要GPU。课程页写,d8训练常用单张NVIDIA H100,在Modal上跑。2026年10月2日的公开价格是H100 SXM5每小时3.95美元,按秒计费,Starter计划每月含30美元额度。Modal赞助了这门课的算力。课程材料公开,想跟的人可以自己跑。

适合谁:想补实验直觉的AI从业者,愿意把调参手感变成可检验问题的人。不适合谁:想学反向传播实现细节、想要轻松学分、或者只想看理论综述的人。quiz考的是预测,不是背书。

发布时间: 2026-11-15 01:26