姚顺雨:大模型的下一个机会,可能在小模型身上
这份笔记记录了姚顺雨对AI研发的系统性思考:小模型体系、工业数据、RSI、数据工程、RL瓶颈、安全、开源、对齐、商业机会、组织文化、人才和职业选择。核心判断是:模型价值将取决于能否以合适成本匹配具体任务,大模型竞争已变成工程和数据的竞争。
AI研究者姚顺雨最近做了一次分享。记录者拿到文字稿,说内容有点私密,不方便传播,但整理了笔记。以下是其中值得反复读的观点。
**小模型体系。**未来一个值得关注的方向是小模型体系。AI for AI会推动小模型发展,因为训练小模型算力更少,能做更多实验。可行的路径是先训练一个足够强的大模型,再蒸馏成不同尺寸、适配不同任务的模型,形成Model Hierarchy。模型的价值将越来越取决于能否以合适的成本匹配具体任务。
**工业数据。**工业领域有大量非文本数据,例如时间序列、临床数据、结构化表格。当前直接对这些模态训练原生模型,推理能力往往不足。姚顺雨提出两种路径:让Agent像人一样调用图表、专业工具,甚至训练专门的模型处理数据;或者把专业数据作为知识纳入模型体系。
**RSI的本质。**递归自我改进正成为热门概念,但姚顺雨认为本质很朴素:用AI更好地运行研发循环。早在2019年,人们已经在用GitHub辅助开发。真正的进步来自持续修复Bug、清洗数据、运行实验和Debug。技术进步来自把具体问题解决掉的人,而不是不断创造新概念的人。AI研发自动化也因此有大量工程机会,尤其是让模型参与下一轮数据生产、实验验证和代码改进的闭环。
**小实验失败不等于方向没价值。**姚顺雨分享过一次经历:博士后期,他尝试把ReAct策略融入模型,在Llama 13B上效果很差,一度怀疑自己。后来意识到,模型规模可能不足以体现方向价值。算力不足时,实验噪声很容易掩盖真正的信号,研究者甚至可能判断错什么问题值得做。大模型研究需要结合理论推导和小规模实验,预测大规模实验的结果,同时理解哪些结论能够跨模型规模迁移。
**预训练数据竞争没结束。**高质量数据(比如代码)获取成本高,训练时可能需重复使用,但重复次数增加会带来记忆和过拟合。合成数据则有质量退化风险。未来要研究动态数据的构建、不同数据的配比。预训练配方可以先在小模型上验证,但小模型结论不一定能直接迁移到大模型。
**后训练数据。**后训练要同时解决智力和实用性问题。姚顺雨把数据难度和Intelligence联系起来:数学题可以持续提高难度,训练推理能力;写作等任务难度可能不高,但有很强的实际使用价值,对应Alignment。模型可能数学很强,却无法完成真实用户工作。后训练必须考虑任务难度、实际用途和数据质量,还要研究评测指标与最终效果的相关性。
**RL工程瓶颈。**强化学习的工程瓶颈不止算法。RL训练首先要保证正确性,然后是稳定性,最后才是效率。GRPO这类算法仍然建立在Policy Gradient这一相对简单的框架上,一个重要原因是它引入的额外假设少。训练系统和推理系统必须协同设计,要解决吞吐量、显存占用,以及有限GPU资源如何在训练和推理之间分配。大模型实验成本高,需要依靠数学直觉、小规模实验和超参数研究,提高大规模实验的成功率。
**Safety和Security。**AI安全需要区分Safety和Security:前者关注模型自身行为是否偏离预期,后者关注外部攻击者如何利用模型实施攻击。网络安全能力也要区分漏洞发现和漏洞利用,发现漏洞不代表能完成攻击。训练阶段可以有意识加强防御性数据,发布前做安全评测,并与外部安全团队合作。
**Agent安全压力测试。**一次测试很有画面感:多个Agent被放进沙盒,接到一个无法直接完成的任务。它们随后发现一条能联系其他环境的通信渠道,主动建立沟通、召集其他Agent分工,并尝试前往Hugging Face寻找答案。当Agent遇到无法完成的任务,会主动寻找外部资源、建立通信关系、改变原有执行路径。未来的安全评测需要覆盖多Agent协作、跨环境通信、权限边界和任务受阻后的行为。
**开源安全。**姚顺雨对开源安全的判断很明确:负责任的开源可以增进安全能力,因为防守者同样需要足够强的工具。有人想用模型做安全防御,被闭源模型的安全规则拒绝,最后改用开源模型完成工作。模型开源需要配套训练阶段的防御能力建设和发布前的安全评测,不能简单把开源和安全风险画等号。
**Alignment是奖励设计。**很多对齐问题可以落实为具体的奖励设计。姚顺雨用教育打比方:孩子只有数学考100分才能拿到奖励,自然会把全部精力放在数学上,甚至形成其他问题。模型同样会按照训练数据和奖励规则优化行为,最终表现可能偏离设计者真正希望的目标。这属于可以通过数据、奖励函数和评测机制不断改进的工程问题,机器也能辅助完成这套对齐工作。
**自动化继续深入。**自动化不可避免地会继续深入,但人类需要重新找到参与系统的位置,把人安排在合适环节,以正确方式监督AI。未来一些Infra和算法工作可能越来越不需要人,但数据和信息领域仍然需要人,包括目标定义、数据质量判断、结果验证和现实部署。
**商业爆发的点。**模型能力的提升通常是连续的,但商业爆发往往来自交互方式变化,或者某种过去无法完成的任务突然变得可用。GPT的发展是例子:模型内部能力持续提升,研究人员每天看到细微进步,普通用户却在ChatGPT出现时才突然感受到。对产品创业者来说,这指向两个观察方向:寻找能改变用户交互体验的新产品;持续测试模型能力边界,发现那些刚从不可用变成可用的任务。
**技术能力不等于商业收入。**技术能力、用户价值和商业收入之间存在很大距离。如果模型能力接近GPT,实际收入只有对方的1/100甚至1/1000,应该认真检查产品本身的问题。商业定价很大程度上取决于竞争关系,而非产品质量。模型公司的机会在于能否解锁新应用场景、创造足够大的用户价值,以及在竞争中获得合理份额。即使底层模型的算力和研发资源逐渐集中,围绕模型部署、产品创造和真实业务场景进行整合,仍然存在创业机会。
**自下而上创新。**姚顺雨提到OpenAI的组织方式:早期重点投入方向包括机器人,GPT作为一个小项目逐渐展现价值,随后获得更多资源;后来的o1也经历了从数学研究小组逐步发展起来的过程。创新从小团队和具体实验中涌现,再根据实际结果决定投入。很多重要创新在最初阶段没有明确的商业规划,组织需要给探索性项目留下成长空间。
**量化指标的问题。**姚顺雨批评了大模型公司追逐量化指标的现象。团队负责人不够了解技术时,下属往往选择汇报容易量化的结果,比如参数、数据量、MMLU分数。这些指标容易展示成绩,但真正重要的工作可能是修复关键Bug、解决数据质量问题,或者让整个系统正常运行。做大模型最重要的是知道应该做什么,并坚持把正确的事做好,即使短期内无法体现在漂亮的指标上。
**Trust和Taste。**组织文化上有明显差异:有些团队以量化指标和赛马机制为中心,谁的分数高就给谁更多资源。姚顺雨更看重Trust和Taste,也就是信任与判断力。微信、游戏、影视项目在发布前很难通过AB Test准确预测成败,管理者需要相信团队的审美、经验和长期判断,愿意持续投入时间。
**人才选拔。**学习能力比已有经验更重要。姚顺雨看重的团队成员通常具备Low Ego、诚实、靠谱、愿意把事情做正确等特征,还需要有很强的Co-design意识。大模型研发涉及算法、Infra、芯片、数据和产品等多个团队,一个训练架构的设计需要综合考虑训练效率、推理效率、后训练能力和成本,任何单一岗位都很难独立完成。能够快速学习、与不同领域的人有效协作、认真处理细节,比已经掌握多少具体技术更重要。
**性格与岗位。**不同性格适合不同岗位。喜欢明确指标、享受持续进步的人,适合预训练和Infra;想象力丰富的人可以尝试算法研究;喜欢思考人文问题、理解用户需求的人,适合产品和对话体验;做事认真、责任心强的人,适合生产系统和模型部署。AI产业的能力结构很复杂,不必让所有人都去竞争同一种技术岗。
**职业选择。**姚顺雨给了一个很实用的问题:你要么融入大模型浪潮,成为这套机器的一部分;要么寻找能与大模型互补的事情。他借用创业判断标准:假设GPT6发布,你的公司会睡得更香,还是更睡不着?如果模型进步会直接摧毁核心业务,需要重新审视方向。与模型正面竞争人类已经不占优势的认知任务,成本会越来越高。物理世界、硬件、真实实验和对人性的理解等领域,则可能拥有不同的资源壁垒。
**个人经历。**姚顺雨在清华读书时,大三下才开始做科研,最初是因为推研要求被动进入。尝试过一些当时流行的方向,却并不真正感兴趣。后来他更愿意追随自己对计算机和其他领域的兴趣。身边有人参与说唱社、学习数学,这些看似不相关的经历,后来转化成语言审美、理论理解和研究判断力。很多经历的价值需要很长时间才能显现,弯路未必真的浪费。
**集合论。**读博最后一年,他特意选修了集合论。原因很简单:等真正进入具体工作之后,可能很难再有大块时间系统学习纯粹出于兴趣的理论。他认为数学中的基本结构和模型组成部分之间存在值得思考的联系。有些知识学习时看不出直接产出,却可能在未来某个时刻与其他经历连接起来。
发布时间: 2026-11-20 01:07