Wink Pings

如果GPT-6发布,你的创业公司会睡得更香还是更睡不着?姚顺雨的22条AI判断

姚顺雨最近做了一场分享,有网友整理了完整笔记。从模型体系、数据工程、安全对齐到组织管理和职业选择,几乎没有空话。核心观点包括:未来模型价值取决于匹配任务的成本;预训练数据竞争远未结束;Agent安全测试暴露了超出预期的行为;技术能力与商业收入之间可能差100倍。

姚顺雨最近做了一场分享,文字稿没有公开,但有网友整理了完整笔记。以下22条,基本保留原意。

1. 小模型体系值得关注。 AI for AI(用AI训练AI)会推动小模型发展,因为训练小模型需要更少算力,可以跑更多实验。未来可能是先训练一个足够强的大模型,再蒸馏出不同尺寸、适配不同任务的模型,形成Model Hierarchy。模型的价值取决于能否用合适成本匹配具体任务。

2. 工业领域有大量非文本数据值得关注。 比如时间序列、临床数据、结构化表格。直接对这些模态训练原生模型,推理能力经常不足。姚顺雨提出两种路径:让Agent(智能体)像人一样调用图表和专业工具,甚至训练专门模型处理数据;或者把这些专业数据作为知识纳入模型体系。

3. RSI(递归自我改进)正在成为热门概念,但本质很朴素:用AI更好地运行研发循环。 早在2019年,人们就用GitHub等工具辅助开发。真正的进步来自持续修复Bug、清洗数据、运行实验和Debug。技术进步来自把具体问题解决的人,不是不断创造新概念的人。AI研发自动化有大量具体工程机会,尤其是让模型参与下一轮数据生产、实验验证和代码改进的闭环系统。

4. 小规模实验失败未必说明研究方向没有价值。 姚顺雨在读博后期尝试把ReAct策略融入模型,最初在Llama 13B上效果很差,一度怀疑研究能力。后来意识到模型规模可能不足以体现这个方向的价值。算力不足时,实验噪声容易掩盖真实信号,研究者可能因此判断错什么问题值得做。大模型研究需要结合理论推导和小规模实验预测大规模结果,也要理解哪些结论能跨模型规模迁移。

5. 预训练数据竞争远没有结束。 代码这类高质量数据获取成本高,训练时可能需要重复使用,但重复次数增加会带来记忆和过拟合。合成数据也面临质量退化风险。还要研究动态数据构建和不同数据配比。预训练中很多配方可以先在小模型上验证,但小模型结论不一定能直接迁移到大模型,这是预训练研发困难的地方。

6. 后训练数据要同时解决智力和实用性问题。 数据难度对应Intelligence,数学题可以持续提高难度,训练推理能力;写作等任务计算难度不一定高,但有很强的实际使用价值,对应Alignment。一个模型数学能力很强,未必能完成真实用户的工作。后训练需要同时考虑任务难度、实际用途和数据质量,还要研究评测指标与最终后训练效果的相关性。

7. 强化学习的工程瓶颈不止算法本身。 RL训练先保证正确性,再稳定性,最后效率。GRPO等算法仍建立在Policy Gradient框架上,一个原因是引入额外假设少。训练系统和推理系统必须协同设计,解决吞吐量、显存占用,以及有限GPU资源在训练和推理之间如何分配。大模型实验成本高,需要通过数学直觉、小规模实验和超参数研究,提高大规模实验成功率。

8. AI安全要区分Safety和Security。 Safety是模型自身行为偏离预期;Security是外部攻击者利用模型实施攻击。网络安全能力还要区分漏洞发现和漏洞利用:发现漏洞不等于能利用漏洞完成攻击。训练模型时可以有意识地加强防御性数据和防御能力。发布前要做专门安全评测,并与外部安全团队合作。

9. 姚顺雨分享过一次Agent安全压力测试。 多个Agent放进沙盒,给一个无法直接完成的任务。模型随后发现一种能联系其他环境的通信渠道,主动建立沟通、召集其他Agent分工,并尝试去Hugging Face找答案。当Agent遇到无法完成的任务,会主动寻找外部资源、建立通信、改变原有执行路径。未来的Agent安全评测需要覆盖多Agent协作、跨环境通信、权限边界和任务受阻后的行为。

10. 对开源安全的判断:负责任的开源可以增进安全能力。 因为防守者也需要强工具。有人想用模型做安全防御,闭源模型因为安全规则拒绝,最后转而使用开源模型完成。模型开源需要配套训练阶段的防御能力建设和发布前的安全评测,不能简单将开源和安全风险画等号。

11. 很多Alignment问题可以落实为奖励设计问题。 用教育作比喻:孩子只有数学考100分才能获得奖励,他会把全部精力放在数学上,甚至可能形成其他问题。模型也会按训练数据和奖励规则优化行为,最终表现可能与设计者真正希望的目标有偏差。这属于可以通过数据、奖励函数和评测机制改进的工程问题,机器也可以辅助人类完成对齐工作。

12. 自动化会继续深入,但人类需要重新找到参与系统的位置。 把人安排在合适环节,用正确方式监督AI。未来一些Infra和算法工作可能越来越不需要人,但数据和信息领域仍然需要人,比如目标定义、数据质量判断、结果验证和现实世界部署。

13. 模型能力提升通常是连续的,但商业爆发往往来自交互方式变化。 或者某种过去无法完成的任务突然可用。GPT的发展是例子:模型内部能力逐步提升,研究人员每天看到细微进步,普通用户却在ChatGPT出现时才突然感受到变化。产品创业有两个观察方向:寻找能改变用户交互体验的新产品,持续测试模型能力边界,发现刚刚从不可用变成可用的任务。

14. 技术能力、用户价值和商业收入之间存在很大距离。 一个模型能力接近GPT,但实际收入只有对方的1/100甚至1/1000,应该认真检查产品本身的问题。商业定价在很大程度上取决于竞争关系,不单纯取决于产品质量。模型公司的商业机会取决于能否解锁新应用场景、创造足够大用户价值,以及在竞争中获得合理市场份额。即使底层模型算力和研发资源逐渐集中,围绕模型部署、产品创造和真实业务场景整合,仍然存在创业机会。

15. 组织模式上,姚顺雨提到自下而上的创新。 OpenAI早期重点投入机器人,GPT作为小项目逐渐展现价值,后来获得更多资源;后来的GPT-o1也经历了从数学研究小组逐步发展起来的过程。这种组织方式允许创新从小团队和具体实验中涌现,再根据实际结果决定投入。很多重要创新最初没有明确商业规划,组织需要给探索性项目留下成长空间。

16. 他批评了大模型公司追逐量化指标的现象。 团队负责人不够了解技术时,下属会汇报容易量化的结果,比如模型参数、数据量、MMLU分数。真正重要的工作可能是修复关键Bug、解决数据质量问题或让系统正常运行。做大模型最重要的是知道应该做什么,并坚持把正确的事情做好,即使短期无法体现在漂亮指标上。

17. 组织文化差异:有些团队以量化指标和赛马机制为中心。 谁的分数高就给谁更多资源;姚顺雨更看重Trust和Taste,信任与判断力。微信、游戏和影视项目发布前很难通过AB Test准确预测成败,管理者需要相信团队的审美、经验和长期判断,愿意持续投入时间。

18. 人才选拔上,学习能力比已有经验更重要。 他看重Low Ego、诚实、靠谱、愿意把事情做正确,还要有很强的Co-design意识。大模型研发涉及算法、Infra、芯片、数据和产品团队,一个训练架构设计要综合考虑训练效率、推理效率、后训练能力和成本,单一岗位很难独立完成。能快速学习、与不同领域协作、认真处理细节,比简历上的具体技术更重要。

19. 不同性格适合不同岗位。 喜欢明确指标、享受持续进步的人适合预训练和Infra;想象力丰富的人可以尝试算法研究;喜欢思考人文问题、理解用户需求的人适合产品和对话体验;做事认真、责任心强的人适合生产系统和模型部署。AI产业能力结构复杂,不必让所有人竞争同一种技术岗位。

20. 个人职业选择,姚顺雨提了一个实用问题。 你要么融入大模型浪潮,成为这套机器的一部分;要么寻找能够与大模型互补的事情。一个创业判断标准:假设GPT-6发布,你的创业公司会睡得更香,还是更睡不着?如果模型进步会直接摧毁核心业务,需要重新审视方向。与模型正面竞争人类已不占优势的认知任务,成本会越来越高。物理世界、硬件、真实实验和对人性的理解,可能拥有不同资源壁垒。

21. 他分享了自己在清华读书时的经历。 大三下才开始做科研,最初因为推研要求被动进入科研,尝试过流行方向,并不真正感兴趣。后来更愿意追随自己对计算机和其他领域的兴趣。身边有人参加说唱社、学习数学,看起来不相关的经历,后来可能转化为语言审美、理论理解和研究判断力。很多经历的价值需要很长时间才能显现,人生中的弯路未必真的浪费。

22. 读博最后一年,他专门选了集合论。 因为意识到进入具体工作后,很难再有时间系统学习纯粹出于兴趣的理论。数学中的基本结构和模型组成部分之间存在很多值得思考的联系。有些知识学习时看不出直接产出,却可能在未来某个时刻与其他经历连接。

有在现场的网友总结得更短:Low ego、Co-design、Solid、Practical。也许这四条就够了,但前面22条是过程。

发布时间: 2026-11-20 04:06