Agent把实验成本打下来后,真正稀缺的是会设计对照的人
RonnyHe 的判断很直接:Agent 能写代码、跑实验、写文档之后,问对问题和设计对照成了硬技能。好奇心、执行力、科学素养三层叠加,少一层都撑不住。
RonnyHe 在 X 上发了一篇长文,标题是 Why You Should Be in AI, and How to Do It。他的身份是 MiniMax Code 研发负责人、DeerFlow 共同创作者。文章开头给了一个很硬的判断:Agent 已经能写大部分代码、跑实验、起草文档,构建成本接近零。那剩下的事是什么?
他的答案:问对问题,设计对的控制。能建什么不再难,难在知道什么值得建,以及建出来的东西到底有没有用。
文章把能力拆成三层:好奇心、执行力、科学素养,逐层叠加。
好奇心是发动机。AI 领域特殊在,正在造的东西和想理解的东西是同一个。模型训练出来却解释不清,Agent 每周都有意外行为,规模为什么有效、推理从哪来、天花板在哪,都没有完整理论。对工程师来说这很少见。多数领域先给一套成熟理论让你应用,AI 的理论还在写,你可以在自己的终端里参与。RonnyHe 还写了一句挺刺人的话:如果这都不让你兴奋,后面的方法帮不上忙。好奇心也是不被工具替代的原因。Agent 会回答你问的问题,不会自己判断哪个问题重要。
执行力:好奇心没有执行就是爱好。很多人以为 AI 解决执行,其实它只去掉摩擦,暴露真问题。真问题不在打字速度,在习惯性停在半路。有 Agent 以后,到半路更快,所以停半路也更频繁。借口还会升级:模型不够好,Agent 搞糊涂了。有时是真的,更多时候是没定义什么叫完成。执行的意思是推到真的跑通,或者因为清楚的原因失败。干净失败有信息,半成品成功什么也学不到。做法很具体:开始前写下可检查的完成标准;要证据不要汇报,跑通的测试、真实运行、数字;把无聊的最后 20% 做完,真相通常在那。
科学素养被低估。实验一周一次时,人会很慎重。现在 Agent 一小时跑一个,甚至一夜并行跑一百个。单次实验成本不再是约束,约束变成实验有没有意义。一百个没有对照的实验是一百个轶事。一次改三个变量的实验,什么都说明不了。便宜实验让坏方法更危险,因为可以大规模生产误导证据。问题从怎么跑实验变成怎么扩大实验还不骗自己。老工具仍然适用:形成具体到可以被证伪的假设;大胆测试奇怪变体;把测量和相信分开;有意识地用演绎和归纳;设计对照,同一实验设置只改一个变量;盲评,评估者不知道看的是哪个版本。过去这是研究团队的活,现在变成每个和 Agent 工作的工程师要设计的流程。
文章给了一个产品功能决策案例。过去提功能,开会,几个工程师、PM、设计师凭经验吵,声音大或资历高的人赢。然后小团队花几周做一个原型。上线时没人记得哪些方案被否掉、为什么。构建贵的时候这套流程合理,现在不合理。更好的方式:给 AI 一个实验环境和工厂。环境是沙盒,用真实任务、录制的会话、测试工具跑变体。工厂是 Agent 设置,产出五个功能版本加当前行为作为对照,全部跑同一批输入。然后同数据同指标比较。指标难定义就用结构化反馈:去标签并排给评审看,收集偏好。人的角色没有缩小,只是移动了。你仍然决定假设是什么、成功是什么、哪些变体值得试、对照是什么。这些决定比写代码难,也是判断力所在。结果决策更精确,从意见之间选,变成测量结果之间选。数据模糊时也知道模糊,然后设计下一个实验。
最后是不太舒服的部分。RonnyHe 写,如果有一天发现自己的好奇心不在 AGI 上了,就离开这个行业。AI 现在很挤,很多人因为钱和注意力在这里。外部动机可以撑一阵,撑不了多年做出最好的工作。去好奇心真正在的地方,太空、制造、生物医学、材料、能源都行。讽刺的是,这里造的工具会让那些领域也更快。同一套假设、便宜实验、对照、验证的循环,在实验室和工厂一样能用。他的测试很简单:你想不想知道这件事最后会怎样。想,就留下,把想法推到底,像科学家一样设计实验。不想,也没关系,去找那个你停不下来的问题。
原文链接:RonnyHe 的推文
文章链接:Why You Should Be in AI, and How to Do It
评论区里,有人表示认同,也有人让 Grok 总结这篇长文。
发布时间: 2026-11-05 22:31