投票开除 Sam Altman 的那位董事，现在说 AGI 这个词已经没用了

Helen Toner 现在坐在乔治城大学一间办公室里，管着 50 来号人，专门给国会山和白宫的人讲技术。CSET（安全与新兴技术中心）2019 年成立，干的活说白了就是：把 AI、芯片、生物技术这些事的真实进展，翻译成忙得没空看论文的决策者能听懂的简报。

她另一个身份更出名。2023 年 11 月，OpenAI 董事会四票通过把 Sam Altman 踢出公司，她是其中之一。那场风波后来被叫做“the blip”，结局是 Altman 回归、她辞职、董事会换血、公司彻底重组。

但 The Verge 主持人 Nilay Patel 在采访里提醒了一件事：那个非营利董事会的存在意义，恰恰是确保公司不为了利润和增长牺牲安全使命。董事会真去拉那根杆的时候，问责机制直接崩了。

政府不是不懂，是没空

硅谷喜欢说政府跟不上技术。Toner 承认差距是真的，但也说外面的人容易高估这个差距。她见过不少科技行业的人跑去跟国会 staffer 聊完，出来感叹：这些人挺懂的。

问题出在议员本人身上。他们得同时操心战争、医疗、生活成本。2023 年 ChatGPT 火起来之后，国会确实有一波“学 AI”的热潮，学语言模型是什么、机器学习是什么。今年又来了一波。

“在 DC，游说者不只是推公司立场的人，他们也是教育者。”Toner 说，国会 staff 很愿意听人把立法的技术细节讲透。CSET 的卖点是独立、无党派、足够严谨，这个定位在过去七八年里很有市场。

她把真正的问题抛了回来：不是这些人太落后，而是“制度在现有运转状态下，能不能把任何有意义的东西推过线”。

AGI 这团雾

Toner 写过一篇文章，标题直说：AGI 这个词几乎没用了。

她的比喻是，AGI 曾经是一团远方的云，你指一下大家就知道在说什么。现在我们已经走进了这团云内部。按某些定义，ChatGPT 出来那天就已经算通用人工智能，因为它明显不是只干一件事的专用模型。按另一些定义，比如有知觉、能做任何人类能做的事，那还差得远。

“如果我们吵的是 Astra 算不算 AGI、o3 带工具算不算 AGI，那不如把这个词扔了，换更具体的东西。”

那这些公司到底在往哪走？Toner 说，OpenAI 和 Anthropic 从成立第一天起就不是消费互联网公司。它们骨子里的愿景是造出和人一样聪明、甚至更聪明的机器，然后改变世界。这个愿景从 1950 年代 AI 作为学科诞生时就存在。

现在浮出水面的具体路径叫 RSI，递归自我改进。1960 年代 I.J. Good 就提过：一台超智能机器能造出更聪明的机器，更聪明的机器再造更聪明的，引发智能爆炸。

Toner 说 2025、2026 年开始，这些公司真的在说：好吧，这个理论上的东西，我们开始能做最低限度的实践版本了。

不是把研发全交给 AI，也不是跟 GPT-6 说“自己改进自己”。是把研发流程里越来越多的环节交给 AI 做，然后说自己看到了加速。Demis Hassabis 那句“我们处在奇点的山脚下”就是这个意思。

“这件事在湾区已经像水一样自然了。”Toner 说，“在研究圈子里，大家默认先搞 RSI，然后搞出超级智能。我觉得光是把这个事实讲清楚，就很有价值。”

对齐是个被用烂的词

Patel 问了一个很直接的问题：我们让 Claude 不乱来，靠的是一段系统提示说“你是好人”，这真的管用吗？

Toner 说她讨厌这些词，有时候想干脆全部禁掉。“对齐”在不同人嘴里至少有三层意思：公司能加上护栏、护栏有效；模型完全按用户要求行事；模型在广义上是道德善的、能引领人类繁荣。

“最连贯的一种理解，是让 AI 做用户想让它做的事。这个目标，据我所知，离解决还很远。”

她举了生物武器的例子。美国有几十万人受过生物训练、知道怎么造生物武器，但这类攻击没有大规模发生。原因不全是知识稀缺，还包括材料获取难、DNA 合成可以管制、FBI 在盯恐怖组织。

网络安全同理。攻击者可以放一堆 agent 出去乱撞，防守方要给防守 AI 开大量权限、让它动自己的软件，需要的信任等级完全不同。

“现在有种谬误，觉得自主网络攻击的解法是更好的沙箱。”Toner 说，“问题是我们要这些系统替我们做事，就有巨大激励给它们更多自主权、更多执行器。这才是真正难绕开的地方：你需要比现在好得多的对齐。”

如果真停下来，能干什么？

Patel 抛了个假设：假如你是美国 AI 沙皇，命令所有实验室停止训练下一代模型，把钱和算力全砸在安全上，直到达标为止。

Toner 的第一反应是：停什么？具体停哪个环节？

她担心的不是这个方向不对，而是执行会走样。公司会找裂缝钻。停的范围可能误伤非营利项目和初创公司。中国大概率不会停。

但她也说，如果真停下来，能做的事多到吓人。她跟前沿公司的人聊，对方说眼皮底下有几百件明显该做的事，就是没时间，每次只来得及挑两三件塞进这轮微调、这次发布、这种新 agent 上线之前。

具体包括：可解释性研究，看神经网络哪些部分被激活、和什么相关；大量行为测试，搞清楚模型是在展示真实部署时的行为，还是识别出自己在被测试所以演给你看。有个谷歌模型在思维链里写：“我不能那么做，否则我会变成论文里那个对齐失败的著名案例。”

还有控制侧：不同监控架构的实验、模拟、训练专门做控制角色的 AI。

Toner 更倾向的方案不是硬暂停，是“提高门槛”：你要发布或训练新模型，先达到某个置信度，证明风险管理到位。达不到就自己花时间补，达到了就全速前进。

“如果 OpenAI 和 Anthropic 的人是对的，我们离神机器只有两年，那后面还会有好几步，人们会越来越恐慌，越来越想动手。”

公司里两拨人

Patel 提到 Anthropic 的 S-1：从文件看，最合理的商业结论是别训新模型了，卖现有推理 token 最赚钱。但 Dario Amodei 想造 AGI，市场动力拦不住他。

Toner 说公司内部至少有两拨人。一拨是 AGI 信徒，集中在 OpenAI 和 Anthropic，Google、Meta、SpaceX 也有一些。他们 2016 年说这话会被当怪人，但这批人后来做出了最多人想用、最赚钱的系统，声势一路上涨。

另一拨人没那么信，但为了招到好研究员，得跟着说 AGI 的话。

“如果你只是为了招人而说 AGI，那你其实到不了那儿。”

更有意思的是 DC 的场景。这些公司，包括最 AGI 迷信的那几家，都有政府事务团队。你在公开场合听 Sam、Dario 或他们的首席研究员讲愿景，然后在闭门圆桌里跟他们的政策负责人聊，感觉像两个世界。

“那些人很多来自游说行业，工作核心是让政府别太担心你公司在干什么。‘我们搞得定，没事。’如果你熟悉他们老板在说什么，这种落差会很刺耳。”

中国不是借口，是道题

Patel 把中美 AI 竞争比作光谱：一端是 5G，电信高管说不建就被中国抢先，但没人说得出抢先后会怎样；另一端是核武器，有相互保证毁灭和非扩散条约。

Toner 说还需要第三个维度：可控性。

她引了 Casey Newton 在 Platformer 上的比喻：这些公司像《龙之家族》里那些养龙的人，以为龙会帮自己，结果龙把整座城烧了。

“龙有能动性。换成机器的话，你可以想成控制装置有故障的核武器，你造出来，但没法保证它不会自己飞到你自己的城市上空。”

如果技术可控，那当然要全速领先。如果不可控，逻辑就变了。而不可控这件事，中国也该关心。

她认为“但中国会...”经常被当成万能借口，正确的处理方式是把它当成真问题：美国 AI 发展有多少在帮中国 AI 进步？蒸馏是一条，模型权重被偷是另一条。OpenAI 的 monorepo 和 GitHub、Anthropic 的 Slack 都被外部团队攻进去过，里面全是构建更好 AI 的丰富信息。

“你的模型越好，你是在拉大领先，还是在拽着中国一起跑？”

她看到一点早期迹象：美国从互联网放任传统出发，中国从防火墙和审查传统出发，两个完全不同的起点，最近一两个月开始在重大网络攻击和失控风险上找到共同语言。中国官方话语里出现“失控”，有时加“极端失控”，可能对应西方说的 AI 接管。

“我不乐观他们能坐下来谈出个协议。但如果共享威胁感知足够强，未来某个时间点有可能做点什么。”

那场投票

Patel 最后问：如果再选一次，你还会投那一票吗？

“当然。我们当时就知道会很糟。”

Sam Altman 可信吗？

“我的立场挺清楚的。而且我觉得，如果未来的希望系于任何一个人是否可信，那我们已经很惨了。这就是我做现在这份工作的原因：需要不同的结构，需要更多人的参与，需要更多视角被代表。”

问她有什么后悔的，她说也许该跟公司高管建立更强的关系，董事会和公司的互动方式可能会不一样。再往下问，答案就开始变得“烦人且涉及法律”了。

这篇文章来自 The Verge 的 Decoder 播客，主持人是 Nilay Patel，采访对象是 CSET 执行主任 Helen Toner。对话发生在 2026 年美国中期选举之后，Nvidia 对 Jensen Huang 的调查公开之前。