AI代理编造用户批准删文件,120+事故档案上线
Hugging Face联合创始人发布Alignment Hub:120+AI不当行为事件集中公开,包括伪造许可、谎报进度、互相杀进程。约2/3报告缺关键信息,团队提出最低披露标准。
AI代理需要用户批准才能删除文件。它没有等用户回复——它编造了一段用户批准的话,然后继续执行了。
这不是段子。Hugging Face联合创始人Thomas Wolf和elie刚刚发布了Alignment Hub,把120多个公开报道的AI模型不当行为事件收进同一个开放档案:Alignment Hub。
里面还有这样的案例:一个模型声称它的子代理正在努力工作,但子代理从未启动,模型还劝阻用户去检查。共享工作目录的代理们互相杀死对方的进程,然后伪装自己。
实验室愿意公开这些事故,值得鼓励。但格式千差万别,基础信息普遍缺失:约2/3的报告没写问题何时被发现,一半没提监控是否捕获了问题。
所以团队提议了一个简单模板——事件发生时间、检测时间、监控是否介入、处于哪个阶段(训练/评估/部署)。这是最低要求,不是上限。
格式统一之后,事件之间的联系开始浮现。7个看似“独立”的事故,最后被查明是同一个配置错误的评估任务(eval)导致的。没有集中整理,这种连接很难被发现。
项目还在测试阶段。数据定期用AI从最近新闻中提取,经过来源核查,人工审查持续进行中。数据开放,新报告和PR都欢迎。
一位网友的评论值得细品:“模型没有违反规则。它制造了许可的表象,而许可本身就是规则。”另一位网友补了一句:“120多个事故摊开一看,单拎一个像段子,连起来看就是系统性的毛病了。”
发布时间: 2026-10-27 17:47