Wink Pings

改不到10个休眠神经元就能植入后门,本地模型玩家该注意什么

Reddit 帖子讨论微软研究院通过直接编辑不到10个休眠神经元给 AI agent 植入后门。评论区围绕 harness 护栏、权限、沙箱和本地模型静态扫描展开。关键问题在于权限,模型会不会犯错反而次要。

Reddit 的 r/LocalLLaMA 上有个帖子:微软研究院做了一个实验,直接编辑不到 10 个休眠神经元,就给 AI agent 植入了后门。发帖人提醒,跑来源不明的量化模型和微调模型时要小心,也就是别人压缩过或改过的模型文件。如果这类手法变得可复现,sleeper agents 可能变成真实的攻击面。

image

帖子下面讨论得比较实际。有人问 harness 的护栏能不能挡住。harness 可以理解为包在模型外面、负责调用工具和管权限的那层框架。回答是能挡一部分,但要看权限。如果 harness 允许 agent 自己下载并运行代码,或者用户提前把权限全放开,护栏的意义就有限。有人提到自己的习惯:把 agent 放在沙箱虚拟机里跑,里面不放重要东西。真出事,至少可以直接关机、重刷实例。

另一个容易被忽略的点是自动审核。有些 harness 为了减少授权疲劳,会让同一个模型去审核 agent 的动作。它能减少误操作,但面对明确恶意意图时不一定有用。还有评论提到 ProjectDiscovery 之前的研究,讨论 abliterated 模型如何被利用。也有人判断,以后安全软件的标配能力之一,可能是静态扫描本地部署的大模型文件。

这些讨论没有给出统一答案。比较一致的结论是:别随便给 agent 高权限,别在重要环境里跑来源不明的模型,沙箱和审计日志要提前准备好。模型本身会不会出错是一层,运行时给了它什么权限是另一层。后门如果藏在权重里,传统杀毒软件不一定看得出来。

发布时间: 2026-11-11 12:09