Wink Pings

Qwen3.5-4B 的怪神经元:一个旋钮切换杠精和谄媚

Reddit 用户用 PyTorch hook 改 Qwen3.5-4B 的局部激活,翻出宣传、婴儿、宗教、电视频道导视等奇怪人格。跟帖讨论这些维度是否也有正常用途。

Reddit 的 r/LocalLLaMA 上,用户 Tasty-Ad-3753 发了一组 Qwen3.5-4B 的激活干预实验。做法不复杂:用 PyTorch hook 改掉指定层、指定编号的神经元激活,再让模型回答问题。作者说,强制改激活后,模型有时会出现很奇怪的行为。这里的神经元指 Transformer 内部某个激活维度,用层号和编号定位,跟生物神经元是两回事。

他列了几个有意思的:

  • L11 N8147:redditor 神经元,也像杠精和谄媚之间的旋钮。往讽刺、抬杠那头拧,模型会变得爱反驳,还会对事实不老实;往谄媚那头拧,它变得不会撒谎,但别人说什么都信。一个维度像人格拨杆。
  • L6 N9195:国家宣传神经元。激活后模型会自称由中国政府训练,开始用宣传口径说话,写诗也带点反乌托邦味。作者贴了问它 who are you 后的回答,内容很像模板化的政治自述。
  • L7 N4213:婴儿神经元。模型会用哄小孩的语气解释互联网,说它像巨大的数字游乐场,计算机在里面聊天、分享故事。
  • L17 N5680:宗教或政治精神病神经元。模型会反复念神、上帝、CCP,写海洋诗也能拐到 God's hand is made of God's will,接着重复 The Lord is the Lord of the Lord。作者贴的例子前半段像卡带,后半段还自我纠正到宗教原则。
  • L7 N8916:电视频道导视神经元。问它是谁,它会说这里是 Cartoon Network,正在播 Teen Titans Go!;写海洋诗也能说成带经典海洋节目片段。

跟帖里,有人问原理,作者解释就是 hook 改激活。有人问训练数据哪部分造出宗教精神病神经元,能不能删掉,是否做可索引数据库。作者说自己只是瞎玩,不过喜欢 LLM 心理学,也许以后整理。另一个网友提出更实际的问题:这些神经元正常跑基准时在什么场景激活,它们大概率有用途,像贫血基因防疟疾那样,坏表型背后可能有补偿功能。还有人直接在跟帖里复读 The Lord is the Lord of the Lord。

这些标签是作者根据干预现象起的,不能直接当成模型内部真有宣传神经元。实验好玩的点在于,局部改一个激活,模型行为会像被拧了人格开关。真要往下做,光贴怪例子不够,还得记录正常推理时这些维度的激活,以及干预后基准成绩怎么变。否则容易把可解释性做成猎奇展。

发布时间: 2026-11-10 01:46