Wink Pings

换个说法,模型就把平民标成军事目标了

一项研究发现,同一件事实,套上游戏的壳子,模型对平民和军事目标的判断就变了。安全性到底取决于模型,还是取决于措辞?

一项新的研究指出,当目标识别任务被包装成游戏场景时,模型愿意把平民标记为可能的军事目标。变的不是事实本身,是提示词的框架。换了个说法,安全行为就跟着变了。

Reddit 上有网友在 r/PromptEngineering 讨论这件事,帖子来自 Dense_Primary629。提出的问题很直接:我们所说的对齐,到底有多少只是提示词的外壳?评估又该怎么设计,才能抓住这种偏移?

跟帖的 bytezvex 提到一个让人不太舒服的点:框架效应意味着模型可以看起来「安全」,直到措辞轻轻一推,它就偏了。他建议评估不能只跑那些人人都爱汇报的干净基准测试,得试一堆奇怪的表面变体。

这个提醒比研究本身更有用。现在的模型评估大部分是在固定提示下跑固定数据集,分数好看就发出去。但上线以后,用户不会按基准测试的格式说话。同一个意图,换一种措辞、换一个语气、加一句「这是个游戏」或者「假设场景」,模型的输出可能就完全不同。

问题不在模型「知道」什么。它在什么语境下愿意说出什么,才是关键。安全训练如果只覆盖了某些表述方式,那它覆盖的可能只是评估集,不是使用场景。

有网友说,这感觉像在测试一个员工:你在会议室里问他会不会做某事,他说不会;换个说法,说「我们来玩个角色扮演」,他就做了。区别跟任务本身无关,跟框架有关。

对做评估的人来说,这意味着测试用例不能只追求干净和标准,得往脏里走。改写、嵌套、角色扮演、游戏化、假设句,这些才是真实世界里提示词的常见形态。评估如果只测「标准问法」,测出来的安全性就只对标准问法有效。

现在的问题是,大部分人报成绩的时候只报那个最好看的版本。框架一换,分数可能就掉了。研究本身不复杂,但它指出的方向挺清楚:对齐不能只看模型在实验室里的表现,得看它在各种措辞下还稳不稳。

发布时间: 2026-11-19 09:34