Wink Pings

Nous 给 Qwen 做了一次价值观微调,社区先吵起来了

Arete-27B 用 SFT 把 Qwen3.8-27B 往 Nous 定义的西方价值观上推,宣传性回答从 22% 降到 0.9%。技术细节不多,争议不少。

Nous Research 发布了 Arete-27B。基座是阿里 Qwen3.8-27B,做法是监督微调,官方目标是强化一套他们定义的西方价值观。模型卡写得很直接:他们在 Qwen3.8-27B 上观察到政治敏感话题里的拒绝、回避和 CCP 框架回答,于是用 SFT 去改这些偏向。

评估数字:fact score 从 2.32 提到 2.98,满分 5;含宣传性回答从 22% 降到 0.9%;七个价值类别都有改善;通用能力和 agentic benchmark 没有明显回退。训练只做 SFT,没有 RL,没有偏好优化,没有改架构。训练数据 text-only,上下文 64k,评估 checkpoint 是 step 1,202,teacher 叫 Inkling。GGUF 由 bartowski 提供,博客链接 目前打不开,评测数据集 和 X 更新 还在。

七类价值包括言论自由、国家意识形态、国家与自由市场、教育、数据隐私与监控、民主、环境政策。官方说他们把事实 recall 和 framing 分开测,后者看回答是否把中国官方叙事当成自己的说法。这个区分有信息量,但评估集是否只覆盖中国相关内容,社区里有人追问。有网友贴出 Propaganda_Eval 数据集,希望它扩展到各种宣传。这个质疑不复杂:如果宣传评估只测一边,换一套宣传也可以叫去宣传。

Arete-27B 发布截图

帖子在 r/LocalLLaMA 很快被踩。发帖人 jacek2023 说 9 分钟 9 个踩,怀疑 sub 被 bot 占领,立刻被回怼。支持的人认为开放权重本来就可以改价值观,Qwen 和 Anthropic 都继承了训练者的行为;反对的人觉得一个 coding model 搞政治对齐没意义;还有人问它和 abliterated 模型比如何,以及企业环境会不会更愿意用美国 CEO 友好的模型。有评论调侃,这是把东方宣传换成西方宣传。也有评论说 Qwen 平时回答已经挺西方,但遇到某些中国历史事件会拒绝直接回答。另有网友指出,西方价值观这个包装太粗,法国和美国对国家和自由市场的看法都不一样。模型命名去掉 Qwen 也引起一些不满,有网友说至少 DavidAU 会保留一长串基座名字。

这次发布没有新架构,重点是把价值观对齐摆到台面上。开放权重让模型默认价值观变成可替换项,Nous 用 27B 做了一次公开实验。争议点也清楚:七类指标怎么定义,评估集是否只测特定对象,SFT 后通用能力是否真的无损。官方说没有明显回退,独立复测还没出现。对开发者来说,Arete-27B 适合想要这种视角的通用助手和 agentic 工作;对普通用户,它提醒一件事,模型的中立不是默认配置,是训练时选出来的。有网友在评论里说,模型继承了训练者的行为,开放权重的好处是你可以把它改成自己的。这句话比发布帖本身更有意思。

发布时间: 2026-11-07 03:58