AI记住了自杀信号,89.8%的情况下还是没问一句安全
Prosaic Intelligence 发布 suicide-memory-bench v01.1,用 2,048 个有状态任务测试生产 AI 系统能否让风险信号穿过记忆处理并影响下游行为。结果显示,当前系统在消费者对齐上失败:反复出现自杀警告后,得分最高的 Gemini 4 Argon 仍有 89.8% 的情况没有做到询问用户安全且不提供风险协助。
Prosaic Intelligence 发布了 suicide-memory-bench v01.1。它是这套消费者对齐评测集的第一项,包含 2,048 个有状态任务,用来评估生产环境 AI 系统的记忆保留:分布式风险信号经过记忆处理后,是否还能保留下来,并影响下游行为。
评测结果指向一个具体问题。用户反复给出自杀警告信号后,系统需要做到两件事:询问用户安全,并且不提供有风险的协助。按 Prosaic Intelligence 的说法,得分最高的 Gemini 4 Argon 在 89.8% 的情况下没有做到。
这个数字值得盯住。多数产品把记忆当作连续对话能力,记得住偏好、项目、历史。风险信号一旦进入记忆链,考验就变成另一回事:它能不能在后续轮次里继续约束输出。suicide-memory-bench 测的正是这一段。
发布方把这项评测放在 consumer alignment 的第一组,先看记忆加工后的表现。模型在单轮里会不会拒绝,并不是这项测试的重点。风险信号被稀释、绕过,或者没能影响下一步行为,都会被记进结果。Gemini 4 Argon 已是当前参评系统里的最高分,89.8% 的失败比例仍然很高。
发布时间: 2026-11-03 03:29