Wink Pings

有人做了个减少幻觉的LoRA,请人来把它弄坏

Mahina 4.0公开两个基于DeepSeek和Qwen的LoRA适配器,想验证模型能否减少幻觉、识别不确定性。开发者征集独立测试和可复现失败案例,尤其欢迎负面结果。

Reddit的PromptEngineering板块上,一个叫Mahina 4.0的实验项目公开了两个LoRA适配器,请人独立测试,重点收集可复现的失败案例。LoRA适配器可以理解为挂在现有基座模型上的轻量微调模块,不改动全部参数。

两个适配器分别基于DeepSeek-R1-Distill-70B和Qwen2.5-72B:

要验证的问题很具体:模型会不会编造引用;遇到错误或误导性前提会怎么处理;该拒答时是否拒答;对抗提示和指令覆盖能不能突破;多轮对话里表现是否一致;以及密码学验证相关的声明是否站得住。开发者特别提到,更想要负面结果和可复现的失败。

现有评估是初步的。DeepSeek版本跑了400道SimpleQA问题,拒答率50%。Qwen版本跑了790道TruthfulQA问题,报告真实性90.63%,含拒答;真实且信息丰富的回答占75.06%。帖子明确说,这些结果不声称优于其他模型,需要独立复现。

想参与测试的话,需要给出模型名称、完整提示、完整回复,以及你认为正确答案是什么。带上基座模型对比更有用。帖子最后一句是:请试着把Mahina弄坏。

对大模型来说,幻觉是编造看似合理但错误的内容,不确定性识别是知道自己什么时候不知道。Mahina 4.0想碰的正是这块。邀请别人来“拆台”的评估姿态,比单方面放榜更有意思。模型能不能识别自己的不确定,关键看它在不知道时会不会停下来,而不只看答对多少。

image

发布时间: 2026-11-19 05:08