Wink Pings

让AI承认“我不知道”,比答对还难

模型猜的时候也自信,客服、法律、医疗场景风险高。Reddit讨论给出可落地的兜底结构:把未找到做成字段,测试不该被回答的问题。

让AI功能承认不知道,比让它答对还难。模型在猜的时候也会给出确定语气。放在客服、法律、医疗相关应用里,这种确定语气比错误更危险。Reddit 的 PromptEngineering 版块有一则讨论,发帖的是 PsychologyOk5713。给出的办法不复杂:把应用限制在批准来源,写清楚兜底规则,找不到时直接说“找不到”,再给一个下一步,搜索、链接或转人工。不要用模糊猜测填满回答。还要维护一份棘手问题清单,每次改 prompt 或换模型后重测,提前发现回归。

跟帖里 Moth__leaf 的做法更具体:把“未找到”做成输出字段,不靠模型的语气。模型返回 found: false,并说明检查过哪个来源,应用层显示兜底文案。这样模型不用把“不回答”组织得像一个回答。测试清单里要放一些正确答案就是“来源里没有”的问题,因为 prompt 或模型一改,这些问题会悄悄开始被回答。有人能真正接住问题时,转人工比拒绝好;没有人工时,一句“在 X 里没找到”加下一步就够。

ChemicalExcellent463 也偏向直接说找不到再加下一步,并认为测试清单是每次变更后最该押注的部分。他提到 coding agents 的测试:拿新模型对照旧习惯,重点看它是否误读请求,然后朝错误方向使劲,不只是看它会不会半途停下。

这里有个容易被忽略的点:很多团队把“我不知道”当成文案问题,实际更像输出结构问题。只要模型只返回自然语言,它就有空间把猜测包装成结论。把拒绝做成字段,让应用层决定怎么显示,能少一点这种表演。兜底也不是一句客气话,找不到之后得有一条能走的路,否则用户还是会自己猜。

发布时间: 2026-11-21 03:08