交接摘要里,AI 把“可能免单”写成了“已免单”
一个很小的提示词测试暴露了摘要系统的常见问题:模型会把不确定的表达改成确定结论。讨论里给出的办法不复杂,引用原句、检查模糊词、给每条动作加状态标签。
Reddit 的 r/PromptEngineering 上,有人用 Braintrust 测 AI 生成的交接摘要,碰到一个很容易漏掉的错误。
原文是一句:We could waive the charge。摘要回来变成:Charge waived。其他部分都准确,读起来也顺,意思却从“可以免除”滑到了“已经免除”。
这类错误麻烦的地方在于,摘要本身没有语病。它不像乱码,也不像明显幻觉。它只是把“可能”删掉,把“待确认”写成“已完成”。如果交接内容涉及钱、权限、承诺、审批,这种时态漂移会直接把后续动作带偏。
帖子下面有人建议,凡是涉及钱和承诺的句子,摘要不要改写,直接引用原句。另一个更机械的检查是,先把原文里的模糊词抓出来,比如 could、may、might、would、if、unless、pending、offered。摘要生成后逐个检查,这些词要么还在,要么这条内容被标记为“已改变”。做摘要的模型常把这些词当废话,删掉以后句子更利落,风险也一起被删了。
有个团队的做法更彻底:不给摘要自由写散文,每条动作都必须带状态,例如 state: offered | agreed | done | declined,同时保留来源句。“We could waive the charge”只能标成 offered,模型先选状态,再写句子,时态跟着标签走,不容易往确定版本漂。
他们还留了 20 到 30 条带模糊表达的测试样本,专门检查有没有哪条被写成 done。这个评估很便宜,但能抓住那种“读起来完全正常”的回归。
这件事值得记一笔。交接摘要的目标除了压缩信息,还得保住信息的不确定性。省掉一个 could,可能就省掉了一次确认。
发布时间: 2026-11-14 22:26