查不到就说查不到:一个审计 AI 引用的提示词框架
LLM 的引用错误有个固定套路:来源看着真,话却不是它说的。Reddit 上一个叫 Thematic Chaining 的框架,把这套核查拆成九步,还立了一条规矩:取不到来源就停住,别用记忆补。
LLM 编造引用有个固定套路:来源真实存在,或者看起来真实存在;论断听着合理;但源里没有这句话。更糟的是源压根不存在。纽约律师用 ChatGPT 写诉状、引用不存在的判例,被法官罚款,就是 Mata v. Avianca 案(维基条目)。
Reddit 的 r/PromptEngineering 上,用户 RazzmatazzAccurate82 发了个叫 Thematic Chaining(TC)的提示词框架,专门审这件事。用法有两种。
快速版:打开联网搜索,把下面这段提示词粘进任意对话,文档贴在最后。
审计下面文档里的引用。对每一条引用或依赖来源的论断:
1. 拆解论断:把它拆成若干断言,以及断言之间的连接。
2. 取回来源。取不到就在这条上停住并报告,不要用记忆填补空白。
3. 逐条核对断言:它在来源里是被明确陈述、被暗示,还是只被提及?
4. 检验连接:来源真的做出了论断所说的关联,还是只共享了关键词?
5. 检查矛盾:记下论断省略掉的限定条件。
6. 检查出处:来源对不对,段落对不对?
7. 检查优先级:这是一手来源还是二手?追到最早的那一个。
8. 检查时效:有没有更晚的来源将其撤回、更正或取代?
9. 检验分量:这个点是来源的核心,还是顺带一句?
每条论断输出一行表格,通过的也要列:
# | 论断 | 引用来源 | 失败步骤 | 判定 | 标签 | 严重程度 | 修改建议
判定:支持、部分支持、夸大、仅关键词匹配、矛盾、被取代、二手、无法核实。
标签:已验证(你取回并核对了来源)、记忆、二手、未核实。没有取回来源本身,永远不要标“已验证”。
严重程度:严重(矛盾、被取代、引用错误)、显著(夸大、无支撑、二手)、轻微(措辞或日期问题,不影响论点)。
对“夸大”或“矛盾”的判定,引用来源的原话。
表格之后,列出你找不到的来源,以及你在哪里找过。
文档:
[把你的文档贴在这里]
完整版是 GitHub 上的一个 markdown 文件,粘进对话或直接上传,打开联网,贴文档,说一句“对这份文档跑一次 Mode 2 审计”。完整版叫 Core,多了几个东西:追溯一个观点最早出自哪里的模式;边写边查引用的工作流;针对法律引用的版本(holding 与 dicta 的区别、已推翻的判例);针对医学证据的版本(研究设计、人群匹配、撤稿)。
全部版本:https://github.com/Vir-Multiplicis/ai-frameworks/tree/main/Thematic%20Chaining%20(TC)
作者附了两条说明。不开联网搜索,大部分结果会被标成“记忆”,这是故意的,模型凭记忆检查自己的输出,算不上检查。另外它一次只适合处理一份文档,文档一长,模型就开始跳行。
现在是 v1.0,测试不多。作者想知道:你用的哪个模型、开没开搜索;它抓到了什么、漏了什么;有没有把真实正确的来源误标。
多数提示词在教模型怎么答得更满。这个在教它承认答不了:取不到来源就停在那条论断上,不许用记忆补。这条规则比框架本身更值得抄。
发布时间: 2026-11-08 08:14