三行规则让 Claude 标注来源,但标签不等于核验
一个三行提示词规则,把 Claude 研究型回答里的来源标注率从 0% 拉到 90 到 100%。但作者提醒,标签不等于核验,样本也很小。
在 r/PromptEngineering 上,Akram-Ghander 发了一个小规模测试:用三行规则,让 Claude 在研究型回答里给每条结论标注支持来源。测试对象是三个科学流言:莫扎特效应、人只用了大脑的 10%、水记忆。每次开新对话,共四种条件。
三行规则本身很短:
- 标注来源类型。每条结论后面写清它的支持类型,研究、专家、共识、报告,或者无。
- 画出边界。说明来源不支持什么。相关性不能推出因果。跨领域建立联系时,必须指出一个可以单独核查的共同属性。
- 把判断留下。不要给出最终裁决。
结果分成四组:
- 普通提示词:0% 的结论能追到来源,大约 20 到 30 条结论。
- 三行规则:大约 90 到 100% 能追到来源,9 到 20 条结论。
- SIFT 加 CRAAP 来源评估:10 到 56%。
- 先做 SIFT/CRAAP,再用三行规则:100%,13 到 19 条结论。
SIFT 和 CRAAP 是常见的来源评估方法,这里被拿来当对照组。
有几个发现比数字更有意思。
普通提示词的回答大多是对的。三行规则真正改善的是可追溯性,准确性并没有被它提高。标签让答案更容易查,不代表内容更真。
贴标签也不等于核验。模型曾经只读了摘要,就写下 verified。作者随后加了一项检查:来源页面到底有没有被打开。
代价是广度。可追溯的结论变少,有时覆盖范围也会变窄。
这个测试的限制写得很清楚:只测了一个模型 Claude,只有三个题目,非盲测,一个评审,人工计数误差约正负 2。原帖作者自己说,应当把它当假设看。
原帖最后问了一个问题:有没有更好的办法,阻止模型把只扫过一眼的来源写成 verified。
发布时间: 2026-11-22 08:34