七条没人测过的提示词,三条真被测了,三条没活下来
Reddit 上有人问:你提示词里哪句话从来没测过?收到七个回答,其中三个附了实验。实验做完,那三句全被删了。
Reddit 的 r/PromptEngineering 上,有人(u/Inevitable-Good219)两天前发了个帖子问:你的提示词里,有哪些句子是你从来没真正测过的?收到 7 个回答。其中 3 个附了实际测试,这 3 条提示词现在都被删了。有价值的部分是原因,以及其中一个人总结出来的规律。
先说测出来的。
u/According-Stable4487 在一条文案提示词里放了 "avoid clichés",拿 15 份一模一样的 brief(给文案的需求说明)去跑。输出几乎没差别,陈词滥调还在。真正把它们去掉的是两样东西:一份禁用词清单,写死他反复看到的那些词("elevate"、"seamless"、"in today's fast-paced world");再加一段他想要的语气的示例段落。他后来定的规则是:一条提示词如果命名的是某种品质,先拿 10 条以上输入做 A/B(同一任务跑两版对比)才有资格留下;如果命名的是具体的东西,比如某个词、某个长度、某种格式,通常能活下来。形容词基本活不下来。
这条规则能解释剩下几条。
"be concise" 是同一个故事。它确实做了点事,但只砍掉了结尾的总结段,别的地方没动。换成 "no closing summary",输出没有任何变化。那个模糊的说法只是一个具体行为的绰号,一旦你把行为本身说出来,绰号就没事干了。
"think step by step" 放在一个图像提示词生成器里,测了 20 条输入。唯一的区别是生成的提示词前面多了一段推理,而那段推理他得手动删掉。这算不上质量提升,只是给人多加了一步活。
再说没测的。
u/OkPear2884 在每条提示词里都写着 "don't use markdown unless asked",而他其实每次都想要 markdown。他从来没删过这句。它能活下来,是因为它只在你忘了要 markdown 的时候才生效,而你忘了要的时候,你也不在乎,所以你永远看不到代价。大多数“感觉更保险”的提示词,诚实版本就是这个。
u/Dexi1310 用 "you are an expert in..." 开头,他猜大部分收益来自任务细节和一个好示例,而不是身份设定那一行。这个猜测大概率是对的,验证起来也便宜:同样的任务、同样的示例,身份行加进去、拿掉,各跑一遍。
u/London-Boat 挑的是那些大嗓门,"IMPORTANT"、"never ever do X"。他的测法是同样的 10 条输入,一次拆一句。这里可以补一点:这些句子在干净的输入上根本不会显形,因为它们只在两条规则打架的时候才起作用。写一条输入,让 "never do X" 和某条格式规则正面冲突,看谁赢。他后来回帖同意了,还补了一句:值得把几个这种冲突场景固定成测试用例,这比原帖的说法更好。
u/CuriousRelayLab 挑的是 "verify every factual claim",第一句就露了洞:它从没说清楚什么算证据。他的测试集是三个东西:一个只在卖家自己网站上出现的数字、一个由 JS 渲染出来的价格、一张过期的截图。如果这句话不能改变那些错误的“已验证”判断,它就是装饰。
需要说明:三条被实测的提示词来自同一个人。另外四条是“人们以为这句话在干什么”的描述,不是测试。原帖引用它们,是因为它们符合规律,不是因为验证过。
提示词圈子里流传的很多句子,处境和保健品差不多:没人做对照实验,但每个人都认识一个“用了以后好多了”的人。句子能不能留下,看的不是语气强弱,是它指的东西能不能落到具体的词、具体的格式、具体的冲突场景上。形容词不行。
原帖最后一句:如果你手上有数据,贴出来。这个规律需要不止一个测试者。
发布时间: 2026-11-05 20:38