示例块教了模型什么,你未必打算教
三组退款示例都漏了订单日期,模型把先问日期变成固定动作。Reddit 上一个提示工程讨论拆开了少样本示例的副作用,以及怎么用一条坏值测试区分检查和习惯。
三组退款示例,三种场景,全都漏了订单日期。
这是 Reddit r/PromptEngineering 上一个帖子的开头。发帖人 Inevitable-Good219 说,他把这组样例放进提示词后,模型的输出几乎都从“请提供订单日期”开始。问题在于,有些输入里订单日期明明已经给了。
少样本示例,就是在提示词里放几组输入输出样例,让模型照着做。页面上看,这组示例有变化:场景不同,措辞不同,退款理由不同。共同点只有一个:每条都缺订单日期。发帖人一开始没注意到,直到有人读了一遍示例块,用一句话指了出来。
模型学到的东西很直接:每个回答都先要日期。它没有学会“检查输入里缺什么”,它学会的是“执行一个动作”。这两者的区别,在示例块里很难一眼看出来。
发帖人给了一个判断办法:拿一条输入,某个字段的值是错的,其他字段都齐全。如果回复指出这个值有问题,说明模型学会的是检查;如果它仍然追问那个在所有示例里都缺席的字段,说明模型学会的是习惯动作,示例就是原因。
跟帖里有人提到类似情况。用户 Infamous-Support1999 说,自己的示例块让模型以为订单日期总是缺失,输出里反复出现“请提供订单日期”,哪怕日期就在输入里。发帖人追问,是每个案例都缺日期,还是只有第一条缺。这个追问很关键,因为共同缺失的字段会把示例变成固定动作。
另一位用户 ModelPixAI 给了几条修法:不要让某个字段在每条示例里都缺失,也不要让它在每条示例里都出现;混着来,再加一两条字段齐全的案例,让正确输出就是直接回答。规则最好用明文写在示例上方,比如“只有输入里确实缺少某个字段时才追问”。最后拿几条“有坏值但没有缺失字段”的输入测试,看模型学到的是检查还是习惯。
用户 radish_vikt 补充了另一种默认动作:如果示例反复以“Anything else?”结尾,模型也可能把这个结尾变成默认。模式不同,机制相似。
发帖人留了一个限制:他还没在正式测试集上跑过,所以不确定多加一个干净示例有没有用,也不确定把规则移到示例前有没有用。这两条建议是本周别人给他的,他还没分开验证。
这类问题在提示词工程里不显眼。示例块通常用来给模型定格式、定边界、给例子。它同时也会教模型归纳共同点,包括你没打算教的那部分。写完一组示例,值得回头数一遍:有没有哪个字段在每条里都缺席,或者都在场?如果有,模型可能已经把它当成规则了。
发布时间: 2026-11-19 22:56