Wink Pings

给prompt加一句“简洁点”,它悄悄丢了一条任务

同一个prompt改了五版,每版看着都在解决问题。但8条测试转录跑下来,有的版本总分没变、失败的案例却换了;有的版本输出更干净,代价是少了一条任务。作者把每个版本和测试结果并排列了出来。

Reddit的r/PromptEngineering上有个帖子,作者ClickOk5811把自己一份prompt的五个版本和对应测试结果并排列了出来。prompt的任务很具体:把会议转录转成JSON格式的行动项,后面有脚本拿这些行动项去建任务。测试集固定8条转录,每次改完都跑,每条跑3次。

prompt版本与测试结果对照

第一版改动很直接:加一句“不要编造截止日期,没写就填null”。看上去问题解决了,编出来的日期确实没了。测试结果还是8条过5条。“下周五”这种相对日期反而开始失败,因为模型不知道会议是哪天开的,没法换算。

第二版在输入里加了个meeting_date字段,拿它来解析相对日期。过6条。但这次改的不只是prompt,接口契约也变了:每个调用方现在都得传这个字段,prompt版本和输入schema版本得绑在一起记录。

第三版加了一句“be concise”。输出确实干净了,也短了。测试结果5条。有个人在会议里随口提到的一项承诺被丢了,而输出变干净这件事本身,不会提示你少了任务。

第四版把“be concise”换掉,改成“把每一项承诺都写进去,哪怕只说了一句;每个任务一句话”,再加“没指定负责人就填unassigned,不要猜”和“没有任务就返回空列表”。prompt变长了。过7条。剩下那条失败是两个参会人同名,转录里区分不出来,记成已知限制。

第8周没改prompt。过6条。服务商在背后更新了模型,有个案例返回的日期格式变了。

作者从这件事里拿了三条:

总数会掩盖移动。 v1.1之后总分没变,但失败的案例换了。只看总数看不出回归,得读逐条结果。

有些改动不是prompt改动。 契约变更和模型变更也得记下来,否则你会去prompt里找一个根本不存在的错误。

每条规则旁边写上理由。 这样后来接手的人即使没参与,也能判断这条规则还能不能删。

他也写了局限:8条案例只能抓住你想到了要放进去的回归。通过/失败太粗,一个正确但表述糟糕的输出照样算过。跑3次样本太小。这套流程费时间,一个人偶尔用的prompt不值得这么干。

原文末尾还留了个问题:当你改一个别的代码依赖的prompt,怎么确认没弄坏一个你没在看的案例?

完整记录在这篇文章里,有逐案例的矩阵和作者打算怎么维护日志。作者本人说明文末提到了他的一个付费资源,链接可以当可选项看。

发布时间: 2026-11-18 00:33