没有标准答案，怎么判断提示词改好了

给职位描述和候选人工作经历打分，让 LLM 输出一个分数加一句理由。听起来简单，提示词改完之后却没法判断它是变好了，还是只是变得不一样。

Reddit 的 PromptEngineering 版块有个帖子卡在这。发帖人用 Coresignal 的员工数据做输入，里面有职位、起止时间和工作内容描述，输出是匹配分数和简短理由。问题是没有 ground truth。手动读输出不可扩展，找个第二模型当裁判，它又基本同意第一个模型。

底下两条回复思路接近，都说手标几十条值得做，但怎么标有讲究。

一位网友的建议是别随机抽。刻意挑三类：明显匹配的、明显不匹配的、以及自己都要犹豫一下的边缘案例。标的时候先写下分数和理由，再去跑模型。之后拿同一套样本并排比较不同版本的提示词，看相对变化，不追绝对分数。

他还提了两个不需要标签的检查。同一段输入反复跑，分数是否稳定。改动那些本不该影响结果的东西，比如经历条目的顺序、格式、姓名，分数会不会跟着动。这两项测的是提示词抗不抗干扰，成本几乎为零。

至于第二模型裁判，他的看法是让它检查理由和输入是否对得上，比让它重新打分有用。重新打分它当然会同意第一个模型，同源的东西互相点头，循环论证。

另一位网友补了一点：手标的那几十条固定下来，每次改提示词都用同一套。模型审查换一家供应商、开新会话，因为同家族的模型倾向互相认同。

这套方法不新鲜，也没什么技巧。关键在于承认没有标准答案的时候，能测的只有一致性和敏感性。前者保证同样的输入不给两种结果，后者保证无关变量不污染判断。剩下的，靠那几十条手标样本兜底。