改完提示词,别急着把输出全读一遍
Reddit 上有人问:改系统提示词总在别处翻车,怎么测?几条生产环境的回复给出同一套朴素做法,先看差异,再谈自动评分。
改系统提示词最难受的地方在于:你修好一处,另一处不相关的地方坏了,而且常常是上线之后才发现。
Reddit 的 r/PromptEngineering 上有个叫 Weird_Impression_264 的人说,他在公司做 AI agent,一直被这件事缠着。现在的做法很小:留一组对话样本,每次改完提示词重跑一遍,人眼读输出。能用,就是慢。他发帖问的是实际在跑生产的人:用正经的 eval 工具?让 LLM 当裁判?还是纯手工看?
几条回复值得记下来。
换个比较对象:看差异,不看输出
useleash 的思路省事。不要每次读新输出、判断"这个好不好",把旧提示词和新提示词跑在同一批样本上,只读两者不一样的地方。大部分样本结果基本一致,最后要读的可能只有 5 处差异,40 条输出不用全看。
配套的几条:
- 每次生产环境出问题,就把那段对话存进测试集。攒一阵子,测试集覆盖的都是真出过的事,猜出来的那些进不去。
- 给样本打标签,按行为分类:工具调用、拒答、格式、语气。哪类坏了,一眼能看出来。
- 每条样本跑 2 到 3 次。有些"回归"只是随机性,别去追。
- 提示词和测试集放同一个 git 仓库,每次改动都有可重跑的前后对照。
他自己给的顺序是:先做 pairwise diff,等你信得过这批样本了,再上 grader。
评分能自动就自动
o yren-ai 的回复引了 Anthropic 的 eval 文档:挑最快、最可靠的评分方式。能用代码检查的(字符串匹配这类)先用代码;需要判断的,用带详细 rubric 的 LLM 裁判;人工评分放最后,能不用就不用。文档里还提醒,LLM 裁判在放大规模之前,先测它自己靠不靠谱。
发帖人回了一句,准备试试带 rubric 的 LLM 裁判。
一句回复
Loudllama99:每次有不相干的地方坏掉,就把那段对话扔进测试集。几个月之后,这个集合大部分是过去踩过的坑,而它恰好能接住下一个。
工具那边,cleverhoods 贴了一个 github.com/reporails/cli,没多解释。
整帖的共识其实很朴素。测试集你多半已经有了,缺的是别用眼睛看全部。让机器告诉你哪里不一样,人只负责判断那一小部分。LLM 裁判是加速手段,别拿它当起点,先证明它判得对,再让它替你判。
发布时间: 2026-11-18 18:54