Wink Pings

写 Prompt 前,先回答这五个问题

模型输出不稳定时,先别急着换模型。把 Prompt 当成一份不能追问的交接文档,用五个问题检查缺省输入、指令冲突、好坏标准、禁止事项和下游格式。

模型输出不稳定时,常见动作是换模型、调温度、加“请仔细思考”。r/PromptEngineering 的 ClickOk5811 给了一个更便宜的检查:把 Prompt 当成一份交接文档,假设拿到它的人是刚入职的同事,不能追问,只能照字面执行。然后只从文本里回答五个问题。

prompt 歧义检查示意图

  1. 输入缺失或为空时怎么办?

Prompt 没写,模型会自己选。有时会编一个看起来合理的值。补一句:如果 X 缺失,返回 null,不要猜。

  1. 两条指令冲突时听谁的?

“简洁”和“详细解释推理”可能同时出现。写明优先级:如果长度和完整度冲突,完整度优先。

  1. “好”长什么样?

“专业”“清晰”“高质量”没有边界。给一个可接受输出的短例子,或者具体限制:最多三句话,不用项目符号列表。通常比再加一个形容词有用。

  1. 什么不能做?

边界常留在作者脑子里。不能给法律建议,不能用外部知识,不能改用户原话,就写下来。

  1. 输出接下来喂给谁?

如果另一个程序要解析答案,格式就是任务的一部分。“返回 JSON”不如写清字段名、允许值、字段未知时怎么办。

一个构造的例子,不来自真实项目。

改前:“总结客户消息并建议回复。保持简短友好。”

改后:“用最多两句话总结客户消息。然后起草最多四句话的回复。如果消息里没有问题或请求,写‘No reply needed’,不要起草回复。不要承诺退款或日期。如果语气和长度冲突,保留长度限制。”

第二版没有更聪明。它只是把五个问题的答案写进了 Prompt,模型需要猜的地方少了。

这套检查不解决所有问题。有些不一致来自模型或采样设置。Prompt 变长也可能埋掉关键规则。改完拿一批真实输入测,别只测一条。

原作者还提到一个底层问题:系统会严格执行规则,不会执行你脑子里的意思。他写过一些规范博弈(specification gaming)的案例,链接在这里:https://medium.com/@nagatomopedro05/field-notes-on-machines-that-followed-the-rules-too-well-98ebae3eea51

五个问题里,你的 Prompt 最常漏掉哪个?

发布时间: 2026-11-09 06:33