把模型回答拆成色块,对应回提示词里的那句话
模型输出跑偏时,很难判断是哪句指令的责任。开发者 marco_bd 做了个开源工具 PromptBlame,把回答切块,逐块对应回系统提示词或用户提示词的具体句子,还能基于归因生成改写版本。
调系统提示词有个长期存在的麻烦:模型输出不对劲,你很难定位是哪一句话造成的。规则攒到几十行,改掉一句,输出变了,但为什么变,说不清。多数时候只能靠一句句删掉试错。
Reddit 用户 marco_bd 做了个开源工具 PromptBlame,针对的就是这件事。
用法很直接。贴入 system prompt 和 user prompt,拿到回答。点一下,回答被切成若干带颜色的块,每一块对应到 system prompt 或 user prompt 里具体的那一句。第二个标签页拿这份归因结果,再加上你想改进的方向,生成一版新的系统提示词。
安装两行:
pip install "promptblame[app]"
promptblame
项目地址在 GitHub,包在 PyPI,AGPL-3.0 协议,界面支持英语和西班牙语。

作者自己说还在早期,最想知道两件事:归因在哪些地方错得离谱,以及什么功能能让它真正进入日常流程。这个态度算实在,因为这类块到句的对应本质上是近似,句子之间互相影响,答案的某一段常常是好几条指令共同作用的结果,指望它每次都给得准并不现实。
给没有开发背景的读者补个上下文。system prompt 是提前给模型定的角色和规则,user prompt 是这一次的具体问题。规则一多,彼此打架很常见,一个要求简洁,另一个要求详尽,模型会自己找平衡。能看清哪条规则压过了哪条,省下的主要是排查时间。
顺带说一句观察:提示词相关的工具这两年大多往写得更长、模板更强这个方向走,回头做调试和归因的少。可实际工作里,改提示词花的时间远多于写第一版。
发布时间: 2026-11-18 18:30