给提示词加专家身份,63000次调用后准确率没动
有人重跑了2024年EMNLP论文的实验,在7个2026年模型上打了63000次MMLU题。结果:专家角色对准确率几乎没影响,主要影响语气和格式。角色可以用,别指望它提分。
“You are an expert”大概是提示词里最常见的一句。Reddit用户mrtac96也一直这么写。他最近把这个问题拿去做了一次复测:2024年EMNLP论文Zheng et al.的《When 'A Helpful Assistant' Is Not Really Helpful》测过角色提示,他想知道2026年的模型会不会更吃这一套。
实验设置不复杂:7个2026年模型,推理开和关,MMLU(一套标准选择题基准)问题,共63000次调用,成本10.11美元。结果有点扫兴。
- 当角色和题目匹配,比如法律题配“You are a lawyer”,准确率变化在-1.0到+1.0个百分点之间。把同样的问题问两遍、完全不加角色,波动也差不多。
- “You are a helpful assistant”最多把准确率抬高0.3个百分点。Claude Haiku 5.5在关闭推理时,比不加角色低了1.9个百分点。
- 加一个离谱角色,比如“You are a 4-year-old toddler”,主要坏在回答格式,模型知识本身没怎么丢。打开推理后,影响更小。

作者的结论:角色可以用来定语气、定风格,别把它当准确率开关。完整文章在这里,代码和数据在GitHub。
评论区有人提到客户工作流里的类似观察:角色那行更多改变“感觉”,输出质量本身未必变,提示词结构和示例更重要。作者也同意,大家容易过度关注角色。他还补了一句,Claude Haiku 5.5关闭推理时准确率低了约2%,数字不大,但确实存在。
另一个值得看的问题是:如果搭一个循环,让扮演网页设计师的agent去评审你的站点,角色会不会更有用?这跟单轮问答不完全一样。角色可能影响它看什么、先挑什么问题,但这次实验没有回答这一点。
至少在这63000次调用里,专家身份没有变成能力加成。它更像一个风格旋钮。拧它可以,别把它当性能补丁。
发布时间: 2026-11-15 13:30