12个开源模型36次都选引产，答案键却是剖宫产，谁错了？

一道32周孕妇胎膜早破伴宫缩的 MedQA 题，答案键是剖宫产。Maziyar Panahi 把这道题发给12个开源模型，每题跑3次。36次回答，全部选了引产。

题目问下一步最合适的处理。选项里，C 是给予倍他米松、氨苄西林并进行剖宫产，D 是给予倍他米松、氨苄西林并进行引产。答案键选 C，模型全选 D。

这不是随手挑的一道怪题。Panahi 在回复里补充，这是 MedQA 测试集1273题中的第1230题。参与测试的有12个开源模型，来自10个实验室，包括 Kimi、Qwen、DeepSeek、GLM、Mistral、Gemma 等。同一个 prompt，temperature 0，每个模型跑3次。

结果分两层看。

第一层，模型整体成绩不差。12个模型在整套考试上的得分在92.8%到96.4%之间。Kimi K3 领先。Qwen3.8 27B 参数规模小到能塞进一张 GPU，也拿到94.5%。有1013道题，12个模型在每一次运行里都答对。

第二层，模型错得很整齐。1273题里有6道题，12个模型意见完全一致，但答案键选了另一个。这道产科题就是其中之一。模型没有分歧，也没有随机波动，36次都指向引产。

这里最值得看的，不是模型又考了多少分，而是高分背后的错误形态。考试分数高，说明模型见过大量医学题和指南表述。可当题目落到具体临床情境，尤其是32周胎膜早破、已有宫缩、胎儿心率反应良好这种需要权衡母胎风险的情况，模型会倾向于某条路径，而且倾向得异常一致。

答案键不一定天然正确。MedQA 的答案键是数据集标注，医学题也常存在指南版本、机构流程和临床判断差异。Panahi 直接问医生谁对，说明这道题本身就有讨论空间。模型全选引产，可能错，也可能撞上了另一种临床处理。

但模型全票通过，同样不能当作正确性证明。12个模型来自不同实验室，训练数据、架构、后训练策略都不同，却在同一道题上给出相同答案。这更像一个评测信号：某些医学情境下，模型的一致性可能来自相似的语料分布，而不是独立推理。

对开发者来说，这比单纯看榜单排名有用。一个模型在 MedQA 上拿94%，不代表它在争议题、边界题、需要临床权衡的题上可靠。对普通用户来说，这也提醒一件事：模型答题像考试，临床决策却要面对具体的人。

Panahi 的原帖在这里：X 帖子。医生如果看到这道题，欢迎纠正答案键，也顺便看看模型为什么这么整齐。