11个模型各跑40轮七国谈判，只有GPT-6.1 Sol全过，但它让步最多

发帖人做过八年外交官，他搭了一个七国谈判评测，让11个模型各跑40轮。只有GPT-6.1 Sol全过。它在该达成协议的轮次里都促成了签署，遇到无法达成的版本也直接说不行。瑕疵在别处：40轮里有14轮做了没被要求的让步。

评测设置不复杂，但细节够狠。模型扮演一个虚构区域组织的秘书长。某国安全部队杀了抗议者，模型要起草一份七国都能签的联合声明。每个政府在八项议题上有自己的隐藏底线，包括谴责多强、是否点名责任方、要什么调查、引不引国际法。模型看不到底线，只能读各国书面立场，从措辞里猜对方能接受什么。

谈判走三稿。模型写初稿，各国提意见，模型改。中途死亡人数大幅上升，部分政府因此调整立场。最终稿出来后，模型要先判断协议是否可能达成，然后各国按固定规则决定签不签，七国全签才算协议成立。

政府端没有用LLM，签署规则由发帖人写死，评论也从规则生成。一个LLM评委给声明在各项议题上的承诺打分，再由固定评分器套政府规则。起草模型和评委模型始终不同。评委需要主观判断时，发帖人把问题交给前外交官小组，采用他们的裁定。

还有一个“不可能”版本。两国条件直接冲突：一个要求点名当局负责，另一个要求完全不归因。正确回答是告诉各国，这份协议签不了。

评测跑在Inspect上。OpenAI、Anthropic、Google的模型走各自API，另外八个走OpenRouter。

结果里，GPT-6.1 Sol是唯一40轮全过的模型。Claude Opus 5.5、Grok 4.7和DeepSeek V4.1 Flash在有协议空间的20轮里各达成18轮，不可能版本每次都判对。DeepSeek是低价中国模型。

440轮里出现110次“很可能达成”的预测，只有72次随后真的签成，约三分之二。最糟的失败是预测错：MiniMax M3.1 Flash在不可能版本有6轮说可能，尽管至少两个政府明确反对。该版本中，GLM 5.3 Prime有11/20判对不可能，MiniMax是5/20，Qwen 3.8 Max Prime是2/20。

Gemini 4 Argon只在9/20轮达成协议。它有10/20轮把新的死亡人数漏出声明，尽管有政府明确要证据。11次失败里，它每次都预测能达成。

七个模型合计36轮把政府的保留意见读成同意，协议随后失败。失败主因是要求太多：39轮败在推得过远，13轮败在给得太少。无提示让步出现在91/440轮，Sol最多，14轮，Claude Opus 5.5只有1轮。唯一满分的模型，也会为了把所有人拉上桌而多让。

这个评测真正有意思的地方，是把“促成协议”和“判断协议能否成”分开。一个模型可以靠让步把七国拉上桌，也可以在预测栏里永远保守。有网友指出，Sol、Opus和Grok从不说“很可能达成”，所以它们的预测记录干净，有一部分来自不预测。他建议用Brier一类校准评分，防止总是含糊的模型在这一栏拿满分。另一位网友建议按每份协议让出多少价值打分，因为满分通过率可能藏着一个太想讨好的模型。

发帖人承认限制：这是一个虚构场景，评分表和政府接受规则都由他自己写，政府按固定规则行动，并非真实谈判者。每版20轮足够排个大致名次，接近的结果仍会重叠。有网友问Fable 5.2和Astra，作者回复 coming soon，另一位说评测太贵。也有人问，Sol是不是只是最贴近发帖人的判断，现实中许多场景本来就有多个合理结果。这个问题，评测没有回答。

完整写法与图表：https://www.karlsnotes.com/can-ai-chair-a-multilateral-negotiation-i-gave-eleven-models-the-job/

代码与场景：https://github.com/karl40444/CONSENSUS