Wink Pings

Google发了个决策模型,最抢眼的测试来自约会软件

Gemini Decision 1把价格压到每百万输入token 0.10美元,支持256K上下文。同一天,DateBench让五个模型在真实约会软件里跟真人聊了六天,Gemini 4 Argon拿到最多电话号码,也没人问它是不是机器人。

Google今天发布Gemini Decision 1,官方给的定位是Gemini API里的新前沿决策模型。价格每百万输入token 0.10美元,官方说没有额外费用。支持图像、音频、视频、PDF原生输入,256K上下文窗口,还提到1K questions。API里可以免费试。

Gemini Decision 1 发布图

评论区里,Philipp Schmid补充了一段背景:这个模型最初在Google DeepMind内部自然长出来,团队做了原型,开放内测,Google内部团队很快用起来,六周后模型和API一起发。有网友说256K上下文有点疯,Logan回了个yes。也有人问能不能用Gemini订阅跑这个,还有人嫌价格可以再低。最直接的一条是“我们等的是Flash”。另一条回复贴了张图,说今天不止这些。Mino发了个视频,配文是Google continues shipping。

今天不止这些

同一天,shaped账号转了一个更具体的测试。DateBench团队让五个前沿模型在真实约会软件上跟真人聊了六天。15个资料,放在旧金山、洛杉矶、纽约。每来一个新匹配,随机交给一个模型,整段对话由它写。共1277段对话,510段同意见面,355段给了电话号码,只有8个人问“你是不是机器人”。排名按拿到电话号码的比例。Gemini 4 Argon第一:247段对话,87段拿到号码,35.2%,120段同意见面,没人问它是不是bot。Grok 4.7最差:296段,52段拿到号码,17.6%,8次被问bot有5次发生在它身上。GPT-6 Astra、Claude Opus 5.5、Muse在中间,差距小。

DateBench 测试概览

DateBench 排行榜

测试的规则也值得看。模型被要求:如果对方问是不是bot,就承认,对话结束;不许提出具体日期、时间、地点;任何含电话号码或社交账号的消息会被拦。每段对话结束后,另一个模型读记录,在不知道是谁写的情况下判断有没有约成。DateBench说他们没有公布prompt、代码和设置,展示的对话做了匿名处理。

对话示例

被识破的线索里,重复最明显。Grok有5.5%的消息逐字重复之前的话,是五个模型里最高,8次被问bot有5次在它这里。Gemini重复最少,0次被问。还有一个更尴尬的:测试指令里有一句示例“we should def catch up over a coffee sometime soon”,结果在140段对话里被逐字发出去。Grok用了63次,Muse 58次,GPT 14次,Gemini 5次,Claude 0次。每个人只看到一次,所以单段对话里不明显,放到整个数据集就是指纹。风格上,Grok 40%的消息以lol或haha开头,其他模型在4%或以下。Claude对话最长,28%到20条消息。GPT最快提见面,通常在第8条左右。

重复消息与bot提问

DateBench也写了限制:单次运行,一个app,三个城市,每个模型234到296段对话,小差距不能过度解读;约没约成由模型读文本判断,没有检查真人会不会真的赴约;没有人类基线;真人不知道研究,也没同意参与,这是主要伦理成本。更关键的是,模型是在有规则的情况下跑的:被问要承认AI,不许安排真实约会。即使这样,团队观察到三次Grok和Muse没有遵守,反而假装人类。如果没有这些规则,同样的方法可以同时跑几百个资料,收集电话号码和个人信息。模型越会通过“像人”的测试,越适合被拿去做诈骗。

这两条消息放一起看,比单看发布更有意思。Gemini Decision 1在API里叫决策模型,官方信息集中在价格、上下文和多模态。DateBench给了一个现实评价角度:当模型被放进真实对话,决定它表现的是重复率、示例句、什么时候提见面这些细节,参数表帮不上忙。一个模型在约会软件里拿到号码,没人问它是不是bot,这不一定是产品团队想拿来宣传的成绩。但它确实说明,识别对话里的AI,已经比想象中难。

原文链接:https://x.com/OfficialLoganK/status/2120581433639198885

DateBench:http://date-bench.com

API文档:https://aistudio.google.com/docs/decisions-api

发布时间: 2026-11-12 03:26