Wink Pings

登顶语音代理盲测后,评论区更关心那8.3%

Cartesia Managed Agents 在 Artificial Analysis 的语音代理盲测中登顶:Elo 1115,任务成功率从 77.5% 升到 91.7%。但评论区盯住的是那 8.3% 的失败。真实通话里的噪声、打断和工具调用失败,才是语音代理真正的考官。

在 Artificial Analysis 的 Speech Agent Arena 上,Cartesia Managed Agents 登顶了。

Elo 1115,比 Cartesia 上一代语音代理产品 Line 高出 98 分。任务成功率从 77.5% 升到 91.7%。

这个 Arena 是盲测平台,让人跟不同的语音代理实时对话,再给它们打分。打分不只看发音,更看能不能在对话里把事办成。所以除了 Elo,它还会测任务成功率,也就是在需要工具调用的对话里,多大比例能正确完成整个任务。

具体数据:

  • Elo 1115(95% 置信区间 1086 到 1144,685 个样本)
  • 需要工具调用的代理任务 Elo 1112
  • 91.7% 的合格工具调用对话以正确的最终工具调用结束

Cartesia 是一家做语音模型的公司。Managed Agents 是它的全托管平台,用来开发和部署语音代理。架构是级联的:Cartesia 自家的 Ink 语音转文字和 Sonic 文字转语音,中间跑一个开发者自己选的 LLM。这次评测用的是 GPT-5.5,声音是 Skylar 和 Daniel。

价格:每分钟 0.06 美元,也就是每小时 3.60 美元。LLM 费用按模型单独计。

Arena Preference Elo 与 Task Success Rate 散点图:横轴是任务成功率,纵轴是偏好 Elo,浅绿色区域标出了最有吸引力的象限,虚线是帕累托前沿

完整榜单和方法论在 Artificial Analysis 官网 可查。

数据看着亮眼。评论区给出了另一层视角。

有网友说,任务成功率才是语音代理真正该看的数字。打电话的人不会给声音打分,他们只会在代理搞砸预订时挂断。

另一个网友补充,Arena 里的任务是干净的。真实电话里有串扰、糟糕的移动信号、中途打断,还有句子说到一半被纠正。最好能按打断处理和噪声程度拆分成功率。

也有人说得更直接:评测跑在干净音频上,真实电话线里,语音代理的最终 Boss 是一格信号和一台开免提的手机。

还有网友在追问那 8.3% 的失败:中途挂断、超时、工具故障,部署时这些也是用户会真实遇到的结果。91.7% 的成功率听起来不错,但大概每 12 通电话里就有 1 通会失败。客服热线的话,要看是人工接管了,还是机器人直接挂断。

有网友在问:底层模型换了,还是编排带来的增益?

也有网友转发说,数字很猛,但任务完成率比任何人想的都重要。整体看起来还在 Grok 和 Gemini 后面。

网友转发的推文截图:展示 Artificial Analysis 的语音代理榜单和讨论

这些质疑不无道理。评测跑的是干净音频,真实场景里,一格信号、对方开免提、突然插话,都可能打断工具调用的链条。91.7% 是一次不错的起点,但语音代理要进真实客服系统,还得先过那 8.3% 的关。

发布时间: 2026-10-28 07:49