登顶语音代理盲测后,评论区更关心那8.3%
Cartesia Managed Agents 在 Artificial Analysis 的语音代理盲测中登顶:Elo 1115,任务成功率从 77.5% 升到 91.7%。但评论区盯住的是那 8.3% 的失败。真实通话里的噪声、打断和工具调用失败,才是语音代理真正的考官。
在 Artificial Analysis 的 Speech Agent Arena 上,Cartesia Managed Agents 登顶了。
Elo 1115,比 Cartesia 上一代语音代理产品 Line 高出 98 分。任务成功率从 77.5% 升到 91.7%。
这个 Arena 是盲测平台,让人跟不同的语音代理实时对话,再给它们打分。打分不只看发音,更看能不能在对话里把事办成。所以除了 Elo,它还会测任务成功率,也就是在需要工具调用的对话里,多大比例能正确完成整个任务。
具体数据:
- Elo 1115(95% 置信区间 1086 到 1144,685 个样本)
- 需要工具调用的代理任务 Elo 1112
- 91.7% 的合格工具调用对话以正确的最终工具调用结束
Cartesia 是一家做语音模型的公司。Managed Agents 是它的全托管平台,用来开发和部署语音代理。架构是级联的:Cartesia 自家的 Ink 语音转文字和 Sonic 文字转语音,中间跑一个开发者自己选的 LLM。这次评测用的是 GPT-5.5,声音是 Skylar 和 Daniel。
价格:每分钟 0.06 美元,也就是每小时 3.60 美元。LLM 费用按模型单独计。
完整榜单和方法论在 Artificial Analysis 官网 可查。
数据看着亮眼。评论区给出了另一层视角。
有网友说,任务成功率才是语音代理真正该看的数字。打电话的人不会给声音打分,他们只会在代理搞砸预订时挂断。
另一个网友补充,Arena 里的任务是干净的。真实电话里有串扰、糟糕的移动信号、中途打断,还有句子说到一半被纠正。最好能按打断处理和噪声程度拆分成功率。
也有人说得更直接:评测跑在干净音频上,真实电话线里,语音代理的最终 Boss 是一格信号和一台开免提的手机。
还有网友在追问那 8.3% 的失败:中途挂断、超时、工具故障,部署时这些也是用户会真实遇到的结果。91.7% 的成功率听起来不错,但大概每 12 通电话里就有 1 通会失败。客服热线的话,要看是人工接管了,还是机器人直接挂断。
有网友在问:底层模型换了,还是编排带来的增益?
也有网友转发说,数字很猛,但任务完成率比任何人想的都重要。整体看起来还在 Grok 和 Gemini 后面。
这些质疑不无道理。评测跑的是干净音频,真实场景里,一格信号、对方开免提、突然插话,都可能打断工具调用的链条。91.7% 是一次不错的起点,但语音代理要进真实客服系统,还得先过那 8.3% 的关。
发布时间: 2026-10-28 07:49