Wink Pings

药名听错一个字母,语音 Agent 再自然也没用

语音 Agent 常被拆成 STT、LLM、TTS 三段。Deepgram Flux TTS 用 3.4% WER 做卖点,但药名、剂量、处方号这类实体,平均错误率会掩盖单字符错误。宠物医院测试和评论区里的读回确认,比声音像人更值得看。

语音 Agent 的典型链路有三段:STT 把来电音频转成文字,LLM 处理文字并生成回复,TTS 把回复转回音频。Akshay Pachaar 把问题说得很清楚:信息会在两个边界丢失。STT 要保住来电者说了什么,TTS 要保住 LLM 生成了什么。来电者说 RX-B17,STT 可能听成 RX-D17;LLM 正确生成 RX-B17,TTS 也可能念成 RX-D17。药名、剂量、预约时间、追踪号、字母数字编码,都卡在这两个边界上。

Deepgram 为语音层做了 Flux TTS。Akshay 引用的评测包含药名、追踪号、金额、技术字符串和字母数字,Flux 录得 3.4% 词错误率。他还跑了一个完整语音循环:宠物医院场景,给狗 Biscuit 续处方。Agent 要听懂并复述药物、剂量、处方号,以及通话中变化的取药时间。测试结果是细节保住了,声音自然,交流像能接受的宠物医院电话。Akshay 注明这条内容与 Deepgram 团队合作,链接和额度活动在文末。

Flux TTS 介绍图

视频是 Akshay 的完整测试录音:

构建链接:Flux TTS。Deepgram 的活动是每花 1 美元 Flux TTS 匹配 1 美元额度,上限 500 美元。

3.4% 看着低,放到实体字符串上不够用。Aakash Verma 在回复里指出,WER 对每个词做平均,RX-B17 错一个字符几乎不动指标;这个场景应该单独算编码、剂量、时间的 exact match。seridarivus 补了另一层:STT 和 TTS 在编码上的错误听起来很流利,读回确认才能抓住 WER 藏掉的东西。一个字符错,整个处方号就废了。

电话线本身也不干净。Thomas 说 B 和 D 在差线路上听起来像,这个问题在 LLM 出现前就折腾药房电话。Vibefold 给了便宜办法:Agent 对看起来像 ID 或数字的内容先读回,再执行。Kalu 说得更细,逐字符读,r x b one seven,问对方确认。Jean Hyacinthe 的做法是把风险最高的回拨号码让来电者用键盘输入,再读回确认;他们用海地克里奥尔语时,口述号码在 STT 阶段一直出错。Champ 则提醒,测试里要让来电者中途改剂量,比如 5mg 不是 50,然后检查 Agent 写下的记录,不只看它读出来的音频。

延迟是另一条线。Agentik 说三跳叠加比想象快,他们计时时等 TTS 首个音频块比 LLM 调用还久。有网友直接判断三阶段会一直更慢,不看好这条路。Sunil 的说法更接近用户感受:来电者原谅一个错词,比原谅两秒停顿快。视频评论区还有人问为什么语速像 2x,TaraT 和 Jacki Maniel 都质疑加速后怎么判断真实效果。演示可以剪,但语速和延迟该标清楚。

Pritesh Kumar 的总结适合收在这里:三段,两个信息可能死掉的地方;STT 会丢或改编码,TTS 会念错 LLM 已生成的内容;一边换更好的模型,不自动保护另一边。语音 AI 进业务,先别比谁更像人,先比谁少错一个字符。药量、时间、编号说错一次,再自然的声音也换不来信任。景哥在回复里说的也是这个意思。

发布时间: 2026-10-30 04:42