任意Agent的语音栈,QuixiVoice先跑在Metal上
QuixiVoice用Rust+Burn把VAD、流式ASR、Gemma、TTS和MCP server串成一套语音栈。目前只跑Metal内核,CUDA、CDNA、XPU在移植计划里。
QuixiVoice 公布了一套面向任意 Agent 的语音栈。Eric Hartford 在推文里把它拆得很清楚:一个快速语音服务器加一个 MCP server,底层用 Rust 和 Burn 构建。
对普通用户,语音 Agent 要跑起来通常得串四件事:VAD 判断有没有人说话,ASR 把话音转成文字,语言模型理解并生成回复,TTS 再把回复读出来。QuixiVoice 的选择是 Silero VAD v5、NVIDIA Nemotron 3.5 ASR Streaming 0.6B、Google Gemma 4 E2B IT (QAT) 和 Ming 3.0 TTS 0.5B。前两个负责听,Gemma 负责想,Ming 负责说。参考音色来自 LAION 的 6k-diverse-reference-voices 数据集,目标是覆盖更多样的声音。
MCP server 是这套东西和普通语音 demo 拉开距离的地方。Agent 可以通过 MCP 接入语音能力,少写一层胶水。语音 Agent 的麻烦经常出在管线拼装和工具接入,单个模型只占一部分。把服务器和 MCP 一起做,工程上更接近能直接用的底座。
推文附带的演示视频:
现在它跑在 Metal kernels 上,也就是苹果 GPU 路线。Eric Hartford 说会把内核移植到 CUDA、CDNA 和 XPU。按这层信息,QuixiVoice 目前更像一个可运行的起点,跨硬件还在路上。推文同时 @ 了 @dnhkng 和 @ChristophSchuh6。接下来值得看的是移植进度和实际延迟数据。
发布时间: 2026-11-16 11:25