本地音频模型清单:ASR、TTS 和音乐生成,大家在用什么
r/LocalLLaMA 的音频模型汇总帖里,有人列出了 ASR、TTS、音乐生成和音轨分离的实战选择,也提到快速语音下丢句子、语言不标注导致比较失效这些真实问题。
r/LocalLLaMA 每隔一段时间会开一个音频模型汇总帖。2026 年 11 月这一版距离上次已经九个月,发帖人定了两条规矩:只谈开放权重或开源模型,回帖要写清楚自己的使用场景、工具链和语言。
比起笼统的排行榜,这种帖子更像一组实际使用记录。有人拿它跑播客长转录,有人接实时语音输入,还有人做硬件合成器固件。
ASR / STT
被提到最多的是 Nvidia 的 Nemotron 3.5 Transcribe。有网友说它模型很大,但结果很好,问题是输出不够一致,对齐偶尔会偏。另一条回帖补充得更具体:正常语速下输出干净,语速一快就会丢上下文,甚至整句跳过。CrisperWhisper2 small 在这类随意说话和重叠语音的场景里更稳。
CrisperWhisper2 的另一个用途是区分实际发音和想说的内容。对带口音或者吐字不清的语音,这个差别有用。
cohere 被用来处理播客,前提是显存够,长转录能撑住。voxtral 则用在实时、低延迟的语音输入上,有网友认为它比 whisper 准,而且支持多语言。Qwen3 ASR 的评价是速度和质量的平衡不错,适合个人聊天机器人这种多场景切换。
MiMo 2.6 做的事更多一些。它不局限于单说话人转写,还能识别多个说话人、环境声和背景噪声。
有个被忽略的模型是 FluidVoice-Labs 的 fluid-speech-pro,地址在 huggingface。它基于 Parakeet 微调,只做转写时,效果接近 Cohere Transcribe 和 Nemotron 3.5 Transcribe 这些更大的模型。回帖人说还需要更多测试。
还有人用 Codex 给自己的 Galaxy S21FE 写了个测试台,评测 14 个 ASR 模型的准确率和资源占用,打算整理成文字或者放到 GitHub。
TTS
Irodori TTS 被一位网友称为跑过的最好的动漫声线克隆模型。pocket 被另一位网友认为被低估:它支持声音克隆,保真度不如更大的模型,但延迟几乎可以忽略,能在 CPU 上跑。
BreezeTTS2 只留了一个名字。Qwen3 TTS 的 VoiceDesign 和 Clone 是另一位网友的主力。
Fish 解决的是社区音色的调用问题。它可以把社区里的声音做成指纹,包成简单调用。用 LLM 去指挥 TTS,控制重音和情绪也更容易。这位网友的原话是,零样本的 qwen3 和 cozy 比不了。这是他的使用判断,不是统一结论。
文本生成音乐
Yue2 还在被用于文本生成音乐,Ace-Step 则用于音乐编辑和 M2M。有人在等 Ace-Step 的新开源版本,模型叫 v1,看起来不错。
一些边缘但具体的使用
有人正在微调 gpt-oss-20b,方向是硬件合成器固件,训练数据覆盖 C++、JUCE、mutable、乐理、滤波器、梯形滤波器、包络、MIDI 和 DSP,用的是 MIT 许可的数据。开始一天,在跑了几个月的自建测试集上,比基座模型高了 3 分,时间大约 12 小时。他的流程是让 Claude 记录 gpt 的每次草稿、错误和修复,慢慢看出 gpt 卡在哪里。
人声分离有人用 UVR5 加 GaboxFV10。描述是接近奇迹:给一个音频文件,一次就能把歌声或者主持人声去掉。UVR5 的作者还承诺过,UVR6 会比 GTA6 先出。
也有一个没被回答的问题:有没有模型能检查口音和发音。在 STT 到 AI 再到 TTS 的循环里,模型只能听懂或者听不懂,没法纠正哪里读错了。
帖子最后有人提醒,比较模型时不写语言,结论基本没用,除非默认所有人都在用英语。这个提醒很实际。另一个降噪和语音增强的楼层只留了标题,没有内容。
整个帖子看下来,开放权重的音频模型并不少,真正稀缺的是长音频、长时间运行的稳定性记录。大部分演示还是短片段,语言和场景也常常模糊。选型时,这些细节比榜单排名更有参考价值。
发布时间: 2026-11-16 21:55