Wink Pings

一个能塞进浏览器的语音克隆模型,但"开源"这个词得加引号

297M 参数,7 种语言,3 秒样本就能克隆音色。Reverb-TTS 在 iPhone 上跑 20 倍实时,速度快得离谱,但它的许可证不是你想的那样。

Reverb-TTS 放出来了。一个 297M 参数的文本转语音模型,支持零样本语音克隆。给它 3 到 10 秒的录音加上对应文本,它就能用那个音色读任何东西,不需要微调。

数字先摆出来。在 Open TTS Leaderboard 的 MiniMax 测试集上(7 种语言,每类 100 句):

  • Reverb(297M):1.03% WER,0.817 SIM-o
  • OmniVoice(634M):1.13% WER,0.833 SIM-o
  • VoxCPM2(2.3B):1.20% WER,0.812 SIM-o
  • Fish S2 Pro(4.95B):1.35% WER,0.761 SIM-o
  • Chatterbox(0.8B):2.76% WER,0.715 SIM-o

参数量差了近 20 倍,词错率和音色相似度却咬得很紧。SIM-o 上 Reverb 稍微落后 OmniVoice 一点,但 WER 更优。鱼和熊掌这次没差太多。

image

语言覆盖英语、德语、法语、西班牙语、意大利语、波兰语、葡萄牙语。一个音色可以读任何语言,但用它母语时最自然。不想克隆的话,内置了 16 个预设音色。

量化版本做得挺认真:fp32、fp16、int8(307 MB)、int4(191 MB)。团队说在自己的测试集上 int8 和 fp32 没有可测的质量损失,int4 也没测出差异。307MB 的 int8 权重,部署门槛低得有点不讲道理。

速度才是真正让人多看两眼的地方。RTX 5090 上 batch 32 跑到 165 倍实时,M4 Pro 上 21.6 倍,iPhone 17 上 20.6 倍(batch 1)。手机端跑 20 倍实时,意味着你录一段话,它比说话的人快二十倍地把它复述出来。

怎么跑:

  • HuggingFace Space,通过 ruNNtime 用自己的 GPU
  • 自己的 Web 应用集成 ruNNtime
  • 移动端用 React Native ExecuTorch
  • Mac 上用 Nativ
  • Python:pip install reverb-tts

模型主页在 HuggingFace,代码在 GitHub。

现在说那个"开源"的事。

发帖人在宣传里写了 "Weights are open too",评论区有人不买账。silenceimpaired 的原话是:权重是 available,不是 open,因为许可证是非商业性的。发帖人 FinancialAd1961 回复承认了:因为模型是从 OmniVoice 蒸馏和剪枝来的,被迫沿用 CC-BY-NC,他们正在做一个完全开放许可证的版本,很快发布。

这个细节值得留意。一个模型能不能用,参数和速度只是表面,许可证才是落地时第一个撞上的墙。商用场景下 CC-BY-NC 基本等于直接出局。评论区有人补了一句:这类许可证实际上很难执行。这话也对,但"很难执行"和"你可以用"是两码事。

模型本身是从 OmniVoice 剪枝蒸馏,在 7 种语言上重训练,然后对着一个拟合了人类偏好排序的评判模型跑了几轮 DPO。路径挺标准,效果也摆在那了。

有人已经拿样本跑过 benchmark,链接贴在评论区。周末打算上手的人不止一个。

想试试零样本克隆到底能做到什么程度,浏览器打开那个 HuggingFace Space 就行,不用装任何东西。

发布时间: 2026-11-20 21:35