Wink Pings

Inworld 开源语音分离模型:48kHz,小到能实时跑

Inworld 放出了 voice-isolator,Apache-2.0,48 kHz,64M 和 58M 两个版本。它只做语音分离,不做增强修复。宣传片效果不错,但真实嘈杂录音还得跟 Sidon、Demucs、Nvidia RE-USE 比一比。

Inworld 在 Hugging Face 上放出了 voice-isolator,一个语音分离模型。它干的事很具体:把人的声音从背景噪音、音乐、其他人声里拎出来。模型用 Apache-2.0 许可,支持 48 kHz 音频,训练数据大约 1 万小时。两个版本,64M 和 58M 参数,一个偏离线,按 8 秒一块处理;一个偏实时,按 20 毫秒一块处理。发帖人说它跑起来便宜、快。

模型地址:https://huggingface.co/inworld/voice-isolator。HF Space:https://huggingface.co/spaces/mrfakename/voice-isolator。不想配环境,可以先在 HF Space 里上传一段音频试试。想自己跑,最直接的是装 Python 环境、clone 仓库,照 Hugging Face 页面上的示例代码跑。有人在评论里说,这比等别人做 GUI 快。

视频来自 Victor Mustar 在 X 上的演示:https://x.com/victormustar/status/2123151425375187260。

Inworld voice-isolator 演示截图

有个细节要说清楚:它只做分离,不做语音增强或修复。发帖人专门说明,它跟 Resemble Enhance 这类语音增强、修复模型不是同一个任务。别指望它把一段已经烂掉的录音修得干净饱满。它更像是把目标人声单独抽出来,剩下的东西丢掉。

这类模型能用在什么地方?给纪录片重新配音,先把原人声分离,再换声、混回去;给语音克隆准备干净样本;清理采访、播客、手机录音里的环境声。有网友第一反应是去掉 80、90 年代情景喜剧里的罐头笑声,底下马上有人泼冷水:笑声拿掉后,那些为笑声留的停顿会变得很尴尬,可能还得重新剪。

有人问能不能去掉背景人声或音乐。回帖的建议是拿自己的素材多跑几个模型,音乐分轨是另一个领域,UVR5、FV10、mvsep 这些工具更对口。

回帖里讨论最多的是它跟其他模型比怎么样。有人提到 Nvidia 几周前放出了商用友好的 Nemotron RE-USE,9.6M 参数,支持 8 到 48 kHz 多种采样率,页面写着对加性噪声、混响、削波、带宽限制、编解码伪影、丢包和低质量麦克风都更稳。发帖人回复说看起来有希望,会试试。

也有人拿 Sidon 来比。Sidon 模型大约 1GB,会增强音频频谱、把声音往上抬,在 CPU 上跑得很快。一位网友说,在自己那些闷闷的私人录音上,Sidon 比 Nvidia Nemotron RE-USE 好不少,比如在嘈杂车里用手机远处录的语音备忘录。另一位网友则说,拿一个很吵的样本试 Inworld,结果比 Demucs 差,因为模型会凭空补出词来。至少在那位网友的样本里,很烂的音频还是 Demucs 更稳。有人把 Inworld、Nvidia Nemotron 和 Sidon 的对比录成了视频:https://youtu.be/pnaCz0dZf9I。

也有人不买账。有网友说输出还是有点机器人味,自己去年用更少数据、在 4090 上训了一个小时、7M 到 14M 参数的模型,质量差不多。他还提到 Nvidia RTX Voice 大小差不多,实时效果在他听来更好。结论是:这东西还得把机器人味去掉。

发帖人自己也没把话说满。他说 Victor 演示里的效果确实不错,尤其对这么小的模型来说,但实时版是不是一样好,还得测。另一位网友提到,演示视频里的噪声像是后加的合成噪声,跟真实环境里那种乱七八糟的背景音不是一回事。所以这个模型值得试,但别只看宣传片。拿自己的素材跑一遍,跟手头的 Sidon、Demucs、Nvidia RE-USE 比一比,再决定要不要换。

发布时间: 2026-11-19 05:01