Wink Pings

边听边说的语音 AI 开源了:Haru-4B,12GB 显存本地跑

日本 higurashi AI 开源了 Haru-4B,一个基于 Qwen3.5-4B 的全双工语音模型。它能边听边说、处理打断和重叠语音,还支持自定义角色音色。NVIDIA GPU 约 12GB VRAM 可本地运行,权重和推理代码采用 Apache 2.0 协议。模型登顶 Hugging Face 全类别趋势榜。

日本 higurashi AI 开源了 Haru-4B,一个 4B 参数的全双工语音模型。它在 Hugging Face 全类别趋势榜上拿了第一。

传统语音助手要等你把话说完才开始应答,Haru-4B 不是这样。它能边听边说,允许被打断,也会主动打断你,还能发出“嗯”“啊”这类反馈词,让对话接近真人聊天。官方称支持 9 种主要语言。

团队在 Apple M1 Max MacBook 上给出的性能数据:中位处理延迟 65.2ms,每 133ms 产出一个音频帧,用的是自家 Metal 推理内核。

模型架构基于 Qwen3.5-4B,外加音频组件。训练数据包括 40M+ 小时真实语音、13M+ 小时全双工对话,覆盖 160+ 种语言。

本地部署条件:

  • NVIDIA GPU:约 12GB VRAM
  • Apple Silicon:原生 MLX 实现
  • GPU 服务:vLLM-Omni
  • 权重和推理代码:Apache 2.0
  • BF16 检查点:约 10.5GB

还支持用参考音频自定义角色和声音。

评论区有开发者补充了实际情况。Model Test Lab 提到,Mac 用户可用的 4-bit GGUF 只有 4.5GB,但只能在 speech.cpp 里跑,llama.cpp、Ollama、LM Studio 都加载不了;8-bit MLX 版则是 6.6GB。另一位开发者 Sean Uddin 觉得 12GB 还是太大,希望能做到 1GB 级别,跟思考型 LLM 共存,或者作为现有 LLM 的一个前置模块。

还有一位开发者分享了另一条思路:不是所有场景都非要全双工。他搭的 Pipecat 管线用本地 STT(Nemotron ASR on MLX)、本地 TTS(Pocket TTS + 声音样本)、中间接一个 Gemma 4 12B(Ollama 跑),模型换起来只改一个变量,人物设定和发音完全可控,数据不出本机。他做了个叫 Lilly Beyond Talk 的 Demo,在浏览器里和 AI 角色视频聊天,代码在 GitHub 上:https://github.com/Jeuners/lilly-beyond-talk

Lilly Beyond Talk 场景选择

Lilly Beyond Talk 对话界面

这个项目里的角色会明确标示为 AI 生成,应用内也设置了通话时长、次数等限制。

Haru-4B 把全双工语音的门槛压到了消费级显卡,开源协议也足够宽松。接下来更有意思的问题是:本地跑起来之后,拿它做什么。语音交互的下一步,可能不只在模型本身。

发布时间: 2026-11-20 18:47