Mimi VAP 开源：每 80 毫秒预测一次，语音 agent 该学会接话了

语音 agent 经常在两个地方露怯：抢话，或者等太久。Gabriel Skantze 在 X 上发布了一个开源模型 Mimi VAP，目标就是让机器在对话里提前判断谁下一个会开口。项目代码和权重放在 GitHub，MIT 许可。

Mimi VAP 属于 turn-taking 模型。它基于 2022 年 Gabriel Skantze 和 Erik Ekstedt 提出的 Voice Activity Projection（VAP），把原来的 CPC 编码器换成 Kyutai 的冻结 Mimi 音频编码器。Mimi 也被用在 Moshi 里。模型每 80 毫秒估计一次对话双方的当前语音活动，以及未来最多 2.4 秒内的相对语音活动。换句话说，它不只回答“现在有没有声音”，还在猜“接下来几秒谁会继续说、谁可能接话”。

这个预测对语音 agent 很实际。VAD 的静音阈值只能判断此刻有没有声音，人类对话的接话点却经常出现在对方话还没完全结束时。Mimi VAP 想区分三种情况：对方话轮里的短暂停顿、适合回应的空档，以及可以给一个 backchannel 的时机。backchannel 就是“嗯”“对”“我在听”这类短反馈，不抢话轮，但让对话继续。

模型细节不复杂：在冻结的 Mimi 之上有 1830 万个可训练参数，训练数据约 6630 小时双人对话，不依赖转写文本，也不依赖显式的话轮标注，只从对话语音活动里学。支持流式推理，代码和权重可下载。

边界也要说清楚。它预测语音活动，不判断语义。语音 agent 可以拿它做接话、抢话和附和的策略，但话题理解仍要交给 ASR 和对话模型。很多语音助手还在等静音阈值，Mimi VAP 提供的是另一种思路：在对方还没说完时，就开始估计下一步。

来源：