4B 激活的转录模型，能替掉 Whisper 加说话人分离吗

英伟达发布了 Nemotron 3.5 Transcribe，一个开源权重的 30B MoE 模型，激活参数约 4B。它想用同一个 checkpoint 干完转写、说话人归属、翻译、上下文提示和音频理解。

官方演示用 1940 年 His Girl Friday 的快节奏重叠对白做例子。这个选择很直接：会议记录最烦的地方，常常不是听不清字，而是不知道谁说的。转写、说话人标签、翻译、词级时间戳都塞进一次生成，省掉 Whisper 加 diarization 再加后处理的拼接流程。

会议录音里，它能把不同说话人标成 spk1、spk2，也能按提示翻译成西班牙语、日语，或者找出 PII。NVIDIA 博客写的是转写 40 种语言，31 种语言和英文互译，13 种语言支持说话人归属。最长处理 1 小时录音，最多 8 个说话人，上下文 65,536 token。

榜单也给得很足。VoiceArena 的 14 系统 diarization 加 ASR 对比排第一，David AI 的 21 语言 diarization 榜单也第一。官方博客写 Hugging Face Open ASR 英文开源第一，平均 WER 5.33%。模型卡后来列 4.71%，两个数字口径不同，别混着比。

Artificial Analysis 的数据更有意思。Nemotron 3.5 Transcribe 拿到 2.81% AA-WER，Voxtral Small 是 2.77%，后者激活参数 24B。精度几乎打平，激活参数差了约六倍。这也是 MoE 叙事的重点：每个 token 只走一小部分参数。

但 4B 激活不等于 4B 显存。有网友在回复里提醒，4-bit 量化下 30B 权重仍要占约 15GB，算上音频上下文，24GB GPU 或 32GB Mac 更现实，普通办公机别急着高兴。官方说量化版会支持 RTX Spark、DGX Spark、Jetson AGX Thor，也能上 Blackwell 数据中心 GPU。注意这是官方规划，不是已经在你那台旧笔记本上跑通。

开源范围也值得看清楚。权重、Granary v2 数据、微调 recipe 都放出来了。Granary v2 公开清单 463,062 小时、48 种语言、16 个语料。医疗 ASR 案例里，微调把 held-out 说话人的 WER 从 22.44% 降到 12.17%，相对降 45.8%。这类结果比榜单第一更接近真实业务，因为科室口音、药名、缩写不会自己变干净。

真正要看的场景很具体。四个人开会同时说“sorry, go ahead”，两个人抢话，中文夹英文，乌尔都语夹英语，还有三轮车喇叭。有网友直接问它在卡拉奇语音条上的表现，也有人想看意大利家庭晚餐。这些不是榜单能替的。模型卡也写了，说话人标签只区分录音里的不同人，不等于真实身份。它是离线模型，不是实时流式 ASR。音频理解和推理只在英文评估，其他语言别默认可用。

下周如果有人拿一场真实客户会议跑完，逐字稿里名字、数字、谁拍板都对，那才算赢。榜单第一只是入场券。

原文：https://x.com/testingcatalog/status/2115697759281975475

模型：https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B

Demo：https://huggingface.co/spaces/nvidia/nemotron-transcribe

博客：https://huggingface.co/blog/nvidia/nemotron-transcribe-granary