3秒延迟、实时克隆声音，腾讯混元开源了AI同传模型
腾讯混元开源Hy-SimulMT，一个3秒延迟的中英双向实时同声传译模型，支持声音克隆。在评测中，延迟是参与系统里最低的，翻译质量超过对比的开源模型和5个商业API中的4个，与CATTI专业译员水平相当。附部署方式和演示视频。
10月26日，腾讯混元开源了Hy-SimulMT，一个实时中英双向同声传译模型。核心就三点：延迟约3秒、翻译同时克隆说话人声音、权重开放下载。
3秒的延迟意味着什么
同声传译的难点在于“等还是抢”。等多一点，翻译更完整，但听众等得难受；抢着说，快了，但容易出错。Hy-SimulMT的策略是边听边译，在信息流到达的同时持续产出译文。
3秒这个数字，在评测里的定义是StreamLAAL，衡量流式翻译的滞后时间：说话人说完一个片段后，模型需要多久才能把对应译文说出口。数值越低，听众等待的感觉越少。它不等同于“听到第一个词的时间”。
官方在开源的RealSI长语音评测里给出的结果是：Hy-SimulMT的StreamLAAL约3秒，是参与对比的系统里最低的；GEMBA翻译质量得分超过对比的开源模型，以及5个商业API里的4个。
短语音benchmark方面，FLEURS 90.3、ACL6060 81.2、RealSI-Sentence 84.7，后者是表里所有系统的最高分。CoVoST2是75.5，低于Qwen3.8-LiveTranslate的82.1。它不是全面碾压，但关键维度上确实做到了领先。
和专业译员比
更接近真实场景的测试是和专业译员比。腾讯收集了18段2026年9月之后新出现的网络音频，每段约6分钟，覆盖软件与AI、医学、制造与能源、法律等10个领域；请了6位CATTI持证译员，3位一级、3位二级，每级取最高分参与对比。结果Hy-SimulMT的翻译质量与这些专业译员相当，响应速度还经常更快。注意，这是小样本评估，别急着下“AI全面超越人类同传”的结论。
仓库的README里还提供了4段人与模型的对比视频，演示信息传达、响应时机和译文措辞的差异。
声音克隆
声音克隆是容易被忽略的亮点。跨语言沟通不只是信息传递，谁在说话、语气什么样，也是上下文的一部分。Hy-SimulMT在输出译文语音时保留原说话人的音色，多说话人场景里，听众不用靠字幕猜“这句是谁说的”。
下面两个视频分别是英文到中文、中文到英文的同传加声音克隆演示。注意是离线回放，播放节奏不能当作实时延迟的测量：
English → Chinese 同传与声音克隆演示（1分39秒）
Chinese → English 同传与声音克隆演示（35秒）
部署与尝试
动手部署的门槛不算高。模型是MoE架构，30B总参数、3B激活，叫Hy-SimulMT-30B-A3B。还提供了FP8量化、GGUF量化版本，以及能同时输出原文和译文的Interleave版本。仓库里给了SimulInfer推理服务，一条命令可以拉起vLLM后端和Web界面：
git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git
cd Hy-SimulMT/SimulInfer
bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave
语音输出和声音克隆需要另外配置TTS服务。GGUF格式可以用llama.cpp跑，官方说明：对Hy-SimulMT的支持还没合并进llama.cpp主分支，建议等一个支持该模型的新版本。仓库里还有SimulTrain训练工具，可以基于官方checkpoint继续训练。
模型在Hugging Face、ModelScope和GitHub都能找到，链接在文末。腾讯还提供了Hy Translate App，下载就能体验。
网友怎么看
评论区已经有网友在问：3秒延迟能不能处理两个人同时说话（crosstalk）？官方没有直接回应。也有网友在评论区澄清：3秒只是翻译滞后，语音输出还需要单独的TTS服务。还有一位网友说，自己在听英文讲座时，3秒延迟依然会造成音频和幻灯片不同步。模型目前只支持中英双向，想要小语种的得再等等。
一点判断
广东外语外贸大学的王巍巍评价说得比较实在：“系统为了控制延迟，先开口说话、再自我修正，这种修正听起来接近译员的口头自我修正。”这个观察挺有意思，修正策略本身也是AI同传值得研究的方向。
最后说点判断。这次开源，把AI同传的门槛拉到了普通开发者够得着的水平。电话会议、跨国采访、演讲直播，都可能被这类模型改变。但要说同传译员马上失业，那夸张了。涉及责任认定、高风险决策的场景，专业译员仍然不可替代。腾讯自己的定位也是如此：先在低风险场景用起来，再通过人机协作持续改进。
资源链接：
发布时间: 2026-10-27 02:01