Hugging Face 发布 Open TTS Leaderboard,面向多语言 TTS 与声音克隆的可扩展评测
Hugging Face 上线 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单次评测耗时从收集投票的数周缩短到数小时。
推荐理由:开源 TTS 模型已超 8K,人工投票榜单难以跟上发布节奏,这份榜单用客观指标评估可理解度、速度与音色相似度。
AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。
Hugging Face 上线 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单次评测耗时从收集投票的数周缩短到数小时。
推荐理由:开源 TTS 模型已超 8K,人工投票榜单难以跟上发布节奏,这份榜单用客观指标评估可理解度、速度与音色相似度。
Gemini 3.8 Live with Live Avatar 已在 Gemini Enterprise 上线,将近实时视频生成与语音对话结合,让企业智能体以带口型同步和自然表达的动态形象进行实时对话。
推荐理由:原文给出 Live Avatar 在多语言同步和后台工具调用上的具体能力,读者可据此判断企业实时客服场景的落地边界。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS,前者面向角色设计与逐行表演指导,后者面向高并发、低成本的配音和语音智能体。
推荐理由:原文给出两款 TTS 的定位差异与基准名次,可据此判断多语言配音与角色音色定制的可用程度。
Google 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款实时语音对话模型,分别面向规模与成本效率、以及高复杂度任务。
推荐理由:两款语音模型分别面向规模成本与复杂任务,并给出各自评测数据和开放入口,可供判断语音智能体的选型。
OpenAI 在 API 中推出 GPT-Live-1,为 API 带来自然的全双工语音对话能力。该模型增强了指令遵循,并支持自定义音色和电话接入。
推荐理由:OpenAI 官方给出 GPT-Live-1 在 API 中的全双工语音、自定义音色和电话接入能力,可据此判断语音应用的改造方向。
Google 发布 Gemini 3.5 Transcribe 语音转文字模型,Artificial Analysis 测得流式场景平均 WER 为 4.0%,非流式场景为 2.6%。
推荐理由:相比 Chirp 3,原文给出 WER 与延迟的具体对比,并说明它在 Gemini API 和多款产品中的可用入口。
NVIDIA 发布开源 364M 参数的 Magpie 多语种 TTS 模型,支持 12 种语言,包括本次新增的现代标准阿拉伯语、韩语和巴西葡萄牙语。
推荐理由:对比 B200、H100、A100 上的首音频延迟数据,并介绍 frame stacking 与 local transformer 两项推理优化思路,可用于自有基础设施上的语音智能体部署。
Google DeepMind 发布音频模型 Gemini 3.5 Live Translate,可自动检测 70 多种语言,近乎实时地生成保留说话者语调、节奏和音高的语音到语音翻译。
推荐理由:Google Meet 的语音翻译语言从 5 种扩展到 70 多种,可由此观察实时同传在会议场景的落地进展。
Google DeepMind 发布文本转语音模型 Gemini 3.1 Flash TTS,在 Artificial Analysis TTS 榜单取得 1,211 的 Elo 分数,并新增音频标签,可用自然语言直接控制语速、语气与演绎方式。
推荐理由:官方同时给出音频标签用法与各平台开放入口,读者可据此判断可控语音生成在开发与企业场景的适用性。
Mistral AI 发布首个文本转语音模型 Voxtral TTS,参数量 4B,支持英、法、德、西、荷、葡、意、印地、阿拉伯 9 种语言及多种方言,主打自然情感表达与零样本跨语言音色适配。
推荐理由:官方给出 4B 参数量、9 种语言、$0.016/1k 字符定价与企业级语音流程对接,便于评估其替代现有 TTS 方案的成本和体验。
Mistral AI 发布 Voxtral Transcribe 2 系列语音转写模型,包含面向批量转写的 Voxtral Mini Transcribe V2 与面向实时场景的 Voxtral Realtime。
推荐理由:对比 GPT-4o mini Transcribe、Gemini 2.5 Flash 等主流语音转写 API,给出 FLEURS 词错率和每分钟价格的横向参照。
Mistral AI 为 Le Chat 推出多项新功能,包括 Deep Research 预览模式、基于 Voxtral 的语音模式、由 Magistral 推理模型驱动的多语言 Think 模式、Projects 文件夹整理,以及与 Black Forest Labs 合作的图像编辑。
推荐理由:Le Chat 一次性发布研究、语音、推理与图像编辑多项能力,读者可据此与同期同类助手的功能覆盖做横向对照。
Mistral 发布 Voxtral 语音理解模型,包含 24B 与 3B 两个版本,均以 Apache 2.0 协议开源,可下载或在 API 上调用。
推荐理由:原文在多语种语音基准上将 Voxtral 与 Whisper large-v3、ElevenLabs Scribe 等并列对照,给出开源方案在转写精度上的相对位置。