TL;DR

OpenBMB 发布的 VoxCPM2 是一个基于 Diffusion Autoregressive 架构的 Tokenizer-Free TTS 模型，参数量仅 2B。它摒弃了传统的离散音频 Tokenizer（如 SoundStream），直接在 AudioVAE 的连续潜空间生成语音，实现了多语言合成、自然语言驱动的 Voice Design（声音设计）以及高保真克隆。

它解决什么问题

当前主流 TTS（如 VALL-E, CosyVoice）依赖离散音频 Tokenizer 将语音转化为符号序列，这会导致信息量化损失和“语义-声学”对齐的复杂性。VoxCPM2 旨在解决这一瓶颈，通过端到端的连续生成架构，在保持极低参数量（2B）的同时，实现 48kHz 的原生高保真输出。此外，它解决了多语言混合场景下需要显式指定 Language Tag 的繁琐问题。

核心做法

架构采用 LocEnc → TSLM (Text-to-Speech LM) → RALM (Reference Audio LM) → LocDiT 四阶段流水线： 1. Tokenizer-Free: 使用 AudioVAE V2 进行非对称的编码/解码，模型在连续潜变量空间操作。 2. Diffusion Autoregressive: 结合自回归建模的连贯性和扩散模型的生成质量，通过 CFM (Conditional Flow Matching) 进行去噪。 3. Voice Design: TSLM 能够理解自然语言描述（如“年轻女性、温柔”），无需参考音频即可合成特定音色。 4. Controllable Cloning: 支持通过 Reference Audio 克隆音色，并允许在生成过程中注入风格控制指令。

作者

OpenBMB (智谱 AI/MiniCPM 团队)。该团队在开源 LLM（如 MiniCPM, Qwen-Omni）领域有深厚积累。VoxCPM 系列是其向多模态（Omni-modal）领域扩展的重要成果，技术报告已发表于 arXiv 并被 ICLR 2026 接收（注：README 显示为 ICLR 2026，可能指代录用时间或预印本信息）。

社区反应

项目处于爆发期，GitHub Stars 37,367（截至 2025/2026 数据），Forks 4,246，曾登顶 GitHub Trending。作为 Apache-2.0 开源项目，其高 Star 数反映了社区对“小参数、高质量、全功能”TTS 模型的强烈需求。Open Issues (118) 相对 Star 数比例较低，表明核心功能稳定。

怎么上手

  • 环境: Python ≥3.10, PyTorch ≥2.5.0, CUDA ≥12.0。
  • 安装: pip install voxcpm
  • 最小复现: python from voxcpm import VoxCPM model = VoxCPM.from_pretrained("openbmb/VoxCPM2", load_denoiser=False) wav = model.generate(text="Hello, this is VoxCPM2.", cfg_value=2.0)
  • 推理加速: 支持 vLLM-Omni (OpenAI API) 和 Nano-vLLM，RTX 4090 上 RTF ~0.13。支持 llama.cpp-omni 进行端侧部署。

争议与局限

  1. 多语言均衡性: 虽然支持 30+ 种语言，但在 Minimax-MLS-test 等基准中，部分小语种（如阿拉伯语、捷克语）的 WER 显著高于英语/中文，且 SIM（相似度）表现不一。README 未提及具体的语言数据配比。
  2. 推理延迟: 尽管有加速方案，原生 PyTorch 实现 RTF ~0.3，相比专用离散模型（如 CosyVoice1.5 的 RTF ~0.15）仍有差距，主要源于 Diffusion 的去噪步骤。
  3. 克隆稳定性: “Ultimate Cloning”模式需要参考音频的 Transcript，若转录错误可能影响克隆效果。README 未提及对噪声鲁棒性的详细评估。

相关项目

  • CosyVoice3 — Alibaba 出品，同样支持多语言和 Voice Design，但基于离散 Tokenizer，参数规模更大（1.5B+），生态更成熟。
  • F5-TTS — 基于 Flow Matching 的开源 TTS，强调公平基准测试和零样本克隆，但在 Voice Design（无参考生成）功能上不如 VoxCPM2 完善。
  • FishAudio S2 — Fish Audio 的开源模型，在 Seed-TTS-eval 等基准中 WER/SIM 指标极高（尤其是英语），但主要作为闭源服务核心，开源完整性略逊。
  • Qwen3-TTS — 阿里通义千问系列的 TTS 模型，依托大语言模型背景，在复杂指令遵循和多轮对话场景有优势。
  • MegaTTS3 — 商汤/MiniMax 相关技术，闭源 SOTA 代表，在零样本克隆的自然度和长文本稳定性上仍是行业标杆。