multimodal-art-projection/YuE

TL;DR

YuE2 是 HKUST、MAP 等机构联合推出的前沿音乐生成模型，通过“符号规划 + 音频合成”的两阶段架构实现了可编辑的完整歌曲生成。它在 WildSongBench 基准测试中取得了优于 Suno v5/v6 的 SongBench Avg 分数，同时支持零样本翻唱和基于 Agent 的结构化编辑。

它解决什么问题

当前主流音乐生成模型（如 Suno、Udio）多为黑盒端到端生成，用户难以对旋律走向、和弦进行或乐器编排进行精细控制。YuE2 旨在解决这一“可控性缺失”问题，通过引入显式的符号音乐表示（Symbolic Planning），让用户或 Agent 能在生成音频前审查和修改乐谱，从而实现从“随机采样”到“定向创作”的范式转变。

核心做法

YuE2 采用 AR-NAR Mixture-of-Transformers 骨干网络，结合 Flow Matching 进行声学潜在变量生成。 1. 符号规划（Symbolic Planning）：模型首先根据歌词和风格提示生成可编辑的 ABC 格式乐谱（包含旋律、和弦等），这是其核心创新点，提供了白盒化的创作接口。 2. 语义与声学生成：在符号层面，模型自回归地预测音乐 Token；随后通过 Flow Matching 生成声学潜在变量（Acoustic Latents），最后由 VAE 解码为立体声音频。 3. 统一架构：无论是从头创作、翻唱还是编辑，均使用同一检查点（Checkpoint），仅通过输入源和 cot (Chain of Thought) 参数控制行为模式。

作者

项目由 multimodal-art-projection 组织维护，该团队汇集了 HKUST（香港科技大学）、MAP、Tokenwave.AI、NYU、Stanford 等多所顶尖高校和研究机构的研究人员。YuE2 是 YuE (v1) 的迭代版本，延续了其在长文本音乐生成领域的积累。作者包括 Yizhi Li, Ruibin Yuan 等在该领域已有较多发表的学者。

社区反应

截至数据抓取时，项目拥有 7,301 Stars 和 825 Forks，在开源音乐生成领域属于高热度项目。Open Issues 仅 11 个，表明当前版本相对稳定或社区讨论主要集中在 Discord/论文层面。作为 Apache-2.0 许可的开源模型，其代码和权重（CC BY-NC）的可获得性极大地促进了社区复现和改进。

怎么上手

环境要求：Linux, Python 3.12, NVIDIA GPU (BF16 支持), 至少 24 GB VRAM。

git clone https://github.com/multimodal-art-projection/YuE.git
cd YuE
python3.12 -m venv .venv && source .venv/bin/activate
pip install --upgrade pip && pip install .
# 首次运行会自动从 HuggingFace 下载模型
python examples/generate.py --output outputs/first-song

Python API 调用示例：

from yue2 import YuE2Pipeline
with YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B", device="cuda") as pipe:
    song = pipe(style="pop, upbeat", lyrics="Your lyrics here...")

争议与局限

硬件门槛：官方明确标注需要 24GB VRAM，对于消费级显卡（如 RTX 3090/4090）虽可运行，但可能需优化显存或降低并发。
推理延迟：由于包含符号规划、语义生成和声学解码多个阶段，且支持 Best-of-8 采样以提升质量，单次生成的延迟显著高于端到端模型。
编辑的局部性：README 指出，编辑操作会重新生成完整录音，而非在原始波形上进行局部修补。这意味着即使只修改一个小节，整个音频的声学特征（如混响、音色一致性）可能需要重新适配。
License 限制：模型权重为 CC BY-NC，禁止商业用途，这对企业级应用构成直接障碍。