性能基准与核心优势

目前市面上最佳的开源音乐生成器是 UA 2,它仅需 4 GB VRAM 即可运行。根据部分基准测试数据,该模型在歌曲质量指数上表现惊人:不仅击败了其他开源模型如 Miniax Music 和 AEP 1.5,甚至超越了 Sunno V6。值得注意的是,它在基准测试中略逊于 Sunno V5(该版本在测试中被认为比 5.5 和 6 版音质更好),但作为开源工具,其综合性能已属顶尖。UA 2 的独特之处在于支持翻唱和编辑现有歌曲,这是目前其他开源方案难以企及的功能。

风格生成与多语言支持演示

UA 2 能够根据提示词和歌词生成多种风格的音乐。例如,一段烟雾缭绕的爵士乐演示展示了其氛围营造能力:歌词中描绘了“玻璃杯碰撞”、“昏暗灯光”和“霓虹微笑”,配合低沉的哼唱营造出静谧感。另一段 1930s Boogie Woogie 风格演示则充满了活力,歌词写道:“嘿约翰,你能听到吗?那种通过门的切分音”,节奏感强烈。此外,该工具支持多语言生成,包括西班牙语、俄语和韩语的示例均能准确呈现对应语言的韵律和情感色彩。

参考音频与风格迁移能力

UA 2 的核心亮点之一是支持输入参考音频进行风格迁移。用户可以保留原曲旋律但改变音乐风格,例如将《友谊万岁》(Old Lang Syne)改编为 Groovy Jazz Funk 风格。更具创意的是,它能将贝多芬的经典旋律转化为 戏剧性硬摇滚(Theatrical Hard Rock) 风格,并填入幽默歌词:“Where's my wallet?”。此外,它还能改变歌曲的情感基调,如将欢快的《铃儿响叮当》(Jingle Bells)改编为 小调版本,从而赋予经典曲目截然不同的忧郁氛围。这种灵活性使其成为生成高质量翻唱作品的有力工具。

AI 代理集成与乐谱底层逻辑

UA 2 可连接 GPT-4o、GLM 等 AI 代理,通过文本提示进行迭代式音乐编辑。例如,用户可要求保留旋律和歌词但增加爵士感(通过重新和声),若效果不佳,进一步指令移除吉他即可快速调整。其底层原理并非直接生成音频,而是先编写 可编辑的乐谱(包括人声和器乐的音符、调性和速度),再以此为基础生成完整歌曲。这种基于乐谱的结构赋予了用户极高的编辑自由度:可以轻松更改歌词、调整调性(如从大调到小调)或生成翻唱,这是其区别于其他端到端音频模型的关键技术路径。

本地部署环境准备与 Comfy UI 初始化

要在本地运行该 AI 音乐生成工具,推荐使用 Comfy UI 这一可视化界面平台。相较于 GitHub 上默认的 Python 代码运行方式,Comfy UI 无需编写复杂代码,更适合普通用户操作。首先需确保 Comfy UI 已更新至最新版本:在根目录下进入 update 文件夹,双击运行 update Comfy.bat 脚本完成更新后退出窗口。接着启动一个新的 Comfy UI 会话,从描述中的链接下载完整的 U2 Workflow JSON文件并保存至本地。将下载的 JSON 文件直接拖拽到 Comfy UI 界面中,即可自动加载预构建的工作流节点图,无需从零开始搭建流程。这种可视化操作方式极大地降低了本地部署的门槛。

模型文件下载与配置选择

加载工作流后,系统通常会提示缺少必要的模型文件。用户需前往指定页面下载两个核心组件:音频编码器(Audio Encoder)和检查点模型(Checkpoint)。其中,音频编码器文件大小为 1.4 GB,需存放于 Comfy UI 目录下的 models/audio_encoders 文件夹中。对于检查点模型,用户可根据显存大小选择不同版本:全精度 BF-16 版大小为 7.8 GB,适合显存充足的用户;若显存低于 4 GB,则可选择量化版,大小仅为 3.96 GB。作者因拥有足够显存(约 8 GB),选择了全精度版本,并将其存放于 models/checkpoints 目录。下载完成后,在 Comfy UI 中按 R 键刷新模型列表,并在 Load Checkpoint 节点下拉菜单中选择已下载的 BF-16 模型,即可消除所有报错信息。

文本生成音乐的工作流详解

该工作流主要包含两个部分:上方为纯文本转歌曲功能,下方支持输入参考音频进行翻唱。在文本生成模式下,用户需在顶部输入风格提示词(Style Prompt),描述流派、节奏或乐器等要素。例如,作者使用的示例为:"> future bass, modern, energetic, inspiring"(未来贝斯、现代、充满活力、鼓舞人心)。底部则输入包含元标签的歌词,如 verse(主歌)、chorus(副歌)等。点击 Generate ABC 节点后,系统会生成类似乐谱的符号表示,同时包含人声旋律和器乐旋律。随后,这些符号与风格提示词、歌词一同输入至生成节点。用户可在此设置歌曲最大时长,默认值为 360 秒(即 6 分钟),若歌词较短则生成相应时长的歌曲。

采样参数设置与最终解码优化

在 K Sampler 节点中,Seed(种子值)决定了歌曲的唯一性。固定 Seed(如默认值 7)可复现相同结果,若需不同版本则更改种子或设为随机。Steps(步数)影响生成质量与速度,默认 32 步在效率和质量间取得平衡。CFG Scale(提示词引导系数)控制 AI 对提示词的遵循程度,若生成结果偏离风格或歌词错误,可适当调高此值。Sampler 和 Uner 保持默认即可。最后一步是解码(Decoding),作者指出:"> if your GPU has enough VRAM, so I would assume like over 12 GB of VRAM, then you can just use this regular decode method"。由于作者显存超过 12 GB,因此连接了常规解码节点以提升速度;若显存不足则应使用分块(Tiled)版本。完成所有连接后,点击 Run 即可开始生成歌曲。

文本转音乐的基础操作与时长控制

作者使用配备 RTX 5000(16 GB VRAM)的笔记本电脑进行演示,生成一首歌曲仅需2分多钟。在操作界面中,用户需输入风格提示词(Style Prompt)和歌词。生成的音频示例展示了从旋律铺垫到副歌高潮的完整结构,系统能够根据输入内容自动生成较长的音乐片段。值得注意的是,作者指出如果生成的时长超出预期,应调整最大持续时间(Max Duration)参数以匹配歌词长度。界面中还提供了ABC记谱法的预览功能,直观展示生成的人声与器乐音符。这一流程展示了该工具在文本到音乐生成方面的核心能力,无需复杂配置即可快速产出成品。

结论

UA2凭借仅4GB显存的低门槛、超越多数开源模型及Sunno V6的基准音质,以及支持翻唱和乐谱级编辑的独特架构,确立了本地AI音乐生成的顶尖地位。其核心优势在于通过GPT-4o等代理实现基于ABC记谱法的迭代式精细控制,允许用户自由调整调性、和声与乐器配置。

然而,该工具对显存有一定要求:全精度模型需约8GB,常规解码建议12GB以上。尽管生成速度较快(RTX 5000下约2分钟),但显存不足时需依赖量化模型或分块解码。综合来看,UA2适合追求高自由度编辑、具备基础硬件条件且希望摆脱云端限制的专业用户或进阶创作者,是平衡性能与可控性的强力本地解决方案。