大家好,我是小木头。先给大家听一段基于克隆声音生成的语音。听出来了吗?这个“行”字,念错了。

声音克隆现在遍地都是:数字人、AI播客、有声书,张口就是别人的或自己的个性化的音色。像不像早就不是问题,真正的问题是:你敢让他替你念一整段吗?

今天我把两家在过去一段时间自己常用的服务放在一起——MiniMax和ListenHub,用我自己的克隆声同一段话做一番对比。我会选择在过去视频制作中TTS最容易出错的三个地方:一个是断句,一个是多音字还有呢停顿。

先说结论吧。实际上如果我们期望的是在视频或音频的自动化生成中,稳定且准确的生成声音,那么在这次的克隆声音生成语音的测评中,我想没有真正的赢家。

先花一分钟认识一下今天的两位选手MiniMax。你可能更熟悉,它是国内头部的AI大模型公司稀宇科技,2021年底成立,2026年1月刚在香港上市。它走的是全模态自研的路子,文本、视频、语音、音乐都有自己的模型。你多半听过它的海螺AI那个做视频的,我们今天用的就是它语音这条线MiniMax Audio。

ListenHub相对小众一些,是一家叫MarsWave的团队做的。它的定位更垂直:把一段文字、一个链接、一份文件变成一期播客,核心能力就是把书面语念成自然的口语,顺带出字幕,还能克隆你自己的声音。做内容的朋友应该会更熟悉一些。

一个是大厂全家桶里的语音,一个是专攻内容音频的新产品。今天就让他们用同一段话,我们来看看生成效果究竟如何?

两家都得先创建一份API key。MiniMax在它的开放平台建,有个细节:它给的key里还带了一个GroupId,调用时要一起带上。我账号走的是minimax.io是国际站,接口域名是api.minimax.io。

ListenHub这边我上一期视频已经创建过了,在设置里的API key页面拷贝很直接。感兴趣的朋友呢,也可以点击视频上方的链接回到上一期的分享来了解更加具体的情况。先把我的声音克隆出来。

MiniMax这一步纯靠API,不用碰网页:先传一段声音样本拿到一个file ID,再调用克隆接口。给它起一个自定义的voice_id就克隆好了。

ListenHub更省事,克隆好的声音会直接出现在它的声音列表里,编号以voice-clone打头。跟公共音色走同一个接口。

生成之前先看看MiniMax的模型,它给了好几个档位:名字里带HD的追求质量,带Turbo的追求低延迟也更便宜。按字符计费,HD大约每百万字符100美元,Turbo每百万字符60美元。克隆本身不额外单收,用的时候按合成的数字来算。

而ListenHub这边接口更直接:克隆声道和公共音色一样,一个接口就出音频还顺带返回一份字幕。这对于做视频非常有用。

这几关为什么难呢?因为模型说到底是在猜下一个音,不是真正读懂这句话。所以一遇到要看上下文才能定的地方它就容易露馅。好现在就进入今天的对比环节,同一段话两家都用我的克隆声,一段一段听。为了公平呢都不做任何的人工标注看看它们原本的表现。

第一段分词的断句,这段的坑在于南京市长江大桥有时模型可能会将其切为南京市长、江大桥。

多音字:一句里塞了会计还没还清,行还是不行?尤其是“行还是不行”这个“行”字最容易念错。

接下来我们试试停顿,决定听感的常常不是音色是停顿:破折号、省略号该不该停?停多久?在哪里停?机器不一定拿捏得准。

再来一段多音字,这段专挑同一串字读音随上下文变的:比如一行字和一行人。同一个“行”字,读音完全不同。

最后来试试代码朗读,这也是程序员的日常吧:把shutil.copy、sys.argv这种代码念出来。点号下划线怎么读?两家都不好说,我们来听听看吧!

大家听完了这5轮的生成效果感觉如何呢?总的来说各有各的软肋,谁也没能全身而退。所以谁赢了呢?我的答案是没有真正的赢家:断句、多音字、停顿这几关两家可能都有栽的情况。

声音克隆现在还没有完美方案,而音频一旦生成真人也很难再回去一点点微调。那到底怎么选呢?根据最近的音频视频制作经验,我个人的决策是:追求省事还想要自带字幕选ListenHub;要能纠多音字、排停顿还想要挑模型选MiniMax。

而真正关键的长口播,我自己的做法还是老老实实的靠真人自己录更实在的是这些问题短期内靠现有模型还解决不了,可能只能等它们继续进化。等到那天我再来做一期吧!

好了我是小木头,我们下期见。