Fish Audio S2 Pro 模型架构与本地部署指南
本期视频重点评测 Fish Audio 推出的旗舰文本转语音模型 S2 Pro。该模型在 Hugging Face 上开源，其核心亮点在于支持细粒度的自然语言控制标签。用户可以在提示词中插入如“惊讶”、“现场感声音”等指令，模型能据此生成相应的情感表达。该架构采用双模式设计：包含一个 40 亿参数的慢速模式和 4 亿参数的超快速模式。在推理过程中，模型每步生成剩余的九个残差码本（residual codebooks），从而实现对停顿、重音、笑声和吸气等细节的精准控制。官方提供了 15,000 种不同的标签选项供用户实验，并支持多种语言。为了验证其性能，我们将分别测试本地运行和云端 API 两种场景。
"So, it has a slow mode, 4 billion parameters, and it also has a super fast mode at 400 million parameters."
在本地部署方面，模型权重虽开源但采用研究许可（Research License），主要供用户实验和测试。安装过程相对简单：首先从 GitHub 下载源码（支持 Zip 或 Git），然后创建 Python 环境并安装依赖。若使用 NVIDIA GPU，需选择对应的 CUDA 版本；若在 Mac 上运行，系统会自动调用图形处理器（GPU），无需仅依赖 CPU。安装完成后，需通过 Hugging Face 命令行下载模型权重至 checkpoints 文件夹。随后运行 python tools run web UI，即可在本地 127.0.0.1:7860 端口启动 Web 界面。通过活动监视器（Activity Monitor）确认，Mac 上的生成过程确实占用了 GPU 资源。
Web UI 交互体验与多说话人功能测试
在本地 Web UI 中，输入文本“Hello”并点击生成后，系统迅速输出了语音。随后测试添加 "excited"（兴奋） 标签重新生成，界面显示预估耗时约 9 秒，生成的语音明显带有兴奋情绪。进一步测试了“安静”和“耳语”标签，验证了其情感控制的多样性。除了基础文本生成，该模型还支持多轮说话人（Multi-turn speakers）功能。通过设置 Speaker 0，并组合使用“兴奋”、“低沉声音”、“大声说话”和“长停顿”等标签，将温度（Temperature）设为 1，模型能生成复杂的对话片段。
此外，系统支持参考音频（Reference Audio）输入。用户只需提供 5 到 10 秒的录音作为参考 ID，模型在生成新语音时即可克隆该音色。虽然本地运行需要一定时间处理这些复杂指令，但其功能完整性已得到验证。
"You can add in a reference audio... It only asks for 5 to 10 seconds."
云端 API 免费试用与实时生成性能对比
为了体验更快的推理速度，我们转向 Fish Audio 的云端服务。目前官方提供本月免费 API Key。其服务器端使用 H200 GPU，相比本地运行速度显著提升。在获取 API Key 后，通过终端导出环境变量并使用 curl 发起 HTTP 请求。测试模型指定为 S2.1 Pro Free Edition。
在云端 API 中，输入包含“excited”标签的提示词“I'm testing the new free cloud API”，系统实现了近乎即时（near instantaneous）的生成。移除“excited”标签后，生成的语音则回归平淡中性风格。这种速度差异表明云端 H200 集群在延迟控制上具有明显优势，甚至具备实现实时语音交互（real-time speech）的潜力。接下来将测试更复杂的多说话人动态情感提示词，以进一步评估云端 API 在处理高复杂度指令时的表现。
本地与云端生成速度的实测对比
在测试 Fish Audio S2 Pro 模型时，创作者详细记录了本地运行与云端 API 的性能差异。在 MacBook Pro 上执行包含复杂情感标签的文本生成任务时，由于风扇转速升高导致系统降频，本地处理耗时约 4 分钟。相比之下，使用云端服务执行完全相同的请求仅花费了 几秒钟。
"So, it took about 4 minutes when I did it locally on my Mac... whereas when we did it using the cloud that request... in a matter of seconds before it is done"
尽管云端速度优势显著，但本地部署允许用户在离线环境下进行无限次测试与调试。创作者指出，虽然当前 Mac 硬件性能受限导致速度较慢，但未来新机型或视频模式下的优化可能会改善这一状况。这种对比清晰地展示了 云端 API 在实时性上的绝对优势，而本地部署则更适合对隐私敏感或需要深度定制的非紧急场景。
情感标签解析能力的细微差异
在对比本地生成与云端生成的音频质量时，创作者发现两者在处理 情感标签 上存在细微差别。文本中定义了“兴奋”、“短暂停顿”和“笑声”等指令。云端版本成功还原了所有标签，包括那段标志性的笑声；而 本地生成则遗漏了“笑声”这一特定标签。
"So, the only thing I noticed is maybe the local generation missed out the laughing tag, whereas the online API seemed to get it"
尽管存在这一缺陷，本地模型在“呻吟”、“低声”和“兴奋”等其他情感表达上表现正常。创作者推测这很可能是代码中的一个 小 Bug，预计开发团队会很快修复。这一发现表明，虽然本地模型在核心功能上已接近云端水平，但在边缘案例的稳定性上仍有提升空间。
基于参考音频的声音克隆体验与资源获取
最后，创作者演示了 声音克隆（Voice Cloning） 功能。他使用自己之前录制的一段因麦克风接触颈部而变得模糊的音频作为参考样本，输入简单的问候语进行测试。系统利用 Deep Sync V4 Pro 技术，将原本糟糕的录音转化为清晰、专业的语音。
"It's more like my voice and that was super simple to use right there"
在速度方面，本地生成该克隆语音预计需要 80 秒，而云端 API 再次展现出极速响应。创作者提供了完整的资源获取路径：模型托管在 Hugging Face 的 S2 Pro Fish Audio，代码位于 GitHub 的 fish-audio/fish-speech，官方服务站点为 fish.audio。该平台支持多语言、游戏 NPC 对话等场景，是领先的文本转语音解决方案之一。
结论
Fish Audio S2 Pro在情感控制与声音克隆方面表现成熟，云端API凭借H200 GPU实现了秒级响应，具备实时交互潜力；而本地部署虽功能完整且隐私安全，但受限于硬件性能（如Mac需4分钟）及代码Bug导致的情感标签遗漏。总体而言，云端适合对延迟敏感的实时场景，本地则适用于离线调试与隐私敏感的非紧急任务。目前该模型在边缘案例稳定性上仍有提升空间，但核心功能已接近商用水平。