模型背景与本地化愿景

本期节目聚焦于当前视频生成领域的顶尖模型 Seedance 2.0。博主表示,虽然该模型目前主要运行在云端,但期待未来能在本地部署此类高性能AI。博主展示了官方演示片段,包括第一人称视角的超级跑车追逐、击剑动作展示以及巴士场景。这些演示画面具有电影级的质感,引发了博主对“这是否真实”以及“我们能否复现这种效果”的思考。Seedance 2.0的核心优势在于其多模态能力,能够同时处理音频和视频生成,确保输出内容的连贯性。博主指出,用户只需输入一张参考图像并编写提示词即可生成专业视频,这种低门槛的操作方式使其适用于日常创作。

"I'm excited to try this guy out because you know it's in the cloud today, but tomorrow next year hopefully we'll be able to run this stuff locally."

实验设计与提示词优化策略

为了验证Seedance 2.0的实际表现,博主设计了一组对比实验。首先,他选择了一个具有挑战性的提示词主题:机器人工厂中展示类人动作及武术表演的场景。博主最初计划使用1080p分辨率,但为了节省积分并加快测试速度,最终决定在部分生成中使用720p。实验的核心变量在于提示词的来源:博主将原始的人类手写提示词分别输入给两个不同的AI模型进行优化。第一个是MiMo V2.5 Pro,这是一个拥有 1万亿参数 的大模型;第二个是社区目前更受青睐的 Qwen(通义千问)27B 模型。通过让这两个不同规模的AI重写提示词,博主旨在测试哪种生成的脚本能引导出更好的视频效果。

"I'm going to do a little bit of creativity to see if we can add to the prompt. So, I got influencer over here... Can you make this prompt better?"

多模态生成流程与平台特性

博主在 Higgsfield AI 平台上执行了具体的生成操作。该平台作为云服务,提供图像、视频和音频生成的集成环境,并允许用户创建AI角色及营销工作室内容。博主特别提到平台的一个实用功能:用户可以点击喜欢的示例视频,查看其底层提示词结构。博主展示了一个7秒的视频案例,虽然有人称之为“垃圾内容(slop)”,但其中包含了清晰的艺术指导逻辑。通过复制并修改这些详细提示词,用户可以快速获得高质量输出。在生成过程中,系统会对内容进行合规性检查以确保安全性。博主同时启动了多个并行任务:包括使用原始人类提示词、经过Qwen优化的提示词,以及基于AI生成图像作为参考的混合模式。

"You can copy that, base it, and change your kind of prompt and go with it. So, that's just something that's cool about this platform."

生成结果对比:人类提示词 vs AI优化版

当第一批视频生成完成后,博主对原始人类提示词生成的结果进行了评估。尽管画面质量精美且充满美感,但博主指出其风格偏向 CGI卡通化,而非他期望的写实风格。这主要是因为原始提示词中缺少了诸如“照片级真实感”等关键标签。相比之下,经过AI优化的提示词(如MiMo生成的版本)包含了“电影感”、“高科技工厂”等更具体的描述。博主认为,虽然MiMo生成的视频动作流畅且技术先进,但其场景显得过于通用和机械化。最终,博主将人类手写提示词生成的视频评为第一名,尽管它略显卡通化;而 Qwen 27B优化的版本被评为第二名。这一结果出乎意料,因为通常人们会认为更大参数的模型能写出更好的脚本。

"I think number one is the human one, even though it looks a bit cartoonish. Number two, Quinny Q 2027B destroyed the one trillion parameter model..."

图像参考对视频真实感的关键作用

在等待其他生成任务完成时,博主将原始的人类提示词输入到一个图像生成器中,并意外获得了一张视觉效果极佳的参考图。博主随后将这张AI生成的图像作为视觉基准(Image Reference),结合基础提示词在Seedance 2.0中进行了新的视频生成。当该任务完成时,博主立即将其判定为最佳结果。原因在于,引入图像参考后,视频获得了其他纯文本生成所缺乏的 照片级真实感(Photo Realism)。尽管画面中仍保留了一些卡通元素,但整体质感和光影效果显著优于纯文本驱动的版本。这一实验有力地证明了在视频生成工作流中,提供图像参考能极大提升提示词的执行效果和最终输出的视觉保真度。

"That's definitely the best one so far because like that image as a base reference, it had that photo realism that the other ones seem to lack."

结论

本次测试最终表明,在Seedance 2.0的使用中,提示词的来源和辅助参考物对生成质量有决定性影响。尽管1万亿参数的MiMo Pro在理论能力上占优,但在实际视频生成的脚本优化中,其表现反而不如27B参数的Qwen模型以及经过精心调整的人类手写提示词。更关键的发现是,结合AI生成的图像作为参考输入能够显著提升视频的真实感和艺术指导水平。因此,对于创作者而言,单纯依赖大语言模型重写提示词并非最优解;构建包含图像参考的多模态输入工作流,并注重提示词中关于视觉风格(如写实vs卡通)的明确界定,才是获得高质量视频生成的核心策略。