我们最近发布了两个最先进的视频生成器:Seed Dance 2.5 和 Minimax H3,它们的表现都令人难以置信地出色。在本视频中,我们将详细介绍它们所能做到的惊人效果,以及各自的优缺点、适用场景、成本等信息。让我们直接进入正题。这两个模型的一个共同优点是它们都是多模态的,这意味着你不仅可以向它们提供文本提示,还可以输入图片、视频和音频作为参考。目前,这两个模型已经具备了许多功能,例如将绿幕视频的背景替换掉,或者在现有视频中替换和添加角色。你还可以改变天气、光线和摄像机角度。对这些模型来说,这些都是轻而易举的事。
在本视频中,我将测试它们在更极端、更具挑战性且更实用的场景下的表现。首先我们来谈谈打斗场景和其他高动作场景。我将首先使用 Seed Dance 2.5,顺便提一下,我使用的是 BytePlus 推出的一个名为 Lumina 的平台。这是一个全栈创意平台,用于使用来自字节跳动及其他提供商的最新生成式模型。事实上,由于 Seed Dance 是多模态的,让我展示一个非常酷的例子:我可以输入一段粗糙的 3D 动画,加上两张角色参考图,然后给出提示。我会写道:“这两个角色正在一座古庙中打斗。请参考这段视频中的姿势和动作。”基本上就是这样。
由于原始的 3D 视频时长为 13 秒,我将在这里选择 13 秒。目前的最高分辨率为 720p,然后点击生成。这就是 Seed Dance 的结果。请注意,角色的一致性令人难以置信,物理效果和动作几乎完美无瑕。不过,中间有一处它决定让两个角色进行近距离面部对峙,尽管这在原始的 3D 视频中并不存在。我不确定它是从哪里获得这个灵感的,但在大多数情况下,它与动作非常连贯。
接下来,我将在 Minimax 中做同样的操作。我将输入完全相同的提示。3D 参考视频时长为 13.6 秒,所以我将设置为 14 秒。在分辨率选项中,目前只能选择 2K 分辨率。让我们点击创建。[喷鼻息声] [喷鼻息声] 好了,这就是我从 Minimax 得到的结果。正如你所见,Minimax 实际上并没有遵循 3D 参考。在这场打斗场景中,有很多噪点和伪影。因此,在高动作镜头或打斗场景方面,Seed Dance 是明显的赢家。顺便说一下,如果你想知道如何制作这些 3D 资产和动画,有很多免费资源可以使用。
其中之一叫做 Mixamo。你可以免费注册,它包含大量用于 3D 角色的预制动画,如行走、跑步、打斗、跳舞或其他特定动作。你可以将摄像机角度调整为你想要的任何角度,然后点击下载。另一个非常有帮助的开源平台叫做 Nvidia 的 Arty,我之前在我的频道上介绍过。在这里,你可以通过文本提示创建角色移动动画。不管怎样,回到视频模型。下一个测试,让我们看看它们在遵循指令方面的表现。
所以,我将使用我的经典提示:一个 3D 皮克斯公主被龙追逐,但我要在场景中添加大量不同的动作,看看它是否能完全遵循。所以,这将是 3D 皮克斯动画,一位穿着闪亮白色连衣裙的公主在森林中奔跑,逃离一只长着发光红眼的巨大巨龙。巨龙喷火,点燃了地面和她身后的植被。她躲在一棵倒下的树下面,而巨龙撞穿了它。一群发光的蓝鸟突然 swarm 到巨龙的脸上。公主抓住一根悬挂的藤蔓荡过去,落在一个废弃的金色浴缸里。浴缸带着她向下滑坡。她在浴缸撞向巨石前的一刻跳了出来。
到达河边后,她跳上漂浮的碎片过河。她从一扇破门的碎片跳到漂浮的木桶上,然后跳到一只困惑的巨大海龟背上。她回头看到巨龙在岸边愤怒地咆哮,因为它无法过河。好了,这真是一长串描述。现在,Seed Dance 我最喜欢的功能是它允许生成长达 30 秒的视频。所以,让我把它拖到 30 秒,然后按生成。
那几乎完美无瑕。它实际上能够遵循我在提示中指定的所有内容。接下来,让我为 MiniMax 做同样的操作。我将输入相同的提示,而对于 MiniMax,它只允许生成最多 15 秒。所以,让我们设置这个并按创建。令人惊讶的是,MiniMax 的生成也非常好。它设法将所有内容压缩在 15 秒内,并且大部分都符合我的提示。它只缺少一个细节,即公主在跳到漂浮木桶之前没有跳到破门的碎片上。而 Seed Dance 则正确捕捉了所有细节。不过,两个模型的表现仍然令人印象深刻。
接下来,这里有一个可能在现实生活中使用的流程,特别是对于动画工作室来说。让我们看看它是否能接受一段粗糙的草图动画,并生成一个完全上色、制作就绪的片段。所以,我要输入的是:“基于这段参考视频,制作一段逼真的、高动作的电影级视频,内容是一位日本术士与巨大的岩石傀儡生物战斗。确保使用参考视频中的确切姿势、动画和摄像机角度。”
现在,如果你将它与 Seed Dance 进行比较,请注意 Seed Dance 在着色和使其看起来像经过抛光的制作就绪动画方面做得更好。而对于 MiniMax,它仍然保留了一些原始草图的元素。因此,在这种情况下,我必须将这一分给 Seed Dance。接下来,这里是另一个实际用例。让我们尝试让它仅根据故事板和一张标志图片创建一个商业广告。所以,我会写道:“根据这个故事板和这个标志,为这款奢华手提包制作一个广告。包括英语旁白。”
“无限。一个关于永恒优雅的故事。携带无限。” 这就是 Seed Dance 的生成结果,相当不错。接下来,我将切换到 MiniMax 并输入相同的提示。“在一个转瞬即逝的世界里,真正的优雅依然存在。一种安静的自信。一段没有边界的旅程。无限。超越时间。” 老实说,两者都非常出色。对于这种用例,它们绝对是目前可用的最佳模型。很难在这里选出赢家,但请在评论区告诉我你的想法。好了,让我们再提升一个档次。我将上传一些简单的应用程序 UI 截图以及标志,并让它……
使用这些素材创建一个完整的动态图形商业广告。这是我的提示词。这里有一款名为“Artisan Crafts”的应用,它是一个让人们购买本地手工工艺品的市场。制作一个关于此的专业广告。包含一位英国女性的旁白。我正在测试它是否能处理不同的口音。风格应为扁平矢量动态图形。仅使用附件图片中的元素。
这是标志以及截图。从这些附件中提取元素作为灵感。这次,让我们将其设置为竖屏视频,然后按下生成。>> 发现每件工艺品背后的故事。手工制作,本地特色,独一无二。寻找[音乐]能讲述故事的宝藏。有目的地购物。下载 Artisan Crafts。
我还要将相同的提示词输入到 MiniMax 中,然后按下创建。>> 寻找独特的手工宝藏?欢迎来到 Artisan Crafts。发现本地工匠和精美收藏。轻松浏览独一无二的陶器、珠宝和纺织品。找到你的完美作品并安全结账。今天支持创作者。
两者非常相似。如果仔细看,有些字母有一些小错误,但除此之外,两者都相当不错。请在评论中告诉我你更喜欢哪一个。好吧,这是另一个实际用例。让我们看看它是否能制作音乐视频。由于这两个模型都是多模态的,你可以上传音频供其在生成时使用。
让我输入这个由开源音乐生成器 A-Step 生成的音轨。然后我要上传这张虚构的 K-pop 乐队的图片以及一些排版参考。这是我的提示词。用这首歌制作一个 MV。展示这些 K-pop 成员从这张图片中唱歌和跳舞。添加粗糙的颗粒故障效果和垃圾风格效果。保持剪辑快速,仅使用硬切。切点应在 3 秒内发生。根据歌曲的节奏进行剪辑。使用这张图片中的排版参考。
现在,因为这首歌是 15 秒,让我也将其拖动到 15 秒,然后按下创建。>> [音乐]
好吧,Minimax 的生成效果令人惊叹。歌曲与我的上传完全相同。动画和剪辑都与节奏同步。角色在跟着唱歌,排版看起来也很棒。这真的很令人印象深刻。接下来,我将使用 SeaArt Dance 2.5 运行相同的提示词。
[音乐]
[music]
现在,ByteDance 的生成有点奇怪。因此,在生成音乐视频或带有这些文字叠加效果的视频方面,我必须把这一票投给 Minimax。我对它的生成印象深刻。在我的频道上,我介绍了许多不同的 AI 模型和工具。这可能会让人不知所措。如果你可以在一个平台上使用所有这些模型怎么办?这就引出了 Chat LLM by Abacus AI,本视频赞助商。
Chat LLM 是一个一体化平台,让你可以使用最好的 AI 模型。你可以在聊天中无缝切换不同的模型。此外,你还可以使用所有顶级图像生成器以及顶级视频模型,全部集成在一个平台上。而且,一旦有新模型发布,他们通常很快就能将其添加到网站上。
此外,如果你在编写代码,他们有一个非常有用的代理功能,可以自主完成一些非常复杂的任务,如创建 PowerPoint、网站和研究简报。这将极大地提升你的生产力。最重要的是,你只需每月 10 美元即可访问所有这些 AI 模型、图像和视频生成器以及深度代理。这比单独购买每个工具要便宜得多。
务必在下面的描述中查看 Chat LLM。现在,两个模型都声称支持多种语言,让我们看看它们处理所有这些不同语言的能力如何。首先,我们有一位说中文的男士,然后是一位说印地语的印度女士,接着是一位说西班牙语的女士,还有德语、法语、阿拉伯语、韩语、俄语和波兰语。以下是两个模型的结果。
现在,我不懂大多数这些语言,所以请在下面的评论中告诉我是否有任何模型弄错了任何语言。你更喜欢哪一个?同样,两个模型已经可以处理大约 90% 的用例和场景。我接下来要测试的提示词正在真正挑战它们的极限。这些是目前没有任何现有视频模型能够正确完成的提示词。
所以,我的下一个提示词是:一位独奏小提琴家演奏维瓦尔第《四季》之《夏》第一乐章的独奏部分。这实际上是在测试 AI 的几件事。首先,它测试 AI 是否能准确生成有人拉小提琴的画面,包括他们如何运弓、手指按在哪里等。它还测试 AI 是否了解维瓦尔第的《夏》实际上听起来是什么样的。这是一个非常具有挑战性的提示词。
以下是 Seedance 的生成结果。
我得说,小提琴的动作和演奏看起来非常逼真。她运弓的方式以及手指的动作,实际上大多与她演奏的声音同步。然而,这并不是维瓦尔第的《夏》,所以它似乎没有内置这方面的知识。接下来,这是 Minimax 的生成结果。 >> [音乐]
[music] >> 我会说这个生成效果不太好。它并不真正理解小提琴应该如何演奏,特别是在最后他演奏那些非常快音符的时候,运弓动作和手指与音乐并不同步。此外,这听起来也不像维瓦尔第的《夏》。
接下来是另一个棘手的提示词,迄今为止没有任何 AI 视频模型能正确完成。一位教授在白板前解释勾股定理。>> 对于任何直角三角形,a 的平方加上 b 的平方等于 c 的平方。因此,a 的平方加上 b 的平方将始终等于 c 的平方,即斜边。
正如你所见,两个模型实际上都无法生成勾股定理的准确图表,或者带有所有边标注的直角三角形。不过,它们确实知道这个公式,所以两者都能让教授写出公式。这是另一个非常棘手的测试。动态图形突出显示世界地图上的秘鲁国家。旁白是一位带有印度口音的女性描述秘鲁的历史。
所以,这测试了多个方面。它测试 AI 是否能生成世界地图并突出显示秘鲁,同时测试它是否能生成带有印度口音的旁白,还测试它对秘鲁历史的了解。>> 传奇印加帝国的故乡,以及至今延续的丰富文化遗产。秘鲁,一个充满古代神秘的土地,曾是强大的印加帝国的摇篮。
所以,这对两个模型来说都是失败的。它们在生成世界地图方面表现不佳。不擅长突出显示秘鲁或生成动态图形风格的视频。好吧,所以
这些是我的一些初步测试。正如你所见,Seed Dance 在高动作镜头和打斗场景方面表现出色。事实上,没有任何视频模型在质量上能接近 Seed Dance。它在角色一致性和遵循指令方面也非常出色。如果你有任何 3D 动画或手绘动画,Seed Dance 是目前将此类内容转化为制作就绪内容的最佳模型。
另一方面,Mini Max 似乎在制作音乐视频或带有文字叠加效果的视频方面非常擅长。它实际上能够将视频与音乐很好地同步。两款模型在生成广告或仅根据故事板参考生成内容方面都表现出色。接下来,让我们比较一下各自的规格。
对于 Seed Dance 2.5,你可以生成所有这些宽高比的视频,目前你只能生成最高 720p 分辨率的视频,尽管他们计划在近期内推出 1080p 和 4K 分辨率。目前,我最喜欢的功能是它可以生成长达 30 秒的视频。如果这还不够,你实际上可以将生成的视频再次输入,以创建从该视频延伸的另一个 30 秒片段。因此,理论上,如果你不断循环这些扩展,你可以创建无限时长的片段。
正如我在演示中向你展示的,这是一个多模态模型,因此它可以接受文本、音频、图像和视频作为参考。事实上,它可以接受多达 50 个参考输入,包括 30 张图像、10 个视频片段和 10 个音频片段,用于单次处理。因此,它非常多功能。接下来,让我们看看它的成本。
至少在 Lumina 平台上,让我输入一个随机提示。让我们将其设置为 16:9 宽高比,时长 10 秒,这需要 460 个积分。如果我上传一张图像,成本不会改变,仍然是 460。但是,如果我上传一个视频,成本则增加到 570。现在,至少在 Lumina 上,你可以订阅这些计划,这将为你提供数千个积分作为开始。
如果你想充值,那么一千个积分大约需要 10 美元。因此,一个 10 秒的片段大约花费 5 到 6 美元,具体取决于你的输入参考。这绝对是市面上最昂贵的视频模型。让我们将其与 Minimax 进行比较。我可以生成所有这些不同宽高比的视频。我甚至无法选择 768p 分辨率。这默认只能生成 2K 分辨率,并且可以生成长达 15 秒的视频。
让我展示一下 10 秒片段的成本。同样,我只是输入一个随机提示。仅文本提示将花费 120 个积分。现在,如果我输入一张图像,成本也不会改变。但是,如果我输入参考视频,成本则会变为 252 个积分。你可以订阅这些 Minimax 计划,这将为你提供数千个积分作为开始,或者你也可以充值积分。
因此,同样地,一千个积分大约需要 10 美元。所以,一次视频生成大约花费 1 到 3 美元,具体取决于你输入的参考。因此,Minimax 的价格是 Seed Dance 2.5 的一半。现在,关于通过 API 使用模型,Seed Dance 尚未启用 API 访问。我认为他们将在下周推出。至于 Minimax,API 访问已经开放。
因此,对于 2K 分辨率的视频,每秒成本大约为 13 美分。情况是这样的。Minimax 的成本只有 Seed Dance 的一半,并且它可以生成 2K 分辨率的视频,而 Seed Dance 只能生成 720p,并且成本要高两倍。现在,非常酷的一点是,对于 Minimax H3,他们实际上正在将模型发布出来。因此,至少在录制此视频时,距离模型发布还有五个小时。
显然,使用量化版本,这甚至可以仅适配 RTX 3090。因此,你不需要像大型数据中心那样来运行它。你只需在中高端消费级 GPU 上运行它。非常令人兴奋,一旦发布,我肯定会为此做一个完整的安装教程。
以上就是我对 Seed Dance 2.5 和 Minimax H3 的总结。这两者绝对是目前你可以使用的最佳视频模型。它们各有优缺点,希望这个视频能让你对预期有一个很好的了解。一如既往,我会留意顶级 AI 新闻和工具与你分享。所以,如果你喜欢这个视频,记得点赞、分享、订阅,并期待更多内容。
此外,AI 世界每周都在发生很多事情。我不可能在 YouTube 频道上涵盖所有内容。因此,要真正跟上 AI 领域的所有动态,请务必订阅我的免费每周通讯。链接将在下方的描述中提供。感谢观看,我们下期再见。