AI 最薄弱的环节仍然是广角镜头和细节丰富的画面。如果你在720p分辨率下生成,而画面中有很多细节,图像会被缩小变小。然后当你提升分辨率时,它并不一定知道那是什么情况,有时你根本得不到清晰的细节。

大家好,欢迎回到 Denoised Addie 节目。你好吗?我很好。我们也挺好的。这次有很多更新,伙计。很多东西已经发布或即将发布。很多新的小功能。不过这个是大动作:Quarter Key 2.0 发布了。是的,我们之前聊过 Quarter Key 1.0。我用过第一版,虽然需要一点调整,但真的很棒。它的功能是你给它绿幕或蓝幕素材,它就能从中抠像。

第一次尝试就做得很好了。新版更好。我在某处看到有人说提升了百倍,虽然是个奇怪的数字,但效果确实看起来非常好。我个人觉得你我都喜欢 YouTube 上的 Quarter Crew 频道。他们做得很棒。我以前实际上在艺术区工作,离他们的工作室走路就能到。所以我偶尔会在周围看到他们走来走去,这也很棒。

我认为这个 Key 背后有很多底层 AI 神经网络的东西,这是传统抠像工具(比如 Resolve)所不具备的。他们的视频很好地分解了演示片段,其中有一个我喜欢的片段:一个人拿着绿幕背景逐渐失焦。还有那杯水,太疯狂了,它从中完美地抠出了图像。

这段视频深入探讨了他们如何训练 2.0 版本。基本上,1.0 是针对每一帧进行训练的:给你一帧画面,让它判断颜色和抠像区域。而 2.0 现在具有时间感知能力,它可以查看整个视频片段从而做出更好的判断。它能回溯过去也能展望未来,这才是正确的方法。

他们招募了一些神经网络专家等人员。这是一段非常棒的视频,深入介绍了他们如何构建和训练这个模型,并在本地硬件(如 Puget Systems 的本地硬件)上进行训练。这很酷,意味着不需要大型渲染农场或云计算网络。

我昨天实际上下载了它。因为我很好奇且价格可承受,所以我购买了50美元的许可证。我在我的 RTX 4090 显卡上运行了几个视频,速度真的很快。150帧的视频只花了一分钟左右处理完毕。

是 1080p 还是 4K?是 4K。而且它针对 CUDA 进行了优化,我猜它是需要 Nvidia GPU 的。不过它有 Mac 测试版,这很好。虽然你会在 Nvidia 显卡上获得更好的性能,但至少对于 Mac 用户来说有个选项是好事。

他们现在有一个独立应用程序。所以如果你不想在 Resolve、Premiere 或其他软件中使用插件,你可以直接下载这个独立应用。顺便澄清一下,第一版发布时是一个开源模型,你可以在自己的硬件上运行和下载,但你需要懂技术。然后社区构建了很多插件等东西。

2.0 版本仍然是免费的,权重等内容仍然免费开源供下载和使用。但他们也为几乎所有软件提供了很好的应用或插件界面,以及更友好的用户界面。一次性费用50美元。老实说,即使我要下载权重文件,我也可能愿意支付这笔钱,因为项目本身是一个非常合理的价格。

Resolve Studio 大约300美元,这简直是不二之选。实际上 Resolve Studio 现在打折到250美元左右。Blackmagic 正在搞促销。是的,这是给视频极客的圣诞礼物。一次性费用250美元,Resolve 确实很划算。无论如何,Quarter Key 也是非常好的交易,而且这些人做得对。

他们是为艺术家构建的,并考虑到专业 VFX 工作流。我还看到其他一些 VFX 艺术家使用这个走廊键(注:此处应为 Quarter Key,字幕识别错误),并对此发表评论。大多数评论都非常积极:“哦是的,这好多了。”

尤其是动态、疯狂的头发 stuff。皮肤高光和溢色问题我觉得他们也处理得很好。我们主要关注绿幕,它也适用于蓝幕。我猜 Quarter Key 3.0 会知道如何处理灰屏或无屏幕情况。

你真的很喜欢灰幕,Joey。那是你的颜色。你应该每天都穿灰色衬衫。每个人都以为我只是在我后面放了灰色的背景。灰幕是 AI 混合制作的吉祥物旗帜。我认为你说得对,上面贴一些胶带和标记之类的东西。

是的,需要有一些特征在上面。如果你有灰幕且没有得到最佳效果,选择是有限的。相比之下,你拍摄绿幕或蓝幕时 AI 可以处理它,而且还有 Quarter Key 以及传统的合成方法,有一套系统可以从中提取键控。

以防万一。绝对是的。如果你遇到问题……如果其他 guys,Nico 等人正在看这个视频,请在下一个版本中加入灰幕。我确定灰幕即将到来,或者只是无屏幕情况,就说杂乱的东西吧。

我是说,我确信他们在那里运行 Depth Anything 或某种疯狂的高性能深度模型。这就是为什么他们能得到非常干净的键控,对吧?尽管绿色颜色有变化(深绿、浅绿、无绿),他们仍然能很好地将其抠出。我认为因为他们的深度提取工作得非常好,也许他们在放大深度图然后重新引入?我不确定他们做了什么,但似乎很有效。

另外,如果它没有这样做,或者你有棘手的键控情况(比如照明不完美),我曾让 Claude 处理并对片段进行两遍处理。它有点像在一个部分过度调整设置以处理好头发,然后在另一个部分降低设置以获得更干净的脚部键控。如果代理(AI Agent)非常擅长……

你只需要描述你想做什么并提供视觉素材,它也能梳理出工作流程。我在想他们可能还做了一件事:收集了大量绿幕前和艺术家校正后的绿幕后数据。比如,艺术家会调整肤色、去除溢色以及高光等。如果你有足够的这种前后配对数据——假设有一百小时左右——你就可以对模型进行深度微调,效果会相当不错。我记得在第一版中他提到过这一点。

我认为他们制作了大量合成数据,比如使用MetaHuman生成绿幕背景下的角色,然后将其抠像处理作为训练数据。如果艺术家在去除绿色时融入了自己的艺术风格,这种风格就会保留在数据中并烙印到模型上。这是Awesome带来的另一个重大更新。

接下来聊聊代码吧?我在X平台上看到了一些非常复杂的3D世界,Leon Lynn构建了几个这样的场景。结果发现它们完全是用代码生成的。这就像是一个Blender MCP,你只需输入指令如“画一个指定大小的矩形”?不完全是这样。

整个Blender场景都是用代码渲染的,而不是通过传统建模软件控制。这一切都是基于3JS实现的,也就是在浏览器中用形状、着色器和代码来渲染3D内容。这与控制Blender无关,完全是纯Web端的实时运行。

我对3JS的历史了解不多,但推测过去使用它可能会比较笨拙。然而现在用智能体来操作如此细节的内容变得可行,这真令人惊叹。如果观众中有了解3JS或Web实时渲染技术的人,欢迎补充说明。

我甚至怀疑这里没有传统的顶点和着色器概念?这一切都依赖于3JS的功能。这是提示词,他也非常开放地分享了代码库。他提供了参考图片,模型就地生成了网格和纹理等所有内容。

提示词要求:“基于我附带的九张参考图,在3JS中构建一个超大规模的超高细节3D世界。规则:零外部资产,所有内容必须用代码生成,尽可能匹配参考图的细节。”

太不可思议了。他没有复制粘贴哪怕一棵树的所有内容,而是完全生成参考图后让AI去构建,并附带了代码。从细节视图来看,这似乎需要数小时才能完成。

其质量已经堪比2000年代的视频游戏水平,甚至让人想重制《迷雾》(Mist)。这提醒了我,仅凭九张图片加纯代码就能达到这种程度。较低保真度的版本已经催生了基于浏览器的3D布局编辑器,可用于在线粗略搭建场景、规划镜头并输入视频模型以获取摄像机控制。

但这将细节提升到了新高度,更像是一个有趣的实验。我很好奇这种细节还能进一步扩展到什么程度?我们不必追求照片级真实感,而是可以专注于风格化乐趣,将其作为未来游戏或RPG的游乐场。

我也好奇这能否在浏览器中实时运行?目前看来更像是预渲染生成的镜头,但如果能构建一个可探索的详细世界就好了。而且它是在笔记本GPU(如Radeon 780M)上运行的。想象一下如果在RTX 5090这样的显卡上进行实时构建会怎样?

他还做了另一个场景,是一个高山湖泊。这个没有使用3JS,而是纯Python和GLSL代码(我不确定具体是什么)。哦是的,图形着色语言。它在代码中构建着色器,可以说是传统着色器的数学等效物。

这让我想起2012年左右为了工作必须构建GLSL着色器来模拟毛发的经历。当时显然没有AI辅助,我们不得不聘请一位精通GLSL和数学的博士来编写模拟毛发的代码。因为毛发计算量巨大且依赖几何结构,所以很难实现。

那个GLSL着色器在没有使用任何几何体的情况下模拟了毛发效果,原理非常巧妙。它通过识别摄像机法线和角度,在正确的位置以特定层叠方式放置2D卡片来模拟毛发。随着摄像机视角变化,这些2D卡片会相应移动以维持视觉效果。

当时我们认为这是突破性的技术,甚至考虑申请专利,觉得这简直不可思议(笑声)。而现在这一切已经变得非常普及化,基本上就像云端自动运行一样简单。我想表达的观点是:以前有哪些编码技术或解决方案虽然有效但实施起来极其繁琐?

尽管基础代码已经存在,但现在智能体能解锁什么可能性呢?这将带来怎样的突破?没错。这里补充一点细微差别:这里面没有任何生成式内容,比如扩散模型、视频或图像生成。

这纯粹是LLM在进行编码,其能力远超普通人的水平,至少在媒体娱乐领域是这样。就像那些复杂的《我的世界》作品一样,有人花了两万小时建造了一个功能齐全的发条机械钟。

虽然肯定有人能花费大量时间用代码构建出类似“假雅典”的场景,但……

事实是,你知道的,这非常不切实际。但现在能做到这一点以及它所带来的可能性将会很有趣。“我简直惊呆了。”“而我最不可避免的问题就是,现在我们该拿它怎么办?”

不过我想展示的一件事是,他发布了很多数据,这也很不错。但那个Alpine模型,也就是刚才提到的……

你谈到的另一件事是API成本,总成本大约是略低于3000美元。“哦,天哪。”“而且这不便宜。”

所以这不是……他是用Claude工作的。我的意思是,显然一旦东西被提炼出来,新的东西出现后成本会降低,那就更便宜了。“是的。我在想这3000美元是从哪里来的。”

是储蓄账户里的钱,还是像工作收入?你知道的,因为那是一笔大数目。“或者我不知道他是否计算了这一点,因为显然所有订阅都是补贴的。所以我不确定,因为它说的是按API价格计算的成本。”

我猜这是“让我用我的套餐”。但如果没有套餐,需要作为企业运行这个,那么通过API购买相当于多少成本?我猜你用了像Max套餐这样的计划。

“是的,”因为Max套餐能获得的额度与实际API成本相比,是被严重补贴的。“一般来说,API成本的上涨速度比通货膨胀更快吗?你知道这个吗?”

“我不知道。我在想,比如2025年100小时的Claude使用时间是否比同模型在2026年的100小时更便宜。”

“如果你现在和以前使用相同的模型,我的意思是每次有新模型时,旧模型就会被弃用,然后通常会更便宜。”“好的。所以它们……好吧。也许如果你试图运行或者只是生命周期结束?”

“是的。”所以说,比如Opus 4.8在2025年100小时大概是100美元,假设是这样。对吧?那么Opus 5.5的100小时会是100美元吗?

“呃,等等。对不起,再说一遍。”Opus 4.8是100美元吗?5.5会是同样的价格吗?”“是的。”

“怀疑。我认为它们大致……我想 whatever 等效模型,我觉得价格基本保持不变,但我不百分之百确定。”

“我最近看到一篇新闻文章说,许多公司现在正在削减AI支出,因为事情已经变得完全失控了。”

“是的。你直接购买这些API成本,而且AI的API成本与找人来做相比并没有节省太多。”“是的。很有趣。这一切都在实时上演。”

好的,模型更新。Clink 4。“抱歉,我太激动了。(笑声)”“Clings很棒。”是的,“Cling 3很厉害,然后……”

有点安静了。Kansai 2出来了,某种程度上抢了不少风头,但现在4号版本发布了。“是的。”

而且花了一段时间。我记得当我们去年年底做Cling 03测试时,我记得你以前做过AI综述,给我戴上牛仔帽之类的,那看起来还行吧。对于当时的视频转视频模型来说,那是我认为第一个专门针对视频转视频构建的模型之一。

我想说它是那种……是的,多模态输入类型的。“因为那是它,然后1.2.2 Animate也是那种类型,然后是Google Omni,接着是C Dance 2.5,现在他们又回来了。”

“现在他们回来了。所以4号版本……”我的意思是说实话,在分辨率方面赶上C Dance 2 parody有点追赶的感觉。我认为这些还没有全部发布,或者至少在秋季API上没有,但它能够处理高达4K的输出。

它还将支持最高4K 10位HDR输出。“这很有趣。”“是的。”“好的。”

还有,看那个宽高比21:9的电影级画幅。“这很难做到。”双声道立体声输出。我有点好奇那是否解锁了什么,或者这意味着什么。“这个已经有了Netflix就绪认证(笑声),也就是Netflix批准。”

在输入方面,你会看到类似Kansai的内容。10张图像输入,视频输入最多5个视频,总时长最长30秒,我认为这与Kansai接受的差不多。音频输入,你可以提供声音参考……

所以用于角色说话?你知道的,我很想看看。因为Cling也有一个单独的特定模型Motion Transfer,专门设计用于接收人类表演输入并将其映射到AI角色上。但它……

我想你现在可以用这些模型做类似的事情。但我觉得那个模型之所以好,是因为它只做这一件事,而且做得非常好。我在想他们是否会做另一个版本的模型,或者将这个功能整合到这个版本中?

“它现在在Foul上发布了吗?”Cling 4。“Cling 4发布了。”“我在这段录音结束后立即测试。”

我还要说,我们在比较时……它肯定在功能上与Seed Dance相当。但主要的是定价,而且便宜得多。“太疯狂了。”

好的,让我们看看。所以你在看……“这是720p音频每秒的成本,这是在Foul上显示的。”而且Foul的Kansai费率与其他地方相比相当高,但这只是一个很好的基准。

Cling 4.0大约每秒15美分(15秒),而Kansai 2.0大约是30美分,Canshi 2.5是47美分。是的,我的意思是看总数……你以一半的价格获得30秒的1080p视频,而你知道……

所以这实际上是Cense 2.5成本的四分之一。“不,这一列是最大值。这只是最大分辨率的最大设置。”

“哦,我在看10秒的那一列。”所以如果你看……”“哦,10好的。是的,10秒那一列是10秒时的成本。”

所以Cling 4大约50美分(对于10秒钟)……然后它是Kanshi 2的一半,而且大约是C Dance 2.5的三分之一。“CS 2.5的三分之一。”

“他们是怎么做到的?我的意思是他们在亏本吗?你认为呢,还是只是一个更好的模型?”或者我不知道。是的。“他们只是想办法用更少的计算量或成本获得质量吗?”

“你看到了吗?是华为吗?Huawei现在正在构建 rival Nvidia GPU的数据中心级GPU,神经处理单元。是的。”所以他们真的是为了进入数据中心而设计的……

“好的。”显然,对于一家中国AI公司来说,购买华为GPU并将其放入中国的数据中心比购买Nvidia GPU并尝试在其他地方使用推理要便宜得多。所以可能有什么事情正在发生……

……我们并不知情,相信以后我们会了解到的。>> 是的。而且确实如此,他们怎么能以这样的价格提供这种质量呢?我只希望为了地球好,我们能迎来更先进、更高效模型。毕竟我们不能让一个视频生成占用五块显卡十分钟之类,这对单个视频来说算力消耗太大了。所以我希望效率和各项优化能尽快到来。我认为这会发生,因为回到你关于AI成本的评论,以及公司削减或回归理性看待AI成本的情况。同时,AI公司也需要找到真正让这一切变得合理的方法——[清嗓子] 太贵了。我是说,我现在觉得一切……

为了达到最先进水平(SOTA),成本都很高,需要大量算力。但每次有新模型发布时,之前那些曾是顶级基准的旧模型虽然被取代了,却依然非常强大。随着新东西不断推出,它们的价格会越来越低。那么那些原本较便宜的模型呢?比如 Opus 5.5,也许一年后就……

甚至会被淘汰,因为虽然它不再包含那么多新功能,但它依然很好。一旦他们弄清楚如何让它更高效,Opus 5.5 最终也会变得更便宜。>> 是的,我几乎……我差不多把它看作汽车进化的方式。至少从60年代开始,高性能车——那些疯狂的 V8 和 V12 发动机……

非常耗油。所以从经济角度来看,拥有它们并不划算。而现在这些引擎能每加仑跑20到30英里了,所以每个人的车里都有 V8 或大引擎。我认为现在的 AI 模型资源消耗很大,因为它们是新事物,但我相信随着时间的推移,这个问题有望自行解决。这是一个经济问题……

所以如果 AI 要持续存在下去,它必须得到解决。>> 是的。我在看他们网站上发布的一些样本片段。老实说,这些并不是最好的例子。感觉仍然很……>> 合成感很强。是的,规模还没到那一步。而且 >> 我知道你是通过流媒体观看的……

所以你可能看不到我看到的最佳画质。特写看起来不错,AI 生成的特写真的很好。它在细节处理和近景拍摄方面表现出色。镜头拉远时,问题往往就出现了。>> 我是说,每次我看到合成人类的脸部,我总是想:天哪,我们在 Unreal Engine 和 Metahumans 上从未做到这一点。尽管我们努力尝试……

我们还是深陷恐怖谷效应中。>> 但 AI 正变得如此接近完全真实。 >> 是的,而且看起来我们观看的这个15秒片段……有点像动作场面,是一个长镜头(One-shot),这 >> 令人印象深刻。>> 呃,我是说……我认为最大的问题是它可能与 Cance 2 ……

持平。>> 是的, >> 便宜得多。>> 好的,既然今天发布了,我们做个测试吧?好吧,我会用 FAL ……

以及 Cance 跑几个……嗯,这个看起来像 Hex 的,但并不是。>> 哦,我喜欢手持镜头感,这是个不错的细节。噢,很好。 >> 实际上这个更好,因为我注意到 Cling 3 ……

很多时候手持镜头和摇摄会有非常奇怪的合成运动模糊,而这个摇摄肯定感觉……更像是自然的运动模糊。是的。Cling ……

总是有这种奇怪的 >> 我实际上在你之前展示的箭头例子中也注意到了这一点。箭头的运动模糊看起来相当不错。是的。 >> 是的,即使在……这里的通话中也体现出来了。我还想提另一件事,你听说过 NCM 或新架构模型吗? >> 没有。那是什么?>> 好的,你可以去搜一下。所以……

记得我常提到的 Yan Lun ……

以及 Jeppa,这是一种新型架构,不是 LLM。 >> 是的……新概念建模(Next Concept Modeling)。>> 新概念建模,没错。所以这是另一种正在出现的架构类型……

据说效率要高得多。所以你看到那些数据,生成文本速度快10到31倍……

训练所需的 token 少4到5倍。所以不仅……

训练更便宜,推理成本也更低。>> 它不是大型语言模型。它是使用层……

我不知道那是什么意思,但这是一种即将到来的技术,希望它能缓解 AI 资源密集的问题。>> 好的,酷。去看看吧。但这是否意味着……

我们说过它不是 LLM,但这是更多关于训练还是构建语言模型? >> 它是……它是一种语言模型。只是不像那样——它不是 Transformer ……

因为 LLM 就是那样的。所以这是一种新型架构。是的。 >> 好的,酷。有趣。Avoc ……

有趣的是……就像我们看到 Jev ……

是一种不同类型的模型一样。>> 是的,我稍微深入挖掘了一下 Jev ……

我能看到其在大规模应用中的用处。比如如果你有一百个或一千个 Jev 协同工作……

你可以围绕它构建非常复杂的逻辑,因为它是一个简单的门控机制。所以就像 >> 如果你看一张 Joey ……

的照片,Jeb 会说:那是成年男性,通过;那不是儿童,不通过。所以它只会做非常基础的事情……

不会像 VLM ……

或 LLM 那样复杂。 >> 不,不是那样的。但它的优势在于速度和成本。它极快且极其便宜。 >> 所以那种……如果你给 ChatB ……

一张照片问“这是什么”,它会消耗大量 token 来弄清楚。 >> 是的。>> 是的。>> 所以,我认为它在物联网……

以及不需要高处理能力的场景中将非常有用。 >> Mhm(嗯)。但也适用于模糊的非结构化数据。>> 是的。>> 就像……

这不是传统编码容易处理的简单通过/失败问题。 >> 确切地说。>> 好的,其他新更新。快速回顾一下。Ideog ……

有了他们的第一个矢量模型(Vector Model)。>> 哦,不错。终于有矢量模型了。哇。 >> 是的。实际上我以为他们之前就有……

但看来没有。>> 是的,不,我想以前你可以从像素空间转换到矢量空间作为……一种转换。所以……

你仍然是在像素空间中生成,但这看起来是原生矢量模型。所以它直接在矢量中生成。>> 那太好了。是的,我一直专注于……

图形设计 >> 图形方面。是的,当然。>> 嗯,所以……好的更新。当我试图……

一年前我曾折腾过这类东西,当时大家都在要求向量模型。我们确实实现了一些像素到矢量的转换效果,但结果非常糟糕,根本不可用。希望这次能解决这个问题。另一个更新文件包含一个经过后训练的自定义模型版本,他们基于 Flux 3 进行了后续训练以提升质量,我相信同时也提升了速度。于是他们得到了 Flux 3 Max。

是的,Flux 3 视频模型对吧?没错,就是那个 Flux 3 视频模型。其实 Flux 3 的表现并不差。这是经过后训练的模型,在他们的速度图表中显示,原版 Flux 3 生成大约需要两分钟,而他们的版本只需十秒。哇,这是巨大的飞跃啊!确实很快。

根据排名显示,质量也更高了。嗯……这真的很有趣,File 一直在做这样的事:获取这些模型并在此基础上制作自己的自定义版本。这确实很聪明,能让他们拥有独特的优势。看看这个腋下的污渍处理得不错,这是个贴心的细节。

我有问题想问:如果 File 版的 Flux 3 在速度和质量上都优于原版,为什么还有人会使用原版的 Flux?你可以下载开源权重的 Flux 并在自己的硬件上运行。我想他们可能也做了类似的事情,只是猜测这里涉及一些许可协议的问题。

比如如果你通过 File 平台运行,Black Forest Labs 可能会从中抽成。因为虽然你可以下载权重文件,但他们的许可条款通常类似于 LTX 模型:如果你生成的量在一定范围内可以免费使用;如果超过一定规模,就需要联系他们讨论许可事宜。我猜 Flux 也是类似的机制,虽然我不确定,但我认为 Black Forest Labs 应该会获得分成。

他们凭借开创性的模型表现确实不错。这是一个非常优秀的 AI 工作室,团队虽小但产品质量超出预期。百分之百同意,他们确实是用小团队做出了大成绩。

最后一个话题,感谢 Bite Plus 在录制前发布这个信息:Cance 2.5 的 4K 版本正在推出。这就像是现在的“劳斯莱斯”级别的产品,刚刚发布,大家都惊呼:“天哪。”

生成一次需要支付“劳斯莱斯”级别的昂贵费用。目前还没有公布具体定价,但 1080p 版本在 File 上生成十到十五秒的视频大约需要七美元。那么 4K 版本的价格大概是四倍,也就是二十到三十美元一次生成。

我们真正需要的是能在 720p 下高效工作的更好管道流程,然后当你确认效果满意时再将其放大。是的,但不是作为新的生成过程将所有细节锁定,而是通过其他方式实现。我下次可以演示这个工作流,我们发现了一种相当不错的方法:使用深度图。

如果你有原始素材,可以将其转换为深度图,然后将该深度图加上你的原始参考图像输入到 4K 输出中。根据镜头不同,你会得到相当一致且高质量的 4K 结果,同时看起来仍然像你的原始片段。

所以这个 4K 是基于 720p 的深度图进行条件生成的吗?我的问题是,你是如何实现种子锁定从而获得完全相同的结果的?我试过这些模型,也许通过调整种子会有所改善。但我尝试过:如果在 720p 下运行一个种子,然后在 4K 上使用完全相同的种子和输入……

结果仍然不同。是的,因为对于每一个 720p 像素,模型需要填充八个或十个甚至更多的 4K 像素。所以这对它来说本质上是一个不同的问题,需要解决的内容完全不同。

确实如此。这意味着超分辨率放大算法作为后期处理步骤是有意义的,对吧?你先在 720p 下完成所有工作以获得正确的内容,然后再决定进行放大。但为什么还要用 Cance 2.5 的 4K 功能来随意尝试呢?那成本非常高昂,是非常昂贵的实验。

我在网上看到有些人坚持一种工作流:严格在 720p 下工作和生成,然后使用 Topaz 或其他超分辨率模型来完成最终效果。我认为这确实有优势。但这取决于镜头,AI 最薄弱的环节仍然是包含大量细节的广角镜头。

如果你在 720p 下生成一个有很多细节的镜头,画面会被缩小变小。然后当你进行超分辨率放大时,算法并不一定知道那些细节原本是什么样子,有时你根本无法获得清晰的细节。因此我认为纯粹生成 4K 的最佳用例是那些非常详细的镜头,比如人群、有很多线条的建筑等容易变得嘈杂和混乱的内容。

就像如果你有一个 1970年代纽约市的广角定场镜头,街上有很多行人走过,出租车穿梭其中……那些背景里的人身上的像素点。没错。如果你在 720p 下生成然后尝试放大,它并不总是知道那些像素应该是什么样子。

如果你纯粹提供 4K 的参考输入图像,并且所有输入都是 4K,然后输出也是 4K……我认为你会得到比单纯放大更好的结果。不,你绝对是在进行超分辨率处理。我不认为纯粹在 4K 下生成有任何好处,除非……

是的,所以就像你只在需要时才拉动这个杠杆一样。把它作为备用方案放在口袋里是很好的选择。确实如此,这也有一点像是在炫耀实力:“看我们,我们有 4K。”“你有 4K 吗?我们有!”

我们会给你整个数据中心来渲染你的片段,因为生成 Cance 2.5 的 4K 视频需要巨大的算力。好吧,无论如何这都是进步,让我们看看它会发展到什么程度。我们会拭目以待的。

感谢大家收听我们在 dinoispodcast.com 上讨论的所有内容。如果有任何不正确之处,那只是我们的个人观点,但我们非常希望在 YouTube 评论区听到你们的意见。请在评论中联系我们。

在整个节目中我们提出了一些问题,所以如果你在这方面是专家,我们希望听到你的声音并受到教育。是的,如果你是 Three.js 方面的专家,请在评论中告诉我们你的看法。(笑声)好了,谢谢大家,我们下期再见。