AI从不休眠,本周更是疯狂至极。首先,DeepSeek发布了具备视觉能力的新模型,随后阿里巴巴也推出了其最新最强的Quen模型。紧接着,Anthropic发布了Claude Fable 5.1,当时它是全球最佳模型。不久后,Google推出了其最新最强的Gemini 3.8 Flash模型,同样表现出色。随后几小时内,Meta发布了其最新最强的Muse Spark 1.3模型。但所有这些都被OpenAI发布的期待已久的GPT-6 Astra overshadowed,它彻底碾压了其他所有模型。

我们还看到了多个新的开源图像生成器和编辑器,以及让最佳开源视频模型Minimax实时运行的新方法。Google DeepMind发布了一些非常实用和实用的AI模型,还有一个令人印象深刻的像素级完美世界模型等。让我们直接进入正题。首先是一个名为H3 World的有趣项目,它基本上将最好的开源视频生成器Minimax H3变成了一个交互式游戏引擎。

这里有一些实际应用的例子,你可以给它一个提示词加上一些按键操作,它就能生成跟随这些按键操作的视频。这就像你在与这个世界互动或四处移动一样。巧妙之处在于它并没有构建全新的控制系统,而是将按键操作转换为简短的英文描述,并通过Minimax现有的语言理解层进行传递。它将每个命令连接到视频中动作应该发生的特定部分。

令人惊叹的是他们已经发布了这个项目,所以如果你点击顶部的GitHub链接并向下滚动一点,这里包含了如何在本地计算机上下载和运行此项目的所有说明。他们还发布了相关的训练脚本,这太棒了。如果你有兴趣进一步了解,我会在下方的描述中链接到主页。

你知道的,疯狂的是进步如此迅速。我们又有另一个非常相似的工具也能做同样的事情,这叫做Solar WM。它也将视频模型转换为实时交互世界。这个工具的好处是它可以持续生成超过一小时的一致性世界,而其他一些世界模型在几分钟后就开始崩溃。

更令人惊叹的是这个Solar WM框架可以与不同的视频模型配合使用,包括5B、114B、LTX 2.5以及当然目前的最佳视频模型Minimax H3。因此这种方法可以潜在地应用于非常不同的视频生成系统。值得一提的是他们用来训练此模型的数据集,团队组装了130万个总容量为25TB的视频片段,这非常庞大。

他们免费发布了所有内容,这太棒了。你可以点击这些按钮来实际探索并下载整个数据集以自行训练世界模型。此外,他们还发布了所有这些视频生成器的Solar WM模型。所以在顶部这里你可以点击这个检查点,它会带你到这个页面,这里包含了所有模型。

令人惊叹的是他们完全开源了这个项目,包括从训练数据集、数据处理管道、训练配方到模型等所有东西。所以如果你打算自行训练世界模型,这个项目可以给你提供大量见解。如果你对进一步了解感兴趣,我会在下方的描述中链接到主页。

此外,本周Google Research发布了一个开源的时间序列基础模型,名为Times FM3,这是一个用于预测数值时间序列数据中接下来会发生什么的零样本基础模型。比如零售、医疗、天气以及当然的股票图表等场景。这里的大升级在于它是多变量的,意味着它可以同时查看许多相关信号以做出预测。

这也非常小巧,仅有3.3亿参数,但它在超过一万亿个时间点的大规模数据集上进行了预训练。因此里面 packed 了大量的知识。但我认为最强大的功能是它是零样本的,这意味着你可以给它一个它从未见过的新的预测问题,你不需要重新训练模型,它仍然能够帮助你预测未来数据。

Google在各种基准测试中评估了新的Times FM3模型,如GIFTY ValvBench和Time等,在所有方面它都排名其他时间序列基础模型之首。令人惊叹的是这是开源的,所以如果你点击这个GitHub链接并向下滚动一点,这里包含了如何在本地计算机上下载和运行此项目的所有说明。

你可以在Hugging Face访问该模型,拥有3.3亿参数,它相当小巧,大小仅为1.32GB。因此应该能够适应大多数消费级设备。如果你对进一步了解感兴趣,我会在下方的描述中链接到主页。此外,本周Bite Dance发布了一个相当有趣的AI叫Lucida。

这基本上将一个混乱的真实房间转化为一个3D模拟,你可以进一步编辑它。工作原理如下:Lucida不创建单个巨大的融合3D扫描,而是查看房间的图片,识别各个物体然后为每个物体构建完整的3D资产并将这些物体放回正确的位置。所以这是一个场景的完整3D模型,其优势在于每个对象都是独立的网格你可以移动、调整大小或进一步编辑每个物体。

现在该系统分三步工作,它首先接收这些房间的图片然后解析场景中的不同对象接着生成这些对象的完整版本即使它们在原始图片中被部分遮挡。它然后使用这种 Gizmo 放置技术来基本上预测它们的原始位置并准确地将它们放回场景中。

目前他们只发布了关于此的技术论文,但如果你对进一步了解感兴趣,我会在下方的描述中链接到主页。此外,本周我们又有另一种开源方式来加速Minimax H3即世界上最好的开放视频模型并可能使其比实时运行更快。这叫做Video Deltaet,这是尝试让Minimax变得快得多而不破坏其视频质量。

问题在于注意力机制在完整的Minimax H3中,注意力占据了模型运行时间的85%左右。但Video Deltaet做的是它替换了……

这套系统采用混合架构,简单来说,邻近的视频帧仍使用昂贵但精确的注意力机制数据,因为细微细节和运动在此处至关重要。而来自远处帧的信息则通过成本更低的线性注意力来处理,这就像是对近距离内容投入昂贵的算力,而对远处的一切使用压缩记忆。结合其他优化方法,如优化的内核、并行计算以及八步蒸馏技术,你实际上能获得一个速度极快且质量损失微乎其微的模型。

从这些对比中可以看出,左侧是完整的 MiniMax H3 模型,中间是另一种名为 Fast H3 的开源实时方法。但正如所见,Fast H3 的质量下降较多。然而右侧新的 VDNH3 与完整的 MiniMax 模型极其相似。事实上,文档指出如果你拥有八块 Nvidia B200 GPU,它能在 11 秒内生成一段 14 秒的视频片段,实现超实时处理。

虽然大多数人家里并没有八块 B200 显卡,但在消费级 GPU 上,该方法仍能带来可观的速度提升且质量损失极小。目前模型和代码已发布,点击链接并向下滚动可查看本地运行指南。值得一提的是它支持 Comfy UI,用户 Saga Naki22 已构建自定义节点,允许你在 MiniMax Comfy workflow中直接运行 VDN H3。

在消费级 GPU 上,它无法实现实时运行,但速度提升幅度类似于 Turbo Laura,且质量要好得多。感兴趣的可查看描述栏中的链接。本周我们还看到一款新的开源图像生成与编辑工具,名为 Lada Image。以下是其文生图示例:它能生成极其逼真的照片,不仅能生成写实图片,还能制作包含大量文字和不同元素的海报与信息图表。

虽然已有 Creatu 等强大的开源文生图模型,但 Lada Image 的优势在于具备图像编辑功能。例如输入图片后,可更改角色表情或姿态,替换特定元素;还能修改文字或对照片进行上色。这是一个非常灵活的工具。该模型参数量仅为 60 亿,与 Z Image 类似。

官方发布了两个版本:基础模型主要用于训练或生成高质量图像,需要 50 个采样步骤;而 Turbo 模型速度极快,仅需四步。每个版本均提供 BF16 和 FP8变体。例如 Turbo FP8 版本的 Transformer模型仅约 6.7 GB,可适配大多数消费级显卡。页面包含本地下载运行指南。

本周早些时候,DeepSeek 发布了最新带视觉能力的模型 Deepseek V4 Flash Vision Experimental。在多数情况下,它甚至超越了之前的非视觉版 V4 Flash,并与 Claude Opus 4.8 持平。上周通过 API 发布后,本周已开源至 HuggingFace,可免费下载本地运行(免费)。

该模型参数量为 3050 亿,总大小约 168 GB。页面包含详细的下载与运行说明。此外,本周阿里巴巴升级了其最新最强模型 Qwen 3.8 Max。最新版本名为 max0902(代表 9月2日),架构不变,拥有 2.4 万亿参数和百万 token 上下文窗口。

他们在代码协同工作方面进行了进一步的后训练。尽管 Qwen 3.8 Max 几周前才发布,但新版本在所有基准测试中均显著超越旧版。在代理编程基准测试中提升明显,部分指标超过 10 个百分点;在其他代理和知识工作基准中也表现出色。

甚至在某些测试中超越了 Opus 5 及 GPT-5.6 Sonnet,令人印象深刻。目前该版本尚未开源,可通过 Qwen Cloud API 体验。感兴趣的可查看描述栏链接。本周早些时候 Anthropic 发布了其最新最强模型 Claude Opus 5.1,声称其在代理科学研宄、编程及知识工作方面表现优异。

根据表格显示,它不仅大幅超越之前的 Opus 5,也击败了当时 OpenAI 的最佳模型 GPT-4o。在独立排行榜上,Claude Opus 5.1 Max 得分最高,甚至超过 Opus 4 和 GPT-4o。然而其价格极其昂贵:任务成本是 GPT-4o Max 的 3.7 倍以上。

此外存在诸多问题:即使在最高套餐下,仅输入一两个简单提示词便耗尽了 5 小时额度。尽管声称擅长科学研宄,但在尝试深度医学提示时,模型拒绝使用 Opus 5.1,而是回退到较弱的 Opus 4。因此实际上无法用于科学研宄。

我此前已发布包含大量测试的 Opus 5.1 完整评测视频,此处不再赘述。感兴趣的可查看描述栏链接。如果你从事任何类型的内容创作……

务必查看Higsfield,本视频赞助商。Higsfield是一个专为创作者打造的一站式AI创作平台。无需在不同工具间跳转,Higsfield让你在一个地方就能访问全球领先的模型,包括1080p分辨率的最佳视频模型Cedance 2.5,以及最佳图像模型GBT Image 2。

Higsfield还内置了专为创意工作流设计的工具。例如,有“超级计算机”功能,本质上是一个用于内容创作的通用AI代理。你只需提供提示词,它就能协助整个流程:寻找灵感、创建产品概念、撰写品牌方向、生成视觉效果并制作发布视频。

还有Higsfield MCP,你可以将Higsfield的内容生成能力与GBT或Claude等AI代理连接。它们负责思考和规划,而Higsfield执行实际生成工作。此外还有营销工作室,制作营销内容时非常有用。粘贴产品链接或上传图片,它就能在一个工作流中生成多种广告格式,如用户生成内容视频、教程、开箱视频和产品评测等。

一个产品瞬间就能变成整个营销活动。此外还有电影工作室,专为端到端的AI电影制作流水线打造。如果你想要更多电影级控制力,这特别有用。与其输入提示词碰运气看视频效果如何,电影工作室让你能规划场景、控制摄像机角度、添加特定角色、复用地点并保持整个项目的一致性。

从创意到最终输出,Higsfield让你在创作过程中拥有更多控制权,使其成为最容易上手AI创作的平台之一。点击下方描述中的链接试用Higsfield。另外本周,谷歌发布了其最新且最强的模型Gemini 3.8 Flash和3.8 On。

这并非专业版,但表现远超其定位。特别是在金融、法律以及代理式终端编码方面,它甚至击败了Claude Opus 5和GPT-5.6 Soul,这对Flash模型来说相当令人印象深刻。Gemini系列素以多模态能力最强著称,非常擅长理解图像、视频和音频。

因此你可以看到这款新的3.8 Flash在理解科学图表方面也是最先进的,并且在“人类最后的考试”这一测试中展现了长视频理解能力。该测试考察AI模型在极其冷门领域的知识,看来这款新Flash也蕴含海量知识。它在生物信息学和生物学研究任务上也表现出色。

令人印象深刻的是,在考察模型在长周期代理式软件工程方面能力的Deep Suite基准测试中,Gemini 3.8 Flash排名跃居第一。难以置信吧?一款Flash模型竟然排名第一。看看其平均成本,远低于其他前沿模型。

从Deep SW得分与平均成本的对比来看,Gemini 3.8似乎是最具效率的。但有一个需要注意的地方:如果看输出令牌数,Gemini 3.8 Flash比其他模型使用的令牌多得多。在Artificial Analysis的排行榜上,Gemini 3.8 Flash排名靠后,仅略高于开源GLM-5.3和Kim 3,且落后于前沿的Claude和GPT模型。

然而其速度惊人。这些Gemini Flash型号以最快著称,可达每秒348个令牌,远超其他竞争对手。在每任务成本方面定价合理。在Arena排行榜上,Gemini 3.8 Flash目前排名第八。

有趣的是,在名为LiveBench的排行榜上,Gemini 3.8 Flash甚至未进入前十。它甚至比不过Gemini 3.7 Flash,排名非常靠后,这很令人惊讶。至少从这个排行榜看,3.8 Flash可能存在刷榜嫌疑。

话虽如此,如果你正在寻找一款超快模型用于代理式编码、多模态任务或金融法律及生物领域,Gemini 3.8是个不错的选择。你可以看到它能通过“氛围编码”制作出这款3D巫师游戏,或者基于真实数据集生成极其精确的剖面图和地形图。

我们还可以让它通过氛围编码制作这款3D机械键盘按键,并能爆炸分解成独立部件。他们还发布了一个专门用于防御性安全的Cyber变体版本。在漏洞发现方面,它甚至超越了GPT-5.6 Soul和Claude Mythos。

另一项基准测试展示了其在发现漏洞方面的能力。数据显示,这款Cyber模型在Chrome中发现的正确补丁数量是其他更大规模商业模型的2.6倍。目前这两个版本已通过API发布,以及其名为Anti-Gravity的编码工具和AI Studio、Android Studio。

对于消费者而言,3.8 Flash已面向付费订阅用户开放,可通过Gemini应用、Google搜索中的AI模式以及Google Sheets中的Gemini使用。如果你希望进一步了解,我会在描述中链接到主页面。

谷歌发布Gemini 3.8 Flash几小时后,Meta也推出了其最新最强模型Muskpark 1.3。你可以感受到在各类知识工作和代理编码基准测试中,技术加速非常明显。Muskpark 1.3也接近前沿水平。

在Deep Suite和SUI Atlas等某些情况下,它甚至击败了GPT-5.6 Soul。这里的重点在于让代理更擅长处理漫长杂乱的工作,而不仅仅是回答一个问题。你可以给它一个开放式目标,包含多个文件、工具和步骤。

它能自主工作,收集信息,规划一切,自我纠正并最终产出完成的工作成果。如图所示,它被设计用于处理跨各种平台的工作流。它还旨在更好地进行多任务处理。换言之,它能在同一对话中处理多个任务而不会混淆指令归属。

如图所示示例,Muskpark 1.3今日已上线...

Code,也就是他们的代理编码平台,以及元模型 API。如果你有兴趣进一步了解,我会在下方的描述中链接到主页。但关键在于,你可以暂时忘掉我之前提到的所有模型,因为就在 OpenAI 发布其最新、最强大的模型 GPT-6 Astra 之后不久,这简直是个绝对的巨兽。该模型的设计不仅是为了回答问题,更是为了处理更长、更复杂的现实世界任务。事实上,它可以直接使用你的电脑和光标。这里有一些它能做的离谱操作的例子。在这里,它能够把电路原理图转化为可制造的、可打印的电路板。或者这里有一个更疯狂的例子,它可以自动使用 Excel 做大量工作。例如,它

在 Excel 中制作了所有这些内容。当然,它在氛围编码游戏和其他 3D 环境方面也非常出色。例如,这里它正在使用 Unity 从头构建一个城市场景。这是另一个例子,我们可以让它创建五速汽车变速箱的 3D 模型(在 FreeCAD 中),然后使用 Blender 对齿轮的运动进行动画制作。这里还有一个例子,你可以轻松地让它直接在浏览器中填写税务表格或任何其他表单。以下是一些供你参考的离谱基准测试结果。所以在 Agent 最后的考试中,你可以看到这是世界上最好的模型。最大的改进在于计算机使用能力。所以,你可以看到这个 OS World 基准测试,它衡量 AI 操作真实电脑界面的能力。与其他

前沿模型相比,它的得分要高得多。这是另一个名为 Benchcad 的基准测试,它测试 AI 模型从不同视角重建 3D 对象的能力。正如你所见,GPT-6 Astra 再次处于领先地位。GPT-6 的另一个酷之处在于它能很好地转录音乐。所以,这里有一个基准测试显示它在将音频片段转化为乐谱方面的表现如何。正如你所见,GPT-6 Astra

表现得非常出色。它在设计方面也令人难以置信,甚至超过了最新的 Fable 5.1 和 Opus 5。这是另一个例子,GPT-6 可以在 Blender 中对整个房屋进行建模,并将其转化为 Unreal Engine 中的可步行场景。当然,它在代理编码方面也非常出色。从新的终端基准测试 4(Test an agent on complex terminal-based software engineering tasks)中可以看出,它测试代理在基于复杂终端的软件工程任务中的表现。你可以看到 GPT-6 Astra 再次处于领先地位。这里有一些科学基准测试。所以,GPQA Diamond 类似于其对研究生级别科学问题的知识储备。再次强调,这是前沿水平。Healthbench、Lifai Bench 也是如此,你懂的。GPT-6 Astra 真的非常棒。在网络安全方面,这也非常出色。所以,对于 Exploit Bench,

听好了。它实际上获得了 100% 的得分,彻底摧毁了 Exploit Gym 这个基准测试。它的性能也比之前的 GPT 模型更强大,效率也高得多。现在有趣的是,如果你查看这个 Artificial Analysis Intelligence Index(人工智能分析智能指数),那么 GPT-6 Astra 实际上排名第二,仍然落后于 Claude Fable 5,这有点意思。这里有些数据对不上,因为至少在我的经验中,GPT-6 的表现比 Fable 5.1 要好一些。而且 Muse Spark 不应该排在第四位。我的意思是,它感觉像是为了刷榜而优化的(benchmaxed)。所以也许他们需要重新校准这个智能指数。而在每个任务的成本方面,你可以看到 GPT-6 的定价相当合理,比那些“爪子”模型(clawed models)便宜得多,尽管它的智能水平相似。如果你查看 Live Bench 这个

另一个独立的排行榜,你可以看到有趣的是 GPT-6 Astra 排名第三,甚至排在 Fable 5.1 之后。Astra 最疯狂的成就之一是在 Arc AGI-3 基准测试中的得分。这基本上是将一个 AI 代理放入它从未见过的新游戏环境中。它必须弄清楚规则,并基本上击败游戏或进入下一关。对于人类来说,这

相当容易,但对于 AI 来说,这实际上极其困难,因为从技术上讲,它们在训练后无法学习。它们的模型权重是固定的。所以 AI 很难真正吸收新模式或信息并加以应用。这就是为什么你可以看到大多数前沿模型的得分都在 10% 以下的原因。但是对于 GPT-6 Astra,如果你将其思考力度调到最大

它的得分超过 60%。这是一个惊人的领先优势。如果为此添加适配器或框架,它甚至可以达到接近 100%。如果你查看这个 Frontier Math Airish(前沿数学)基准测试,它基本上是在看 AI 是否能解决一些极其困难且未解决的数学问题。然后你可以看到 GPT-6 Astra 是唯一一个得分超过 0% 的模型。所有其他前沿模型的得分为零。事实上,他们

也让 GPT-6 自主玩《宝可梦:红》游戏。在那时,你甚至可以通过 Twitch 直播观看它。正如预期的那样,Astra 用了最少的时间完成了游戏,比之前的模型要短得多。现在有趣的是,Astra High(高配版)实际上是最快的,甚至比 Astra Max 还要快。至少在录制这段视频时(周六),GPT-6 Astra

应该已经推广到所有付费计划中,包括 Plus 和 Pro 计划。如果你使用的是免费计划,目前还无法访问此功能。现在,今天是留给我每周新闻视频的日子,所以我得先发布那个视频,但我正在制作 GPT-6 Astra 的完整评测,包含一些令人难以置信的演示。所以我可能会在明天或后天发布它。目前,如果你有兴趣了解更多

我会在下方的描述中链接到这个主要的发布页面。此外,本周 Google DeepMind 继续发布一些非常有用的东西。所以他们刚刚发布了 Weather-NeXt 3,这是他们最新的预测天气的 AI 系统。这次的大更新在于它可以使用实时卫星数据做出更详细的预报。基本上,不再主要依赖可能已经几小时前的天气模拟

Weather-NeXt 可以直接观察最近的大气观测数据,并每小时生成一次全新的全球预报。细节也高得多。你可以看到之前的版本 Weather-NeXt 2 每 6 小时预测一次 25 公里网格的天气,而 Weather-NeXt 3 可以以低至 5 公里的分辨率预测地表温度和湿度等事物。

所以它的分辨率大约提高了五倍,更加清晰锐利。这对于山脉、海岸线、风暴和局部降雨等事物来说意义重大,因为这些地方的条件可能会在短距离内发生剧烈变化。你可以看到这个卫星降水基准测试中,与上一版本相比,新的 Weather-NeXt 3 提高了多达 60%。现在这个新模型还可以预测事物

特别适用于可再生能源,例如风速大致在风力涡轮机的高度或到达太阳能农场的光照量。这不仅仅是一个研究演示,Weather Next 3 已开始整合进 Google Search、Gemini App、Google Maps 以及其 API 和 Google Earth Engine,从本周开始。因此,您将看到降水预报的准确度提高多达 50%,以及其他改进。如果您想进一步了解,我会在下方的描述中链接到该主页。

除了 Weather Next 3,这里还有 Google Research 发布的另一个非常酷的项目。据称他们现在绘制了雄性果蝇完整的大脑和中枢神经系统图谱,看起来像这样。这是他们说有史以来最大的大脑布线图。你可以将其视为为果蝇的整个神经系统创建电路图。该图谱包含超过 16.6 万个神经元,通过大约 1.25 亿个突触连接。

而且不仅限于大脑,还包括腹神经索,这与我们脊髓类似。这意味着科学家可以开始追踪信号如何从果蝇身体的不同部位通过视觉、嗅觉和听觉等传入,然后穿过大脑,进而控制果蝇身体各种运动。在这里你可以看到雄性果蝇的大脑和中枢神经系统位于何处,只是这里红色的部分。这是一个单个神经元的示例。

创建此图谱需要将神经系统切成无数极薄的切片,然后用电子显微镜拍摄这些切片,再利用计算和 AI 将这些平面图像重建为三维神经元和连接。这需要大量的时间、算力和努力。目前果蝇有 16.6 万个神经元,这是我们迄今为止对神经系统最大的重建对比。人类拥有 860 亿个神经元。

因此,以我们目前的技术,还无法在如此高的精度下绘制人类大脑中所有 860 亿个神经元的图谱。但这只是开始,这只是雄性果蝇的研究人员还绘制了雌性果蝇的图谱。接下来他们还在研究绘制斑马鱼幼鱼的脑部图谱。这基本上是有史以来最完整的生物布线图之一,为神经科学家提供了对脑电路如何工作及影响行为的更完整理解。

这可能还会让我们了解如何实际设计 AI 系统和机器人。如果您想进一步了解,我会在下方的描述中链接到该主页。此外,本周由常被称为“AI 教母”的李飞飞创办的 World Labs 公司发布了一个名为 Atlas 的非常酷的世界模型。其工作原理如下:你可以给 Atlas 输入大量不同的信息,包括文本提示、图像、视频或 3D 数据。

它能将这些输入结合起来创建或重建一个 3D 世界。以下是 Atlas 运行的一些令人印象深刻的示例:你可以输入视频并手动绘制相机路径,Atlas 可以生成长达一分钟连贯的 1440p 视频,沿着该相机路径在场景中移动,实现像素级的精确控制。正如你所见,你可以在任何时刻冻结画面,一切看起来都非常连贯。

这与其他世界模型或 3D 重建模型不同,后者往往存在大量错误,尤其是在尝试从不同角度查看场景或像这样的高动作场景中。但在这里,一切都看起来非常连贯且忠实于原貌。或者这是另一个示例,它仅凭几张照片就能重建真实场景。这对于房地产 VR 等用途非常有用。

而且它不必仅输出平面视频,Atlas 还可以生成明确的 3D 几何结构,如点云或高斯泼溅。当然,凭借如此准确和忠实的渲染效果,你也可以用它为机器人生成模拟或合成训练数据。目前这只是一个预览版,但在此页面你可以通过填写表格申请 Atlas 的早期访问权限。

如果您想进一步了解,我会在下方的描述中链接到该主页。此外,本周我们又有另一个开源图像生成器和编辑器。事实上,它拥有极其出色的多模态理解能力。这被称为 Intern Luminina U2。首先,这里有一些文生图生成示例:你可以看到它可以以各种不同艺术风格生成图像,包括写实照片和油画。

但它也可以编辑图像,并且具有非常好的提示理解能力。例如,我们可以让它仅旋转橙色方块,它能很好地遵循这一指令。或者这是另一个供你参考的示例:与其他图像编辑器类似,这基本上可以编辑或删除图像的某些部分。但真正酷的部分在于这是一个扩散大语言模型:它不仅生成图像,还拥有惊人的世界理解能力。

你可以输入一张图片供其分析。例如,如果给它这张医学扫描图,它能检测到这是神经元迁移缺陷;或者给它这幅画,它能识别出艺术家。你甚至可以给它这张极其复杂的 ER 图,它能理解所有内容并回答你的问题。因此,请将其视为不仅是一个图像生成器,更是一个具备视觉能力的相当强大的语言模型。

在顶部如果你点击这个代码按钮并向下滚动一点,他们发布了如何在本地计算机上运行此模型的说明,但我们目前正等待模型上传至 HuggingFace。现在,如果您想了解更多,我会在下方的描述中链接到该主要发布页面。此外,本周我们有了一个新的 AI 叫 Vigle Animate:它基本上使用一帧编辑过的画面来替换视频片段中的人物。

你只需取一段视频,然后例如对第一帧使用图像编辑器将人物替换为其他内容,再将其输入该模型,它就能用这个新角色动画化整个视频。这样做的好处是:与其他动画迁移工具不同,此工具无需进行姿态估计或分割、面部追踪等任何复杂操作。它只需要这一新角色的一帧画面,就能自动将原角色的动作应用到新角色上。

这可以泛化到大量具有不同比例或艺术风格的角色上。它不必局限于写实的人类形象。从技术上讲,这实际上是对目前最好的开源视频模型 Minimax H3 进行的微调。他们基本上采用了其参考的视频 Transformer 模型,并对其进行训练和蒸馏,使其专门具备这种角色替换能力。

在此页面上,他们已经发布了相关模型。其中包括整个 Minimax 模型的完整微调版本,大小约为 66 GB;此外还发布了 Allora 模型,其大小仅为 2.5 GB。页面底部包含了所有关于如何下载和运行此模型的说明。如果您有兴趣进一步了解,我会在下方的描述中链接到该主页。

此外,本周 Runway 推出了 GLM Worlds 2。这基本上可以实时生成交互式虚拟世界,您可以在其中四处走动并执行某些操作。以下是一些实际运行的示例。您只需要提供一个初始图像或对世界的描述,它基本上就会将您置于该世界中。

这可以是第一人称视角或第三人称视角;它可以是任何角色或任何环境。然后,您可以输入诸如“向前走”之类的命令,或者改变天气,甚至控制场景中其他角色或对象的某些动作。它以 720p 分辨率和每秒 24 帧的速度持续输出生成的视频。

现在,我们已经拥有许多能够执行类似操作的世界模型,但这个模型的酷之处在于没有固定的最大持续时间。它可以无限期地持续下去。从技术术语来说,这是一个用于视频和音频的自回归扩散模型。

简单来说,它基本上会不断查看其已经生成的世界以预测下一部分的内容。这就是为什么它可以无缝地持续下去的原因。然而,不幸的是,这只是一个研究预览版;您需要填写此表格以联系关于 GLM Worlds 2 的事宜。

目前它尚未向公众开放使用,但如果您有兴趣进一步了解,我会在下方的描述中链接到该主页。以上就是本周 AI 领域的所有亮点。请在评论中告诉我您对这一切的看法,哪条新闻是您的最爱?

以及您最期待尝试哪个工具?一如既往,我会密切关注顶级 AI 新闻和工具并与大家分享。因此,如果您喜欢这个视频,请记得点赞、分享、订阅,并期待更多内容。此外,每周 AI 世界发生的事情实在太多。

我无法在我的 YouTube 频道上涵盖所有内容。因此,要真正跟上 AI 领域的所有动态,请务必订阅我的免费每周通讯。链接将在下方的描述中提供。感谢观看,我们下期再见。