AI从不睡觉,本周更是疯狂。我们迎来了大量新的“机器人女友”。这款AI能将任何人转化为4D动画角色,我们还拥有全新的开源图像生成器和编辑器。DeepSeek发布了带有视觉能力的新模型;此外还有一款极小的语音合成器,甚至能运行在低端硬件上。Bite Dance也推出了最新的开源视频编辑器。
这款新的开源模型能够实时创建交互式世界,你甚至可以通过提示词添加事件或特效。该AI可以提取任意视频并重建整个场景的3D模型。这款机器人现在打破了人类世界纪录,实现了最高跳跃和最快冲刺速度,简直快得不可思议。我们还看到了真正的Transformer机器人、能打网球的机器人等更多进展,让我们直接开始吧。感谢HubSpot对本视频的赞助。
首先登场的是名为Evoke的新AI视频模型,它完全开源,能在近乎实时的时间内生成交互式世界。输入是一张图片加上操纵杆移动指令,输出则是几乎即时响应这些操作的视频。你可以控制各种载具,比如这辆雪地摩托;也可以创造火山爆发等事件,甚至使用文本提示向视频中添加气球或极光。
Evoke展现了极强的场景理解能力,涵盖驾驶、皮划艇、潜水攀岩等多种情境。它类似于Genie 3,能根据你的想象生成任何场景,并支持多种艺术风格。鉴于其出色的世界理解能力,我认为一个极具价值的应用是创建用于训练机器人的视频素材。例如模拟在医院或护理中心的操作,或利用合成数据应对紧急救援、水下探索等复杂场景。
Evoke仅包含140亿参数,之所以能实现近乎实时的速度,是因为它只需三步即可生成视频。该模型已开源发布,页面代码按钮中包含了本地运行的所有说明。由于发布了训练各阶段的模型,最终模型大小约为57GB,需要高端显卡支持。该项目采用限制极少的Apache 2许可证,详情链接见描述区。
本周我们还介绍了名为4D Anyone的新AI。只需输入一段人物活动的视频,它就能将其转化为可从任意角度观看的4D重建模型。这本质上是一个动态3D模型,具体通过创建代表角色及其动作的4D高斯溅射来实现。该技术在多种不同人物和服装上都表现出色,其原理是先从源视频提取3D骨架。
随后利用该骨架引导生成角色的多个新视角,最终重建为4D高斯溅射模型。与Recamp Master或Trajectory Crafter等其他生成器相比,4D Anyone的细节和一致性都更胜一筹,是目前生成4D角色的最新技术前沿。页面代码按钮中同样提供了本地运行的说明,模型仅12GB,大多数中高端显卡即可运行。
本周还有一款名为SenseNova U 1.58B的开源图像生成器和编辑器,意义重大。它能生成超逼真的照片,也能轻松设计包含众多元素的海报和信息图。与Nano Banana和GBT Image类似,它也支持通过自然语言编辑图像:你可以更改海报文字、选择性修改特定元素,甚至直接在照片上标注指令并执行。
SenseNova的独特之处在于它能原生生成4K分辨率,并在像素空间中端到端地生成图像。大多数模型在简化的潜空间(Latent Space)中处理,最后需通过VAE解码回像素空间。而Nova完全跳过了这一步骤,无需编码器或解码器。虽然传统上因效率低而不这么做,但经过优化后它仍能生成4K画质。
该模型体积庞大,约50GB,需要高端显卡支持,希望未来会有量化或压缩版本以适应显存较低的设备。该项目同样采用Apache 2许可证,页面底部包含了本地运行的所有说明。
许可证,限制非常少。如果您有兴趣进一步阅读,我会在下方的描述中链接到该主页。此外,本周 Bite Dance 发布了他们新的开源多模态视频编辑器。它被称为 Bernini 2.0 版本。我在几周前提到过第一版。您基本上可以使用自然语言编辑任何现有视频。例如,我们可以向场景中添加两个角色并将色调改为更暖色,或者我们也可以移除视频中特定的角色或物体。我们还可以更改现有视频的相机视角或背景。此外,我们可以添加想要插入视频中的参考图像。例如,我们可以将直升机插入场景中。那是第一版,而本周他们发布了第二版。
再次强调,这是一个庞大的模型,仅模型本身就有 180 GB。更不用说您还需要 VAE、文本编码器等组件。因此,在您的本地设备上运行它祝您好运了。这也是为什么即使是第一版也没有真正引起开源社区的广泛关注。我认为这个模型可能生不逢时,因为我们要已经有了 Miniax H3 也能做到参考视频生成。但如果您有兴趣尝试第二版,我会在下方的描述中链接到该页面。此外,本周我们还有一组新的开源模型家族称为 Ornith 1.5。这是一件大事。它围绕着一个相当雄心勃勃的想法构建,即不再让人类不断为 AI 创建新的训练任务和数据。
相反,他们基本上创造了一个自我改进的循环:系统提出新问题并构建解决和验证这些问题所需的工具或脚手架。它还生成解决方案,然后使用这些结果作为强化学习数据来训练 AI 模型。这基本上是在创建一个闭环,让更强的 AI 为自己发明越来越难的挑战。因此,他们利用这个框架来训练这组新的开源模型 Ornith 1.5。它包括一个拥有 90 亿参数的密集模型,一个拥有 350 亿参数混合专家(MoE)的模型,以及最大的一个是拥有 3970 亿参数混合专家模型的。您可以看到对于最大模型而言,它在所有代理编码和知识工作基准测试中表现非常出色,例如 Terminal Bench、Deep Frontier Bench 等。
真正令人印象深刻的是 Ornith 1.5 仅拥有不到 4000 亿参数,但在所有这些不同的基准测试中甚至击败了规模大两倍的 GLM-5.2。它还非常接近闭源的 Opus 4.8,我们不知道确切大小,但我假设它超过一万亿参数。因此这个新模型取得了非常令人印象深刻的结果。现在,如果您查看中等大小的 350 亿参数模型,它再次处于最先进水平。它在大多数这些基准测试中甚至击败了 Qwen 3.6。但请注意,他们在这里有点挑拣数据,因为我们要已经有了 Qwen 3.8。
好的方面是他们已经发布了这个模型。因此,如果您点击 Hugging Face 页面,它包含所有这些模型。最大的一个大小为 794 GB,您需要堆叠多个加速器才能运行它。但最小的 9B 版本仅为 18.8 GB,因此应该能够适应大多数中高端 GPU。此外,他们还发布了 GGUF 格式。所以最小的 4-bit 版本小于 6 GB。因此这甚至可以适应低端 GPU,使其非常易于获取。所以如果您有兴趣在本地运行大型语言模型(LLM),除了 Qwen 3.8 之外,这里还有另一个不错的选择加入您的列表。如果您有兴趣进一步阅读,我会在下方的描述中链接到该主页。
此外,本周我们有一个新的超微型文本转语音生成器称为 Audio8TS。顾名思义,它非常小,仅有 0.1B(十亿)参数。和其他文本转语音生成器一样,它基本上允许您截取几秒钟某人的声音并将其克隆以说出任何您想要的内容。这里有一些演示示例。首先,这是原始声音:“房间现在很安静。深呼吸,闭上眼睛,让白天温柔地消逝。”让我们用这个声音读出这段文本:“在早上离开之前,记得关上窗户,检查炉灶,并在回家时重新打开它们。”
正如您听到的那样,听起来与原始声音非常相似。或者这里是另一个例子。这是参考语音:“你真的是我白天的阳光。和你在一起时,我感到更加温暖、更好和更安全,这种感觉太棒了。”让我们用那个声音读出这段文本:“我今天早点下班,所以我会去买些杂货,我们可以一起做晚饭。”这是多语言的,所以这里有一些不同语言示例。Internationalour. Jack. Buenos. All right.
如果这引起您的兴趣,他们已经发布了代码和模型。请注意所有内容的总大小仅为 1.7 GB。所以这非常小,可以适应大多数消费级设备。如果您向下滚动此 Hugging Face 页面,它包含所有关于如何在本地计算机上下载和运行它的说明。如果您有兴趣进一步阅读,我会在下方的描述中链接到该主页。您可能已经听到人们在谈论 OpenAI Codex,但如果您不太确定它实际上做什么或如何节省您在工作中的时间,那么 HubSpot 提供的这个免费资源“Codex Prompts that replace busy work will save you hours every week”将每周为您节省数小时。
Codex 不同于普通的 ChatGPT。它不仅仅是在浏览器中回答问题,而是可以直接与计算机上的文件一起工作,完成任务并将完成的输出保存回您的机器。而且您不需要是开发人员才能使用它。本指南包括五个复制粘贴提示,旨在围绕一些最重复且耗时的商业任务设计。第一个提示通过查看您的日历、电子邮件、消息和待办事项来创建每日工作简报。然后将所有内容组织为您的优先级、会议准备、需要回复的消息以及需要您关注的决策。
还有一个每周摘要提示,将整整一周零散的会议、文档、消息和产品更新转化为整洁的管理者就绪报告。我最喜欢的是技能创建提示。这允许您将曾经有效的工作流程转变为可重用的技能,这样您就可以再次运行相同的进程而无需从头解释一切。您可以使用下方的链接免费获取所有五个提示。此资源由本视频赞助商 HubSpot 制作。此外,本周我们有一个相当有趣的 AI 称为 Geo Weaver。这可以将普通视频转化为连贯的 3D
重建整个场景的挑战在于,处理长序列比仅从几帧进行重建要困难得多。这是因为人工智能可能会逐渐失去对尺度和相机位置的关注,导致重建的3D世界发生漂移。Geo Weaver试图解决这一问题。它首先将长视频分解为可管理的片段,并预测每个片段的深度和相机位置等信息。在推理过程中,它将这些片段逐渐拼接在一起并进行调整,直到整个序列达成一致且一致的3D世界。
该模型利用邻近帧、重叠视角以及视频中远距离部分之间的长距离匹配来保持一切对齐。结果是更准确的相机轨迹、更好的全局一致性和更清晰的点云。从所有基准测试分数可以看出,与其他竞争模型相比,它的平均错误率最低。目前他们只发布了技术论文,如果您有兴趣进一步阅读,我会在下方的描述中链接到主页。
本周我们还介绍了一个非常有趣的AI工具Quen VideoEedit。顾名思义,它可以根据文本提示编辑视频。这并不是Quinn推出的全新视频模型,而是利用现有的图像编辑器Quinn imageedit,并将其接入视频生成工作流。具体来说,他们使用了Alibaba的wand来实现这一功能。事实证明,你可以使用它来编辑现有视频。
基本上是利用Quinn imageedit逐帧编辑视频。因此,你可以使用自然语言对现有视频的任意部分进行编辑。值得高兴的是,他们已经发布了相关代码。点击代码按钮并向下滚动一点,这里包含了所有关于如何下载和运行该工具的说明。他们还发布了训练脚本。
由于模型相当庞大,总大小为41 GB,你需要高端GPU才能运行它。老实说,Miniax H3已经可以编辑现有视频了,所以我并不觉得使用这个工具有什么必要。但如果你有兴趣尝试,我会在描述中链接到主页。此外,本周在机器人新闻方面,Passini Tech发布了他们的下一代数据采集手套PX Cap Pro。
这款手套专为一个明确的任务而设计,即收集机器人可以真正学习的高质量手部数据。你只需戴上这款轻量级手套,它就能捕捉你在手部移动时的所有动作。它配备了一些覆盖指尖和手掌的触觉传感器,这些传感器非常灵敏,能够感知低至0.1牛顿的压力。
它还拥有一个广角腕部摄像头,记录手部移动和与物体交互的完整场景。此外,它还有精密的角度编码器,即使在磁干扰下也能极其准确地追踪关节角度。因此,如果你需要让机器人自动化某些精细任务,你可以佩戴这款手套,或让员工在完成任务时戴上它来收集数据以最终训练机器人。
它可以处理非常精细的任务,如系丝带、操作气球、包装盒子甚至实验室工作。本周我们还介绍了一个真正的Transformer机器人,不是那种大型语言模型(LLM)的Transformer,而是实际的机器人Transformer。中国公司Arc Shell Robotics展示了一款基本上可以在四种完全不同的形态之间切换的机器人。
其中一种形态是直立站立的双足人形机器人;另一种形态可以转变为四足动物,基本上用四条腿行走。在第三种形态中,它可以连接到飞行无人机上,通过空中运输到其他地方。至于即将推出的第四种形态,据称它将变为轮式结构。虽然这看起来相当可爱且有趣,但我不确定其实际效用或有效性如何。
如果设计出具有所有这些不同形态的机器人,那么故障点也会增多。这真的是一个好的权衡吗?我们还不确定。他们尚未发布该产品,但如果你有兴趣了解,这是Arc Shell Robotics的MXD1机器人。本周在中国举行的世界机器人大会上,最棒的部分是什么?我们有大量的“老婆”(动漫风格女性角色)演示。
首先登场的是名为Annie Wit Annie的机器人,她被编程演唱歌曲。你可以看到她的嘴唇与歌声同步,身体也能进行一些移动。但这一款看起来不太逼真。因此,我们还看到了来自Ubitech的演示。这款机器人看起来极其逼真。如你所见,她会眨眼并环顾四周,头部动作自然流畅,越来越真实。
这只是一个头部和躯干变体,他们还有全身变体。再次强调,这款看起来极其栩栩如生。以上就是来自优必选(Ubtech)的一些演示。在我的频道上,我经常提到猫娘角色,但如果那不是你喜欢的类型,也许你可以尝试精灵。在世界机器人大会上,另一家公司a headform也展示了他们的新款精灵仿生机器人Elf Schwan 2.0。
这款机器人拥有尖尖的精灵耳朵,装饰着精致的花卉饰品和优雅的碎花连衣裙。在逼真度、说话以及细微表情方面,我认为a headform的机器人目前是最好的。最棒的部分在于,以前a headform的演示只有头部和肩膀部分,但现在通过这款Elf Schwen 2.0,他们实际上赋予了它身体。
这是一个新的关节化身体,自由度得到了扩展。目前她只能做一些基本动作,但迟早我们会让她走路、跳舞或做其他事情。此外,在机器人大会上,我们还看到了DAX AI推出的巨型机器马Chi。这是一款专为崎岖地形设计的四足赛博马,你可以骑在上面。
X1版本的价格约为4万美元。他们还有一款轮式XS版本,价格约5.3万美元,旨在让人类穿越极其崎岖的地形,如陡坡、碎石、泥泞、雪地或冰面等。这台机器具有300公斤的载重能力,续航40公里,最高时速约10公里。
他们还有未在演示中展示的轮式版本,巡航速度可达每小时40公里。因此,除了人形机器人外,现在我们还有可以骑行的机器马。以上就是世界机器人大会的内容,但我们还……
北京即将举办世界人形机器人运动会,这是开幕式排练的画面。可以看到大量天隆机器人在跑道上列队行进,还有助推机器人、Galbot 机器人以及其他许多机器人也步入场景。这简直太疯狂了,就像是为机器人举办的奥运会。该活动即将开始,我将在下周更新比赛结果。
此外,本周 Uni Tree 预览了一款名为“超人”的新人形机器人,这令人惊叹。它能完成约 2 米的立定跳高,已超过人类男子立定跳高的世界纪录(1.8米)。其最高时速接近 12.7 米/秒,超过了人类最快短跑速度(仅 12.4 米/秒)。因此,这款机器人已经能超越世界上最快的短跑运动员。整机研发仅历时三个多月,仍有很大提升空间。
说到速度,这里有另一个“超人”机器人在跑道上冲刺的演示,你可以看到它快得离谱。有趣的是,由于设计速度过快,它实际上很难停下来。你看它在减速时非常吃力,最终撞上了墙壁。另一个例子中,它也无法有效减速,只能撞上障碍物以停止奔跑。在我看来这挺可爱的。
顺便说一句,能跑赢人类的机器人不止这一款。荣耀也展示了他们的“闪电”机器人演示,它迅速领先并完全跑赢了人类选手。此外还有另一款名为“天宫”的机器人,同样快得不可思议。这些都是热身视频,录制时人形机器人运动会尚未开始,但相比去年,这些机器人的速度有了巨大飞跃。
除了跳跃和奔跑,我们还看到一些人形机器人打网球的演示,这同样令人惊叹。第一个演示来自一个名为 Adapt 的团队构建的系统,它基本将真实网球比赛的数据转化为玩家动作并应用到真人形机器人上,这里是 Uni Tree G1。
这款机器人不仅能对打,还能发球,且完全自主进行。如果你打过网球就知道这非常难,不仅仅是用球拍击球那么简单,还需要施加恰到好处的力度。此外还需给球加旋转,无论是上旋还是下旋。实时决定和执行大量物理参数确实令人印象深刻。
另一个我认为更惊人的演示来自另一款名为 Galbot 的机器人,展示了它在正在进行的世界人形机器人运动会中打网球。这也是完全自主的,你可以看到机器人必须跑向球并以正确的力度和旋转击打它。这一切都必须在瞬间完成,非常了不起。
本周 DeepSeek 发布了另一款新模型 Deepseek V4 Flash Vision Experimental。其出色之处在于性能匹配普通的文本版 V4 Flash,但现在包含了视觉能力,可以分析图像、视频和文档。以下是将其与之前的无视觉 V4 版本以及闭源的 Opus 4.8(可能大得多)进行的基准测试对比。
如你所见,在所有代理编码基准测试中,这款新的 V4 Flash Vision 甚至匹配了 Opus 4.8 的性能。还要看看 DeepSuite 得分,它在不到一个月内提高了近五分,这太疯狂了。目前仅通过 API 提供,感兴趣的话我会附上包含所有使用说明的页面链接。
本周我们还有一款新的音乐生成器,我认为它由创作 Happy Horse 的同一实验室开发。这里叫作 Happy Shrimp。像大多数音乐生成器一样,你只需描述歌曲风格。此外还可以输入歌词,或者切换为纯乐器演奏模式。这里有一些热门示例供参考:
“如金色皇冠般闪耀,你筑起高墙只为看我屈服。但我的根深深扎入泥土。你以为我会在你制造的阴影中破碎,但火焰已苏醒。我依然屹立不倒,灵魂不再受枷锁束缚,不再有游戏可玩。我将点燃那唯一的火花。你可以投掷石块,但我坚守王座。”
“我们坐在门廊上,秋风卷走落叶。我描绘你掌心的纹路,紧紧拥抱着你。注意到长途驾驶后夹克上的灰尘,以及暴雨中鞋子上沾满的泥泞。但房间里的沉默比我们要面对的距离更刺痛人心。我从未奢求太多,只愿这个沉睡的小镇瞬间消失。”
“哦,我无法再等待你。在喧嚣中醒来,孤独彷徨,不知心该离去何处,在黑暗中盲目寻找。亲爱的,告诉我,你还好吗?愿意留在这里等待吗?你会收拾行囊离开吗?当我醒来时你还在吗?”
“我向来讨厌凌晨四点的寂静,那时已太晚无法入睡。这听起来非常干净且富有动感。我认为这是目前你能使用的最好的音乐生成器之一。”
至少在录制时,你可以免费使用它。感兴趣的话我会在描述中附上 Happy Shrimp 的链接。此外,本周 Comfy UI 开源了他们名为 Comfy MCP 的智能体连接器。这基本上就像一个 API,你可以将 AI 智能体直接连接到你的 Comfy UI 安装中。
让它理解你所有的流程、模型等。因此,无需手动拖拽所有节点和连线到界面,你可以使用像 GPT-on-Codec 或 GLM-on-Zcode 这样的 AI 智能体,用自然语言提示它为你生成视频。它可以自动启动 Miniax H3 工作流并为您生成视频,无需实际触碰 Comfy UI 界面。
令人惊叹的是,它直接感知你的 GPU、硬件、所有已安装的模型和自定义节点。因此,如果点击此链接,它将带你进入他们的 GitHub 仓库,这里包含在计算机上安装 Comfy MCP 的所有说明。如果你有兴趣进一步了解,我会附上链接。
描述下方有该主页链接。此外,本周我们介绍了一个非常有趣的机器人基础模型,它能够在一定程度上泛化或学习新事物。该模型名为Gen 1.5,其真正的突破在于:你只需向它展示一次如何完成某项任务,有时它就无需任何额外训练就能尝试重复执行该任务。这意义重大。
以往我们需要一步步编程指导机器人如何操作,或者通过多轮数据训练来优化它;而这个机器人基础模型只需一次演示即可学习任务。左侧画面展示了人类执行动作的真实演示,右侧则是机器人尝试重复刚才看到的单一演示中的动作。
对于不熟悉这一概念的朋友来说,“机器人基础模型”本质上是控制机器人的“大脑”。它接收来自视觉传感器的视频信息、传感器数据,并能理解自然语言(例如人类的指令),然后以每秒100次的频率输出运动轨迹。
在这种“单次学习”设置下,模型仅需3到12秒的演示视频即可进行学习。目前成功率并非极高:在10项多样化任务中,仅凭单次演示的成功率为59%。若加入少量额外训练(每项任务约使用5分钟数据),成功率可提升至83%。
虽然这距离完美仍有差距,且任务相对简单简短,但能让模型从演示中学习仍是一大突破。这是迈向通用机器人的重要一步:人类只需展示一次某项动作,机器人至少就有机会自行掌握。这是一个相当有趣的项目。
如需进一步了解,描述下方有该主页链接。此外,本周英伟达发布了一个名为AO的有趣框架。这是一个智能体框架或工具包,使Claude Opus 5在Arc AGI基准测试中取得了100%的得分。
如果你不熟悉Arc AGI 3,这基本上是一个基准测试:AI模型被置于新的电子游戏环境中且无任何指令。它们必须通过试错自行摸索规则和目标,从而进入下一关或赢得游戏。人类可以轻松解决这些问题,但顶级AI模型在此基准上表现却很差。
大多数模型的得分低于10%,而Claude Opus 5仅得30%。这是因为AI模型在训练后技术上无法学习新事物或模式。因此,这不仅测试AI玩电子游戏的能力,更测试其即时学习和应用新模式的涌现能力。
英伟达发现,仅使用一个简单的智能体工具包AO(即该流水线),就能将Opus 5的得分从30%提升至100%。它在所有25个环境中均获得满分,完成了全部183关。不过,这是在公开数据集上评估的,分数可能存在水分。
尽管如此,这进一步证明:你不必仅优化模型本身,也可以通过优化工具包或围绕模型的系统来释放更多性能或智能。如需进一步了解,描述下方有该主页链接。以上就是本周AI领域的亮点总结。
请在评论区告诉我你的看法:哪条新闻是你最喜欢的?你最期待尝试哪个工具?一如既往,我会继续寻找顶级AI新闻和工具与你分享。如果你喜欢本视频,请记得点赞、分享、订阅,并关注更多内容更新。
每周AI领域发生着太多事情,我无法在YouTube频道上涵盖所有内容。因此,为了真正紧跟AI领域的最新动态,请务必订阅我的免费每周通讯简报。链接将在描述下方提供。感谢观看,我们下期再见。