AI 从不休眠,而本周更是疯狂至极。名为 Ox Alpha 的神秘隐身模型被揭露为 GLM Flash,同时他们发布了完整的 GLM-5.3 模型权重,这使其成为目前可用的最佳开源模型。腾讯也发布了其最强模型 H-high4,同样也是开源的。此外,阿里巴巴还发布了最新模型 Qwen3.8-Flash Next,其性能也极其接近前沿水平。
最佳 AI 视频生成器 Minimax 得到了升级,现在你甚至可以在实时环境中运行它。本周我们还见证了世界人形机器人比赛,一些惊人的结果甚至打破了人类的世界纪录,同时也出现了一些非常可爱且滑稽的片段。Google DeepMind 继续推出许多真正有用的东西,本周他们发布了一个用于映射疾病风险和粮食安全等问题的 AI 预测模型。
Google 还发布了其最新的视频生成器和转录模型,我们迎来了一个新的 AI 世界生成器,这个生成器实际上能够保持对世界、物体和规则的一致性记忆。此外,还有大量新的开源 3D 生成器以及更多内容。那么,让我们直接进入正题。首先登场的是一个名为 Block-3D 的新 3D 模型生成器,它能够将文本提示转化为 3D 对象。
简单来说,其工作原理是将一个 3D 物体分解为形状标记的块,并逐个生成这些块,但在每个块内使用扩散模型并行生成所有标记。这里的速度差异相当显著,数据显示其比标准的自回归方法快五倍以上。平均而言,生成一个 3D 模型仅需约 5 秒。虽然它并非质量最好或细节最丰富的,但它是你能使用的最快的 3D 模型生成器之一。
在页面顶部,他们已经发布了该项目的代码。因此,如果你点击这个“Code”按钮并向下滚动一点,里面包含了所有关于如何在本地计算机上下载和运行此项目的说明。此外,他们还发布了如何自行训练该模型的代码。如果你有兴趣进一步阅读,我会在下方的描述中链接到主页。
此外,本周还有一个非常实用的 AI 工具,名为 One Video, One World。它可以将普通视频转化为带有独立物体的动画 3D 世界。这里有一个例子,左侧是我们的输入视频,它基本上可以将其渲染为一个完整的动画场景,其中包含独立的、可用于仿真的 3D 网格。
或者看另一个例子。正如你所见,这个 AI 基本上分离了各个物体,并将每个物体重建为独立的 3D 网格。它还需要弄清楚这些物体如何在空间中移动,计算每个物体之间的关系以及它们彼此之间的距离。研究人员在这里结合了大量现有的基础模型,包括用于理解场景的 Qwen3VL、用于分割的 SAM 3、用于填充物体隐藏部分的 Flux 2,以及最后用于 3D 重建的高精度 3D Gen。
此外还使用其他模型进行相机和姿态估计。好消息是他们已经发布了所有内容。因此,在页面顶部点击“Code”按钮并向下滚动一点,这里包含了所有关于如何在本地计算机上下载和运行此项目的说明。请注意,这里建议显存超过 40GB,虽然他们自己的代码采用 MIT 许可证,但也使用了其他非商业许可的平台。
如果你有兴趣进一步阅读,我会在下方的描述中链接到主页。此外,本周我们还迎来了一个名为 Fix Anything 的新 AI。这基本上是一个用于修复破损或丑陋的 3D 渲染作品的清理系统。当你使用高斯泼溅、神经辐射场(NeRF)、网格或其他方法重建真实环境时,结果在熟悉的相机角度下看起来可能还可以。
但当你在其他位置尝试查看场景时,它们往往开始崩溃。你可能会看到空洞、漂浮的几何体、模糊区域或其他伪影,正如左侧视频所示。Fix Anything 的作用是将这种退化的渲染作品输入到一个预训练的视频模型中,将其转化为更干净、更逼真的场景,同时保持相同的相机路径和整体 3D 结构。
这里有一些示例供你参考,你可以看到它非常擅长清理这些严重退化的场景。有趣的是,这也适用于网格输入以及像这样的稀疏点云输入。这里还有一个很棒的航拍例子。现在,在页面顶部他们已经发布了这个项目。因此,如果你点击“Code”按钮并向下滚动一点,这里包含了所有关于如何在本地计算机上下载和运行此项目的说明。
现在这个项目使用 1.2.1 作为基础模型,这应该能够在大多数消费级 GPU 上运行。我惊讶于他们没有使用更新版本的 2.2 或 Minimax,但无论如何,这基本上就是基于 1.2.1 的全部内容。如果你有兴趣进一步阅读,我会在下方的描述中链接到主页。
此外,本周 Google 研究继续发布一些非常有用的东西。他们发布了名为“行星预测引擎”(Planetary Prediction Engine)的工具,这基本上是一个针对涉及地球问题的 AI 数据科学家。你可以用自然语言提出问题,例如预测疾病风险或识别可能面临粮食短缺的地区,系统会自动找到相关的地理数据。
它会对数据进行清洗和整合,然后训练机器学习模型并评估它们以做出预测。这是一项巨大的突破,因为通常专门的团队可能需要花费数周时间手动完成这项工作,而且还需要具备相关的技术专业知识。但 Google 表示,这个行星预测引擎基本上可以将所有这些工作缩减至几分钟内完成。
这里有一些示例结果。它成功整合了大量不同的数据源,绘制出了尼日利亚的粮食安全地图,并将准确率从 31% 提高到了 66%,基本上使基线准确性翻了一番。在预测刚果民主共和国埃博拉疫情方面,它也取得了 88% 的更好分数,比之前的最先进基线提高了超过 10%。
因此,在预测疾病、粮食安全等众多不同用例中,这个新的行星预测引擎通常比之前的最先进基线更加准确。这是一个非常迷人的项目,利用了 AI 智能体和来自 Google Earth 的数据。如果你有兴趣进一步阅读,我会在下方的描述中链接到主页。
本周我们还介绍了一个非常有趣的AI项目:Code World Model。这是一个旨在构建能够真正记住发生事件的AI生成世界的有趣尝试。大多数视频世界模型主要预测下一帧应该是什么样子,这看起来可能很令人印象深刻,但它们实际上并不维持世界的基础规则、对象或后果。因此,该项目将这两项工作分开处理。我们首先有一个充当“大脑”的代码代理(coding agent)。当某事发生时,它会对事件进行推理、编写代码并更新持久化的世界状态。
随后,该状态被转换为一个简化代理(proxy),用于描述对象的位置和场景布局等细节。最后,它使用视频模型——在本例中为微调版的Minimax H3——根据代理渲染视频。你可以将其想象成一款电子游戏,其中游戏规则由代码代理编写,而视频生成器则负责处理图形渲染。演示展示了一些运行时间很长的世界,它们可以在保持底层场景和事件不变的同时改变风格。
你可以让角色与对象进行互动,还能看到左上角有一个地图,用于跟踪世界中的所有对象。因此,与其他一些AI世界生成器相比,这一切要连贯得多。我认为如果我们计划创建由AI驱动的电子游戏或互动世界,这是一个必要的步骤。我们不能仅仅依靠视频生成器来生成所有内容,还需要一个代理通过代码来跟踪一切,以确保世界、所有对象和规则在整个场景中保持一致。
最棒的是他们已经发布了代码。如果你点击这个GitHub仓库链接,里面包含了所有如何在本地电脑上下载和运行此项目的说明。请注意,这需要微调版的Minimax H3模型。他们在拥有80GB显存的H800显卡上进行了测试,但如果你拥有的显存较低,可能可以使用量化版本。如果你对进一步阅读感兴趣,我会在下方的描述中链接到主页。
此外,本周我们还介绍了一个名为Voice Mem的相当有趣的AI工具。这基本上是一个专为语音代理设计的记忆系统,它不再将每次对话都视为从零开始。这使得AI在使用时能够记住关于你的有用事实。该系统将记忆分为两部分:左脑存储人物、实体和知识等事实信息,而右脑则跟踪你的偏好、个性和情绪。
整个设计旨在实时运行。以下是其实际应用的示例:“>> 你觉得我是什么样的人?Jati,你渴望真正的连接。就像你总是选择安静的单独谈话而不是大型聚会一样。而且你很体贴。还记得那次你在纠结晚餐想法吗?你真的用心想要做得恰到好处,这就是体现你本质的关怀和注意力。>> 我最近很累。”
“是因为四月份算法的期中考试吗?那真的让你深受打击,感到被困住了。正如你所见,它可以保持对你的持久记忆。而且它的设计非常高效。因此,与其每次都将数千条旧对话塞回模型中,它只搜索其记忆图并获取少数重要的记忆。因此,从记忆准确性来看,这个新的Voice Mem工具甚至优于其他竞争对手的方法。”
此外,它的效率也高得多。看看它使用了少得多的token数量吧。延迟也非常快,几乎是亚秒级的。因此在设计个性化语音助手或陪伴代理时,这是一个非常有用的工具,因为过去对话的记忆非常有用。最棒的是他们已经发布了所有内容。因此,在这里点击底部的“开始构建”,它会带你进入他们的GitHub仓库。
如果在此处向下滚动一点,里面包含了所有如何下载和运行此项目的说明。如果你对进一步阅读感兴趣,我会在下方的描述中链接到主页。此外,本周开源视频生成器中的佼佼者Minimax H3变得更快了。因此,How AI Lab发布了针对Minimax的快速视频功能Fast Video。
这在选定的GPU上可以将视频生成速度提高多达14倍。如果你恰好拥有H200 GPU,那么甚至可以以超过实时的速度运行它。因此,它可以不到30秒就生成一个15秒的片段。即使你没有这样的高端GPU,他们也在开发支持消费级显卡的版本。
他们实现这种加速的方法非常巧妙。首先,他们使用了一种称为DMD2蒸馏的技术,这基本上教导一个更小、更快的生成过程去模仿原始模型,同时使用更少的步骤。然后,他们还将此与视频稀疏注意力机制相结合。因此,模型只关注视频数据中最有用的部分,而不是将所有内容与所有内容进行比较。
事实上,他们推荐的版本仅保留约10%的视频注意力数据,从而削减了大量的计算量。最令人印象深刻的是这是无数据的(data-free)。因此,他们仅使用已训练的基础Minimax模型作为教师,以及由教师生成的示例来训练这个快速H3。他们不需要从头开始收集额外的训练数据,也不需要用于训练基础Minimax模型的原始数据集。
最棒的是他们已经发布了这个功能。因此,在页面顶部点击GitHub仓库链接,里面包含了所有如何在本地电脑上下载和运行此项目的说明。他们还提供Apple Silicon指南。在Hugging Face上,你可以看到他们已经发布了模型Transformer本身很大,重达70GB。
但Goat Ki已经发布了一个小得多的Fast Video检查点,适用于Comfy UI。因此它的大小仅为22.9GB。至少在录制此时,Kiji已经创建了一个PR以将其合并到ComfyUI中。所以现在可能还无法工作,但给他们几天时间让团队合并这个PR即可。无论如何,向让这个Minimax变得如此快速的团队致敬,因为对我来说,速度是主要问题。
我通常必须等待很长时间才能用Minimax生成视频。无论如何,如果你对进一步阅读感兴趣,我会在下方的描述中链接到主页。事实上,这并非本周我们获得的唯一Minimax加速方案。因此,FIA也发布了他们自己的Minimax微调版本H3 Max,这也快得令人难以置信。你可以看到这个新的H3 Max
整个过程只需几秒即可完成,以下是其性能表现表。顺便说一句,这个设计看起来糟透了,好像我不小心高亮了数字一样。但无论如何,你可以看到 H3 Max 不仅获得了最高的质量评分,还拥有最低的平均延迟。现在问题来了:虽然他们能大幅加速 Minimax 的表现令人印象深刻,但目前它位于付费且封闭的 API 之后。我不确定我对将开源模型 Minimax H3 稍作优化后,再设下付费墙以牟利的做法有何感想。如果是这种情况,我希望 Minimax 团队至少能从中获得分成。目前 Foul 团队的评论称他们将开源此模型,希望他们能信守承诺。现在,如果你有兴趣进一步阅读,我会在下方的描述中链接到主页。
如果你想简化整个创意工作流程,一定要看看本视频赞助商 Luma。Luma Agents 不再让你在不同 AI 工具间跳来跳去,而是提供一个智能体工作区,协助你完成从最初构想到最终成果的项目全过程。这不仅仅是一个一次性提示工具。你可以给智能体分配真正的创意任务,共享你的素材和参考文件,并随着项目进展继续与其协作。它理解更广泛的上下文,帮助你进行修改,并在同一工作区内保持一切井然有序。
目前,Luma 托管着最好的视频模型之一 Seed Dance 2.5,以及 Cling 3 和 Ray 3.2 模型,因此你可以为项目选择最佳模型。但我最兴奋的功能是 Luma Skills(技能)。技能基本上是一种可重复使用的 AI 工作流,你只需创建一次。你可以定义指令并保存它们,然后在任何新图片或视频上运行完全相同的过程。例如,让我们创建一个技能:将任何基础产品照片放入水中,背景为白色并带有漂亮的溅射效果。一旦技能构建完成,我可以插入一张全新的产品图片并自动运行整个工作流。构图和视觉风格保持一致,无需我再次重复所有指令。
你可以为应用品牌套件、生成网红视频、改变场景天气、更换服装等构建技能。无论你是创建营销活动、品牌内容、产品视觉还是社交媒体内容,Luma Agents 都允许你在一个智能工作区内高效地完成所有操作。借助技能,你可以将最佳创意流程转化为可重复的工作流,每次都能在任何资产上发挥作用。通过下方的链接或扫描这里的二维码试用 Luma。
此外,本周神秘模型“OX Alpha”首次出现在 Open Router 上,你可以免费使用它。他们声称每天能处理一万亿个 token 的容量,这简直疯狂了。事实证明,OX Alpha 实际上是 GLM-5.3 Flash。尽管这只是个 Flash(快速)模型,但这确实是个大新闻。最棒的部分在于他们为模型添加了视觉功能,而之前的 GLM 模型并不具备此能力。这使得它在前端开发方面表现更好,或者你可以给它图像、文档甚至视频进行分析与理解。
该模型非常小巧,总参数量仅为 3200 亿,属于混合专家(MoE)模型。因此使用时只有 180 亿参数处于激活状态,使其超级高效。请注意,其他前沿模型通常拥有超过一万亿甚至两万亿的参数。因此,它不仅更小,而且查看这些基准测试可知,它不仅击败了参数量大得多的 GLM-5.2 和 Opus 4.8,甚至与中等大小的 GPT-5.6 Terra 表现相当。作为 Flash 模型,我不指望它达到前沿智能的水平,但最令人印象深刻的是其价格:比任何其他竞争对手便宜数十倍。
在智力与成本方面,这是目前你能使用的最佳选择。查看 Artificial Analysis 的排行榜时请注意,GLM-5.3 Flash 正紧追那些参数量超过一万亿的顶级前沿模型。其成本简直荒谬得低:每个任务仅需约 9 美分,比 Kimi K3、Groq L6 或最佳 GPT 都要便宜得多。这是另一张对比智力与价格的图表,正如你所见,GLM-5.3 是迄今为止最高效的选项。
我非常喜欢所有 GLM 模型的一点在于,它们的幻觉率极低。如图所示,GLM-5.3 Flash 在此基准测试中仅产生 20% 的幻觉,这非常棒。如果将其与 Opus 5(60%)相比,Opus 的幻觉率高出三倍。而 GPT-5.6 更糟糕,达到 80% 至 90%。该模型极其高效:他们结合了线性注意力与稀疏注意力机制。因此,它不再不断将每个 token 与其他所有 token 进行比较,而是压缩部分信息并选择性关注重要部分。
通过这样做,他们基本上将注意力计算量减少了约三倍。与完整的 GLM-5.3 相比,它还将模型的工作内存(也称为 KV Cache)缩小了 4.4 倍。现在,关于这一点最令人震惊的是:他们能够完全使用中国 AI 芯片来服务 GLM-5.3 Flash。这可能与几个月前的一条新闻有关:ZAI 购买了一个由完全中国芯片供电的千兆瓦级数据中心。这意味着中国 AI 实验室不再受限于无法获取英伟达芯片,这是一件大事。
与之前的 GLM 模型一样,他们已发布供你免费下载到本地运行,这太棒了。点击 Hugging Face 链接时请注意,该 Flash 模型的总大小非常小巧,仅为 328 GB。因此它应该能安装在某些高端消费级硬件上。由于这是开源的,社区迅速构建了该模型的众多变体。例如,Unslave 已经发布了 GGUF 版本。如图所示,1-bit 版本的大小仅为 93 GB。拥有能在本地免费运行的 Opus 4.8 级别的智能,这难道不疯狂吗?
无论如何,我最喜欢的实验室 ZAI 再次做到了。他们成功将前沿级别的智能压缩到运行成本极低的产品中。因此,如果你正在部署代理且每天需要处理数百万个 token,那么这是目前使用的最佳选择。如果你对了解更多感兴趣,我会在下方链接到主页。
描述栏中有相关链接。此外,正如承诺的那样,智谱除了发布 GLM-5.3 Flash 版本外,本周还发布了完整版 GLM-5.3 的模型权重。与 Flash 版本不同,这个完整版不具备视觉能力,但它是目前你可以使用的最智能、性能最强的开源模型。正如你所见,它的表现几乎与 Kimi K3 持平,但参数量要少得多。因此,在这个页面上,如果你点击这个 Hugging Face 链接,就能看到完整的模型。
该模型拥有 7530 亿参数,总大小为 756 GB。然而,由于它是开源的,社区已经创建了一些量化或压缩版本。例如,Unsloth 发布了一些 GGUF 格式的版本,其中 1-bit 量化版本的大小仅为 217 GB。因此,你只需要堆叠两到三张高端显卡就可以运行它。
看看这个智能指数,它的得分非常接近最好的 GPT 和 Claude,差距只有一两分。令人惊叹的是,你现在可以在本地计算机上运行这种级别的智能水平。这是目前你可以在本地运行的最佳开源模型。如果你感兴趣,我会在描述栏中链接到主页。
此外,本周阿里巴巴也发布了他们最新的 Flash 模型 Qwen-3.8-Flash-Next。这实际上是一件大事。首先,这是他们即将推出的 Qwen 4 架构的早期预览。尽管他们刚刚发布了 3.8,但已经在预热 Qwen 4 了。所以,希望你能感受到这种加速感。
与 GLM-5.3 Flash 相比,Qwen-3.8-Flash 要小得多,仅有 1250 亿参数。这也是一个混合专家(MoE)模型。因此,当你使用它时,只有 60 亿参数处于激活状态,使其非常高效。以下是它在各种代理编码和知识工作基准测试中的性能表。正如你所见,Qwen-3.8-Flash-Next 甚至击败了 DeepSeek V4 Flash 以及 Claude Opus 4.6 Max。
虽然很奇怪他们为什么列出的是 Opus 4.6 而不是 4.8 或更新版本。但无论如何,在大多数这些基准测试中,你可以看到 Qwen-3.8 平均得分最高。现在看这个由 Arena 发布的排行榜,人们可以在那里盲测不同的模型。你可以看到至少在 WebDev(网页开发)方面,Qwen-3.8-Flash-Next 实际上比 GLM-5.3-Max 表现更好,并且几乎与 GPT-4o-Super(注:原文为 Soul,推测指代顶级模型)持平,这非常疯狂。
然而,它确实输给了最新的 GLM-5.3 Flash,后者在这里的表现简直好得令人难以置信。如果你查看这个由 Artificial Analysis 发布的排行榜,你可以看到 Qwen-3.8-Flash-Next 与 Gemini 2.5 Flash(注:原文为 3.7,可能指代版本)持平。它的得分比 GLM-5.3 Flash 低一分,但请记住,这个 Qwen Flash 模型实际上要小得多,但它甚至能够击败其他一些模型,如 DeepSeek V4 Pro 以及 GPT-4o-Luna Max(注:原文为 Luna,可能指代特定版本)。所以,仍然非常令人印象深刻。
现在,这是开放权重的模型,但如果你选择通过他们的 API 使用它,那么这也非常便宜。每个任务的成本仅为 10 美分,而 GPT 的费用是其九倍之多。更别提那些 Claude 模型了,它们的定价简直荒谬地昂贵。
他们的设计方式也非常有趣。比如,他们是如何仅从 1000 亿参数的模型中挤出如此多的智能的?首先,他们实现了一个额外的 510 亿参数的 Engram Embeddings(记忆嵌入),你可以将其视为一种用于局部模式的大型查找内存。
然而,最大的架构变化在于它如何处理长上下文。事实证明,其架构中每四层中有三层使用了一种称为 Gated DeltaNet 的技术。这会将模型看到的所有内容连续压缩到一个小得多的记忆状态中。因此,这使得它在记住事情方面更加高效。
然后剩余的层使用一种称为 Qwen 稀疏注意力(Sparse Attention)的技术,以便在需要时返回并检索特定信息。你可以将其想象成在阅读一本巨著的同时保持紧凑的笔记或摘要,但它也能够跳回到确切的段落并在需要时找到特定的细节。
与其他 Qwen 模型一样,阿里巴巴也发布了这个 Qwen Flash-Next 模型供你免费下载到本地。如果你点击这个 Hugging Face 链接,这里就是你可以下载模型的地方。因此,完整的 Flash-Next 模型大小为 360 GB。他们还发布了一个 FP8 版本,大小仅为 186 GB。Unsloth 也发布了该模型的一些 GGUF 版本,其中最小的 1-bit 版本仅为 72.5 GB。
因此,你甚至有可能将其放入一张 RTX 6000 显卡中。令人疯狂的是,我们现在拥有 Opus 级别的智能水平,只需在一些高端消费级硬件上即可运行。如果你有兴趣进一步阅读,我会在描述栏中链接到主页。
此外,除了 Qwen Flash-Next 和 GLM-5.3 Flash 之外,腾讯还发布了他们迄今为止最好的模型 Hi4 Preview(预览版)。与大多数中国实验室一样,他们也将其开源了。首先,这里是规格说明。这是一个相当大的模型,拥有 7700 亿参数。这不是一个 Flash 大小的模型。它也是一个混合专家(MoE)模型,因此当你使用它时,只有 490 亿参数处于激活状态。
为了使其如此高效,他们还从 DeepSeek 和 GLM 中汲取了一些灵感。因此,该架构使用了 GatedSparse Attention(门控稀疏注意力)以及 Index Cache(索引缓存)。它还使用这些 Identity Hyper Connections(恒等超连接)来优化层之间的信息流。看看这个性能表现,我没想到一个 10 美分的模型能处于前沿水平,但看起来他们也赶上了。
基本上,深蓝色条代表 Hi4,浅蓝色条代表 Hi3。注意与前一代相比的巨大进步。还要注意,这目前只是一个预览模型。正如你所见,它已经击败了 Qwen-3.8-Max 以及 DeepSeek V4 Pro,并且得分非常接近领先的开源模型 GLM-5.3 和 Kimi K3,这非常令人印象深刻。
现在,在录制此视频时,Hi4 似乎尚未加入这个 Artificial Analysis 排行榜。但如果我们查看 Arena 发布的 WebDev 排行榜,你可以看到 Hi4 Preview 实际上与 GLM-5.3 Flash 持平。因此,这是你可以使用的最佳开源模型之一,至少在 WebDev 方面是这样。
现在他们已将此模型发布到此处。因此,拥有超过 7000 亿参数,这个模型非常大,大小为 1.56 TB。但开源社区行动迅速。这个人(我相信他也来自腾讯)已经发布了该模型的 GGUF 版本,其中 1-bit 量化版本仅为 229 GB,这要小得多。
无论如何,在这个页面上包含了所有关于如何下载并在本地计算机上运行此模型的说明,并且这是在 Apache 2.0 许可证下发布的,这非常
如果你有兴趣尝试,并且拥有运行所需的硬件,我会在下方的描述中链接到该页面。此外,本周在北京举办了2026年世界人形机器人运动会。这与去年的情况大不相同。你看,去年的人形机器人们还相当笨重,移动缓慢,而且失误频频。但今年,一切都有了显著改善,甚至打破了多项人类世界纪录。
人形机器人——尤其是中国实验室研发的机器人——的进步速度简直令人难以置信。其中一个亮点是100米短跑比赛。在最快的机器人中,有一台来自荣耀的红色机器人,另一台获得第一名的则是天工机器人。据报道,它仅用9.39秒就跑完了100米,击败了尤塞恩·博尔特保持的9.38秒的世界纪录。这意味着我们已经拥有能跑得比人类更快的人形机器人了。
运动会中最可爱的片段之一是400米赛跑,主要涉及天工Omniroot机器人。它跑起来像个害羞的动漫女孩。但显然,这种姿势让它跑得很快。这似乎是一种“速度作弊”技巧:它将手臂紧贴躯干并身体前倾,从而跑得更快。它是通过强化学习掌握这种姿势的,因此可能尝试过无数种跑步风格的变体,而这种方式效果最好。
也许我们一生都在错误地奔跑?这或许才是正确的跑步方式。总之,这台害羞、尴尬的机器人是天工Omni,它赢得了400米赛跑。在跑步跳远项目中,这是天卓团队的天工Ultra机器人的获胜片段。事实上,这台机器人能跳出7.9米的成绩,虽然仍低于人类8.95米的纪录。
但在立定跳高项目中,天工Ultra再次夺得金牌。它跳出了4.8米的高度,超过了人类仅3.73米的纪录。这又是另一项被打破的人类世界纪录。除了天工Ultra,我们还看到一只名叫Mini Pie的可爱小机器人尽力尝试跳远。虽然它离打破世界纪录还差得远,但我会因为它超级可爱而给它颁发一个奖项。
尽管天工Ultra的表现令人印象深刻,但并非所有跳跃都成功了。这是一个“脸着地”的例子,机器人在跳跃后无法保持平衡。这确实极具挑战性。它不仅需要爆发力起跳,还需要在落地时保持平衡。除了跳远,还有跳高项目。天工Ultra再次在此项目中夺金。
这是获胜片段,它成功跃过了2.88米的高度,再次超过了人类仅2.45米的纪录。这东西拥有惊人的爆发力,能够将自己发射得如此之高、如此之远。设计令人印象深刻。除了跳跃项目外,还有人形机器人足球赛。我们可以看到一些人形机器人社团相互对抗进行比赛。
场面相当缓慢且混乱,有时它们会互相碰撞。缺乏真正的协调性,但这确实非常复杂。机器人不仅要追踪球的位置,还要跟踪队友和对手的位置。它还需要决定是传球、射门还是防守或其他动作。所以场面相当粗糙、缓慢且充满碰撞,但观看起来依然很有趣。
除了跳跃和足球,还有乒乓球项目。在这里你可以看到人形机器人已经能够自主进行乒乓球比赛。这是AGI Bot A3,它们获得了第一名。我们还有拔河项目,这是运动会上最好的力控演示之一。这实际上极具挑战性。
机器人需要协调握持力、绳索角度和平衡数据,并协同合作进行拉动。一旦绳索角度发生变化,注意机器人的臀部动作。它们会下沉成蹲姿,然后向后倾斜并重新调整身体重心。你可以看到它们在实时调整拉力和站姿。
此外,还有武术项目,机器人完成了一套完整的套路表演。它能够进行精彩的功夫展示,包含许多令人印象深刻的动作。除了武术表演外,还有街舞比赛。这个相当可爱。如你所见,它能做倒立、旋转和踢腿等令人印象深刻的街舞技巧。
这不仅很可爱,而且比我之前在人类奥运会上看到的还要好。此外还有100米障碍赛。这是AGI Bot X2机器人的获胜片段。我会加速播放,但你可以看到它走过各种台阶和障碍物,并需要自主完成这一切。
如你所见,它能够成功穿越整个障碍赛道。这实际上相当困难,许多其他机器人未能完成比赛。这就是今年人形机器人大运会的一些亮点。与去年相比,这绝对是巨大的进步。我甚至无法想象明年会是什么样子。
对我来说,这相当有趣。请在评论区告诉我你的看法。你真的有兴趣观看这些吗?此外,本周谷歌发布了他们最新的转录模型Gemini 3.5 Transcribe。这基本上接收音频并将其转换为文本转录稿。
有趣的是,它有两种不同的模式。一种是逐字记录模式,基本上如实记录所说的一切;另一种是智能转录模式,可帮助你消除错误、填充词,并自动格式化清理文本。例如:“我想要一杯大杯冰拿铁,加燕麦奶,两泵榛果糖浆,多加一份浓缩咖啡,少加冰。实际上把榛果换成焦糖。去掉多余的浓缩咖啡,用普通冰块。等等,完全不加冰。将大杯改为中杯。”
这个新的3.5转录模型还能检测多个说话人和单词级时间戳。它也是多语言的。所以这里有一个例子,它能处理包含不同语言的音频,自动检测这些语言并生成正确的转录稿。它在多语种转录方面特别出色。
所以我可以用英语开始一句话,当我在英语、西班牙语和印地语之间切换时,模型毫不迟疑。该模型在字母数字转录方面也很出色。“今年我计划去北京旅行。”
这东西速度极快,因此他们还提供实时版本,支持流式传输。这能实现亚秒级延迟,适用于交互式语音代理或实时字幕。而且这不仅仅是一个独立的工具,他们已将其添加到Gemini Mac应用中,例如你可以使用语音触发Gemini模型执行分析文件、生成图像等操作。
或者控制它在屏幕上看到的内容。因此,与其仅仅通过输入文本提示来控制代理,不如直接使用语音下达指令。底部显示这个新的3.5转录模型已可通过AI Studio或Anti-Gravity以及这些企业平台使用。对于消费者而言,它已在Mac OS的Gemini应用、Android端的Rambler中可用,并且很快也将登陆Chrome。
如果您对进一步阅读感兴趣,我会在下方的描述链接到主页。现在,除了转录工具外,Google还发布了他们最新的视频模型Gemini 1.1 Flash。这只是一个Flash版本,且版本号仅为1.1,所以算不上巨大的升级。但这里有一些值得注意的新功能:它现在可以接受现有视频并持续扩展,同时查看最多10秒的前序片段。
而不是仅依赖最后一帧。这样能保持角色和环境的高度一致性。您还可以提供第一帧和最后一帧,模型会生成它们之间的运动过程,这对于相机轨道、缩放或无缝循环等用途非常有用。另一个实用的新增功能是更便宜的360p草稿生成,即先生成低分辨率的草稿。
Google称这速度可快60倍且成本更低,随后您可以测试多个想法,再将最终版本放大至1080p或4K。目前该功能已上线,您可以直接在Google的AI Studio中尝试Omni 1.1。只需点击视频选项卡,即可在此试用新的Gemini 1.1 Flash。如果您使用的是付费计划,此功能在Google的Flow中也可用。
如果您对进一步阅读感兴趣,我会在下方的描述链接到主页。此外,本周Google DeepMind发布了一个名为Orbit++的有趣基准测试。简单来说,这基本上是对AI系统的一种新“酷刑”测试,旨在理解相机如何在现实世界中移动。这对于3D重建、机器人技术和计算机视觉等应用至关重要。
Orbit的工作原理是从互联网上获取真实的360度视频,利用全景视图确定相机运动轨迹,然后裁剪出包含更复杂场景的正常视角视频。他们基本上利用AI制作了这种看起来非常棘手的视频,以测试其他AI模型在重建3D场景和预测相机运动方面的能力。
如果将这些片段输入现有的预测系统如Co-Map或Mega SAM等,你会发现许多模型都会失败。这就是Orbit++的核心目的:它基本上是一个由这些更难视频组成的数据集,旨在测试3D视觉和3D重建AI模型。因此,如果您正在构建相关的3D重建模型并希望对模型进行压力测试,这是一种新颖且引人入胜的方法。
如果您对进一步阅读感兴趣,我会在下方的描述链接到主页。此外,本周小米展示了一款名为AI Cube的设备。这基本上是一台微型台式电脑,类似于DJI Spark,专为完全本地运行大型AI模型而设计。因此,您无需将提示发送到云服务器,只需在这台机器上放置一个拥有超过1000亿参数的 decent-sized 模型即可离线运行。
这意味着更高的隐私性、无需订阅费,也不依赖任何网络连接。小米围绕其三款X-ring芯片构建了整个系统:O3、O100和D100。其中,O3作为主处理器,包含一个10核CPU、一个16核GPU和一个神经处理单元。而O100专为AI数据传输设计,内存带宽高达每秒1.22太字节。
接着是D100,这是小米专为AI优化的芯片。将这三者结合后,便得到了这台名为AI Cube的巨兽设备,它可以同时本地运行一个庞大的1200亿参数模型和一个较小的30亿参数模型。这非常重要,因为您可以根据需要在这两者之间切换:是需要小模型的快速响应,还是大模型的重度推理。
据报道原型机拥有80GB统一内存,但支持最高160GB统一内存,理论上可容纳高达2000亿参数的模型。老实说,我认为这些设备将是未来趋势。与其拥有庞大且笨重的GPU机架来容纳数百亿参数的本地模型,不如将其变成一台优化用于AI的微型桌面设备。
这或许就是未来个人AI计算机的模样。目前它仍处于原型阶段,小米尚未公布价格和发布日期,但传闻称其将于明年某个时间推出。此外本周字节跳动发布了一种用于图像模型的有趣训练方法,有助于更高效地提升性能。让我用非常简单的话来解释这一点:通常当你训练图像生成器时,会有一个奖励模型来判断最终图像的优劣。
然后图像生成器必须自行弄清楚其众多中间步骤中哪一步导致了问题,这是一个非常模糊的信号,因此帮助不大。而Diffusion OPDS的做法是将最终奖励转化为更直接的指令,指出哪些中间步骤实际上导致了问题以及如何修复。基本上,奖励系统会确定使输出变好或变坏的方向。
因此它创建了一个附近的正向目标和负向目标。如图所示,模型随后直接朝向更好的目标训练并远离更差的目标。结果相当强劲:这里展示了提示词,左侧是未经微调的基础模型,中间三个是其他训练方法,最右侧则是这种新的Diffusion OPDS训练方法。可以看出它生成的图像效果最好。
另一个例子显示基础模型无法正确渲染文本,其他训练方法看起来也很糟糕,但Diffusion
OpsD 能够训练模型以生成最佳结果。这里再提供一个参考示例:有趣的是,如果在提示词中写入“倒钩射门”,基础模型实际上会生成一辆自行车,这是不正确的。但经过 Diffusion OpsD 处理后,它能更好地理解上下文,并生成合理的倒钩射门画面,而不会出现自行车。以下是更多定量结果供您参考:其质量增益比此前最强的竞争对手高出 44%。同时,该方法效率极高,与另一种方法相比,Stable Diffusion 3.5 的训练时间减少了 40%,Z Image Turbo 则减少了 63%。此模型无关,因此也可用于微调其他扩散模型。
最棒的是他们已开源代码。点击该 GitHub 仓库并稍作滚动,其中包含所有关于如何在本地计算机上下载和运行此模型的说明。如果您想进一步阅读,我会在下方描述中链接到主页。此外,本周我们还有一款名为 Fibbo 1.5 的开源图像生成器和编辑器,由 Bria AI 推出。它不仅接受普通文本提示,您还可以输入像这样的详细 JSON 提示,通过不同的 JSON 字段分解照片的不同方面。
其中包括描述、位置、相对大小、形状和颜色、纹理等字段,并且它能很好地遵循所有这些信息生成图像。现在,您不必使用如此长且详细的 JSON 提示,只需输入普通文本即可。这里有一些示例供您参考。我不会说它是市面上质量最好的图像生成器,我目前最喜欢的仍然是 Korea 2。但这款工具的亮点在于您可以使用自然语言编辑现有图像。例如,我们可以像这样添加一条搭在扶手上的毯子。
然后我们可以进一步迭代。对于下一个提示,我们可以在地板上添加一些精装书;再对于下一个提示,我们还可以在椅子上加一只猫。老实说,这并非市面上质量最好的图像模型,但如果您有兴趣尝试,我会在下方描述中链接到主页。上周我曾介绍过这个名为 Gen 1.5 的机器人基础模型,它具备学习新事物的能力。它可以观看从未见过的任务演示,并在大多数情况下成功执行该任务。
本周我们又有另一个类似模型 S1 出现。以往,要教会机器人一项全新任务,通常需要收集数小时的演示数据,然后针对该工作专门微调或训练模型。但使用 S1 时,您只需向机器人展示一次想要执行任务的视频演示,它无需任何额外训练即可尝试完成该任务。因此,他们在模型从未见过的全新任务上进行了演示,包括给植物换盆、制作手冲咖啡、组装套件,甚至烹饪并翻面煎饼。
其中一些任务长达 10 分钟,涉及数十个单独的动作。这些是机器人从未见过的任务,但它在观看一次演示后便能够执行。这实际上意义重大。让 AI 模型在训练后真正学习新事物非常困难,因为其参数是固定的。但在这里,我们看到了这种机器人模型涌现出的泛化能力,能够实际应用它从未见过的新事物。
这非常有用,因为随着机器人越来越普及,尤其是在家庭中,您希望只需向机器人演示一次如何完成特定任务,它就能在未来学习并应用该任务。这是一篇非常引人入胜的文章。如果您想了解更多信息,我会在下方描述中链接到主页。以上就是本周 AI 的所有亮点。请在评论区告诉我您的看法,哪条新闻是您的最爱?您最期待尝试哪个工具?
一如既往,我会继续寻找顶级 AI 新闻和工具与您分享。如果您喜欢这个视频,请记得点赞、分享、订阅,并关注更多内容。此外,每周 AI 领域发生的事情实在太多,我无法在 YouTube 频道上涵盖一切。因此,要真正及时了解 AI 领域的所有动态,请务必订阅我的免费每周通讯。链接将在下方描述中提供。感谢观看,我们下期再见。