AI从不停歇,本周更是疯狂至极。Anthropic发布了他们最新的Claude模型,你可以免费使用。OpenAI在本周举办了年度开发者大会,带来了一些令人兴奋的新公告。Google终于推出了他们的前沿模型Gemini 4 Argon,它绝对是一头猛兽。我们还有一些超级微小的语音转文字生成器,体积仅有几MB大小,因此可以轻松地放在你的手机或其他边缘设备上。我们不仅有一款新的最先进图像生成器和编辑器,还有一项AI技术让你能够控制场景中相机的运动路径。人形机器人现在可以自主打羽毛球了。我们还有大量新的开源模型和更多内容,让我们直接开始吧。
首先登场的是一个名为In-Spatial World 1.5的新AI。它基本上可以接受任何图像加上相机路径,然后生成一段沿着该相机路径在场景中行走的视频。几周前我介绍过第一版,但第五版的画质更好了。它可以从单张或多张图片开始输入,以提供更高的一致性和准确性。你甚至可以输入全景图或完整视频。如果你输入的是视频,它还能捕捉原始视频中你在场景中穿行时的动作。这让你能够根据特定的相机轨迹完全控制观看场景的方式。当然,你也可以随时冻结画面以制作酷炫的子弹时间效果。
在页面顶部,他们已经发布了该项目的代码。如果你点击“Code”按钮并向下滚动一点,里面包含了如何下载和运行此项目的所有说明。请注意,这是基于One 2.1构建的。令我惊讶的是他们还没有使用Miniax H3,但无论如何,这是基于1.3B参数的模型。其大小不到6GB,因此你应该能在大多数消费级GPU上运行它。如果你感兴趣,我会在下方的描述中链接到主页。
此外,本周我们还有一款名为Soul Refiner的新AI(由Nvidia推出),它可以将低分辨率视频一步提升为更清晰的高清4K视频。请注意,如果你放大特定部分,细节比原始视频丰富得多。好处是此模型与具体架构无关(model agnostic),你可以使用任何视频模型,包括最好的开源模型Miniax H3。这里有一些示例。请注意,使用Soul Refiner后画面更清晰了,但它确实会改变一些细节。这是另一个参考示例。请注意,经过细化器处理后,谷仓的细节略有不同。所以这并不完全忠实于原片。这是另一个参考示例。同样,它并非完全忠于原始视频。这也是我对此的主要顾虑。
除了Miniax H3,你还可以使用其他视频模型,如Nvidia的Cosmos或Alibaba 1。好处是他们已经发布了这个项目。因此,在页面顶部点击“Code”按钮并向下滚动一点,里面包含了如何在本地计算机上运行此项目的所有说明。请注意,这是借鉴自LTX Refiner,但他们对其进行了微调,使其只需一步即可完成超分辨率处理。如果你有兴趣进一步了解,我会在下方的描述中链接到主页。
此外,本周我们还有一款超级微小的语音转文字模型(即音频转录模型)。我认为这是我见过的最小的一个。它的大小仅为16.9MB。请记住,其他模型的体积至少有几GB大,所以这个真的非常小。由于其体积小,它可以在没有依赖项的情况下仅在CPU上运行。你甚至不需要GPU来运行它。事实上,让我们现在就测试一下。我要开始说话,看看它是如何转录的。它可以转录长达30秒的音频,并能自动检测语言以及为每个单词提供时间戳。
好了,以下是我刚才所说内容的转录文本。正如我所说,你可以一次性输入长达30秒的内容,它支持所有这些自动检测的语言。虽然演示中未显示,但你还可以让它提供每个单词开始和结束的时间戳。看看这惊人的速度。因为它非常小,所以在转录方面比Whisper Base快得多,解码速度快了约六倍。这里是Whisper、Whisper Base和另一个微小转录模型之间的错误率对比。你可以看到,至少在部分基准测试中,它的错误率低于Whisper Base。
在页面底部包含了如何在本地计算机上安装和运行此项目的说明,只需一个简单的pip install命令。此外,模型也在Hugging Face上提供。这是我见过的最小的转录模型之一,因此你甚至可以在像手机或其他没有GPU的边缘设备上使用它。如果你感兴趣,我会在下方的描述中链接到该页面。
现在,这周我们不仅仅有一个微小的文本转语音模型。这里还有另一个名为Phon 2的模型。它稍大一些,不到900MB,与其他至少几GB大的TTS模型相比仍然非常小。这里说它可以在大约20秒内将一小时的音频转换为文本。好处是它是开源的。此外,还有一些免费的Hugging Face空间供你在线试用。这是我正在使用它的一个示例。你可以看到,这是转录结果。现在,如果你查看这些基准测试数据,与其他大得多的模型相比,它的表现仍然非常好。平均而言,它获得了第二低的错误率。在底部,他们发布了可供下载的模型。如果你有兴趣进一步了解,我会在下方的描述中链接到主页。
本周早些时候,Anthropic发布了他们最新的模型Claude Sonnet 5.5。Sonnet是他们的较小模型,而Opus则是更大、更智能的模型,但这款新的Sonnet 5.5表现远超其体量。如果你将其与之前的Sonnet版本进行比较,它在大量的代理编码(agentic coding)和知识工作任务方面有巨大的改进,甚至在某些方面得分接近Opus 5.5。这是它的Terminal Bench分数供参考。
尽管Sonnet 5.5是一个较小的模型,但它运行起来并不一定更便宜。我们稍后会详细讨论这一点。这里是另一张图表,显示了Sonnet 5.5(蓝色线条)。你可以看到,其智能程度略低于Opus 5.5。而且它并不
运行成本未必更低。这里有一些其他图表。如果你查看 Artificial Analysis 的智力指数,令人印象深刻的是 Sonnet 5.5 排名第二,甚至击败了 GPT-6 Astra。但正如你所见,因为它比 Opus 5.5 稍逊一筹,完成一项任务所需的令牌量或成本实际上比 Claude Haiku 或 Claude Opus 还要高。事实上,在这里他们将其列为完成特定任务最昂贵的模型。原因之一是它倾向于比任何其他模型产生更多的输出令牌。所以老实说,在效率方面并不令人印象深刻。如果你想要最好的智力表现,我实际上会选择 Opus 或 Haiku。而如果你想获得最佳的性能价格比,那么我会选择便宜得多的 GPT-6.1 Sonnet 或 GPT-6 Astra。
不过,这款新的 Sonnet 5.5 模型的好处在于它现在是免费计划的默认模型。如果你有兴趣进一步阅读,我会在下方的描述中链接到主页。此外,本周 OpenAI 举办了年度开发者大会(Dev Day),带来了一些值得注意的更新。让我们来看看主要的几点。现在,OpenAI 开发者大会的主要公告之一是他们的新产品 Dots。这基本上是一个持久的 AI 代理,拥有自己的计算机,即使你没有与其积极聊天,它也能继续工作。
所以,与普通的聊天机器人不同——你只需给它一个提示并等待回答——Dots 拥有自己的云计算机和浏览器。因此,它可以通过插件连接数千个应用程序。它可以全天候朝着你的目标工作。所以你可以让它持续监控客户反馈、修复错误、测试更改并准备拉取请求,而你在做其他事情。你的 Dots 可以接手一个项目并将其运行下去,即使它正在处理其他项目。因此,你可以给它新任务和新项目,而无需启动单独的线程。
Dots 可以在 ChatGPT、Slack 和 Teams 之间工作。因此,你甚至可以通过手机或其他任何设备与其聊天。如果这听起来让你感到熟悉,好吧,它基本上就像 OpenClaw 一样,但这里 OpenAI II 只是将其包装成了一个更易于使用的消费级产品。顺便说一下,Meta 也在通过 Muse 和 Grokbot 做类似的事情。这里指出 Dots 今天开始在符合条件的市场向 Pro 和商业高级用户推出,也就是说不包括欧盟。
如果你处于这些计划之一,那么在 ChatGPT 的左侧菜单中你应该能看到你的 Dots。请注意,你可以给 Dots 打电话或在 Slack 上给它发消息。它拥有一台始终在线的云计算机,并且这里指出 Dots 由 GPT-6 Astra 提供支持。现在 AI 当前状态的好处是,你可以给它任何产品,并在短短几个小时内让它模仿克隆该产品。
所以就在 OpenAI 发布 Dots 几小时后,我们就已经有了一个名为 OpenDots 的开源替代方案。这是一个你可以自行托管的开源替代品,并且可以将其链接到任何模型,如果你有足够好的硬件,甚至可以本地运行该模型。这基本上是对 OpenAI 的 Dots、Meta Muse、Grokbot 等的替代方案。如果你对本地和开源选项感兴趣,该页面包含如何下载并在本地运行此产品的所有说明。
当然这只是一个框架,你仍然需要将你自己的大语言模型链接到这里。所以这是一个开源示例的又一个例子,它也是在 OpenAI 发布后不久发布的。这也称为 OpenDots。它的名称与前一个工具完全相同。正如名字所暗示的那样,这也是一个开源的 Dots 替代品。因此你可以自行托管它并分配代理执行各种任务。
就像 OpenAI 的 Dots 一样,你也可以通过短信或电话给 Dots 发送指令告诉它该做什么。或者你也可以在 Slack 上 ping 它们。所以基本上与 OpenAI 的 Dots 相同,只是它是开源的。如果你有兴趣进一步阅读,我会在下方的描述中链接到主页。现在,除了 Dots 之外,OpenAI 本周还发布了 GPT-6.1 Sonnet。这是上周刚刚发布的 GPT-6 Sonnet 的升级版。
我的意思是,现在我们每周一周就能获得模型升级,而不是几个月。这里他们声称这个新的 6.1 Sonnet 智力接近 Astra,但价格只有其五分之一。如果我们查看各种代理编码基准测试如 Deep Suite,你可以看到 GPT-6.1 Sonnet 效率高得多。所以 X 轴是每项任务的成本,理想情况下你希望位于左上角。自动化基准测试也是如此,你可以看到它效率高得多且智力仅略低于 GPT-6 Astra(蓝色线条)。
这里有一个基准测试,用于评估其在操作不同界面方面的表现。正如你所见,GPT-6.1 的效率要高得多。然后是对其科学研究能力的基准测试。现在如果你查看独立评估机构 Artificial Analysis,你可以看到 GPT-6.1 的智力仅比 GPT-6 Astra 低一分。绝对属于前沿模型之一。如果你查看每项任务的成本,你可以看到它比 GPT-6 Astra 和定价过高的 Clawed 模型便宜得多。
所以这绝对是目前最具成本效益的前沿模型。现在底部写着 GPT-6.1 Sonnet 今天已在 ChatGPT Work 和 Code Interpreter 中向所有付费计划开放。它尚未在聊天中使用。所以如果你处于付费计划,那么点击工作标签页你应该能够在这里访问 6.1 Sonnet。现在问题来了虽然这个新的 GPT-6.1 Sonnet 便宜得多,但 OpenAI 的另一个容易错过的更新是这样的。
基本上对于 200 美元的 Pro 计划,与其比便宜的 Plus 计划多使用 20 倍相比,很快他们将其削减至仅多出 10 倍的用量。基本上你的使用量减半了。顺便说一下,他们还推出了一个新的计划将花费 500 美元这将给你更多的使用量。如果你有兴趣进一步阅读,我会在下方的描述中链接到主页。如果你想超级增强你的创意工作流程,一定要查看本视频赞助商 Luma。
通常使用 AI 创建意味着不断在模型之间跳转、编写新提示词、生成资产并试图保持一切一致。Luma 采取不同的方法,为你提供可以在整个项目期间与你协作的 AI 代理。你可以从一个粗略的想法开始让 Luma 帮助将其转化为实际的创意方向。从那里,你可以生成图像和视频、测试不同的概念、做出更改并在同一地方不断迭代。更重要的是
代理会记住你正在处理的内容,因此你可以给它一个想法并生成内容,告诉它你喜欢或不喜欢什么,然后在此基础上继续开发项目,而不是每次重置上下文。当需要实际生成素材时,你可以访问一些最好的图像和视频模型。这包括Ray 3.2和Luma最新的视频模型。Ray 3.2特别擅长理解运动、物理和三维空间。你可以让角色在场景中移动,物体相互交互,同时摄像机也在移动,而模型能保持令人惊讶的一致性。这使得它在尝试创建电影片段而非孤立的AI生成剪辑时特别有用。
因此,如果AI已经成为你创作过程的一部分,Luma通过一个在此过程中提供协助的AI代理将不同的部分整合到一个工作流中。你可以尝试使用Luma,通过下方描述中的链接或扫描这里的二维码进行体验。此外,本周Comfy UI也有新更新。如果你还没听说过Comfy UI,这是本地运行图像、视频和音频模型最受欢迎的界面之一。
乍一看,这个界面似乎超级复杂,对吧?有成堆的节点和连线(noodles),有时用起来很痛苦。好吧,本周他们推出了一个叫Comfy Agent的东西。这基本上是一个内置在Comfy UI中的代理。你只需提示它你想要什么,它就会规划步骤。它会创建并连接节点,然后运行工作流。这样你就不必手动拖放节点和连线了。
我认为这对技术内容特别有帮助。所以如果你在某处卡住了,或者遇到错误信息,你可以直接在Comfy UI中提示这个代理,希望它能自主为你修复。或者它可以直接自动构建或编辑工作流并运行它。例如,你可以要求它使用Miniax生成视频,它可以自动选择正确的工作流并为你运行。
目前这在Comfy Cloud中可用,这是他们的付费在线服务,但他们将在几周后把这个代理功能添加到Comfy Desktop。所以敬请期待。如果你想进一步了解,我会在下方描述中链接到主页。此外,本周我们有一个新AI叫Pixelmum(注:原文为Pixelumm/Pixelm,结合上下文应为PixelM或类似名称,此处依音译及语境处理为“像素模型”或直接保留名Pixelmum的意译,但根据后文解释其特性,暂译为“像素模型”或保留原名并意译。原文是Pixelumm/Pixelm,后文解释其直接在像素空间工作)。这是一个既能理解又能生成图像和视频的模型。
但有趣的部分是,它不使用解码器。它在像素空间中直接工作,而不是使用编码器。如果你完全不知道我在说什么,基本上对于大多数图像和视频模型,它们实际上是在所谓的潜在空间(latent space)中生成内容。这是一个更紧凑的数学维度,使其更容易处理,然后通过所谓的编码器组件将其转换为你我可见的像素空间。
Pixelm有趣之处在于它完全移除了这一步骤。相反,它在像素空间中生成内容,这正是你我可见的。所以这里有一些它的生成示例供你参考。我会说其质量和一致性不如前沿模型,但请注意这只是一个新架构的研究预览。在顶部,他们发布了该模型的代码和权重。
所以如果你点击这个链接并向下滚动一点,它包含所有关于如何在本地计算机上下载和运行此模型的说明。请注意大多数源文件采用Apache 2许可证,这是非常宽松的许可协议。如果你想进一步了解,我会在下方描述中链接到主页。此外,本周我们有一个新图像模型叫Ideogram 4.5(原文Aiogram/Audiogram/Ideoggram,根据上下文及常见模型名修正为Ideogram 4.5)。
这是他们所谓的有史以来最精确的编辑模型。正如你可以从这些示例中看到的那样,你能够用自然语言编辑现有图像,并且它只会编辑图像的特定部分,同时保持其余部分的像素级一致性。事实上,如果你将Ideogram 4.5与其他图像模型如GPT-Image或Nano Banana进行比较,你会发现经过大量不同编辑后,其他竞争对手开始在图像中引入大量噪声。
图像扭曲相当严重。但Ideogram在所有这些编辑过程中都保持超级一致。Ideogram的酷之处在于,与之前的4.0版本一样,你可以在画布上绘制边界框来确定每个区域的内容。所以这里有一个示例,我们可以在这里绘制一个边界框并仅编辑该区域,同时保持图像的其余部分与之前完全相同。
目前你可以在他们的在线平台上尝试Ideogram,但他们也计划开源Ideogram 4.5以便你可以本地运行它,这太棒了。我认为一旦他们开源这个模型,它将是最棒的本地图像编辑器。如果你想进一步了解,我会在下方描述中链接到主页。现在,除了Ideogram 4.5之外,本周我们还有另一个新图像模型叫Flux 3 Image。
现在这也有许多非常酷的功能。就像Iv4一样,你可以在画布上绘制边界框并描述每个位置的内容。这使得你可以对图像的构图进行非常细致的控制,正如你从这些示例中看到的那样。现在你不一定要使用这些边界框。你可以只使用常规文本提示来生成图像。
这也超级多功能。它可以处理大量不同的图像,包括真实照片或包含众多元素和文本的海报。它还可以进行参考图生成(image-to-image)。所以你可以输入多达10张参考图像供其在生成过程中使用,正如你在这里看到的。这是一个非常灵活的工具,当然它也可以用自然语言编辑图像。
所以你可以拍摄任何照片并添加、删除或替换物体,或者改变物体的颜色,放大图像,为黑白照片上色以及其他用例。目前这是闭源的,但你可以使用他们的在线平台尝试它。他们声称未来将开源此模型的权重,这很好。但请注意他们也说过Flux 3视频会这样做,那已经是几个月前的事了,至今仍未见开源模型的踪影。
所以目前的记录并不好。希望他们会信守承诺并开源Flux 3视频和Flux 3图像。现在,如果你想进一步了解,我会在下方描述中链接到此页面。此外,本周Google终于回归了。所以他们刚刚发布了Gemini 2.0 Flash(原文Gemini for Argon,可能是语音识别错误,结合语境应为最新模型,此处依字面或常见名修正为Gemini 2.0 Flash/Pro等,但根据“best and latest”及Google近期动态,通常指Gemini 2.0 Flash或类似。鉴于字幕可能有误,这里忠实翻译原文提到的“Gemini for Argon”可能指代特定版本或口误,结合后文语境,暂译为“Gemini最新模型”)。
这是他们最好且最新的模型。
这绝对是个庞然大物。在各种基准测试中,如代理编码、知识工作、科学和数学、计算机使用等,Gemini 4 平均击败了 GPT-6 Astra 以及最佳的 Claude 模型。这相当令人印象深刻。如果你查看关于长程代理编码的深度基准测试,你会发现 Gemini 4 实际上排名第一。在衡量其在多样化知识工作任务上表现的 Val's Index 中,Gemini 也排名首位。在金融研究分析以及长程法律工作方面也是如此。
然而,如果你查看 Artificial Analysis 的独立排行榜,你会发现 Gemini 4 并非排名第一,而是与 GPT-6 Astra 和 Claude Opus 并列第二。它仍落后于 Claude Opus 5.5 几个百分点。但是,如果你看看成本问题,Gemini 4 的成本远低于其他具有大致相同智能水平的竞争对手。因此,它的性价比非常高。
我认为 Gemini 4 Argon 最大的特性是它可以输出 100 万个 token。这简直太疯狂了。作为参考,其他前沿模型只能输出大约 64K 到 128K 个 token。这基本上是指它在响应中能输出多少单词。而 100 万个 token 相当于仅仅一次输出就包含约 70 万单词。顺便说一句,这不是上下文窗口的大小或你能喂给它多少信息,对吧?所有前沿模型都已经拥有百万 token 的上下文窗口,但这里我们谈论的是完全不同的东西——即输出 token。
想象一下 Gemini 4 能够仅仅在一次回答中就输出一整部小说、系列小说或整个代码库。这太疯狂了。另一个让我觉得超级令人印象深刻的是 Gemini 4 Argon,它拥有所有其他模型中最低的“全知幻觉”率。根据这项基准测试,它的幻觉发生率仅为 15%,而其他模型如 GPT-6 则高达约 50%,Claude 系列模型更是高居 60% 到 70%。这非常令人印象深刻。
不过,这项基准测试有一个需要注意的地方:它基本上是在衡量当模型无法回答问题时,它是给出错误答案、部分答案还是承认自己不知道。所以这里并不是衡量它是否答对了,而是基本上在测量如果它不知道答案,它是诚实地说“我不知道”,还是编造内容。从这张图表中可以看出,Gemini 4 在不知道答案时表现得最为诚实。
在你过于兴奋之前,他们表示目前仅通过私人计划向一组受信任的网络防御者推出 Gemini 4 Argon。所以像你我这样的普通用户暂时还无法访问。一旦开放,它将首先面向付费 API 客户和 Google AI Ultra 订阅用户。因此这很可能是收费的,并且仅通过最昂贵的计划提供。希望他们能尽快向公众发布此功能,以便我能彻底测试它并看看它与其他前沿模型相比如何。目前,如果你感兴趣,我会在下方描述中链接到主要的发布页面。
此外,本周 Bit Dance 发布了两种加速视频和图像生成的新方法。第一种方法称为 DMAD,即分布匹配对抗蒸馏(Distribution Matching as Adversarial Distillation)。其工作原理是,你现在可以使用像 Miniax 这样的视频模型,仅用四步即可生成视频,而不是常规的 20 到 30 步。这里有一些使用四步模型生成的示例,以及供参考的其他额外例子。
有趣的是他们的训练方式。他们使用基础模型来训练一个名为“学生”的新模型,使其学会仅用四步生成视频。它使用某种判别头(discriminator heads)来比较“老师”的输出和“学生”的输出,然后利用这些差异来确定学生应如何改进。这种架构不仅适用于 Miniax,也适用于其他视频和图像模型。
他们在页面顶部已经发布了相关内容。如果你点击代码按钮并向下滚动一点,里面包含了所有关于如何在本地计算机上运行此程序的说明。你需要下载基础 Miniax 模型,但这些 LoRA 文件每个只有 1.4 GB。
本周 Bit Dance 发布的不仅仅是这种四步蒸馏方法,他们还发布了另一种称为 PDMD 的方法。这有点令人困惑,因为前一个也是四个字母。与前一种方法一样,这也允许你仅用四步生成视频,而不是 Miniax H3 所需的常规 20 到 30 步。如果你将其与其他蒸馏方法进行比较,你可以看到最右边的这种新 PDMD 表现要好得多。这里有一些其他示例供参考。
你可以看到,与其他蒸馏方法相比,其运动、细节和一致性都要好得多。这种方法的工作原理也很有趣。对于前一种方法,我们提到使用评论家来指出学生生成和老师生成之间的差异,然后修复那些部分。然而,有时评论家并不完美,因此它的一些自身错误会传递给学生。PDMD 所做的是查看来自评论家错误的训练信号部分,并将其投影掉(消除影响)。
从这些视频和音频质量基准测试中可以看出,平均而言,PDMD 的表现优于其他蒸馏方法。现在,他们在顶部发布了代码和模型。如果你点击代码按钮并向下滚动一点,里面包含了所有关于如何下载并在自己电脑上运行此程序的说明。
这里实际上发布了两种不同的东西。他们发布了一个修改后的基础模型,即完整的 Miniax 模型(66 GB),但现在你可以仅用四步而不是二十步来运行它。如果这对你来说太大了,他们还为此发布了一个 LoRA(低秩适应)。你可以使用较小的量化 Miniax 模型,然后将这个 LoRA 放在上面。而这个 LoRA 只有大约 1.4 GB(原文似有笔误,结合上下文应为较小数值)。如果你有兴趣进一步阅读,我会在下方描述中链接到主页。
此外,本周我们有一个相当惊人的例子,展示了 AI 在理论物理学中的实际应用。这与等离子体有关,等离子体基本上是由带电粒子组成的极热气体。核聚变反应堆需要使用磁场将这种等离子体束缚在原位。一种称为仿星器(stellarator)的核聚变反应堆类型,使用非常复杂的三维磁场来实现这一目标。
但这背后有一个自1967年以来在等离子体物理学中一直未解的数学问题。基本上,科学家们一直在思考:即使压力在不同位置发生变化,等离子体是否能在三维磁场中以完美稳定且平滑的排列方式存在。几十年来,我们认为这可能只有在磁场具有某种特定对称性时才成为可能。
但本周,我们不仅看到了一篇论文推翻这一观点,而是两篇。显然,他们使用了GPT6 Astra找到了两个不同的例子,证明其他不寻常的等离子体配置仍然可以保持稳定和光滑。这也不是AI首次帮助解决困扰人类数十年的难题。几周前我曾提到,OpenAI能够解决纳维-斯托克斯千年大奖问题,证明了在特定条件下螺旋流动的流体可以实现奇点。换句话说,涡旋的中心部分能够在短时间内达到无限速度。
本周,AI再次推翻了另一个困扰学界数十年的难题,这次是在等离子体物理学领域。我相信随着AI的帮助,尤其是涉及纯数学的问题,会有更多难题被解决或推翻。一旦找到解法,验证其正确性变得非常容易。这是本周AI帮助研究人员在极其专业的物理学领域发现新数学原理的又一个精彩案例。如果您感兴趣,我会在下方描述栏中链接到这两篇论文的GitHub页面。
此外,本周我们介绍了一个名为Tactile Step的新机器人系统。这基本上赋予了人形机器人通过脚部获得更好的触觉感知。大多数机器人的行走系统主要关注的是能否成功穿越地形,但这有时仍会导致一些不良行为,比如重重地砸向地面、踩在边缘上或站立时接触不稳定。
对于人类来说,我们可以感受到脚下的压力并调整落地方式。Tactile Step试图赋予机器人类似的能力。研究人员给机器人配备了压力感应鞋垫,并进一步训练机器人模型以理解每只脚接触地面的位置和力度。经过这种“Unitriot”(注:原文为unitriot,疑指特定模型或训练阶段)的训练后,机器人能够更轻柔地落地并在着陆时提供更稳定的支撑。
从演示中可以看到,它能够相当轻柔地在楼梯、斜坡和平台以及平坦地面上行走。事实上,他们报告称峰值触地力减少了近50%,冲击噪音降低,接触面积增加了多达24%。因此,该系统允许机器人在各种地形上更稳定、轻柔地行走。如果您感兴趣,我会在下方描述栏中链接到该主页。
此外,本周这个演示绝对是我迄今为止看到的最令人印象深刻的人形机器人演示之一。来自清华大学和其他大学的研究人员现在训练了一款人形机器人,具体是Unitree G1,使其能够自主打羽毛球。从演示中可以看到,它不仅能进行正手击球或反手击球,还能跳跃回球。它可以自主与人类球员进行多回合的对打。
羽毛球对人形机器人来说是一项极具挑战性的运动,因为球速极快,机器人的击打窗口非常小。它需要在几秒钟内做出大量决策,包括如何协调双腿、如何跑向羽毛球,以及如何扭转躯干并挥动手臂和球拍将球击向正确方向。
问题在于,缺乏高质量的人类运动数据来训练机器人打羽毛球。因此,研究人员不得不采用有限数量的真实击球动作,并将其自动转换为不同变体的合成数据。然后这些数据被用作训练机器人的数据集。无论如何,这是一个非常令人印象深刻的演示。如果您对技术细节感兴趣,我会在下方描述栏中链接到该主页。
此外,本周Eleven Labs发布了他们最新的文本转语音模型V4,并声称这是迄今为止最具情感表现力的声音模型。事实上,您可以在提示词中做很多事情来自定义生成结果。例如,您可以在提示词中添加元标签(metatags),以指示您想要的方向、音效或语气。以下是一些示例:
“你听到了吗?不,不,不。别回头。我告诉过你别这样。” [笑声] “你知道的,从这面墙刷漆之前、这座房子建成之前,甚至在你出生之前,我就住在这些墙壁里。每晚当你熟睡时,我会数着你小小的呼吸声。一、二、三。” “你知道的,你妈妈会为你长成的年轻人感到无比骄傲。她总是告诉我她是多么钦佩你……唉,我只是太想她了。” [叹息] “靠近点儿子。你能答应我,答应我永远不要忘记你来自哪里吗?听见了吗?”
“挥棒犯规出界。是的。” “所以,你和我在休息时聊了一会儿,你说了一些让我惊掉下巴的话。” “别做那种事。” “是的。所以这位是杰森先生,女士们先生们。” “天哪。” “事实上,如果你能相信的话,杰森在90年代曾是后街男孩的编舞师。对吧,杰森?” “哦天哪,帕克,你让我觉得自己老了,伙计。”
“我只是在给大家提供数据。你知道的,这是我的工作,老板。” “好吧,是的。我也能跟上节奏。我能摇摆起来。你知道的,我有那个……RZ,就像孩子们喜欢说的那样。” “啊,是的,是的。那节奏(Riz)。没错,伙计。你直球满垒。” “大谷翔平摆出他标志性的姿势,用力击向左外野。球飞出去了!是我接住了吗?哦天哪,大谷翔平打出了他本场比赛的第二支本垒打。哇。”
这是一个非常 versatile 的声音模型,允许你在转录文本中随意插入元标签来控制生成效果。目前这在免费计划中也可用。你一开始会获得10,000个积分,而且根据这个排行榜来看,Eleven Labs V4 是目前最好的文本转语音模型。所以一定要试一试。它甚至在免费计划中就可用。如果您感兴趣,我会在下方描述栏中链接到该主页。
此外,本周GPT6 Astra似乎破解了一封拿破仑的加密信件,看起来像这样,这封信已经未解之谜长达217年。一个叫卡特·丘奇的人从这张低分辨率图片开始,将其输入给Astra,后者基本上将图像分割成行,并能够……
它能识别大约1300种手写密码单元,然后判断哪些看起来略有不同的标记实际上是同一个符号。作为参考,之前发表的一张表格仅给出了33个字母的值,覆盖了约三分之一的信息。在此基础上,GPT构建了一个求解器,通过询问生成的文本是否像真正的法语来测试可能的映射关系。经过几轮测试后,它最终重建了其余的密钥,看起来是这样的。它还发现有些字母实际上代表整个单词,而不仅仅是单个字母。因此,整个过程耗时约6小时,但最终它成功解码了整封信件。答案如下:这实际上是一份发给马尔蒙将军的军事简报,描述了奥地利向法国宣战前的部队部署情况。如果你对历史或密码分析感兴趣,这是一篇关于AI如何提供帮助的精彩读物。如果你关注技术细节,我会在下方的描述中链接到该主页。
此外,本周我们还有一款名为Pammy的新AI工具。它接受任何文本提示和任意物体作为输入,并输出人物与该物体互动的3D动画。它可以完成许多动作,如拿起、移动或旋转物体等。正如你所见,人物自然地握住并移动这些物体;而在其他案例中,手部并未真正接触或连接好。相比之下,Pammy看起来更加逼真。其工作原理是让身体的不同部位(如手、脚和臀部)各自投票决定物体的移动位置,然后根据文本生成粗略的互动效果,再由细化器清理接触点,确保手部正确触碰物体。目前他们已在GitHub上发布了相关项目,并计划开源模型,敬请期待。该项目采用非常宽松的MIT许可证感兴趣者可在描述中找到链接。
本周还有一款名为Point to Part的新AI工具,它接受单张图片或3D网格作为输入。你可以在想要分离的每个部分上放置一个点,该AI随后会将整个物体分解为这些独立的部分。例如,它可以将图片或网格拆解成干净的分离部件,进而进行爆炸视图展示。其工作原理很有趣:并非单独生成每个部分,而是根据你的点提示分解整个形状,确保部件从不重叠且不留空隙。若将这些部件拼合在一起,它们将恢复为完整的原始物体。在部分质量的各项基准测试中,该新模型平均表现优于其他类似的分割工具。他们已在GitHub发布项目并计划开源模型及训练代码,敬请期待。感兴趣者可在描述中找到链接。
本周还有大量值得关注的中小型开源模型。首先是Alan AI发布的Astro Brief,基于Quen 38B构建,这是一个约80亿参数的较小模型。它旨在将科学文献转化为带有规范引用的研究报告。Astro Brief接收提示和相关论文,只需一次处理即可生成完整的引用报告。基准测试显示其报告质量远超Quen 3基础模型,并接近竞争对手Dr. Tulu。Allen Institute的优势在于完全开源了所有内容和数据集。8B模型大小约32GB,需要高端GPU运行,但若有硬件支持,这是生成科研报告的不错本地选项。
除了Astro Brief,Allen Institute本周还发布了OML Core 3,这并非新聊天机器人,而是一种用于构建混合专家(MoE)模型的新训练系统。混合专家模型如同专家团队协同工作,使用时仅激活少数专家,从而在不支付全量计算成本的情况下获得巨大模型优势。然而,当模型极大时,GPU间数据传输成为瓶颈。OML Core 3通过将每个专家保留在独立GPU上并发送任务来解决此问题,类似让工人待在工位接收工作。此外还分散数据以节省内存并合并计算以提高效率,使训练速度比前代系统快2.7倍。他们已开源技术报告和包含文档的GitHub,感兴趣者可在描述中查看链接。
本周还有一款名为iQuest Q1的新AI模型,这是专为命令行系统设计的智能体模型。其目标是处理长期软件任务(如检查仓库、运行命令、调试故障和使用工具等),并持续迭代直至完成。该模型规模庞大,拥有3200亿参数,采用混合专家架构,使用时仅激活150亿参数。基准测试显示其表现相当出色。他们已发布代码,点击链接可获取下载和运行说明。感兴趣者可在描述中找到相关链接。
此外本周还有一款名为Ax 2的新模型,这是一个基于Quinn的约270亿参数的极小模型,拥有有趣的设计。
它不再试图一次性解决问题,而是学会反复改进自己的答案。基本上,模型会提出一个解决方案,然后测试或衡量其效果如何。它会查看反馈,找出出错的地方,然后再试一次。所以,你可以把它想象成不是只问 AI 一个问题,而是给它几轮时间去思考和调试自己的工作。
事实上,ARX 2 在机器学习和算法编程任务上进行了大量训练,这些任务的结果是可以实际验证的。如果你查看这些基准测试数据,你会发现它的表现甚至能与大得多的模型相媲美。它还超级高效。例如,如果你看它在参数量与性能方面的对比,它的表现甚至比 Kimmy K3 或 GPT-5.6 还要好。
在深度研究基准测试中也是如此。好消息是它们已经发布了这个模型。因此,如果你点击顶部的“Models”链接,它会带你到他们的 Hugging Face 页面,你可以在那里下载该模型。不过,拥有 270 亿参数的它仍然相当庞大,大小达到 55 GB。如果你感兴趣,我会在下方的描述中链接到这个页面。
以上就是本周 AI 新闻的所有亮点。请在评论区告诉我你对这一切的看法,哪条新闻是你最喜欢的?你最期待尝试哪个工具?一如既往,我会继续寻找顶级的 AI 新闻和工具与你分享。所以,如果你喜欢这个视频,记得点赞、分享、订阅,并关注更多内容。
此外,每周 AI 领域发生的事情实在太多了,我不可能在我的 YouTube 频道上涵盖所有内容。因此,要真正及时了解 AI 领域的一切动态,请务必订阅我的免费每周通讯。相关链接也会在下方描述中提供。感谢观看,我们下期再见。