Evoke:实时交互式世界的构建与机器人训练应用
本周推出的全新开源视频模型 Evoke 能够以近乎实时的速度生成交互式世界。该模型的输入包括一张图像和操纵杆移动指令,输出则是能即时响应这些操作的视频流。用户可以控制雪地摩托等载具,或通过文本提示添加火山爆发、气球或极光等事件。>
开源视频编辑工具 Bernini v2:功能强大但部署门槛极高
本周,Bite Dance 发布了全新的开源多模态视频编辑器 Bernini v2。该工具允许用户通过自然语言指令对现有视频进行编辑,包括添加角色、改变色调、移除特定物体或人物。此外,它还能调整摄像机视角和背景,并支持插入参考图像以精确控制生成内容。例如,用户可以指定将直升机插入场景中。
然而,Bernini v2 的本地运行难度极大。该模型仅权重文件就高达 180 GB,加上 VAE 和文本编码器等组件,对硬件要求极高。正如评论所指出的:"good luck running this locally on your device." 由于资源消耗巨大,即使是前一版本也未在开源社区引起广泛关注。尽管功能强大,但考虑到已有如 Miniax H3 等具备参考视频功能的替代方案,Bernini v2 可能面临“出生即遇冷”的局面。
Ornith 1.5:自进化闭环与开源大模型的突破
本周发布的 Ornith 1.5 系列模型基于一个雄心勃勃的理念:构建自我改进循环。系统不再依赖人类不断创建新任务和数据,而是自行提出新问题、构建解决工具、生成解决方案,并将结果作为强化学习数据来训练模型。这种机制旨在让更强的 AI 为自己发明更难的挑战,形成闭环。
Ornith 1.5 包含三个不同规模的模型:90亿参数的密集模型、350亿参数混合专家(MoE)模型,以及最大的 3970亿参数 MoE 模型。在 Terminal Bench、Deep Frontier Bench 等基准测试中,最大规模的表现极为出色。值得注意的是,尽管 Ornith 1.5 参数不到400亿,但在多项基准测试中击败了规模为其两倍的 GLM 5.2。同时,其表现也紧追闭源模型 Opus 4.8(推测参数超万亿)。中型的350亿参数版本在多数基准中也超越了 Qwen 2.6(尽管存在选优嫌疑,且已有更新的3.8版本)。最大模型权重达 794 GB,需多加速器支持;而最小的 9B 版本仅重 18.8 GB,4-bit GGF 量化版更是小于 6 GB,可轻松运行于中低端 GPU。
Audio8TS:微型多语言语音克隆技术
本周还推出了一款超小型文本转语音(TTS)生成器 Audio8TS。该模型仅包含 0.1亿参数,总大小仅为 1.7 GB,足以在大多数消费级设备上运行。它支持语音克隆功能,只需几秒参考音频即可让模型复述任意文本。
演示展示了其高保真度:原始语音说 "The room is quiet now...",克隆后能准确复述 "Before you leave this morning, remember to close the windows...",听感非常相似。此外,Audio8TS 支持多语言环境,能够处理包括英语、西班牙语("Buenos días")在内的多种语种。其代码和模型已开源,HuggingFace 页面提供了详细的本地运行指南,为资源受限用户提供了极佳的 TTS 解决方案。
Geo Weaver:长视频序列的3D场景重建突破
在三维视觉领域,从少量帧重构场景相对容易,但处理长视频序列时AI极易丢失尺度与相机位置信息,导致重建的3D世界出现漂移和错位。为了解决这一难题,Geo Weaver 提出了一种分块处理与全局对齐的策略。该方法首先将长视频拆解为可管理的片段,并预测每个片段的深度和相机位置。在推理阶段,系统通过逐步拼接这些片段并调整参数,直至整个序列达成一致的3D世界。它利用邻近帧、重叠视角以及视频远距离部分之间的长程匹配来保持对齐,从而获得更准确的相机轨迹、更好的全局一致性和更干净的点云。
"The challenge is that doing this over a long sequence is much harder than reconstructing it from just a few frames."
在性能评估方面,Geo Weaver 展现了显著优势。根据基准测试数据对比:
| Model | Average Error Rate |
|---|---|
| Geo Weaver | Lowest (最低) |
结果显示,与其他竞争模型相比,Geo Weaver 拥有最低的误差率。目前官方仅发布了技术论文,尚未提供代码或模型下载。
Quen VideoEdit:基于文本提示的视频编辑新工具
本周推出的 Quen VideoEdit 是一个允许用户通过自然语言文本提示来编辑现有视频内容的AI工具。与从头训练的视频生成模型不同,Quen VideoEdit 采用了不同的技术路径:它利用现有的图像编辑器 Quinn ImageEdit,并将其集成到视频生成工作流中(具体使用 Alibaba 的 WAND)。其核心逻辑是逐帧编辑视频画面,从而实现对视频中任何部分的自然语言修改。
该项目已开源代码和训练脚本。然而,由于模型体积庞大,总大小达到 41 GB,用户需要配备高端 GPU 才能运行。尽管功能强大,但鉴于 Miniax H3 等现有工具已具备类似的视频编辑能力,该工具的差异化优势尚待观察。有兴趣的开发者可通过相关链接获取代码库及运行指南。
机器人技术:数据采集手套与形态变换机器人
在硬件采集方面,Passini Tech 发布了新一代数据收集手套 PX Cap Pro。这款轻量级设备专为采集机器人可学习的高质量手部动作数据而设计,集成了覆盖指尖和手掌的高灵敏度触觉传感器(能感知低至 0.1 Newtons 的力)、广角手腕摄像头以及抗磁干扰的高精度角度编码器。它适用于系丝带、处理气球或实验室工作等精细任务的数据采集。
与此同时,中国公司 Arc Shell Robotics 展示了 MXD1 机器人。这是一款可切换四种形态的变形机器人:双足人形、四足行走模式、搭载飞行无人机进行空中运输,以及即将推出的轮式形态。虽然其多形态设计颇具创意,但更多的机械结构意味着潜在的故障点增加,其实用性和可靠性仍有待市场验证。
世界机器人大会:仿生人与特种坐骑展示
在中国举办的世界机器人大会上,多家厂商展示了前沿的仿生技术。Ubitech 推出了高度逼真的 Annie Wit Annie 机器人,其唇形同步与身体动作流畅自然。另一款全尺寸仿生人同样表现出极佳的逼真度,包括眨眼和头部转动等微表情。此外,A Headform 公司发布了 Elf Schwan 2.0,这是一款拥有精灵耳朵、花卉配饰及完整关节身体的仿生机器人。相比以往仅展示头肩部的Demo,此次发布的 Elf Schwan 2.0 拥有扩展的自由度,虽目前仅能执行基础动作,但为未来的行走或舞蹈功能奠定了基础。
在特种机器人领域,DAX AI 展示了名为 Chi (X1) 的四足赛博马。这款机器人专为崎岖地形设计,允许人类骑乘。其四轮版本(XS)售价约 $53,000,具备 300 kg 载重能力、40 km 续航及最高 10-40 km/h 的速度,适用于斜坡、碎石、泥泞或冰雪环境。这一产品标志着机器人从单纯的人形模仿向功能性载人交通工具的拓展。
"The X1 version costs about only 40,000 USD... The wheeled XS version... can cruise even faster at up to 40 km per hour."
北京人形机器人运动会预热与Uni Tree "Superman"的极限速度
近期在北京即将举行的世界人形机器人运动会引发了广泛关注,开幕式彩排中展示了包括天工、Galbot在内的众多机型。其中,Uni Tree预览的新款人形机器人 "Superman" 表现尤为惊人。该机器人的站立跳高成绩约为2米,已超越人类1.8米的吉尼斯世界纪录;其最高时速接近 12.7米/秒,也超过了人类最快短跑速度 12.4米/秒。这意味着该机器人已具备超越世界顶级人类短跑选手的能力。
值得注意的是,这款仅研发了三个多月的机器人为了追求极致速度,在制动设计上存在明显短板。视频演示显示,由于设计初衷是极速奔跑而非精准停止,机器人在冲刺后难以减速,最终多次撞向墙壁或障碍物以强制停下。这种 "刹不住车" 的笨拙感与其惊人的速度形成了鲜明对比,但也侧面印证了其动力系统的强大。此外,荣耀(Honor)的 "闪电" 机器人以及天工机器人在预热视频中也展现了超越人类的速度,显示出人形机器人运动能力相较于去年有了巨大飞跃。
从奔跑到网球:人形机器人的自主运动控制进阶
除了直线竞速,人形机器人在复杂动态任务中的表现同样令人印象深刻。目前已有多个团队展示了机器人自主打网球的 Demo。Uni Tree G1 通过 Adapt 系统,将真实网球比赛的数据迁移至机器人身上,实现了自主发球和回合对打。这一过程极具挑战性,因为网球运动不仅要求击球力度精准,还需要在毫秒级时间内判断并执行上旋或下旋等物理动作。
"It ain't as simple as just hitting the ball with a racket. You need to hit it with just the right amount of force... There's a lot of physics that needs to be decided and executed in real time."
另一款名为 Galbot 的机器人在世界人形机器人运动会中展示了更高级的自主网球能力。Galbot 能够根据球的轨迹快速移动,并在极短时间内计算出合适的击球力度与旋转角度,完全无需人工干预。这些案例表明,人形机器人正从单纯的 "跑得快" 向 "动得准、控得住" 的高阶运动智能演进,其实时物理决策能力已达到相当高的水平。
Deepseek V4 Flash Vision 发布:多模态能力对标闭源巨头
本周,Deepseek 发布了最新模型 Deepseek V4 Flash Vision Experimental。该版本在保持原有文本处理性能的同时,新增了视觉能力,支持分析图像、视频和文档。基准测试显示,该模型在多项 Agentic Coding benchmarks 中表现优异。
| Model | Benchmark Performance Comparison |
|---|---|
| Deepseek V4 Flash (Text-only) | Baseline for comparison |
| Deepseek V4 Flash Vision Experimental | Matches performance of Opus 4.8 across agentic coding benchmarks |
| Opus 4.8 | Closed-source model, significantly larger in size |
数据显示,这款新模型在性能上追平了闭源且体量可能大数倍的 Opus 4.8。此外,Deepsuite 评分在不到一个月的时间内提升了近 5分。目前该模型仅通过 API 提供访问。与此同时,音乐生成领域也迎来了新成员 Happy Shrimp(据信由 Happy Horse 同一团队开发)。用户可通过描述风格、输入歌词或选择纯音乐模式生成歌曲。生成的音频效果被评价为 "干净且动态丰富",目前可免费使用。
Comfy MCP 开源:自然语言驱动的工作流自动化
在 AI 工作流工具方面,Comfy UI 开源了其 Agentic Connector (Comfy MCP)。这是一个 API 接口,允许 AI Agent(如 GPT、CodeC 或 GLM)直接连接至 Comfy UI。用户无需手动拖拽节点,只需通过自然语言指令(例如 "使用 Miniax H3 生成视频"),Agent 即可自动构建工作流并执行任务。
该工具的核心优势在于其 对本地硬件环境的直接感知能力。Comfy MCP 能够识别用户的 GPU 配置、已安装的模型及自定义节点,从而确保生成的工作流在本地环境中可执行。这一功能极大地降低了 Comfy UI 的使用门槛,将复杂的节点编辑转化为简单的对话交互。GitHub 仓库已提供详细的安装指南,标志着 AI Agent 与本地图形生成工具的深度融合进入新阶段。
机器人基础模型Gen 1.5实现单次演示学习
本周出现了一款名为 Gen 1.5 的机器人基础模型,其核心突破在于具备少样本学习能力。传统方式需要逐步编程或进行多轮数据训练,而该模型只需观看一次人类演示即可尝试复现任务。机器人基础模型本质上是控制机器人的“大脑”,它接收视觉视频、传感器信息以及自然语言指令,并能以每秒 100 次的频率输出运动轨迹。在单次演示设置下,模型仅需 3到12秒 的示范视频即可开始学习。
尽管这一进展标志着向通用机器人迈出了重要一步,但目前的成功率仍有提升空间。数据显示,在 10项 多样化的任务中,仅凭单次演示的成功率为 59%。若增加少量额外训练数据(每任务约 5分钟),成功率可提升至 83%。虽然尚未达到完美且任务相对简单,但证明模型能从演示中学习是一个重大突破。
“Instead of programming the robot step by step on how to do it or instead of training it on data for multiple rounds, this robot foundation model can just learn a task from potentially just one demonstration.”
Nvidia AO框架使Claude Opus 5在Arc AGI3基准测试中满分
Nvidia发布了一个名为 AO 的代理框架(Agentic Framework),该框架允许 Claude Opus 5 在 Arc AGI3 基准测试中取得 100% 的得分。Arc AGI3 是一个极具挑战性的基准测试,AI模型需在无指令的新视频游戏环境中通过试错自行发现规则和目標。此前,大多数顶级AI模型在此类测试中表现不佳,得分普遍低于 10%,而 Claude Opus 5 原始得分为 30%。这是因为AI模型在训练后通常无法学习新模式,该测试旨在检验其涌现出的实时学习与适应能力。
通过引入 AO 框架这一简单的代理管道,Claude Opus 5 的表现实现了质的飞跃。该模型在 25个 环境中全部获得满分,完成了所有 183个 关卡。尽管评估基于公共数据集可能导致分数略有膨胀,但这证明了无需优化模型本身,仅通过优化围绕模型的系统或框架(Harness)即可解锁更高的性能与智能。
“You can see most of them perform under 10% and Claude Opus 5 only gets 30%. And that's because AI models technically cannot learn new things or patterns after training.”
结论:系统优化与具身智能的新方向
本周的这两项进展揭示了AI发展的两个重要趋势。首先是具身智能(Embodied AI)的进步,Gen 1.5 模型展示了机器人从人类演示中快速泛化的潜力,尽管目前成功率有限,但为“展示即学会”的通用机器人愿景提供了实证。其次是代理框架(Agentic Framework)的价值,Nvidia 的实验表明,通过设计更好的工作流和系统架构来引导现有大模型(如 Claude Opus 5),可以显著弥补其在动态环境中的推理短板,甚至在特定基准上超越模型本身的极限。
“This is additional proof that you don't have to optimize the models themselves. You can also optimize the harness or the system around these models to unlock even more performance or intelligence.”
这些案例共同说明,AI能力的提升不仅依赖于模型参数的迭代,更在于如何利用框架赋予其适应新环境的能力以及如何通过少量数据实现快速技能迁移。
结论
本周进展揭示了AI能力跃升的两条核心路径:系统架构优化与具身智能突破。Nvidia AO框架使Claude Opus 5在Arc AGI3基准测试中从30%飙升至100%,证明通过优化代理工作流可显著弥补模型在动态环境中的推理短板,无需修改参数即可解锁极限性能。具身智能方面,Gen 1.5模型实现单次演示学习(成功率59%),Uni Tree机器人展现超越人类的运动极限,但制动缺陷与低初始成功率表明“展示即学会”的通用愿景仍需长期迭代。整体而言,AI发展正从单纯依赖模型规模转向框架赋能与快速技能迁移。