腾讯发布全能视觉语言模型 WeViz1VL

本周网络安全事件频发,AI领域同样热闹。腾讯推出了一款名为 WeViz1VL 的强大视觉语言模型,该模型基于 Qwen3-VL构建并增加了专门识别物体精确像素的组件。它不仅能进行基础的对象检测,还能处理精细图像编辑和Alpha遮罩生成。该模型在单一架构内实现了从基础检测到精确分割的全能表现。例如,用户上传图片后,可指令其检测特定对象(如狗、椅子或灌木),甚至能精准定位黑白相间的狗,或对图像中的所有狗进行计数和标记。

除了对象检测,WeViz1VL 在文本与字符识别方面表现出色。它可以检测和勾勒照片中的所有单词,或定位特定词汇如“small alley”。更令人印象深刻的是其背景移除能力,它能提供包含发丝等细微细节的Alpha遮罩。在基准测试中,WeViz1VL 在检测、引用、计数、指向、字符识别和分割等任务上全面优于竞争对手。该模型提供两种变体:40亿参数版本(19GB)和20亿参数版本,代码与模型均在 Apache 2.0 许可下开源,支持商业用途。

Bark3:极致高效的语音转录模型

在音频处理领域,Bark 团队发布了新一代 AI 转录模型 Bark3。该模型以极小的体积实现了惊人的性能,其最小版本仅 163 MB,却能媲美 OpenAI Whisper Large 和 Nvidia Parakeet 等更大模型。演示中,该模型在录制语音后仅需一秒即可完成转录,展现了超轻量级和高速度的特点。Bark3 系列包含三个版本:最小的 Bark II(163 MB)、错误率更低的 Plus 版以及最准确但体积较大(1.25 GB)的 Pro 版,后者仍适合大多数消费级 GPU。

性能对比图表显示,Y轴代表错误率(越高越好),X轴为模型大小。Bark3 系列位于图表左上角,表明其在效率上远超其他转录模型。所有 Bark3 模型均已上传至 Hugging Face,并提供本地运行指南。该许可允许在归因的情况下用于商业用途,为开发者提供了极具性价比的本地化语音转文字解决方案。

Fibo 2:自然语言驱动的开源图像编辑器

Bria 发布的 Fibo 2 是一款支持自然语言指令的开源图像编辑器,功能类似于 Nano Banana 或 Qwen Image。测试显示,Fibo 2 能理解多参考图像指令:它将第一张图中的人物穿戴第二张图的服装、摆出第三张图姿势,并置于第四张图背景中,即使面对复杂设计连衣裙也能保留细节(尽管脚部出现轻微缺失)。在另一项高难度测试中,模型对模糊的奥巴马照片进行了超分辨率重建和细节增强。虽然结果并非完美复刻原貌,但在开源模型中已属不易。

Fibo 2 在黑白照片恢复与上色方面表现优异,能保持面部一致性并修复折痕裂纹。然而,在处理极其复杂的角色生成时存在局限。测试中生成的角色腿部比例失调且手持法杖不一致,显示其在复杂结构生成上仍有提升空间。此外,该模型能有效校正过度饱和、对比度失衡及白平衡错误(如过蓝)的照片,成功还原了正确的光照效果。

Fibo 2图像编辑模型:性能领先但许可受限

Fibo 2作为当前领先的开源图像编辑模型,在Artificial Analysis的排行榜上位列第一。尽管其排名高于Quinn Image 2.1,但两者在图像质量上差异并不显著。Fibo 2的优势在于其强大的编辑能力,能够很好地修正图像并保持原始色调。然而,该模型的许可协议比Quinn更为严格。Fibo 2仅允许非商业用途,且用户需要提供详细信息才能访问模型。相比之下,Quinn Image 2.1的许可限制较少。

在资源占用方面,Fibo 2的int8转换版本大小为8.4 GB。虽然这使其成为优秀的开源图像编辑器,但体积略大于Quinn Image 2.1的7.26 GB。对于希望尝试该模型的用户,官方提供了详细的主页链接。总体而言,Fibo 2在性能上表现强劲,但其非商业许可和较高的硬件要求可能限制其广泛采用。

Carbon X:140亿参数DNA理解模型的突破

本周HuggingFace发布了名为Carbon X的开源模型,这是一个专为DNA理解和生成设计的大语言模型。该模型拥有140亿参数,基于Quen 3训练而成。研究人员使用了3000亿个token的DNA数据对其进行预训练,并通过强化学习进一步优化。经过这一系列训练步骤,Carbon X在DNA智能指数(DII)上的表现达到了67%。

这一成绩不仅匹配了GPT-4o和Opus 5.5等前沿闭源模型,甚至在某些基准测试中超越了它们。值得注意的是,Carbon X仅使用140亿参数,而其他开源模型通常拥有数百亿甚至数千亿参数。Carbon X在保持高性能的同时大幅降低了成本。该模型大小不到30 GB,允许用户在高端消费级硬件上本地运行,无需数据中心支持。此外,Carbon X采用Apache 2许可证,允许商业使用。

High Nomas世界生成模型与Hi3D开源进展

腾讯发布了新的AI世界生成模型High Nomas,能够根据自然语言描述实时生成交互式虚拟世界。与以往的世界生成器相比,High Nomas在质量和一致性上表现更佳。它通过分段生成视频并保持上下文记忆来维持场景连贯性,支持长达一分钟以上的稳定输出。该模型以720p分辨率和24帧每秒的速度生成视频,并允许用户通过文本提示改变环境或引入新对象。

High Nomas同样采用Apache 2许可证,并开源了代码和模型。基础版本大小为34 GB,而蒸馏后的int8版本仅为9 GB,使得在消费级硬件上运行成为可能。此外,3D生成领域也迎来突破,Hi3D开源了其v1版本模型。尽管最新闭源版为v3,但开源的v1版本在细节和准确性上仍优于其他领先的开源3D生成器。Hi3D的总大小仅为7.74 GB,适合大多数消费级GPU。

Pure:基于普通视频的3D重建技术

最后介绍的是Pure,一种新的AI 3D重建工具。它能够将普通视频或图像序列重构为详细的3D环境。例如,Pure可以完整重建摩托车骑行过程中的整个场景。该模型的开发思路独特:研究人员利用现有的3D重建模型,并通过普通视频数据进行改进。Pure展示了从非结构化数据中高效提取三维信息的能力。

虽然具体参数和许可细节在本片段中未完全展开,但Pure的出现表明3D重建技术正朝着更易于获取和使用的方向发展。结合前述的Carbon X、High Nomas和Hi3D,本周AI领域在垂直专业模型(如DNA)和多模态生成(图像、视频、3D)方面均取得了显著进展,且多数模型倾向于开源和降低硬件门槛。

无标签视频3D重建:开源与低成本方案

针对传统三维重建依赖昂贵且稀缺的3D数据这一痛点,最新研究提出了一种创新路径:直接利用常规视频作为输入源。该方法通过算法将普通视频中提取深度信息和物体运动轨迹,转化为辅助数据以提升重建精度。这种技术突破的核心在于摆脱了对专业3D数据的依赖,使得高质量三维建模变得更加普及。项目完全开源,开发者可以通过官方页面获取完整的本地运行指南和训练脚本。整个项目的资源包体积非常精简,仅为 13.2 GB,极大地降低了本地部署的硬件门槛。对于希望深入研究的用户,官方主页提供了详细的文档链接。

Ming 3.0 TTS:自然语言控制与多方言支持

本周发布的 Antroup Ming 3.0 TTS 模型展示了文本转语音技术的最新进展。该模型不仅能将任意文稿转化为逼真的语音,还引入了自然语言指令控制功能。用户无需掌握复杂的参数设置,只需描述想要的声音类型即可实现个性化定制。例如,系统可以生成带有特定情感色彩的台词:

"You change the plan without telling anyone. How are we supposed to know what to do?"

此外,该模型支持通过参考音频克隆特定人声,并允许在文本中插入特殊标签以控制情绪或添加音效(如叹息)。它支持多种语言及众多中文方言。在 Artificial Analysis 排行榜上,其较小版本在语音质量和发音准确率方面跻身最佳开源权重模型之列。虽然性能略优于上周提到的 Fish Audio Drama 3,但提升幅度并不显著。模型已开源至 GitHub,分为约 3 GB 的小版本(适合消费级显卡)和约 18 GB 的大版本(支持播客生成),均采用宽松的 MIT 许可证,允许商业使用。

Luma:自动化内容创作工作流

Luma 平台通过引入自主智能体(Autonomous Agents)重塑了内容创作流程。用户只需输入目标,系统即可自动规划任务并生成所需资产。其新推出的 Relight Studio 功能允许用户像专业摄影师一样,通过拖拽虚拟光源来调整图像的照明方向和强度。另一项亮点是多机位镜头覆盖功能,它能基于单一视频片段生成多个移动视角的素材,极大丰富了后期剪辑的选择。此外,产品拍摄功能可将任意商品无缝置入不同环境中。Luma 整合了包括其自研 Ray 3.2 在内的顶级图像和视频生成工具,实现了跨工具的无缝切换,为规模化内容生产提供了流畅且用户友好的解决方案。

AI 驱动的安全危机:漏洞爆发与攻防博弈

近期互联网遭遇了历史上最严重的一波网络安全警告,波及范围从主流网站、开发者工具到云平台及 SSL 证书。AI 在这场危机中扮演了双重角色:研究人员利用强大模型发现被忽视多年的严重漏洞,而黑客同样利用 AI 加速弱点挖掘和自动化攻击。这标志着攻防双方进入了一个新的军备竞赛阶段。具体案例中,PHP 后端因两个严重漏洞导致数百万网站(包括 WordPress 和 Drupal)面临风险,部分政府网站曾暂时下线;GitLab 曝出评分为 10/10 的致命漏洞,允许未登录状态下执行恶意代码;NodeJS 也发现了多个严重缺陷。尽管开发者已发布补丁,但网站运营者仍需手动安装更新以确保安全。

数字证书信任链崩塌:Emudra的致命疏忽

本周网络安全领域最引人注目的危机源于数字证书颁发机构 Emudra。该机构负责向浏览器提供信任网站所需的数字证书,其标志性的“小锁”图标在印度等地区尤为普遍。理论上,这些用于验证网站身份的秘密密钥应具备极高的安全性,研究人员却震惊地发现其实际强度极低。其中一把密钥竟然仅仅是数字“4”,这种极其简单的设置完全违背了基本的安全常识,即便对于普通密码也建议至少包含12个字符并混合大小写及特殊符号。黑客一旦掌握这些弱密钥,即可伪造任何网站的证书(如银行登录页),使浏览器误认为其合法。尽管这些密钥随后被撤销,但此举严重损害了 Emudra 的公信力,导致该机构在数日后宣布彻底退出数字证书业务。这一事件揭示了基础设施层面因低级错误引发的系统性风险。

云服务与AI工具链的多点渗透攻击

除了证书机构,多家知名科技平台也遭遇了不同程度的安全入侵。云服务平台 Railway 的内部系统被黑客攻破,导致部分客户的环境变量(含密码和API密钥)被解密。虽然 Railway 暂停了新构建以进行调查,但用户被迫更换凭证的同时却无法部署新代码,造成了严重的运营混乱。AI编程助手 OpenCode 则因旧系统漏洞导致1.4%的用户API密钥面临暴露风险。另一平台 Light LLM 的情况更为惊险,黑客利用窃取的开发人员GitHub账号推送了恶意版本软件,该软件旨在窃取代用户密码和密钥。团队在2到3小时内发现了问题并下架了版本,但在此期间泄露的具体数据量仍不明朗。这些案例表明,供应链和内部权限管理已成为黑客攻击的高价值目标。

AI加速科学突破:万智能体协作解析脑细胞数据

OpenAI 发布了一项展示多智能体协同能力的最新研究,利用数千个基于 GPT 的 AI 代理加速科学发现。研究人员面对包含数百万小鼠脑细胞数据的庞大实验集,传统人工分析需耗时数月甚至一年。为此,团队部署了数千个 AI 代理并行工作,每个代理专门研究特定基因被破坏后的细胞反应及文献关联。最终,所有分析在短短 32 分钟内完成并生成了庞大的研究报告。对比实验显示,单个最大负载的 AI 代理仅引用了11篇科学文献,而智能体团队则引用超过700篇。这种群体协作模式不仅大幅提升了研究广度,还揭示了胆固醇调节与阿尔茨海默症、帕金森病之间可能的联系。虽然这些发现仍需后续实验验证,但AI 在挖掘人类研究者可能遗漏的复杂科学关联方面展现出巨大潜力。相关论文已发布于 BioRxiv。

JST2 世界模型:从文本到可交互3D环境的生成革命

本周发布的 AI 世界模型 JST2 实现了从文本提示或图像到完整3D环境的转换,支持自由探索和角色动画。该模型的核心创新在于将物体表示为3D空间中的微小物质单元,从而精确追踪其位置和运动状态。这意味着即使用户离开场景再返回,所有物体和角色都能保持位置一致和环境连贯性。JST2 还能直接生成可动画化的3D角色,无需额外的绑定(rigging)过程。在机器人训练领域,该模型可用于模拟导航和物体操作。在与 Meshy 或 Trippo 等领先3D生成模型的对比中,JST2 在平均胜率上表现更优。尽管目前未开源用户可通过 Pinokio 平台免费体验。这一技术为3D内容创作、游戏开发及机器人仿真提供了高效且连贯的生成方案。

Sky001:专为工程设计的3D拆解与建筑生成模型

Sky001被宣称是全球首个面向工程的AI世界模型,其核心能力在于将机械物体的图像拆解为独立的3D部件、草图及构建步骤。以捷豹Roadster跑车为例,该模型能将其分解为众多独立的3D组件;同样地,喷气式发动机也能被细致拆解为大量小型零件。其最具实用价值的功能在于交互性:用户可以放大并点击任意元素,模型便会生成在CAD软件中构建该部件所需的逐步草图和操作指令。例如,针对跑车中的单一组件,模型能直接绘制出详细图纸并指导CAD建模流程。

"The most useful part is that you can actually zoom in and click on any element and get it to generate step-by-step sketches and operations needed to build each part out in CAD software."

除了机械工程,Sky001还具备建筑设计能力。输入建筑轮廓后,它能按顺序生成包含独立房间的平面图。在效率方面,Sky001展现出显著优势。其完成任务的速度远快于其他前沿模型,尽管这些对比模型更为通用。在成本效益上,Sky001的每次任务费用也远低于其他前沿模型。目前该模型尚未开源且无法直接访问,但用户可加入等待名单。值得注意的是,由于Sky001专为工程领域优化而非通用任务,其高效性符合预期。

Kimi K3.1 Pro:三万亿参数模型的多模态与成本优势

Kimi(月之暗面)发布了最新最强模型Kimi K3.1 Pro,其在基准测试中表现优异,性能与Claude Opus及GPT-4o等前沿模型持平。在代理编程、工具使用、知识工作及通用基准测试中,K3.1 Pro均展现出顶尖水平。特别是在效率方面,其Terminal Bench得分最高且任务成本远低于GPT和Claude等竞品。该模型支持高达100万token的上下文窗口,能够一次性处理海量信息。

"Kim K 3.1 is indeed among the frontier models, even beating Claude Fable 5.1 and GPT6 and Gemini 4."

在实际应用中,K3.1 Pro展现了强大的多模态能力。它能使用Unreal Engine编写复杂游戏代码,处理角色绑定和动画;利用Blender构建室内雨林等3D场景;并在金融分析领域达到SOTA水平,可直接在电子表格软件中进行复杂的财务建模。从Artificial Analysis的智力指数来看,K3.1 Pro超越了Claude Opus 5.1、GPT-4o和Gemini 2。其每次任务成本约为2美元,而Claude同类模型至少贵三倍,GPT-4o也昂贵得多。该模型拥有3万亿参数,远超DeepSeek等数千亿参数的开源模型。Kimi K3.1 Pro将于今日在其平台及API上线,并计划于11月4日开源,但鉴于其庞大体积,消费级GPU难以本地运行。

Ideogram Vector与Desa:图形设计与实时语音的突破

Ideogram推出了专为平面设计优化的新模型Ideogram Vector。该模型专注于创建矢量图形,如标志、插图、排版和设计等。由于基于数学形状构建,矢量图在无限放大后仍保持完美清晰。用户可上传现有图像并将其转换为矢量格式,即使面对复杂原图,模型也能保留大部分细节。生成的矢量并非简单的扁平图形,支持对单个形状进行编辑、移动或微调。目前该功能已在Ideogram应用中上线,用户可通过文本提示生成或直接上传图像进行转换。

与此同时,Desa发布了令人惊叹的超逼真实时语音模型。该模型具备极高的情感表达力和对话自然度,能够理解用户情绪并做出相应反应(如笑声、停顿)。在示例对话中,Desa展现了与人类几乎无异的自然交流能力,包括对季节话题的幽默回应和工作喜悦的情感共鸣。

"It's so expressive, right? It is so expressive. It's conversational and it's very conversational."

这种实时语音交互不仅流畅,还能捕捉细微的情感变化,被评价为"人类级别"且令人兴奋的技术突破。Desa的出现标志着语音AI在情感理解和自然对话方面迈出了重要一步。

语音驱动AI:仅靠听力习得人类语言

近期一项引人注目的研究展示了一种全新的AI对话模型,其独特之处在于完全通过聆听人类语音进行训练,而非依赖传统的文本预训练数据。这种学习方式模拟了婴儿习得语言的过程,使得模型能够捕捉到语音中细微的情感与语调特征。据研究团队介绍,该模型无需任何文本或预训练基础即可学会说话。由于仅基于语音数据学习,它能够识别并复现口音、停顿、呼吸声以及讽刺和幽默等微妙语气。这种基于听觉的学习机制让生成的对话听起来极具真实感,仿佛来自真人。

"I would be like what is consciousness? Is it something that's programmed into us?"

在硬件效率方面,该模型展现了惊人的轻量化能力。研究团队指出,他们仅使用一块 Nvidia GP200 GPU 就完成了该模型的训练。尽管性能表现优异,但目前的访问权限受到严格限制。目前仅向一小部分AI安全研究人员开放测试。普通用户暂时无法使用,且团队尚未明确是否会将其开源。对于希望体验该技术的公众而言,目前只能通过官方提供的演示链接进行试听。

Anthropic推出Claude Duet:主动式AI助手

Anthropic本周发布了名为Claude Duet的新款AI助手,标志着从被动问答向主动代理的转变。与以往等待用户指令不同,Claude Duet 是一个能够主动检查工作、识别需关注事项并代为完成任务的智能体。即使在你关闭电脑后,它仍能继续运行。其核心功能包括每日早晨自动整理重要邮件、消息日历事件及待办事项摘要。此外,它还能监控连接的应用程序,并在发生重要情况时发出警报。

该助手支持管理电子邮件、提供财务预测、处理发票甚至运营在线商店。它集成了超过 6,000 种工具和集成,包括 Gmail、Slack、Stripe 和 QuickBooks。技术底层方面,Claude Duet 基于 Anthropic 目前最强的模型 Opus 5.5 构建,并拥有独立的虚拟计算机和浏览器环境。然而,目前该功能仅对美国地区的 Pro 或 Max 计划用户开放,且需加入候补名单。普通用户仍需等待后续的政策调整或版本更新。

宇树科技H2X人形机器人:重型服务与安保演示

在硬件领域,宇树科技(Unitree)发布了最新的人形机器人 H2X 的演示视频。与面向家庭辅助的一般型助手不同,这款机器人定位为重型服务与安保人形机器人。演示中展示了其惊人的物理力量:H2X 能够用膝盖猛烈撞击汽车车门导致凹陷,并进一步破坏车辆结构。这种设计使其具备执行高强度任务的能力,如举起汽车、摧毁障碍物或干预入侵者。除了力量展示,该机器人还具备约 8 小时的站立耐力。

目前关于 H2X 的详细规格参数尚未完全公开,官方仅提供了初步的演示信息。团队表示将在未来的视频中更新更多关于该机器人的具体技术细节和性能指标。这一发布表明,人形机器人正逐步从实验室走向需要高强度物理交互的工业和安保场景。

开源模型速递:Sage A1.5、Minimax M3.1 Flash与Mem 1.0

本周开源社区迎来了多款新模型发布。首先是 Alpha Innovator 推出的 Sage A1.5,这是一个基于 Qwen 3.6 的 350亿参数混合专家模型,专为科学研究优化。它能将复杂研究任务拆分给多个智能体执行,收集证据并生成带引用的详细报告。在科学推理、编码和复杂代理任务基准测试中,Sage A1.5 击败了众多同规模模型,甚至在某些类别上超越了更大的前沿模型。该模型已开源,完整版本约 72 GB,量化版(Q4 GGUF)为 22 GB。其次是 Minimax 发布的 M3.1 Flash,作为其 Space Bunny 模型的升级版,主打速度与性价比。在自动化基准测试中,它展现了极高的任务效率与成本效益比,性能接近 DeepSeek 最新模型。最后,MEM Tensor 发布了 Mem 1.0,其核心亮点在于跨对话的记忆能力。该模型无需重新读取整个聊天历史即可记住之前的信息,例如能准确回忆用户之前提到的宠物细节。

"Sage A 1.5 beats many similar-sized models across scientific research, coding, and complex agentic tasks."

这些模型的发布进一步丰富了开源生态,为科研、自动化和个人助手应用提供了更多高效且低成本的选择。

MEMT持久记忆模型:高效存储与本地部署指南

近期发布的MEMT(Memory-Efficient Transformer)系列模型通过将关键信息压缩至紧凑的内部记忆状态中,从而无需保留原始对话记录。这种机制使得模型能够记住用户的姓名、年龄及喜好等核心信息,同时大幅降低上下文处理的负担。在持久化AI记忆的相关基准测试中,MEMT模型的表现远超其他采用内部存储机制的竞品。该团队已在Hugging Face上开源了模型权重及使用说明,支持本地运行。目前提供两个版本:较小的Nano版拥有30亿活跃参数,下载大小约70.3 GB;较大的Flash版拥有2880亿总参数和170亿活跃参数,下载大小约576 GB。用户可通过官方页面获取详细的本地运行指令。

Ant Group LING 3.0 Flash Santé:医疗垂直领域的专家模型

蚂蚁集团本周发布了最新的开源医学大模型LING 3.0 Flash Santé。该模型专为理解医疗信息、推理复杂临床问题以及辅助科研人员分析科学文献而设计。作为一个拥有1240亿总参数但仅51亿活跃参数的混合专家(MoE)模型,它是现有LING 3 Flash模型的专用医疗版本。基准测试显示,该模型在临床知识、医学推理及 healthcare safety 方面极具竞争力,性能媲美更庞大的AI模型。由于全量模型下载大小约为255 GB,它主要面向拥有强大算力的服务器而非普通个人电脑。Hugging Face页面同样提供了完整的下载与运行指南。

Minimax H3 视频生成加速:Fast H3 Omni 的技术突破

针对目前表现最佳的开源视频模型 Minimax H3,团队推出了新的加速方法 Fast H3 Omni。该技术特别针对参考视频生成(Reference to Video)场景优化,允许用户输入角色或场景的参考图像,在保持角色一致性的同时生成视频。其核心突破在于将基础模型的50个去噪步骤减少至仅8步。在配备 8块 NVIDIA A100 GPU 的测试环境中,延迟降低了高达 12倍。尽管普通用户难以复现同等硬件环境下的极致加速,但速度提升依然显著。相关基准测试数据如下:

参考输入类型 相对基础模型的速度提升倍数
3张参考图像 5.8倍
1个参考视频 6.98倍

Hugging Face上已发布多种变体,包括适配 ComfyUI、FP8精度、FP4精度以及 Apple Silicon 的版本。

结论

本周AI领域呈现垂直深化与开源普惠并行的趋势。在基础能力上,Kimi K3.1 Pro以万亿参数确立性能标杆但依赖云端;而在效率与成本上,Bark3、Carbon X及Minimax H3加速版通过架构优化或量化技术,在保持竞争力的同时大幅降低硬件门槛。多模态生成方面,WeViz1VL、Fibo 2及Sky001在特定任务(如像素级编辑、工程拆解)展现专业优势,但复杂结构生成仍存在瑕疵。应用层面,Claude Duet与MEMT模型通过主动代理和持久记忆解决工作流痛点。安全领域警示了基础设施脆弱性,而AI在科学发现中的多智能体协作已证实能突破人类分析效率瓶颈。