阿里发布开源图像生成与编辑新模型

阿里巴巴近期发布了全新的开源图像生成和编辑器 Quen Image 2.1,这是一款极其灵活且功能强大的工具。该模型不仅支持在本地免费、无限次离线运行,甚至能在显存较低的硬件上流畅工作。其核心能力远超传统的文本生成图像工具,具备极高的解剖学准确性和提示词理解力。除了能生成超写实照片外,它还能处理包含大量元素的复杂图表和信息图设计。例如,视频展示了从单一提示词生成的复杂界面设计和高质量图片,证明了其在多元素组合上的卓越表现。

透明通道生成与图像编辑能力突破

Quen Image 2.1 最强大的特性之一是能够直接生成带有 Alpha通道(透明背景)的图像。这一功能使得它不仅能进行文本到图像的生成,还能作为高效的编辑工具。与之前仅支持文生图的模型(如Creatu和Ideogram)不同,Quen Image 2.1允许用户使用自然语言对现有图像进行编辑。例如,用户可以输入一张透明背景图片并提示修改其中的文字内容;或者上传照片让模型提取前景中的树枝和叶子作为透明图层。这种基于参考图像的编辑能力填补了市场空白,使得自然语言驱动的图像修改成为可能。

多参考图融合与角色一致性控制

该模型支持输入多达 10张参考图像,用于在照片中插入特定元素或保持角色一致性。视频演示了一个复杂案例:用户指定从第一张图中提取女性,第二张图中的粉色夹克,第三张图的鞋子、手提包以及最后一张图的帽子,模型成功将这些元素无缝融合到一张照片中。此外,用户还可以直接在照片上进行标注(如圈出要修改或移除的物品),模型会根据标注区域进行相应的生成或删除操作。在角色一致性方面,即使面对复杂的服装搭配或从自拍照片生成全景图并探索3D场景等任务中,模型也能很好地保留原始设计细节和人物特征。

Comfy UI本地安装与显存优化指南

为了在本地运行Quen Image 2.1,推荐使用 Comfy UI 这一流行的开源图像和视频生成平台。安装步骤包括更新Comfy UI至最新版本,并下载对应的模型文件。针对显存有限的用户(如8GB或更低),官方提供了多种压缩版本的模型:

模型类型 版本说明 文件大小
Diffusion Models (扩散模型) Full BF-16 完整版 14.2 GB
Diffusion Models (扩散模型) INT8 Conrot 压缩版 7.2 GB
Text Encoders (文本编码器) Full BF-16 完整版 17.5 GB
Text Encoders (文本编码器) W4 A8 最小压缩版 6.3 GB

对于显存低于8GB(如4GB)的用户,视频预告了后续将介绍更进一步的优化方法。此外,虽然存在用于增强提示词质量的额外AI模型(每个约9.5GB),但鉴于其巨大的体积,在显存紧张的情况下不建议下载,用户可通过手动编写高质量提示词来替代这一功能。基本的文本编码器推荐使用最小的 W4 A8 版本(6.3GB)以节省资源。

模型配置与基础参数详解

完成主模型的下载后,还需获取体积仅 676 MB 的 VAE(变分自编码器)文件,并将其放入 Comfy UI 目录下的 models/VAE 文件夹中。配置完成后,在界面按 R 键刷新模型列表即可加载新资源。在工作流设置中,需分别指定 Quinn Image Model 作为 Unit、Qwen3 VL W4A8 模型作为 Clip,以及刚下载的 VAE。生成图像的核心参数包括宽高比、分辨率(Megapixels)、正向/负向提示词以及 CFG 值。CFG 控制 AI 对提示词的遵循程度,数值越高指令执行越严格;若希望增加创意和变体,可适当降低该值。值得注意的是,当 CFG 设为 1 时负向提示词将失效。此外,生成步数(Steps)影响画质与耗时,而种子值(Seed)则用于复现相同图像或生成细微差异的结果。

文生图性能与编辑工作流操作

在基础的文生图测试中,使用 RTX 5000 ADA(16GB VRAM)显卡在笔记本上运行,生成一张图像仅耗时 29 秒,显示出该模型具备极高的轻量化和运行效率。进入图像编辑模式时,需加载相同的 Unit、Clip 及 VAE 模型文件。该工作流支持上传最多 10 张参考图像,用户可通过双击界面插入 Load Image 节点并连接输出端口来管理输入。在演示案例中,用户上传了一张汽车图片作为编辑源。界面提供了一个 Custom Size 开关:若关闭(False),模型将忽略手动设置的宽高比,直接沿用输入图像的原始尺寸;若开启,则强制应用设定的 1:1 宽高比和 1 Megapixel分辨率。这种机制允许用户在保持原图比例或强制重塑构图之间灵活切换。

图像编辑效果与背景移除功能

在具体的图像编辑案例中,提示词设定为“让这辆车行驶在有雾气的森林道路上,带有动态模糊效果的专业照片”。生成过程耗时约 81 秒,视频作者指出这一速度略慢于前代最佳编辑模型 Flux Klein。除了复杂的场景重构,Quinn Image 2.1 还内置了背景移除工作流。用户只需上传目标图像并输入正向提示词,模型即可自动执行抠图任务。整个流程展示了该工具从基础生成到精细编辑再到特定功能(如去背)的完整能力闭环,为内容创作者提供了一套无需切换多个软件即可完成的本地化 AI 图像处理方案。

背景移除工作流与透明度处理

在Quentyn Image 2.1的图像编辑流程中,背景移除并输出透明PNG是一个核心功能。操作时需保持设置与之前一致,重点在于自定义尺寸(custom size)的切换逻辑:若设为false,模型将沿用输入图像的原始分辨率;若设为true,则使用用户指定的宽高。本次演示选择false以保留原图分辨率。点击运行后,生成过程耗时约 116秒(原文数据)。生成的图像默认保存至输出文件夹,通过拖入图像处理软件验证,结果确实包含透明背景通道。为了直观展示效果,将背景替换为红色后,人物主体清晰分离。这一流程证明了该模型在处理任意图像的背景移除任务时的高效性与准确性。

新模型特性:透明图像生成能力

这款工具展现出了极高的灵活性,其中最受好评的功能之一是原生支持创建透明背景图像。这一特性极大地扩展了AI在图形设计领域的应用场景,使得生成的素材能够更无缝地融入各种视觉项目中。作者对这一功能的加入表示高度赞赏,认为它解决了以往AI生成图像在背景处理上的痛点。这种对透明通道的支持不仅提升了工具的实用性,也标志着AI图像编辑模型在细节控制上的重要进步。

社区互动与技术支持机制

作者鼓励观众积极参与讨论,通过评论区分享对新模型的看法。针对用户在安装过程中可能遇到的技术问题,作者建立了一套互助式的故障排除机制。他明确表示欢迎用户将安装时出现的错误信息直接复制并粘贴到评论区,以便作者和其他社区成员能够协助排查问题。这种开放的技术支持态度有助于降低新手的使用门槛,并促进社区内的知识共享与问题解决效率。

内容更新频率与订阅引导

鉴于AI领域的发展速度极快,每周都有大量新动态涌现,作者坦言仅靠YouTube频道无法覆盖所有AI新闻和工具。为了帮助观众更全面、及时地掌握行业前沿信息,作者推荐订阅其免费的每周通讯简报。这一举措旨在弥补视频内容的局限性,确保观众不会错过任何重要的AI进展。订阅通讯简报成为获取深度和广度兼具的AI资讯的重要补充渠道。

"really flexible tool, and I really love how they included the ability to create transparent images."

"if you run into any errors during the installation, welcome to copy and paste the exact error message in the comments below"

"subscribe to my free weekly newsletter. The link to that will be in the description below"

结论

阿里开源的 Quen Image 2.1 凭借原生支持 Alpha 通道透明图像生成、多参考图融合及自然语言编辑能力,确立了其在本地 AI 图像处理领域的领先地位。其解剖学准确性与复杂图表处理能力填补了市场空白,且通过 Comfy UI 实现了低显存(最低约 6.3GB)下的本地化运行,显著降低了使用门槛。

尽管在图像编辑与背景移除任务中耗时(81-116秒)略慢于竞品 Flux Klein,但其极高的灵活性与无需切换软件的一站式工作流优势明显。该模型特别适合需要高精度角色一致性控制、透明素材制作及离线隐私保护的内容创作者,是目前兼顾性能与易用性的优秀本地解决方案。