大家好,欢迎收看本期节目。今天我们要体验的是 SenseNova-U1 的信息图版本模型。目前,这实际上是市面上最强的开源权重图像生成模型之一。大家看这里,他们提供了一系列基准测试数据,将其与 GPT Image、Nano Banana、Sea Dream 以及 Z-Image 等主流模型进行了对比。从得分来看,它的分数达到了46.6分,实际上超过了 GPT Image 的表现。因此,根据他们的基准测试标准,这确实是一个顶级的开源模型。

在这个视频中,我们将详细讲解如何本地运行该模型,以及如何在云端部署和使用它的各种场景。这个模型的特别之处在于它将三个功能合而为一:包括基于 Qwen 3 的大语言模型部分、视觉编码器以及图像生成器。它们在一个统一的空间中协同工作,这意味着你可以执行一些巧妙的操作,例如交错推理(interleave reasoning)。也就是说,模型可以先生成文本,然后开始生成图像,接着读取生成的图像内容并继续生成新的文本,如此循环往复。

他们已经在 GitHub 上发布了完整的推理代码和一系列模型版本,其中信息图版本是最新发布的。该版本专门针对创建信息图进行了优化,但同时也提供了文本转图像、图像编辑和视觉理解等多种示例及基准测试供用户参考。查看这些示例,你会发现它们生成的信息图非常精美且有趣。我妻子目前正在攻读博士学位,她最近做了一张信息图,当时是手动使用 Pixelmator 制作的。如果我有这个模型,我完全可以交给它来自动完成这项工作。

除了信息图,你还可以用它来处理研究论文等复杂内容。大家看这里生成的文本部分,虽然目前还不是完美无缺,在某些地方出现了一些循环重复的现象,但这只是现在的水平。随着技术的迭代,明天它会变得更好,这类工具只会越来越强大。有趣的是,官方提供了生成这些示例所用的提示词(prompt),因此当你自己运行模型时,可以完全复现这些效果。你可以使用他们提供的推理代码在本地运行,我计划在我的 Mac 和 Nvidia 显卡上分别测试。

为了让大家更快看到效果,我们先通过官方网站来体验一下。进入 SenseNova 的网站后,你会发现他们正在运行该模型的快速版本(Fast Edition)。尽管是简化版,你依然可以进行交错推理和信息图生成。让我们来看看这里展示的一些信息图作品:有美丽的行星、大脑结构以及未来发布计划等内容,其中还混合了英文和中文。这是他们用来生成这些图像的大规模提示词示例之一,你可以直接参考并用于自己的创作。

此外,这里还有一张非常出色的海报设计,展示了 DNA 双螺旋结构和细菌等元素。这是一份令人惊叹的作品,同样附有可供你借鉴的提示词模板。还有更多创意内容,比如复古风格的图形设计、健康检查宣传海报等。大家看这个示意图风格的作品,你可以清晰地看到车轮和处理器组件的细节。这些例子展示了该模型在多种视觉风格下的强大适应能力,无论是抽象概念还是具体机械结构都能处理得相当出色。

实际上,我已经启动了本地的推理程序,并让它生成一个高级提示词,以便我们在 Inference Light 中测试其真实能力。让我们尝试一下交错推理功能:我输入指令要求为机器学习博士论文创建一个视觉方法论章节,然后发送请求。系统开始思考并处理这个统一任务了。可以看到它的 LLM 部分启用了思维链功能,正在深入分析需求。随后它决定生成一张图像,这意味着大语言模型已经完成了思考并构建了相应的提示词来驱动图像生成模块。

那张图像随即被生成了出来,紧接着系统读取了这张新生成的图像内容。这是它对图像的视觉理解过程,基于这种理解,它又构建了新的提示词并生成了第二张图像。就这样,我们得到了一整个连贯的故事序列。别忘了,在任何时候你都可以进入画廊板块寻找灵感。我在那里勾选了交错选项并选择了相应的设置,让我们看看这个案例:指令仅仅是“设计一款未来主义飞机”。

系统经过思考后依次生成了草图、填充细节以及最终的设计稿。这是一组非常漂亮的交错生成图像序列,就像艺术家创作过程一样:先画草图,再填充色彩和细节,最后形成精细的设计。另一个例子是生成手绘风格的水循环过程解释图,这就像是为孩子们制作的美丽卡通读物。还有一个非常有趣的案例:要求创建展示上海历史发展的多页信息图。系统思考后绘制了图像,进一步分析后又生成了地图和图表等详细设计元素。

他们甚至有一个小红帽漫画书的板块,我决定亲自尝试一下这个提示词。你可以直接复制这段完全相同的指令来运行自己的版本。让我们看看会发生什么:我输入“讲述小红帽的故事”。由于图像生成存在随机性,它生成了与示例不同的画面。故事进展到“当她走进小屋时”,不仅展示了信息图能力,还体现了叙事连贯性。除了之前看到的信息图功能外,你实际上还可以用它进行其他高级操作。现在让我们回到本地部署环节,去 GitHub 页面获取代码并启动终端进行安装配置。

你只需进入该目录,即 SenseNova 文件夹。我们查看一下里面的文件,这些都是为你准备好的所有文件。由于这个项目是用 Python 运行的,所以请确保已安装 Python 及相关依赖。你需要创建一个名为 venv 的文件夹,这相当于一个虚拟环境,用来存放我们所有的 Python 安装文件。我已经创建了一个叫 venv 的文件夹。

我会进入这个虚拟环境目录,它将包含我们所有专用的 Python 模块。首先你需要激活它。在 Mac 和 Windows 上的操作是不同的。在 Mac 上,你输入 source venv/bin/activate;而在 Windows 上,你需要执行 .venv\Scripts\activate。这样就能在 Windows 上激活该环境了。让我们回到 Mac 这边继续操作。

既然已经激活,接下来你需要安装依赖包,命令是 pip install -e . 这将会安装使其运行所需的所有文件。同样地,在 Windows 上的操作也是一模一样的,也是执行 pip install -e . 。程序会开始下载所有必需的包。如果你感兴趣的话,这些依赖信息定义在一个名为 pyproject.toml 的文件中,该文件定义了程序将使用的所有模块。

现在环境已激活,操作就变得相当简单了。如果你访问官方网站,他们提供了一个示例代码。在 GitHub 上,他们有生成图像时使用的确切提示词示例。你可以复制这个例子,我来展示一下会发生什么。这是一个非常庞大的提示词,其中大部分内容是中文的。但这里的几个关键参数包括模型路径(model path),即你想使用的具体模型版本。

我们不会直接使用那个完全相同的提示词,而是自己构建一个命令。我们会复制这个 Python 文生图推理示例代码(inference.py)。这是用于执行推理的代码文件。对于模型路径,我们不想使用 SenseNova 的多模态版本(MLT one)。你希望使用的是信息图表专用模型,所以在这里输入 infographic。至于提示词(prompt),你可以随意填写任何你想要生成的内容描述。

例如,输入“为我的博士研究创建一张海报”。接下来,你需要选择想要生成的图像宽度。这个模型默认支持极高的分辨率,这里设置为宽 2700、高 1500。这将生成一张横向的图像。此外,你还有一些配置参数可选,包括缩放比例、归一化设置、时间步长以及总步数。其中,“步数”直接决定了生成质量,推荐设置为 50 步以获得高质量结果。

你可以减少步数以加快生成速度,但图像质量会相应下降。扩散模型在图像生成中的工作原理是:每一个步骤都会对当前结果进行改进,使其产生细微变化并变得更加精确。最后还有一个输出路径参数(output),指定图像最终保存的位置。如果你运行这段代码,我们现在就实际执行一次,以展示它需要占用多少内存资源以及具体的运行情况。

直接将代码粘贴进去运行即可。程序会启动我们刚刚下载的应用模块。如果你之前没有手动下载过模型文件,系统会自动从网络获取并将其保存到你的 Hugging Face 缓存目录中。可以看到,程序正在执行必要的初始化工作。你还可以指定计算设备类型:如果在 NVIDIA 显卡上运行,可以指定 CUDA;如果是在 Mac 设备上,则选择 MPS。

如果不做特别指定,程序会自动使用 CPU 进行计算,这也是当前默认的行为方式。需要注意的是,运行这个特定模型需要占用高达 40 GiB 的内存空间。由此可见,这是一个对硬件要求极高的系统。在我的 Windows 测试机上,显卡显存只有 32 GiB,因此部分计算任务会溢出到共享 GPU 内存中处理。尽管如此,程序依然能够正常运行并产出结果。

我们可以看到这里使用的是基础版 SenseNova 模型,并根据提示词成功生成了对应图像。除了标准版本外,你还可以生成更高级的信息图表内容。例如,这是 GLM 团队推荐的一个示例提示词:“为 HCI(人机交互)研究海报制作包含模型原型的信息图表”。程序为此生成了一份类似学术论文风格的可视化文档。

需要说明的是,这次测试仅使用了 25 个推理步数,因此其质量只有使用 50 步时的一半水平。生成这些图像往往需要花费数十分钟时间,尤其是当我的硬件没有配备该模型所需的完整内存容量时。此外还有 GGUF 格式的量化版本可供选择,这些是经过压缩的模型文件,但同样需要在一定程度上牺牲图像质量作为代价。

经过 25 步生成的结果通常能看出基本结构,布局非常美观,但细节部分存在明显缺失。而使用 50 步生成的版本则有了显著改善,虽然我没有尝试过超过 50 步的设置以验证是否能进一步提升效果。训练数据表明该模型是针对 50 步进行优化的,但从对比来看,从 25 步增加到 50 步带来的质量提升幅度大约相当于额外增加百分之五十的处理效果。

你可以清楚地看到,它正在为信息图表构建复杂的版面结构,这与直接在 Studio 平台上运行时观察到的效果一致。在 Mac 端方面,我也进行了同样的生成测试并创建了输出文件夹。再次强调,我们在 Mac 和 Windows 两个平台上生成的图像结果是完全一致的。我们制作了一个关于“神经振荡动力学 Transformer 架构”的视觉化内容,分别展示了 25 步和 50 步两种不同推理深度下的效果差异。

根据当前的基准测试数据,这无疑是目前表现最佳的开源开放权重模型之一。今天你就可以从 Hugging Face 或 GitHub 下载该模型,在本地进行推理部署;或者访问他们的官方聊天网站直接使用云端服务来生成图像。你甚至可以利用其交错推理功能,为孩子制作一本小故事书或进行其他创意应用。希望各位觉得这个视频有用并享受本期内容,欢迎留言分享你的看法。