Google发布Diffusion Gemma：本地AI的新方向
Google近期发布了一款名为 Diffusion Gemma 的开源模型，该模型采用 Apache 2.0 许可证，被视为未来AI发展的重要方向之一。其核心优势在于能够在消费级游戏PC上实现 快速且高效 的运行。从架构上看，Diffusion Gemma 是一个拥有 260亿参数 的混合专家（MoE）模型，其中激活参数为 40亿。这一配置在基准测试中与 Gemma 4 26B-A4B 相当，但在生成速度和输出质量上进行了针对性优化。对于本地AI爱好者而言，这种能够在个人硬件上高效运行的模型具有极高的实用价值。
"This is something that really may represent one of the future directions of AI that can run quickly and efficiently on basically your atome gaming PC."
性能对比：速度提升与智能损耗的权衡
为了评估Diffusion Gemma的实际表现，视频作者进行了详细的基准测试对比。测试在 H100 GPU 上进行，主要对比对象为常规的 Gemma 426B with MTP（多令牌预测）。结果显示，Diffusion Gemma 在生成速度上实现了 显著提升，尽管在智能水平上存在一定程度的下降，但这种下降与巨大的速度增益相比 并不成比例。这意味着用户可以用极小的精度损失换取极高的生成效率。这种特性使得Diffusion Gemma成为本地部署的理想选择，特别是对于追求响应速度的单用户场景。
| 模型配置 | 测试硬件 | 主要优势 | 智能损耗评估 |
|---|---|---|---|
| Diffusion Gemma | H100 GPU | 生成速度显著提升 | 损耗较小，与速度增益不成比例 |
| Gemma 426B with MTP | H100 GPU | 传统自回归生成 | 基准参考 |
技术原理：从“打字机”到“印刷机”的范式转变
传统语言模型（LLM）的工作方式类似于 打字机，从左到右一次生成一个token。这种模式在数据中心中通过批量处理多个用户请求来高效利用GPU，但在个人电脑上，由于每次只生成一个token，GPU大部分时间处于 等待状态，导致计算资源浪费。Diffusion Gemma 则反其道而行之，它采用 并行生成 机制，每次处理 256个token 的批次。这种设计让GPU在生成过程中始终保持忙碌，从而 充分利用硬件的计算能力。
"The processor is using a large or doing a larger chunk of work at once and it upgrades your model inference from a single sequential typewriter to a massive printing press that stamps an entire block of text simultaneously."
对于拥有如 RTX 5090 等高端显卡的本地用户来说，这种模型能够更高效地利用GPU资源，从而实现更快的推理速度。这不仅是算法的优化，更是针对 单用户设置 的硬件适配方案，解决了传统自回归模型在本地运行时的效率瓶颈。
扩散模型工作机制：三步收敛法
Diffusion Gemma 的文本生成过程分为三个关键步骤：画布初始化、多轮迭代 和 收敛输出。首先，模型从一个包含 随机占位符token 的“画布”开始。接着，模型进行多次迭代，逐步锁定正确的token，并利用已锁定的token作为上下文线索来优化剩余部分。最后，文本逐渐收敛为高质量的输出结果。为了直观理解这一过程，作者使用了一个 3D键盘模型 作为类比。
"One, the canvas. The model starts with a canvas of random placeholder tokens. Two, the model makes multiple passes. This is iterative refinement, locking in correct tokens and using them as context clues to refine the rest."
在键盘示例中，初始状态对应 步骤一，所有键位均为空白（随机占位符）。随着模型进行去噪和预测，部分键位被锁定，例如锁定“B”和“H”后，模型可以排除 Dvorak 键盘布局的可能性，从而缩小搜索空间。这一过程模拟了 步骤二 中利用上下文线索进行细化的机制。最终，模型从四种可能的布局（QWERTY, Dvorak, Kmac, Azerty）中收敛出唯一正确的布局，对应 步骤三 的高质量输出。尽管实际模型拥有 262,000 个词汇片段，远比四个布局复杂，但其核心逻辑一致：通过 迭代去噪 和 上下文锁定 实现高效生成。
推理速度对比：Diffusion架构的本地优势
在初步测试中，由于未正确启用“思考”（thinking）功能，首次跑分出现偏差，显示为 114.2 tokens per second。修正LM Studio中的设置并重新运行相同提示词（关于iMac G3的段落生成）后，本地Diffusion Gemma模型的生成速度降至 57 tokens per second。相比之下，在线运行的相同模型（4-bit量化）在相同上下文长度下达到了 114 tokens per second。
"So that is quite a speed difference... this one is running significantly faster."
尽管本地测试速度看似较慢，但评测者指出，Diffusion文本模型的核心优势在于对GPU的高效利用。传统自回归LLM更适合数据中心的大规模批处理请求，而对于单个家庭用户而言，Diffusion架构在速度上能带来更显著的收益。这种架构差异意味着，虽然本地单次推理可能受限于硬件，但其设计初衷是为了让个人用户获得更流畅的体验。
| 测试环境 | 模型版本 | 启用思考模式 | 生成速度 (tokens/s) | 备注 |
|---|---|---|---|---|
| 本地 (LM Studio) | Diffusion Gemma | 是 | 57 | 修正设置后 |
| 云端 (在线服务) | Diffusion Gemma | 是 | 114 | 相同提示词与上下文 |
浏览器OS生成测试：质量对比实验
为了评估生成质量，评测者切换至配备 RTX 6000 Pro Blackwell 显卡的高性能桌面端，并在线运行Diffusion模型，同时在本地笔记本上运行传统Gemma 426B 4-bit量化模型。两者均执行“浏览器操作系统”生成测试，重点对比代码质量与功能完整性。
传统模型生成的界面包含正确的时间显示、无右键菜单、基础开始菜单、可点击打开的记事本、计算器（正确计算556=330）以及功能正常的终端。而Diffusion模型生成的界面同样具备正确时间、开始菜单和记事本，但在计算器功能上出现逻辑错误（显示543而非556，且缺少等号，正确结果应为162）。值得注意的是，Diffusion模型成功生成了一个可访问Wikipedia的功能性浏览器组件*，这在4-bit量化模型中表现令人印象深刻。
"I didn't expect this to whip out a functional browser from the 4-bit diffusion version... impressive."
尽管存在细微的功能瑕疵，Diffusion模型在保持高生成速度的同时，并未出现巨大的智能损失。这种质量与速度的权衡对于特定任务而言是可接受的。
| 测试项目 | 传统Gemma (本地) | Diffusion Gemma (云端/高性能硬件) | 差异分析 |
|---|---|---|---|
| 时间显示 | 正确 | 正确 | 无差异 |
| 计算器功能 | 正确 (55*6=330) | 错误 (54*3, 缺等号) | 传统模型更准确 |
| 浏览器组件 | 无 | 有 (可访问Wikipedia) | Diffusion模型更丰富 |
| 终端功能 | 功能正常 | 基础功能 | 传统模型略优 |
3D游戏与前端页面生成：直观的质量验证
评测者进一步通过生成3D驾驶游戏和静态前端页面来验证模型能力。在3D驾驶游戏测试中，传统模型生成的代码包含障碍物，且游戏逻辑基本完整。Diffusion模型生成的游戏在视觉元素（如黄色障碍物）上与传统模型高度相似，甚至表现更佳，因为车辆不会陷入地面，物理表现更稳定。
"The loss in intelligence is not huge comparatively to the gain in speed."
在经典的“Steve's PC Repair”网站前端生成测试中，两者均能生成结构合理的前端代码。虽然速度对比因硬件差异（本地笔记本 vs 云端高性能桌面）而不具备直接可比性，但质量层面的对比显示，Diffusion模型在复杂代码生成任务中依然保持了极高的可用性。评测者强调，这些实验旨在展示Diffusion模型在牺牲极少量智能精度的前提下，为本地AI用户带来的巨大速度红利，这种权衡对于大多数日常应用场景而言是极具吸引力的。
扩散模型与非扩散版本的直观对比测试
本次测试的核心在于对比 Diffusion Gemma 模型与标准 QAT（量化感知训练）版本在生成 Steve 的 PC 维修网站代码时的表现。测试环境保持一致，仅改变模型后端，以排除量化方式带来的干扰。首先观察非扩散版本（QAT），其输出结构清晰，布局合理。代码生成的卡片带有轻微的悬停效果，所选图标设计精良且符合语境。头部导航栏在滚动时具备半透明渐变效果，同时生成了功能完备的联系卡片和页脚。整体而言，非扩散版本展现了极高的完成度和逻辑连贯性，是一个高质量的交付结果。
随后切换至 Diffusion 模型进行对比。虽然整体结构相似，但在细节质感上存在细微差异。Hero 区域（首屏核心展示区）的描述略显平淡，科技感与现代感稍弱，风格更为简约。尽管悬停效果依然良好，但向下滚动观察整体代码质量时，Diffusion 版本在整体精致度上略逊一筹。然而，这种差距并非绝对劣势，两者之间更像是一种“势均力敌”的较量。Diffusion 版本在整体结构的整合度与连贯性上表现更好，且其独立生成的联系卡片在设计美感上甚至优于前者。头部同样实现了滚动半透明效果。这一对比旨在提供直观的侧面对照，证明即使在量化方式相同的情况下，扩散模型也能产生具有竞争力的结果。
本地 AI 发展的战略意义与理性建议
此次测试 Diffusion Gemma 的深层动机并非单纯追求跑分，而是基于其在本地 AI 领域的研究方向价值。鉴于近期 Fable 事件引发的行业震动，本地 AI 已成为当前最热门且极具战略意义的话题。作者明确表示，不愿陷入情绪化的恐慌营销，而是主张通过实际测试来理解技术趋势。针对网络上流行的“不惜借贷购买高端 GPU（如 DGX Spark）以保护数据主权”的观点，作者持强烈反对态度，认为这是最愚蠢的反应之一。
作者指出，虽然云端模型确实存在被随时剥夺的风险，但盲目追求顶级硬件并不理性。更稳妥的策略是进行成本效益权衡：普通用户应优先购买几 TB 的硬盘，从 HuggingFace 等平台下载现有模型进行本地部署。这样，当真正面临服务中断风险时，用户已拥有可用的本地资源。届时再根据需求升级硬件，因为未来的硬件性能将远超当前购买的设备。在过渡期内，每月 20 美元的 ChatGPT 或云服务订阅费比背负债务购买顶级硬件更能有效填补空白。这种非反应性的建议旨在避免恐惧营销，倡导理性的技术储备策略。
资源链接与社区反馈总结
视频最后，作者提供了 Diffusion Gemma 的键盘演示代码链接，该资源托管在 GitHub 而非 HuggingFace，方便开发者直接体验。作者谦逊地表示，自己并非 DeepMind 的研究科学家，因此相关解读仅供参考，演示代码主要作为视觉辅助工具，帮助概念化理解模型的工作原理。尽管从纯测试角度看，该模型可能不是最引人注目的对象，但其开发前景令人兴奋，这也是制作本期视频的主要原因。
作者感谢观众的建议，促成了此次测试内容的产出。对于观众可能存在的疑问，作者鼓励在评论区留言交流。通过这一系列测试与讨论，视频旨在为本地 AI 爱好者提供实用的模型对比数据与理性的硬件投资建议，而非制造焦虑。正如作者所言：
"I'm not going to waste anyone's time making a video where I just give my opinions on the situation. I don't like doing stuff like that."
这种以实证为基础、避免情绪化引导的内容风格，为观众提供了清晰的技术视角与行动指南。