终于，奇迹发生了。如今的人工智能模型变得庞大得近乎荒谬。一些最大的开源免费AI模型，如DeepSeek，参数量已超过1.6万亿。这甚至还不是最大的，运行它们需要耗费数十万美元。然而，当你展示一张图片并问它“这张图片描绘了什么”时，你会惊讶地发现答案——它根本不知道。是的，它看不见。
但如果我告诉你，有一个模型比它小99%，相比之下如尘埃般微小，却拥有视觉能力呢？这听起来不可能。是的，也许在梦中或一厢情愿中才存在，但它确实存在。它由DeepMind制作，名为Gemma 4。它可以在你的笔记本电脑上运行，绝对是一颗宝石。免费且开源，已被我们同僚学者下载超过3亿次，这简直疯狂了，我热爱它。
接着，又发生了令人惊叹的事。请拿好你的论文，同僚们，因为他们终于透露了Gemma 4实现视觉功能的“秘密配方”。这简直太疯狂了。我们现在终于明白，它是如何轻松做到在视频中识别物体的同时扮演中世纪吟游诗人说话的。那么，他们是如何在一个异常小巧的本地模型中加入视觉和多模态推理能力的？秘密终于揭晓了。
亲爱的同僚们，这里是Two Minute Papers，由Károly Zsolnai-Fehér博士主持。传统AI实际上是几个神经网络连接在一起。如果你有图片，就需要一个专用的视觉模型；如果有音频，需要给它“耳朵”，即音频编码器。每个任务都有专门的部分。但这并不是真正的看或听，只是由不同神经网络创建的翻译在传递。
当升级到120亿参数的模型时，DeepMind的科学家们说：“把这些全扔掉。现在。”相反，他们将图片切成小块，然后将这些像素直接投影到模型的内部表示中，让它知道每个块来自哪里。这样你就不需要单独的视觉转换器来解释图像了，把它扔掉吧。
音频也是如此。将其切成40毫秒的片段，然后进入魔法时刻：你将所有这些标记倒入主Transformer中。这个系统被迫同时学习成为眼睛、耳朵和大脑。我认为这是Gemma 4最重要的架构理念之一，它消除了数亿个专家参数，模糊了感知与思考的界限。
结果是一个远超其体量的AI系统：它能处理图像和音频，而且非常聪明。这是你可以拥有的东西。还有两点补充：第一，Gemma 4生态系统持续改进以变得更快更好（链接在描述中）；第二，他们分享了秘密配方。
因此Gemma 4不仅自身惊人，还能帮助DeepSeek和其他系统更有效地学习视觉。这太棒了！生逢此时真是令人激动。请不要理所当然地认为未来会有源源不断的免费开源模型，这些是礼物，随着能力提升可能会停止。
这不是自然法则，未来我们不一定能免费获得模型。所以，向全球所有致力于开源模型的开发者致敬，你们是英雄！你们帮助科学家、学生和数百万人更好地工作。非常感谢。作为社区，我们必须团结起来支持这些开放系统。
我经常使用Lambda在几分钟内复现AI研究论文，它也非常适合训练自己的模型或微调现有模型。运行推理、文生图或视频生成都轻而易举，运行DeepSeek聊天机器人或代理也超级快速可靠。Lambda提供强大的Nvidia GPU供你进行实验，测试想法后立刻得到结果。
真的强烈推荐大家现在就去lambda.ai/papers试用一下。