随着 Google 推出 Gemma 4 和 Turbo Quant，我们正身处一个非常有趣的时代。我认为在2026年，人们开始关注英伟达的 RTX 3080 用于本地 AI 运行是个好主意。原因有很多，其中重要的一点是 Gemma 4 是一个表现极佳的模型，当将其量化得非常小并大幅精简时，它似乎不像 Llama 那样损失太多性能。这意味着即使与拥有更多显存的 RTX 3090 相比，使用显存显著较少的 GPU 也能获得非常相似的性能。
这更令人印象深刻的是，这些显卡依然相当便宜，且未受到那些影响你在 Micro Center 能买到的几乎所有其他产品的“显存崩盘”波及。所以，是的，我将论证为什么在2026年你应该为了本地 AI 购买其中一款。欢迎来到 AI Flux，让我们开始吧。
我认为英伟达的 RTX 3000 系列显卡是迄今为止英伟达做出的最出色的工程成就之一。当时这之所以意义重大，是因为从 2080 和泰坦系列显卡到 RTX 3090 的性能飞跃是英伟达历史上最大的。RTX 3090 仍然是英伟达 ever made 的功能最丰富、最具性价比的显卡，坦率地说，我认为我们再也看不到英伟达消费级显卡拥有这样的功能集了。
但 RTX 3080 也是一项令人难以置信的工程壮举。有趣的是，在产品周期后期有一些变体实际上对 AI 非常具有吸引力。Gemma 4 的量化版本能够完美适配12GB到10GB显存，这非常酷。我还会介绍一些最近出现的有趣变体。显然，如果架构本身不稳固，这款 GPU 就没有使用价值。因此 RTX 3080 的芯片本身相当不错，它与 RTX A5000 使用的是相同的芯片，后者基本上就是拥有24GB显存的3080。
这里你真正错过的是 NVLink，这在 RTX 3090 上才有。但关键在于这款显卡非常便宜，仅需400美元。即使是后来发布的更高端的 EVGA 12GB 版本也是如此。这里有一些有趣的性能差异，我将关注 RTX 3080 而不是 3080 Ti。虽然它们大致相当，但存在一些差异。你可以看到性能表现不错，参考设计是一款相当扎实的显卡。
所以如果你还能在网上找到它们，它们很可能仍然非常适合许多此类用途。再次强调，RTX 3080 有12GB或10GB版本。它拥有可用的 CUDA 核心数量以及本地 AI 所需的架构特性。是的，这是一款扎实的显卡。已经有一些人表示这是一个很棒的选项，并开箱即用。Gemma 4 相比 Quant 35（特别是用于本地编码时）的一个真正酷的地方是它对 Llama.cpp 的支持非常好。
人们在 LM Studio 中也取得了很好的结果。因此，你不需要花哨的工具就能从这种模型的大胆量化中获得出色的性能。现在这种方法我并不认为是最优的，但它很酷因为有效运行着。这是某位拥有 RTX 3080 的用户，他正在运行 Gemma 4 E2B。这是一个较小的量化版本，旨在作为使用 BF16 精度的 Llama.cpp 的即插即用方案。
它运行得并不快，每秒7个令牌的速度也不算最快 GPU 的水平。但我想指出的是有趣的一点是：现在大多数做本地 AI 的人，虽然涉及一些编码工作，但实际上更多的是使用 Hermes 进行代理编排。有趣的是你其实不需要一个极快的模型。以前速度和首字延迟（TTFT）是一切，这也是英特尔试图做的事情。
但 Gemma 4 与其他模型不同之处以及 Turbo Quant 的赋能之处在于，性能重点在于缓存性能，并使上下文窗口真正有意义，而不会像一年前的小型 Llama 模型量化那样导致大量可用性完全丧失。所以正确的思路是：你为什么不直接运行量化的 Gemma 4 26B 呢？
这里有我想介绍的两种有趣模型。这是这个人正在使用的模型，它有50亿参数。精度是 BF16。有23种不同的量化版本。这既是 Turbo Quant 和 Gemma 4 的双刃剑：我们获得了前所未有的性能，但也出现了比以往更多的版本，名字也很奇怪。除了能放入显存这一通常很好的判断标准外，很难清楚知道该在哪里使用哪个版本。
这里的主要目标是推理能力。对于这种代理式方法，有扩展的多模态支持。理论上如果你运行这个，可能可以同时并行运行一到两个代理。这仍然是一个并行化表现更好的领域，不像令人失望的 Intel B50。但在当前市场下，二手 3080 的价格与 Intel B50 相同。这里另一个大重点是上下文窗口以及这些代理编码能力。
如果你使用 Open Code，这也是一个很好的选择。对于那些好奇的人，26B 的量化版本是 A4B 量化版，他们声称这是专门为性能较弱的 GPU 和边缘设备制作的。另一个我想推荐的量化版本是……我要说的是，你可以用 Turbo Quant 量化很多东西。所以这些不是你能在3080上运行的唯二模型，而是截至4月13日能力最强的最新型号。
这个模型非常有趣，因为在许多基准测试中它显著优于 E2B 量化版，但它并不是专门为小型 GPU 设计的。当然这里说它恰好能运行在这里，但这种量化的核心模型或制作原因是为了适配统一内存芯片。比如 Ryzen Strix 和 GB10。有趣的是他们发现了一些关于4位量化的优势，而没人真正理解这些优势。这是一个非常酷的发现。
他们发现可以使用类似的方法量化 Gemma 4，再次利用大量的……
借助 Turbo Quant 的工具链，使其非常适合较旧的显卡。例如 RTX 3080、RTX 3080 Ti、RTX 4070，以及任何显存小于 16GB 的显卡。有趣的是，这是多模态模型。要知道，一年前人们认为拥有如此强大的多模态模型简直是天方夜谭。更棒的是，它还获得了官方 VLLM 支持。如果你想使用多张显卡，这就很有意思了。有人论证说，如果你拥有显存为 12GB 的显卡，它们可能物超所值，因为你可以获得约 36GB 的显存总和，而价格大致相当于一张 RTX 3090。当然，没有 NVLink 连接，也有一些其他缺点。但令人兴奋的是，这类量化技术以及新的软件和模型，让许多旧硬件看起来确实是个相当不错的选择。
现在快速看一下价格。定价方面很有趣。我有两个推荐的版本，大部分情况下我会避免购买 PNY 的显卡。在所有这些产品中，“神级”的存在依然是 EVGA，EVGA 胜出。EVGA 很有趣，因为它们是极少数在产品线生命周期晚期获得英伟达完全授权生产这些配备 12GB GDDR6 显存显卡的 OEM 厂商。所以，EVGA 和英伟达 OEM 版本的卡都非常棒，坚如磐石。我眼前正看着一张 EVGA 的显卡。除此之外，我会避免其他品牌的卡。
最近很多人，比如今天推特的用户们，发现了这些 20GB 显存的 RTX 3080。有趣的是，这些卡基本上与同系列的英伟达 A5000 几乎 identical（相同）。我之所以这么说，是因为涡轮式风扇卡、散热器以及整个背面布局看起来几乎一模一样。而且它本质上就是一颗 3080 核心搭配更多显存。这些卡相当酷，但价格很有趣。不幸的是，鉴于目前的关税政策，当你进口它们时，每张卡的价格将达到 1000 美元。
有一点我要说，中国人知道的是，使用的最佳电源接口是实际焊接在主板上的双 8-pin PCIe 电源线。所以没有任何为了节省空间而使用的愚蠢内部线缆。他们甚至在一块明显不是英伟达生产的卡上加上了英伟达的标志。所以你可以尝试这些，它们确实会给你多一点显存，但考虑到价格，不幸的是，在这期关于 3080 的视频中我要说：如果你要在单张显卡上花费 1000 美元，只要还能找到 RTX 3090，你还是应该买它。
为了完善本期视频内容，这里有人提供了一些使用 Gemma 4 A3B（一种与之前提到的量化版本非常相似的模型）的证据。他在 RTX 3090 上使用 LM Studio，在意识到可以将模型大幅压缩后，又在 RTX 3080 上使用了它。这很酷，因为我喜欢找到真正在使用这些模型的人。毕竟我的经验是一回事，但当其他人使用这些模型并清楚地阐述它们为何如此出色时，我觉得这非常棒。
这位用户提到的主要优势是上下文窗口显著增加。他使用 Q4 量化配合 Flash Attention，这很酷。他说无限循环的情况大大减少。他还将其与 Open Code 一起使用。所以这里确实有很多很酷的事情在发生（轻笑）。他还说这可能是用于智能体工具调用的最佳模型之一。有趣的是，这些模型之所以变得更好、变化如此之大，很大程度上是因为人们在自己的显卡上以各种方式使用它们。
当然，正如这位用户所说，对于 12GB 显存的显卡来说情况会稍微差一些。所以你不能看着那些荒谬的数字，比如每秒 80 到 110 个 token（词元），就以为你能得到那样的速度。你会慢一些，这是使用 RTX 3080 而不是价格高三倍的显卡的代价。但令人高兴的是，这些卡真的很实惠。我的意思是，大多数甚至 12GB 版本的都低于 400 美元，相对而言是非常划算的交易。我不会在参考版显卡上花费超过 500 美元。但如果你愿意冒一点险，你可以买到一些低端 EVGA 卡或华硕的显卡。
例如，这是你应该寻找的最佳选择之一：这是一张英伟达 RTX 3080 10GB 显卡。我看着它，后悔两年前卖掉了我的那张。不过无论如何，我好奇你们中是否已经有人在其他显卡上使用 Gemma 4？也许是比 RTX 3080 性能更弱的显卡。据说它在 RTX 3072（注：此处应为口误，指代其他型号或泛指）上表现极佳。那将是另一期视频的内容。但总之，希望你们从本期视频中有所收获，我们下期再见。