How to run agentic 35B models with only 8gb of vram (nvidia 4060ti)

8GB显存运行AI代理的可行性转折

在2026年，拥有8GB显存并不再是运行本地AI代理的绝对障碍。过去，博主多次强调，若不想在本地AI体验中感到“显存贫困”，用户应至少拥有超过8GB的显存，或者在拥有8GB显存时配备双显卡，以获得尚可的运行体验。然而，随着近期技术的进步，这一观点正在发生转变。本次视频聚焦于将Qwen 3.6模型部署到更小、性能更弱的GPU上的最新进展。此前，Qwen 3.6已在GTX 1080 Ti和PS5 GPU上成功运行，而今天，它被成功运行在配备8GB显存的RTX 4060 Ti上。

"The idea that you need a 24 GB GPU for serious local LLMs in 2026 is a lie that we don't have to repeat to ourselves anymore."

这一转变也反映了博主自身观点的更新。在之前的“不建议购买的GPU”视频中，博主曾建议避免购买4060 Ti，认为其显存不足。但鉴于当前GPU市场趋于缓和，4060 Ti在eBay等二手市场上变得极其廉价且货源充足，博主改变了看法。Twitter上也有许多用户分享了强烈观点，支持在低显存环境下运行大模型。这一突破主要归功于用户Above Spec的贡献，他证明了在2026年，无需24GB显存即可运行严肃的本地大语言模型。

Above Spec的基准测试与性能数据

用户Above Spec在RTX 4060 Ti 8GB上成功运行了350亿参数版本的Qwen 3.6，并提供了详细的性能数据。该配置支持16K上下文长度时，生成速度达到41 tokens/秒；而在200K上下文长度下，速度为24 tokens/秒。这一性能水平对于使用Hermes代理等工具来说是完全可行的。Above Spec提供了详尽的数据证明，包括上下文深度、提示词处理速度（tokens/秒）以及令牌生成速度。

以下是Above Spec提供的具体基准测试数据：

"He just ran a 35 billion parameter version of Qwen 3.6 on an RTX 4060 Ti 8 gig at 41 tokens per second with 16K context, and 24 tokens per second at 200K context."

尽管性能数据令人印象深刻，但仍存在一些局限性。这些局限性同样适用于RTX 3090和4060 Ti。例如，在处理复杂任务或长上下文时，性能可能会有所波动。然而，对于大多数代理任务而言，24 tokens/秒的生成速度已经足够实用，尤其是当使用Hermes代理或自定义的简单任务处理框架时。稠密模型在这些场景下表现良好，证明了低显存硬件在特定优化下的潜力。

MoE卸载技术与系统要求

Above Spec实现这一突破的核心技术是MoE（混合专家）卸载。由于350亿参数的模型无法完全装入8GB显存，该方法仅将关键部分保留在GPU上，并谨慎地在系统内存和GPU之间交换数据。具体策略是：Qwen 3.6 35B模型每令牌仅激活30亿参数，将注意力机制和共享权重保留在GPU上，而将冷专家FFNN（前馈神经网络）卸载到系统RAM中。

这种技术对系统配置提出了较高要求。用户不能仅购买最便宜的HP迷你主机，而需要配备 decent的CPU和至少64GB的系统内存。博主指出，Micro Center等零售商经常提供AMD Ryzen CPU与内存的组合优惠，这是构建此类系统的理想选择。此外，使用Llama.cpp作为推理引擎是关键，因为它比vLLM更具灵活性和可调节性，允许用户精细控制哪些部分留在GPU，哪些部分留在系统内存中。

"MoE offload is that Qwen 3.6 35B activates only 3 billion parameters per token. Keep attention and shared weights on the GPU, and cold expert FFNNs to system RAM."

尽管博主个人对Llama.cpp作为首选推理引擎持保留态度，但他承认其在灵活性和可调性方面远超vLLM。对于使用双显卡、旧显卡或希望进行极端自定义配置的用户，Llama.cpp是极佳的选择。这种技术路径虽然复杂，但成功地将大模型运行在低显存硬件上，为预算有限的用户提供了新的可能性。

KV缓存优化与上下文窗口

实现长上下文窗口运行的另一个关键因素是Q8 KV缓存的使用。Above Spec采用Q8量化KV缓存，每个令牌仅占用约10KB的显存。这一优化使得在8GB显存上实现长上下文成为可能，而长上下文对于AI代理的运行至关重要。博主强调，运行AI代理时，至少需要90K令牌上下文窗口，尽管具体原因未详述，但这是经过多次尝试后的最佳实践。

更令人惊讶的是，启用Flash Attention后，整个上下文窗口可以压缩到2GB显存以内。尽管这可能会因任务不同而略微影响性能，但这一技术突破展示了显存管理的极致优化。以下是不同配置下的显存占用与性能对比：

"You can actually fit that entire context window within 2 gigs of VRAM with flash attention on."

Above Spec提供的进一步证据显示，即使在开启Flash Attention的情况下，Qwen 3.6 35B A3B（Q4量化，Q8 KV缓存）仍能保持不错的性能。无论是提示词摄入速度还是令牌生成速度，都达到了可用水平。这表明，通过精细的量化和缓存优化，低显存硬件可以胜任需要长上下文的代理任务。

硬件对比：RTX 3070 vs 4060 Ti

在硬件选择上，RTX 3070 8GB也是一个值得考虑的选项，尽管其速度不如4060 Ti。有趣的是，RTX 3070的内存带宽更高，达到448 GB/s，而4060 Ti仅为288 GB/s。这意味着，尽管4060 Ti的显存容量相同，但3070在理论内存性能上更优。博主指出，这种反差表明，有时更旧的硬件在特定条件下可能提供更好或更具性价比的性能。

然而，博主仍建议优先选择4060 Ti 8GB，除非能以低于200美元的价格买到3070。此外，RTX 4060 Ti 16GB版本是更理想的选择，尽管目前价格较高且货源较少。4060 Ti 8GB版本目前价格低于300美元，且在二手市场非常普遍，且未被用于加密货币挖矿，因此是高质量且经济的选择。

"The irony is a video was just less cheap back in the day with um bandwidth, and ironically, you can actually get better performance from worse VRAM and for less money at the same time."

博主最后建议，如果预算允许，应尽可能购买更多显存的显卡，如4060 Ti 16GB或RTX 3090，以获得最佳体验。但对于预算有限的用户，4060 Ti 8GB配合MoE卸载技术，是一个可行且有趣的解决方案，特别适合代理任务而非实时文本生成。

总结与用户建议

综上所述，通过MoE卸载、Q8 KV缓存和Flash Attention等技术，用户可以在RTX 4060 Ti 8GB上运行350亿参数的Qwen 3.6模型，实现16K至200K的上下文窗口，生成速度在24-41 tokens/秒之间。这一突破打破了“24GB显存是本地AI代理必备”的传统观念，为低显存硬件用户提供了新的可能性。

博主建议，虽然4060 Ti 8GB是经济实惠的选择，但RTX 4060 Ti 16GB或RTX 3060 12GB在显存容量上更具优势，能提供更稳定的体验。此外，系统内存（建议64GB）和CPU性能同样关键，不可忽视。对于预算有限且主要运行代理任务的用户，4060 Ti 8GB配合上述优化技术，是一个值得尝试的方案。

"I would still say, if you can find it and if you can afford it, please buy the 16 gig version."

最终，博主邀请观众在评论区分享自己的硬件选择和看法，是选择4060 Ti、3070，还是投资更高显存的3090。这一讨论反映了当前本地AI硬件选择的多样性和复杂性，也展示了技术在不断推动硬件限制的边界。