开源AI的繁荣与Qwen新模型概览

当前人工智能领域迎来了令人振奋的局面，新的开源AI系统层出不穷且完全免费。博主指出，这种繁荣容易让人混淆不同的模型名称，但这是一个“非常好的问题”，因为这意味着我们可以用开源权重的AI替换付费的封闭系统。用户不再需要订阅费，可以下载并自行运行这些模型。这次发布的Qwen 3.8系列包含了多个版本，其中Qwen 3.8 Max是极其庞大的模型，而27B版本则适合在性能强劲的笔记本电脑或台式机上运行。博主特别强调了对Nvidia团队（Jensen, Brad和Mark）提供硬件支持的感谢，这使得在DGX Spark等设备上进行实验成为可能。

"Fellow scholars, that is a very good problem to have and it seems that we can switch out paid closed systems to open weights AI that we can download and run ourselves forever. No subscriptions"

在这一系列中，Qwen 3.8 Flash Next处于中间位置但具有独特性。它与27B版本有本质区别：27B是密集模型（Dense Model），而Flash Next采用了混合专家架构（Mixture of Experts, MoE）。这种架构意味着对于每一个生成的token，模型只激活并使用其一小部分参数。这一特性使其特别适合拥有大量内存但显存带宽较慢的系统，例如博主正在使用的两台DGX Spark设备。在第一天测试中，该模型在这两台设备上实现了每秒约38个token（tokens per second）的生成速度，这是一个非常值得尊重的性能指标。此外，博主提到社区中的“聪明学者”已经找到了在更 modest（适度/普通）硬件上运行该模型的方法，显示了其极高的适配性。

核心创新一：Qwen稀疏注意力机制（QSA）

随着对话长度增加或文档输入增多，AI的上下文窗口会逐渐填满，处理成本随之急剧上升。传统的全注意力机制（Full Attention）具有二次方复杂度，这意味着处理两倍长度的上下文大约需要四倍的工作量。为了解决这个问题，DeepSeek曾尝试使用DSA（Dynamic Sparse Attention），仅选择重要的单个token。然而，Qwen推出的QSA（Qwen Sparse Attention）采取了更进一步的策略。它不再单独挑选token，而是将这些token打包成微小的块（tiny blocks），并仅在这些块内进行搜索。

"Qwen's new QSA, however, goes further. It bundles these tokens up into tiny blocks, and only searches those blocks. Why? Well, because it makes this kind of growing context even cheaper."

这种块级搜索机制显著降低了处理不断增长上下文时的计算成本。通过减少需要计算的注意力对数量，Qwen在保持长文本理解能力的同时，有效缓解了显存占用和计算延迟的问题。这一创新使得模型在处理长文档或长时间对话时，能够以更低的资源消耗维持高性能输出。博主强调，这是Qwen在下一代模型中引入的实质性创新之一，直接针对了LLM应用中常见的上下文膨胀痛点。

核心创新二：门控残差连接（Gated Residual）

在传统的Transformer架构中，每个token在处理过程中会携带额外的信息。然而，由于网络层数较深，不同层级在重写和更新这些运行时信息时容易发生冲突或干扰（"step on each other's toes"）。Qwen引入了门控残差连接机制来解决这一层级间的干扰问题。具体来说，模型不再使用单一的信息流路径，而是采用了四个独立的分支（four branches）。

"Here, instead they use not one, but four branches. Why? Because here, information can be left alone while the rest is changed. They call it gated residual."

这种多分支设计的核心优势在于信息的隔离与选择性更新。在四个分支中，部分信息可以保持不变（"left alone"），而其他分支则专注于处理不同的变化。这种机制允许模型在深层网络中更精细地控制信息流动，避免了早期层的信息被后续层的操作完全覆盖或破坏。通过这种门控机制，Qwen能够更稳定地保留关键上下文信息，同时允许模型在需要时灵活调整其他特征表示。这是提升深层网络训练稳定性和推理准确性的关键架构改进。

核心创新三：N-gram嵌入与查找记忆

语言处理中常遇到组合词义的问题，例如“hot”和“dog”单独出现时意义不同，但组合成"hot dog"时有特定含义。Qwen通过N-gram嵌入（ngram embedding）技术解决了短token组合的快速检索问题。该技术允许模型将常见的短token序列捆绑在一起，并建立查找记忆（lookup memory）以便快速且低成本地检索。

"Qwen can bunch these short token combinations together and build lookup memory for them to retrieve from quickly and cheaply. It's ngram embedding... DeepSeek spreads this lookup memory across multiple layers, while Qwen puts it into one huge lookup layer near the start."

虽然DeepSeek也采用了类似技术，但其将查找记忆分散在多个层级中。相比之下，Qwen的创新之处在于将这些N-gram嵌入集中放置在一个巨大的查找层中，且位于网络的起始位置。这种设计使得模型在早期阶段就能快速识别并处理常见的短语组合，从而加速后续的处理流程。这种集中式的查找层不仅提高了推理速度，还增强了模型对常见语言模式的捕捉能力。结合前两项创新（QSA和Gated Residual），这三项技术共同构成了Qwen 3.8 Flash Next的强大基础。

性能表现与社区贡献

尽管Qwen 3.8 Flash Next是一个相对较小的模型（相比Max版本），但其性能表现令人惊叹。博主指出，凭借上述三项创新，该模型已经超越了一些最佳的开源权重AI系统。甚至在某些基准测试中，它可能匹敌甚至超越了像DeepSeek 4 Pro这样庞大得多的模型。这一成就尤为难得，因为这一切仅发生在该模型发布后的短短几天内。

"And these three give you a system that already outperforms some of the best open-weight AI systems, maybe even DeepSeek 4 Pro... And all of just a few days after release. This is mind-blowing and we get all this for free forever."

博主对这一进展表示“令人难以置信”（mind-blowing），并再次强调用户能够永远免费获得所有这些先进功能。除了技术层面的突破，博主还提到了Weights & Biases推出的Weave工具包，这是一个轻量级套件，旨在帮助开发者自信地迭代LLM应用。通过追踪（traces）调试数据流并使用评估指标衡量进展，开发者可以更高效地构建和优化基于LLM的应用程序。博主推荐尝试该工具（链接在描述中），并认为这是当前时代必备的新工具之一。

结论

Qwen 3.8 Flash Next的发布展示了开源AI在架构创新上的巨大潜力。通过引入Qwen稀疏注意力（QSA）、门控残差连接和集中式N-gram嵌入，该模型在保持较小体积的同时实现了卓越的性能。其混合专家架构使其能在带宽受限的硬件（如DGX Spark）上高效运行，达到38 tokens/秒的速度。更重要的是，它在发布仅几天后就展现出超越大型专有模型（如DeepSeek 4 Pro）的潜力，证明了开源权重AI完全可以替代付费封闭系统。这一进展不仅降低了技术门槛，也为开发者提供了免费、强大且可持续使用的工具生态。