这是全新的 Qwen 3.8 Flash Next AI，初步结果看起来棒极了。这是一个令人惊叹的系统，我们很幸运能拥有这么多开源且免费的 AI 系统，以至于很容易混淆它们之间的区别。各位学者们，这是一个非常美好的“烦恼”，而且看来我们可以用可以下载并自行运行的开源权重 AI 来替代付费的封闭系统，永远无需订阅费。
而且我们还有一篇论文可供参考。我们在这里真是被宠坏了，我对此深感感激，这也是为什么我要尽可能多地介绍这些系统的原因。我想向大家展示我和各位学者们是如何在现实世界中已经开始使用它的。现在有 Qwen 3.8 Max，规模极其庞大；还有 270 亿参数的版本。这个版本的模型需要在性能强劲的笔记本电脑或台式机上运行。
这是 Qwen 3.8 Flash Next，它处于中间位置，但截然不同。那个小型的 27B 模型是一个稠密模型（dense model）。而这个 Flash Next 版本则是一种混合专家模型（mixture of experts, MoE），两者非常不同。这意味着对于每个 token，它只使用模型的一小部分。这对于拥有大量内存但显存带宽较慢的系统（如 DGX Spark 或两个 Spark）非常有利。我目前正在两台 Spark 设备上对其进行实验，第一天运行速度约为每秒 38 个 token，这是一个非常值得尊敬的速度。
非常感谢英伟达的 Jensen、Brad 和 Mark 提供的硬件支持。现在，聪明的各位学者们已经找到了一种在更 modest（普通/适中）的硬件上运行它的方法。Qwen 3.8 Flash Next 是他们的下一代模型中的第一款，具有实质性的创新。这里有三个亮点。亲爱的各位学者们，这是由 Dr. Carola Zsolnai Feher 带来的《两分钟论文》。第一，Qwen 稀疏注意力机制（Sparse Attention）。
当我们开始添加文档或只是与 AI 进行更长时间的对话时，它的记忆（我们称之为上下文）开始填满。随之而来的是成本变得非常高昂。这被称为全注意力机制（full attention），它具有二次方复杂度。因此，处理两倍的上下文大约需要四倍的工作量。DeepSeek 曾尝试通过 DSA（动态稀疏注意力）来缓解这一问题，它只选择重要的单个 token。然而 Qwen 的新方法 QSA（Qwen Sparse Attention）走得更远。
它将这些 token 捆绑成微小的块，并只搜索这些块。为什么呢？因为这使得这种不断增长的上下文处理变得更加便宜。第二，对于每个 token，模型会携带关于该 token 的额外信息。但在这里，各个层可能会互相干扰（step on each other's toes），因为它们都在重写相同的运行信息。现在，这里它们使用的不是单一分支，而是四个分支。
为什么呢？因为在这里，信息可以保持不变，而其余部分则被更改。他们称之为门控残差（gated residual）。第三，想象一下热狗（hot dog），美味。现在，“hot”和“dog”这两个词单独看意思完全不同，对吧？Hot 加上 dog 并不等于 hot dog。因此，Qwen 可以将这些短的 token 组合捆绑在一起，并为它们构建查找内存（lookup memory），以便快速且低成本地检索。他们称之为 ngram 嵌入。
这是 DeepSeek 已经做过的技术的一个变体。DeepSeek 将这个查找内存分布在多个层中，而 Qwen 则将其放入靠近开头的一个巨大的查找层中。这三项创新赋予了这个系统一种能力，使其已经超越了一些最好的开源权重 AI 系统，甚至可能超越了 DeepSeek 4 Pro——尽管后者要大得多、大得多。而且这一切都发生在发布仅仅几天之后。这真是令人难以置信，
而我们却能永远免费获得所有这些功能。生逢此时，何其有幸！我们需要适应大语言模型时代的工具，Weights and Biases 现在推出了 Weave——一个轻量级工具包，让您能够自信地迭代大语言模型应用。使用追踪功能（traces）调试数据如何流经应用的每一步，并使用评估功能来衡量您的进展。这真是太棒了。立即在 wnb.me/papers 试用，或点击描述中的链接。