DeepSeek的科学家们发明了一项令人惊叹的技术,且恰逢其时。我们正步入人工智能时代,但我惊讶地发现,这些AI系统在计算机上的运行方式极其低效。如果你想让AI助手回答得更快,就需要更多的算力,这显而易见。然而,你可能会发现增加算力后速度并未提升。这在企业花费数十亿美元购买更多算力的背景下显得尤为令人震惊,这怎么可能呢?

想象一下读书时每次翻页都忘记角色设定。在实际操作中,假设我们有一个如山般巨大的大脑想讨论一本书:若书只有一页,我们可以轻松记住并谈论;但若书页增多且每翻一页就遗忘一切,我们就不得不反复重读。大脑虽巨大却“饥饿”,信息通过吸管进入,大部分时间花在缓慢阅读而非思考上。这正是当前显卡在运行复杂AI代理系统时的写照,数十亿美元的设备利用率仅40%,简直是灾难。

DeepSeek的科学家如何解决这一难题?他们指出,你不需要更大的大脑(算力),而需要更粗的吸管。在现有系统中,“预填充”机器负责读取,如同堵塞的吸管;而“解码”机器的吸管却几乎空置闲置。科学家建议利用这些空闲机器进行读取,并将数据通过第二条路径传输给预填充机器。这是一条巧妙的迂回路线,让大脑能专注于其本职工作——推理思考。

然而,这条捷径占用了AI进行高速思维所需的道路资源。若处理不当,我们只是用一个新的交通拥堵替代了旧的一个(笑声)。解决方案是“交通管制”:在道路上,思维流量享有优先权,而内存读取流量只能使用剩余空间。这一设计极为精妙,因为它并未增加算力,而是提高了对已有算力的访问效率。

关键成果令人震撼:该技术将整个网络的利用率从40%提升至约80%,相当于在已购买的机器上实现了近乎两倍的工作量。这一突破仅凭一篇论文实现,令人惊叹。其主要应用场景是长多轮对话的AI代理工作负载。DeepSeek将此技术免费开源,永久供所有人使用。

这并非让所有AI代理速度翻倍的万能药,而是针对特定情境的优化方案。在长对话、大数据量等最困难的场景中效果显著。这并非面向消费者的炫酷新系统,而是数据中心层面的底层道路优化。虽然难以制造轰动新闻,但其 brilliance 毋庸置疑。这种开放科学让所有人受益,未来可能带来更便宜的AI推理服务。

在这个充满末日论调的世界里,这是一份乐观与喜悦的礼物。感谢DeepSeek未将知识私有化,而是作为礼物赠予我们。这就是论文的力量,生逢此时何其有幸!如果你喜欢本期内容,请订阅并点击铃铛。

(广告部分)这里展示我在Lambda GPU Cloud上运行完整的DeepSeek AI模型,6710亿参数超快且稳定地运行。这太不可思议了!我日常经常使用Lambda提供的强大Nvidia GPU来运行自己的聊天机器人和实验。现在就来试试,访问 lambda.ai/papers 或点击描述中的链接。