是的,DeepSeek 4 Pro 来了。这次是真正的版本。我知道这容易让人混淆。之前的版本叫预览版,而这个叫 0813(版本号)。数字表明它的性能比小得多的 Flash 版本更好。在构建魔方时,Flash 并没有完全理解物体的三维结构。有很多缺失的部分,还有很多黑色区域。但是,有了 Pro 版本,看吧,对结构的理解要好得多
然后,我也对这个感到惊讶。天哪,看看这些论文。它正越来越接近“传说”(Fable)级别的质量。是的,又出现了一个挑战者,而且它变得更好了。他们免费把所有这些提供给我们,这绝对令人难以置信。好吧,但这对我们意味着什么?权重对所有人都免费开放,但是你知道的,很少有人有在家里托管它的硬件。我很想拥有那样的硬件,但我没有
其他选择包括使用 Lambda 或者由 DeepSeek 自己托管。但是,他们刚刚大幅提高了价格,大约是之前价格的 2.5 到 5 倍。现在,我敢打赌你们已经能想象那些耸人听闻的标题说:“结束了。”我认为他们也应该说的是,DeepSeek 以 MIT 许可证开放了权重。这意味着什么?嗯,任何人都可以以自己的价格运行完全相同的模型
而且看吧,他们确实在这么做。有很多托管服务可用,它们都在价格上竞争。这对我们来说太棒了,而且极有可能迫使前沿实验室(Frontier Labs)更快地为我们这些学者提供更好、更强大的东西。所有这些改进都来自相同的架构。但是,这怎么可能呢?模型结构是一样的,但它比不到 4 个月前的预览版要强大得多。那么,是怎么做到的呢?
亲爱的学者们,这是由卡罗伊·佐尔瑙-费赫尔博士带来的《两分钟论文》。再一次,很多魔法发生在预训练之后。在后训练期间,DeepSeek 为数学、编码和代理工作创建了多个专家模型。现在我们必须在这里停一下。人们常常把这些与混合专家(Mixture of Experts)中的专家混淆。这并不完全相同。那些是一个神经网络内部的小模块,而这些不是
这些是单独训练的模型检查点(checkpoint)。那么接下来呢?那就是蒸馏。是的,他们取了超过 10 个这样的专家教师模型,训练一个最终的学生模型来吸收它们的能力。所以学生模型说:“我会这样做。”然后老师说:“嗯,我本来会那样做。”于是学生调整它的思维(清嗓子)使其更像老师。用 10 个老师这样做,你就会看到学生确实疯狂地进步了
他们还为此添加了这一部分。它不是像以前那样一次预测一个 token,而是提前起草(draft)几个 token。它的表现比以前的技术好得多。请抓紧你们的论文,学者们,因为 DeepSeek 报告 V4 Pro 的生成速度提高了高达 78%。这是真实的、可测量的加速,你现在就能获得并使用它带来的好处
这里有一件绝对疯狂的事情。这是一篇研究论文,让我们看看……6 周前发表的。而现在每个人都在使用它。让我再说一遍,一篇只有 6 周历史的研究论文。这是今年最好的论文之一。它正活生生地出现在我们手中,而且是免费的。描述栏中有完整的分解视频。别忘了,我们可以拥有并运行这些权重。如果我们输错了关键词,没有人会把我们降级到不同的模型
没有游戏环节。这太不可思议了。即使我不能在家里运行它,虽然我很想这么做。但是有选择可用。这是一个多么好的时代啊。这是开放科学和开放研究的最佳体现。重要的是我们要讨论它。为什么?因为未来属于那些理解它的人。使用 DeepSeek 和 DeepSpark。充分利用它们哦,我还打算谈谈 DeepSeek 令人难以置信的无代理(no agent)Harness
新颖的设计,非常强大。如果你感兴趣,请考虑订阅并点击铃铛。我经常在几分钟内使用 Lambda 来复现 AI 研究论文。它也非常适合训练您自己的模型或微调现有模型。运行推理,或者文本转图像、视频,都非常简单轻松。运行 DeepSeek 聊天机器人或代理,超级快速,超级可靠。Lambda 为您提供强大的 Nvidia GPU 来运行您自己的实验
我测试我在论文中覆盖的想法,片刻之后就能看到结果。太爱了。真的,现在就去 lambda.ai/papers 试试看