今天,我们迎来了可能最好的免费开源本地模型的全新发布版本——Qwen 3.8-27B,这是你可以实际使用的模型。我们将讨论一些针对该模型的顶级配置方案,因为对于本地模型而言,确保拥有正确的硬件设置始终是一个限制因素。基本上,这是 Qwen 3.8 的开源权重版本。Qwen 3.8-Max 是他们的旗舰模型,而 Qwen 2.5-72B(原文误读为3.8 2.4T A95 B,结合语境应为72B或类似大参数版本)也已发布。那是 Max 的版本,但我们今天关注的是 Qwen 3.8-27B。
如果你想知道它有多好?基本上,看看我们六个月前拥有的 Claude Opus 4.6(注:此处原文可能指代当时的顶级模型,如Claude Sonnet或Opus早期版本),那当时被认为是最好的模型。而现在,Qwen 3.8-27B 基本上在免费本地运行的情况下达到了相同的水平。Gareth,你怎么看?>> 是的,嗯……我之前在看一些统计数据,你不需要疯狂昂贵的显卡来运行它。非常有趣。我几乎觉得 Qwen 已经接管了作为首选开源模型的焦点。>>
是的,我认为你说得对。我觉得他们在这一方面处于领先地位。因为要记住,你有 GLM-5(注:原文为GLM 5.3),那是开源权重的,但你不能简单地运行它。你需要一个荒谬的配置。例如 Kimi K2(原文为Kimik3),它是开源权重的,但 realistically 除非你使用像 Cerebrium(原文为Cerebri)这样的服务,否则真的有人会本地运行它吗?>> 是的。
对于普通人来说,他们甚至不知道如何设置或从哪里开始。所以我认为对于这个配置,如果你有一个 DGX 盒子或者像 RTX 这样的显卡,它实际上运行得会很好。我想你用的是 Mac mini,我的是 Mac Studio。我可能不会在这个上面运行它。我认为这对我来说无法正常运行。>> 是的,所以我有一个 Mac mini,还有一台带有 RTX 显卡的 PC。我想我的 PC 可能能够运行它。Mac mini 不行,但 MacBook Pro 肯定可以。
是的。通常当你尝试这些模型时,比如 Claude 告诉你运行它没问题,朋友。然后你正在做某事或开会的过程中,你的整个设置完全崩溃了。这让我想起了游戏开发商说“哦,你需要 8GB 内存和 50GB 存储空间”的日子。然后你实际下载游戏时发现,“不,朋友,你需要16GB内存和100GB空间。”
是的,确实如此。现实情况是,它需要的比你想象的多得多。但例如,如果你看看这个,Opus 4.6 Max(注:原文可能指代当时的顶级模型)并不遥远。这是如果你回到六个月前,那个顶级的模型。>> 是的。 >> 这太不可思议了。 >> 真是疯狂。出于好奇,Qwen,这是他们最好的模型吗?2.8(注:原文口误或识别错误)或者他们有更好的模型吗?
是的,所以 Qwen 3.8-Max 是他们最好的模型。他们已经发布了那个的开源权重,但就像之前说的,你无法自托管本地模型。>> 明白了。好的。是的,它的性能表现简直疯狂。我想我在另一个视频中说过,目前处于顶部的家伙们(显然是 Claude 和 Anthropic),你甚至可以说 ChatGPT。那些家伙很容易基本上复制顶部家伙们正在做的事情并开始赶上。所以这真的很有趣,看看竞争点究竟证明了什么?
是的,100%。另外,如果你看 Qwen 3.8,人们会想,“好的,你如何设置?”你可以使用 LM Studio。那是一个免费的应用程序。然后你也可以从 LM Studio 获取模型。还有 Ollama。Ollama 有 Qwen 3.8,并且就在16小时前刚刚用新更新进行了升级。所以你可以……一件很不错的事情是你可以在 MLX 上获取这个模型。如果你想用 Mac,MLX 基本上意味着它会运行得更流畅。这是一种更好地运行本地模型的方式。
再次强调,18GB 的模型能在 Mac Studio 上流畅运行吗?可能不会。但是,你可以用 Claude Code(注:原文为Claude code)设置它,或者将其用作 OpenCode、Hermes Agent 或 OpenClaw(注:原文为open claw)的大脑。>> 是的,出于好奇,你使用的是旧的 Llama 方法吗?还是有更好的自托管方式?
我认为这是。我觉得这可能是最简单的方法,因为它就像你点击一个按钮,粘贴到终端里,然后你就得到了模型。你可以使用 LM Studio。我觉得 LM Studio 不如某些工具好用。>> 是的,我用过 Ollama(原文为old llama),我想那可能是更新版本。我要推荐的一点是,这些免费的自托管模型听起来很棒,直到你实际自托管并意识到它们有多慢。所以是的,我想它们不值得获取。
是的。我们实际上开始在排行榜上测试本地模型,以前我们在 Goldy Bench(注:可能指特定基准或口误)上测试。我们意识到其中一些模型在本地运行时表现非常糟糕,无论是生成的内容还是质量方面。我当时就想,“伙计们,我们必须停止。”因为本地替代品太糟糕了,测试这些模型绝对没有意义。>> 你测试过的最差的模型是什么?
有一些简直无法创建任何真正有用的东西。然后你必须一遍又一遍地循环筛选它们,最后删除它们。我不记得我试过的最差的模型是什么了。我们试过类似 Qwen(原文为Quifos,可能指Qwen或特定微调版)的东西,那据说是 Miphos(注:口误,可能指Mistral或特定训练集)训练的 Qwen 版本。但老实说,我觉得你只需要一个好的设置就可以搞定了。
是的。 >> 所以基本上……有些人会说,“为什么你想在本地运行它?”嗯,基本上是免费的、私密的,你可以离线运行。如果没有 Wi-Fi,例如你可以在飞机上使用 AI 等等。而且这也是前沿技术(注:原文说不是frontier,但接近)。以前私有和本地托管的 AI 落后一两年,但现在差距正在越来越快地缩小。我也看到了这一点。所以我想,你知道的,给它6个月或几年时间,本地模型将会处于顶尖水平。
是的,这越来越有趣了,他们实际上最终会对其进行优化。希望他们会针对本地用户进行优化,因为硬币的另一面是,他们可能永远不会……
实际上,我们最终会进行优化。不过,我们会使用他们的服务器。这将会很有趣。“是的,百分之百正确。”
非常感谢大家的观看。如果你还没有看过卡斯拉·达什的新搜索内容,不妨去看看。这是他建立的学校社区,主要教授人们如何进行搜索引擎优化(SEO),以及如何利用人工智能搜索引擎提升排名。他还在其中构建了一个非常出色的 SEO 代理运营系统。
此外,如果你还没有了解过“联盟利润盛宴”(Affiliate Profit Bonanza),也欢迎去看看。这两个链接都放在评论区和描述栏中,或者你可以直接访问 affiliateprofitbonanza.com 查看。
是的,加入后你将获得我们的社区支持、教练指导以及所有关于此类内容的培训课程。感谢观看,我们下期再见。