两年前，当我们谈论本地人工智能时，会有很多怀疑者站出来表示：“我不相信这能实现。”去年，大家开始关注并询问：“我该如何获得它？”是的。而现在的问题是：如何获得更多这样的设备？因此，阻碍人们产生兴趣的障碍已经消失。大家好，欢迎回到MTS节目。今天我们有幸邀请到AMD公司的Ian Weinberg来到演播室，为我们带来一场特别的演示。我知道大家之前已经开箱了这款强大的Ryzen AI Halo套件，今天我们将现场直播测试它。Ian将为我们详细介绍这是什么以及它的各项功能。欢迎加入节目！谢谢，大家好。今天我来向大家介绍Ryzen AI Halo开发者套件。

我可以先简单介绍一下它是什么吗？当然可以。首先，我想把它放到你手中，我们先聊聊里面有什么，然后我也想花点时间谈谈它是如何制造出来的。它的核心是我们要发布的下一代Ryzen AI Max Plus Pro 495处理器。从现在开始，我就叫它“495”吧，因为全名太长了。这款芯片的主要亮点是拥有192GB的共享内存。之所以重要，是因为这部分内存可以在CPU和GPU之间共享。在当今本地AI开发领域，开发者经常遇到的瓶颈就是显存不足。问题不在于算力，而在于内存容量。在这192GB中，你可以预留160GB作为专用的GPU显存，从而支持运行3000亿参数的模型。

哇！你可以使用这些……比如GLM 5.3 Flash可以直接在这个设备上运行。这真的很令人印象深刻。我之前问过他，为了提供背景信息，今天我们打破了第四面墙进行演示。感谢现场和屏幕前的观众。我有幸在七月份参加了AMD的“推进AI”会议，当时Halo机架系统首次亮相。我曾对此提出疑问，显然在七月份时还无法实现这样的演示。

我即将展示的演示超出了去年七月我们在395版本（拥有128GB内存）时的水平。顺便提一下，我想让大家看看它的工业设计。当你仔细观察时，你会发现这里的每一个小部件上都有AMD的标志。太美了！如果有特写镜头……虽然我不确定摄像机的效果，但你可以看到非常近距离的AMD标志。这很可爱，成百上千个AMD的标志，但这确实是一件精美的作品。我们要提到的是，这个只有书本大小、高度不到2英寸的设备竟然能运行3000亿参数的模型。

内部包含一套旨在帮助各种能力水平的开发者的工具套件。哇！当你开机时，首先映入眼帘的是……不知道我们要不要直接进入演示环节？让我们直接开始吧。因为有趣的是，有时候你看到了硬件，但当你插上电源或尝试安装时，却不知道它应该如何运行。硬件和软件独特的地方在于，有一些特定的方法可以优化硬件以使其更高效，但这些往往被割裂开来。

为了提供一些背景信息，我来自开发者背景，我对开源模型非常痴迷。我会尝试弄清楚在家里需要什么样的硬件才能运行我自己的开源模型。你不得不去搜索不同的软件，安装各种东西，然后进行测试它们总是分离的，对吧？这很有趣，因为看起来当你将软件安装到电脑上并连接设备时，你会看到一些弹出窗口让你了解如何以最大容量运行这些工具。你可以在不使用全部容量的情况下在设备上运行某些内容，这取决于软件的设计方式。所以这可能是你演示的一个很好的介绍。

你把这么多话题抛给我，我想谈谈所有这些问题。首先我要补充的是，作为开发者，你们习惯于某种开发环境，这是你喜欢做的事情。这是一个基于标准的x86平台。如果你喜欢你的Linux版本，就安装它；如果你喜欢Windows，也请随意安装。你不需要为在ARM上模拟任何东西支付任何费用它是100%原生的，并且完全开放让你按照自己的方式操作。但如果采用我们构建的方式，我们以Windows和Linux版本提供它你可以选择任一方式。经过开箱体验后，你将看到这样的屏幕注意右侧的任务管理器是我为了演示而设置的。但在中间，Linux和Windows版本都拥有Ryzen AI开发者中心。

在该开发者中心内部，有许多剧本（Playbooks）和预安装元素当你购买时它们直接位于设备上。我们要传达的信息是“几分钟内获得第一个Token”。也就是说，你只需要打开它……几分钟内获得第一个Token？这很好。意思是：嘿，多久能生成你的第一个Token？36秒甚至不到一分钟。差不多是这样吧？完全正确。你知道最好的部分是什么吗？这是地球上最大的挑战我们希望大家能越来越快，并告诉我们他们是如何做到的。在每个剧本中，你可以选择它是针对Ryzen AI Halo的以及你拥有多少系统内存。在这种情况下是192GB……192的系统内存，这是个不错的数字。

3000亿参数我要一遍又一遍地说这个数字顺便说一句，在我进行整个演示的过程中我会反复提到“放置（sit）”、“编排（orchestrate）和流式传输（stream）我会反复说这些词，我们稍后会讲到这一点我想先把它设定好。你会看到其中一些剧本标注为“预安装”。嗯，所以如果你有兴趣尝试……预安装的模型、应用程序等都可以直接在系统上立即使用。哇！如果你是初学者开发者，想从零开始……

帮助你。但如果你是那些更进阶的用户，只想关注适合中级或高级开发者的内容，我们也有相应的支持。因为我们既要确保让初学者感到舒适并与我们一同成长，也要保证这是一个基于 ROCm 的开源平台。该平台依托于你熟悉的整个开源软件栈，包括 Python、Llama CPP 等，所有这些都得到了支持，因此你可以让它执行你想要的各种操作。

是的，这令人兴奋。让我们谈谈 ROCm 吧。我认为传统上，在“氛围编程”出现之前以及编程变得如此简单之前，ROCm 稍微有些棘手。它有点难上手，特别是对于那些一开始没有接受过相关培训的开发人员而言，尤其是那些试图体验和实验 AMD 硬件的开发者。但我之前专门与 Anous 聊过，也了解了过去一年来的所有最新更新。所以现在的难度可能大大降低，情况真的发生了改变。

但真正令人兴奋的是那些开箱即用的功能。你不需要确切知道背后发生了什么，因为这些应用看起来是预安装的。我们可以先看一个入门级的例子吗？因为我认为……你知道的，我们要做的正是这个，我展示的几款应用都是预安装的，但我已经让它们执行了我想要的功能。好的，完美。我想感谢我们的赞助商 Lovable。

你知道那个你一直想开发的应用吗？无论是内部工具、副业项目还是产品，否则你可能会为此浪费一个周末。有了 Lovable，你可以今天就能上线软件。这包括可编辑的代码库供你检查和修改，以及双向 GitHub 同步。Lovable 还处理后端和基础设施，包括管理 PostgreSQL、对象存储、托管、支付等。

所以你不需要自己把所有东西都连接起来。通过 Lovable 的 MCP 服务器，你可以直接在你已经使用的智能体中创建和部署项目。用 Lovable 将想法转化为人们热爱的软件。Lovable.dev。（音乐）现在回到正题。关于 ROCm 有趣的一点是，我相信 Anous 分享的是……非常棒的简化，巨大的进步，而且这些反馈直接来自开发者社区。所以我可以借他人之口说这话。

但我们软件栈真正棒的一点是，安装在我们最小硬件上的 ROCm 软件栈与一直扩展到 Helios 的 ROCm 软件栈是完全相同的。真的很有趣。如果有人进入 AMD 生态系统，从桌面规模开始学习，那么扩展到机架规模的技能只是你今天正在培养的技能组的一部分。你正在进行本地微调、LoRA 量化等，或者在 Instinct 软件栈上进行预训练。你的学习是一个统一的教学大纲。

我可以想象这样一个场景：你是大学新生，拿到其中一台设备作为教材的一部分，在教室里借用它并理解其工作原理。理论上，当你毕业并开始操作机架规模系统时，你拥有同样的肌肉记忆和技能，可以在那里做同样的事情。顺便说一句，这听起来像是大学里最酷的学习路径。

我知道那真的很棒。（笑声）太棒了。如果你是大学，想为教室获取一些设备，请告诉我们……100%（笑声）那会很好。是的。所以我现在可以实际讲解一下了。我们将进行能力演示和容量演示，因为当我提到这三件事时，这个平台代表了我们构建的一种平衡。这种平衡首先是适配性（Fit）。适配意味着它是否符合内存签名。

第二点，当你谈论编排时，随着我们过渡到智能体世界，大量的智能体正在快速移动。CPU 变得非常重要……因为它在进行工具调用、编码和解码等传统上由 GPU 完成的 AI 工作，但现在是由 CPU 完成。这就是你进入编排层面的地方。第三个组件是 GPU 以及 NPU，因为小模型现在在 NPU 上运行得非常好。

我们设计这个机箱时考虑到了这种平衡，涵盖了所有这些能力。今天我要展示的是……想想创造力。想象一下你早上醒来时想：“我是个有创意的人吗？”我要说我不是一个艺术上有创造力的人，但我是一个非常注重音乐性的人。那很酷吗？非常注重音乐性。

所以我一直在探索如何通过提示来开始创作一些音乐。这里有一些东西，我最近进入了……哦，这真的很酷。好的，现在我明白了你之前说的意思，你想要设计一个专门用于特定用途的东西。是的，我特别想做的东西。顺便说一下，接下来的演示——当我们继续交谈时——将是一个自动运行的智能体演示，它将在随后立即进行。

但这次是利用 Qwen 2.5-Coder-32B-Instruct（注：原文为 Quen 38 flash next，推测指代特定模型）这个特定的模型。这是一个混合模型。它包含……嵌入（engrams）和传统参数，大约有 1200 亿个参数，另外还有大约 56……那些嵌入。嵌入在 CPU 上运行。所以要理解这一点很重要。

但这就是那种情况：你知道我想创作一首歌，它为我生成了一首歌，但我不是很喜欢。所以让我们反过来思考：嗯，我喜欢这个部分，但让它更像 Dancehall Robin 的风格，节奏更慢一些。所以本质上，我希望它思考一下我正在构建什么样的歌曲类型，修改歌词，以某种方式构建起来，然后我将把它输入到 Comfy UI 中。

我会让它为我制作一首歌。所以你现在会看到的是，这个非常大的模型正在运行……你会看到它在……提醒我一下这个模型的规模。所以这是……它总共有 1760 亿个参数，我想其中传统参数是 1200 亿，其余的是嵌入，也就是查找表，允许你进行跳转。所以你会看到这里加载了 98 GB……这是一个很酷的任务管理器，你可以实时开始。

这很有趣吗？

正在发生这件事，但这并不是全部的故事。因为目前它拥有98GB的专用GPU内存加上24GB的系统内存。所以，现在把这两者加起来会得到什么？我们大概达到了120GB左右，就在这个范围内。如果这就是我们要做的全部，那确实很棒。但如果真的只是这样做的话，我完全可以在一个128GB内存的系统中实现这一点。

哦，真有趣。我们要演示并展示那可能是什么样子吗？我们将超越128GB的限制。哦，我们会把这个放入Comfy UI中，我将让Comfy UI使用另一个模型为我创作一首歌曲。当它这样做时，你会看到发生的事情是：在这种情况下，重新加载模型是第一步。是的。所以从那里开始，我会让它启动起来，实际上是在你进入解码阶段时……

是的。事情变得有趣了。你会看到它会开始构建到105GB。随着我们推进提示步骤和解码过程……是的。给它几秒钟时间。现在它正在加载内容。我不知道音频是否能正常工作，但如果可以的话，我可以在最后播放给你听。是的，我想我们必须共享音频……不过没关系，我们最后会听到它的。

我们会在那之前搞定。所以随着它继续进行，你会看到越来越多的东西被加载到内存中。当它进入解码阶段时……哦不，我们要开始了。我们会发现的。要在128GB的专用内存上做这件事真的很困难。你能告诉我任务管理器里现在发生了什么吗？

是的。所以在任务管理器中，你会看到专用GPU内存已经变成了128GB。但你必须加上系统正在使用的内存量。所以，现在是128加24，我们已经超出了传统128位系统的范围。是的，我只是在想象在我的MacBook上运行这个场景（笑声）。所以我会让其他人去推销他们的平台，但我要说的是……

我现在唯一能在这个平台上运行这个的只有这一个。哇。是的。即使是其他竞争对手也是如此。这让你了解了它能解锁什么能力：它解锁了运行更复杂模型、进行更复杂推理以及承担传统上不被认为是本地任务的能力。是的，这令人印象深刻。我认为其中一件让我特别兴奋的事情……

就是软件与硬件之间的连接。这是我以前没有特别见过的东西。我喜欢摆弄这些不同的硬件，但你不能开箱即用。你经常需要自己弄清楚这一点，然后你不知道什么实际上是为你的目标硬件优化的。所以，看到这些真的很有趣。让我们一路把它们都跑完吧。

是的，这里还有另一件事要知道。这只是预加载的几个应用程序之一。我只是在背景中为了好玩……在我们说话的时候，我让别的东西也在运行，完全只是为了看看这里到底发生了什么。因为另一件事是解锁创造力……

我们要确保在这里发生的是，开发人员能够使用他们想要使用的任何工具。你会注意到我使用的是另一个叫做Goose的工具，这是一个其他的智能体框架（agentic harness）。我所做的是让Goose在后台通过MCP和其他方式连接到多个应用程序，为我们创造东西。

所以实际上它在这里要做的是：我让它制作一个玩具机器人并将其放入Blender场景中。哇，在开源模型上的Blender？你通常不会认为这是可能的。嗯，是的。这是一个350亿参数模型在背后……通过MCP连接到Blender。当我们坐在这里交谈时哦，那实际上是我的问题。

你知道我做了什么吗？我没有开启Lemonade（一种加速软件），但现在我已经开启了。所以，既然我开启了Lemonade，它就会开始运行了。嗯……它会做的是生成图像。然后它将通过Flux处理它。接着把它交给一个3D建模器，最后将其导入Blender。顺便说一下，这只是我们目前正在尝试的东西……

所以它还不是最终状态，但我想让你看到多智能体是如何运行的，以及它们在运行时如何填充内存。是的，这很酷。我看到你有一些不同的模型……你可以运行多个任务并将它们链接在一起，共同完成不同的工作流程。你可以同时并行执行这些操作的多智能体……

所以试图弄清楚如何运行所有这些用于运行不同模型的不同框架，同时优化你的硬件并不是那么简单。是的。不。你知道……我该怎么说呢？这是极客们的良性循环工作，对吧？这就是我们在乎的事情。关于像AMD这样的组织以及我们如何致力于开源社区……

因为很多时候那些答案都是建立在极客们的工作基础之上的。就像我们所有人一样，对吧？所以大家都这么说……抱歉，刚才那段像是《太空堡垒卡拉狄加》里的台词以防有人在看。其背后的理念是，如果你贡献进来……你就是在为Rockonomics（可能是口误或特定术语）做贡献。这就是当今世界的运作方式……

是的，然后你会有不同的软件包，其他开发人员可以安装它们。甚至只是发现这些工具的过程都不需要你去GitHub或者关注你喜欢的开发者来看他们如何使用它。你可以直接获得它们。绝对如此。挺有意思的。是的，所以无论如何……

这将在后台运行，你会看到它是如何做到的。但这本质上是一种标准的内部编码任务之一。我认为像我们这样的平台最美丽的地方在于，它将开发人员社区的能力扩展到了甚至那些传统上没有受过训练的人……

是的。在一个我来自非编码世界、现在我能够制作应用程序的世界里，这是如此令人满足。我们将在这段赞助商广告后继续监控。11 Labs，一种能在每个渠道和模态中以人类水平进行通信的AI。访问 11labs.io/mts。在Neon上扩展你的初创企业……

数百万开发人员和初创公司已经选择Neon作为他们的后端。从免费计划开始，或者为你的初创企业获得高达10万美元的信用额度，访问 neon.com/mts。特别感谢我们的赞助商Kong……

Konghq.com，连接API、大语言模型（LLM）、智能体和系统，提供强大的安全性和治理功能。Larid，证明您的AI投资的价值所在。立即访问lariden.com开始衡量您AI业务的底线收益。MongoDB，被财富100强中75%的企业信赖以运行关键应用，这是智能时代的智能数据平台。立即申请访问高达15,000美元的Atlas积分、专属技术支持以及独家活动和上市机会。mongodb.com

ChargeB，为AI时代打造的计费与货币化基础设施。chargebbe.com。“是的，不过我很感兴趣的是，你认为你的目标客户是谁？你是看到那些希望用于主权AI的企业吗？还是只看到想要尝试不同硬件的独立开发者和黑客们？你看到了什么？”

“是的，我很高兴你问了这个问题。我实际上是从安全领域出身的。所以当你提到主权AI时，这正好是我的专长所在，对吧？那种可以拔掉插头的理念。现在如果我们把互联网（这里是Wi-Fi）拔了，我不需要以那种方式拔掉它。”

“它在功能上会完全一样。你可以在飞机上进行‘氛围编码’（vibe coding）。”

“你绝对可以在飞机上100%地进行氛围编码。我做过这件事。所以……”

“在没有Starlink的情况下，这才是关键所在。”

“没有[笑声] Starlink。是的。嗯……那正是目标受众的想法，即感兴趣的社区。从那些想要深入尝试并探索本地AI边界的开发者，到许多试图回答‘如果我这样做在本地会怎样？’或‘如果我将它沙盒隔离，只让人们通过这种方式访问会怎样？’的众多中小型企业。我们看到了所有这些用例的爆发式增长，围绕主权AI的问题也是非常有趣的话题。”

“这确实是一个在那个领域生活非常有趣的时代。所以是的，所有情况都适用。这里的信息是：如果你正在寻找一个具备高能力的独立平台，在CPU、GPU和NPU之间拥有良好的算力平衡，并且具有这种内存特征，那么我们就解除了使用非常复杂模型的限制。”

“是的。这真的很令人兴奋。如果你必须猜测一下市场规模，目前这个市场的增长情况如何？”

“哦，好的。嗯……我是一个制作演示的实验室极客。所以你问错人了，但我会这么说：如果以我能衡量的方式来衡量兴趣水平的话……”

“这是轶事性的，就像你从开发者那里听到的那样。”

“是的，当然。所以我参加了Advancing AI活动……”

“去年的CES……”

“到去年今年的CES，再到我们想象两年前的CES与过去一年的对比。”

“问题和怀疑的程度。所以两年前如果我们谈论本地AI，会有很多持怀疑态度的人出现说我不相信这个。”

“去年则是有人参与询问如何获取它？”

“现在的问题是，我如何才能获得更多这些设备？嗯哼。”

“所以兴趣的障碍已经消失了。”

“是的。我现在听到的只是人们在使用本地AI做着令人惊叹的事情。”

“不，我完全同意。在过去的一年中，我认为甚至在过去的几个月里——不仅仅是过去一年，从七月到现在——关于本地AI的对话，想要拥有自己的数据、拥有主权性的讨论……”

“无论是什么，你都能看到巨大的涌入。我实际上在全球范围内看到了大幅增长，不仅仅是在美国。”

“我认为当然在美国这是一个话题，但在普通消费者中，他们并不担心可能会失去对某些前沿模型的访问权限。”

“非常同意。我的欧洲朋友有点担心，所以他们希望所有这些都在家里，以防万一有一天他们失去对这些模型的访问权限或最终受到限制。他们想要确保拥有自己的智能，无论发生什么，始终有可以连接的智能。”

“这是一个全球性的政治有趣话题。但[笑声]……不过我会说，我认为你指出的平衡点。”

“是的。使用本地AI和使用前沿模型真的很棒，顺便说一句，这不是……”

“不是‘或’的关系。”

“是‘和’的关系。100%是的。有很多东西……”

“不是‘或’，而是‘和’，这是一个很好的表述方式。”

“确实是‘和’。在我们的AMD Lemonade软件中，也内置了一个语义路由器，你可以配置它并让它做出决策。”

“我可以告诉你一些我们在Advancing AI期间构建的演示……”

“当我们将复杂的推理任务指向它时。在这种情况下，这是一般办公任务，它将70%的任务分流到本地。”

“是的。是的。”

“但那30%确实需要去前沿模型……”

“100%。但这是一个重要的区别，即70%的工作可以在本地完成。所以想象一下，当你的本地算力只需要支付你75%或70%的任务时会发生什么。这对终端用户来说非常有趣，尤其是涉及到他们的令牌成本时。”

“我知道我们时间差不多了。这些演示的最新情况如何？我想确保你有机会展示一下并在我们要离开之前结束它。”

“嗯……实际上我还在处理，因为Blender任务需要一些时间。”

“当然这是一个Blender任务，但我们稍后会展示。我们会给一个小预览。但是Ian，我真的非常感谢你在这个发布期间到来，让我们实际看到它是如何工作的。”

“谈论它并说‘嘿，这就是它的运作方式’是一回事。实际展示并在现场演示是另一回事。”

“向我们展示它是如何工作的，这真的很令人兴奋。我在直播前告诉Ian，我喜欢做演示。这是我的整个背景。这就是我进入媒体行业的方式。我只是一个喜欢展示[笑声]所有你能构建的酷炫事物的极客。”

“那是我的早期入门途径。所以，谢谢你回到节目中展示它是如何完成的。”

“感激不尽。”

“谢谢Ian。我们将回来与MTS在一起。”

“非常感谢MTS的赞助商：Blitzy，为企业代码库提供自主软件开发。速度提升5倍。blitzy.com。Adqu让你的品牌成为广告牌。户外广告像数字广告一样易于扩展。adquick.com。”

[Arena，在现实世界中衡量AI性能。arena.ai] 本节目的支持来自VCX……”

让私有科技拥有公开股票代码。美国股市开启了历史上最大规模的财富创造浪潮，从底特律的工厂工人到奥马哈的农民，任何人都可以拥有伟大美国公司的一份股权。

但如今，最具创新力的企业更倾向于长期保持私有状态，这意味着普通美国人错失了投资机会。直到今天为止。

隆重推出 VCX——为私有科技提供公开股票代码的服务。请访问 getvcx.com 了解更多信息，网址是 getvcx.com。投资前请仔细考量相关材料，包括目标、风险、费用和开支等。这些及其他信息可在 getvcx.com 上的创新基金观点中找到。这是一则付费赞助内容。