M5 Ultra终于来了，它就摆在我的桌面上，紧挨着M3 Ultra。苹果声称其本地AI性能比上一代快4.3倍，存储速度快2倍，CPU速度提升1.3倍。听起来很不错。但这究竟是真实性能还是仅仅是营销噱头？根据规格表，新的内存带宽为每秒1.2太字节。我当然会对此进行测试。这里就是我手中的M5 Ultra，起售价为5,499美元。如果按照我这里的配置进行升级，你需要将GPU核心数提升至80核，内存增至256GB。512GB版本下个月才会推出。你还需要将存储容量提升至8TB。当然，你不一定非要这么配置，但这正是我手中的这台机器。所以我想告诉你价格，总价为14,299美元。你不仅获得了性能的提升，显然价格也大幅上涨了不少。苹果借给了我这一台样品。在多年来报道并自费购买他们产品后，能得到认可感觉很好。不过这台是我自己买的。顺便说一下，这两台机器同时出现在我桌面上是因为你们。观看并支持我这个频道的观众让我能够获取真实的硬件来进行这些真实测试，而不是仅仅从规格表中读取数字。所以，谢谢你们。看看那些核心，总共有36个。顺便说一句，Mac Studio里没有能效核。我们有24个大性能和12个超级核心。
为了保持公平，两台机器都运行了完全相同的Llama CPP和MLX构建版本，并且我在两者上使用了完全相同模型文件。顺便说一下，Llama CPP是一个跨平台库，几乎适用于所有系统（不仅限于Apple），非常受欢迎。MLX是苹果自己用于运行AI的堆栈。通常，MLX的性能更好，但并非总是如此。现在，如果你购买这台机器仅仅是为了开发任务，我要告诉你一件事：这是杀鸡用牛刀。这里有一个Speedometer评分。M3 Ultra的得分是47，而我们在M5 Ultra上得到了60.2。我刚刚做了一个关于M6 mini的评测，是的，它的得分比那个高出一大截。这是M5芯片，那是M6芯片。因此，M6系列中的单核性能将比M5系列快得多。好的，给开发者的快速CPU测试。既然这台机器有36个核心，让我们全部用上。这里我有一个大型.NET编译项目，包含10万个命名空间和类。我运行了编译测试：M3 Ultra用了71.7秒，而我认为这是我在M5 Ultra上见过的最快编译速度——只需52.4秒。那只是编译测试呢？让我们看看Python，这是一个解释型语言的测试。运行它。好了。现在这是Mandler测试，基本上是在Python中执行Mandlero算法。哦，天哪？什么？呃，这快了整整两倍。哇，好吧。M3 Ultra用了10.25秒，而这里只用了5.8秒。这太疯狂了。我从未见过它这么快。嘘，没事的。它能完成任务就行。
存储速度号称快两倍。我刚运行了Amorphous Disc Mark测试M3 Ultra的顺序读写速度，这就像是在来回复制一个大文件。读取速度为每秒6,500兆字节（即6.5GB/s），写入速度为2.7GB/s。哇，M5 Ultra的读取速度达到14,888MB/s，写入接近20,000MB/s。哇，这太疯狂了。这是顺序读写测试。现在，对于编译和开发相关的工作，你也应该查看随机读写数据，因为你会在来回复制大量小文件。但事实上，这也快了不止两倍。所以，“快两倍”确实是营销团队给出的保守标签，实际速度比这更快。这对AI也很重要。当你加载一个140GB的模型时，它从磁盘读取的速度将比这台机器快得多。编辑Alex指出：这个数字之前显得太低了，我后来注意到了这一点。这是重新运行后的结果。所以写入速度看起来好多了。顺便说一下，这是在8TB驱动器上进行的测试。因此两者的存储容量都是8TB。
好的，让我们切换到本地大语言模型（LLM）的话题。对于本地LLM，我主要关心两个指标：提示处理速度或PP（有时也这么称呼），以及令牌生成速度或TG。这些术语不是我发明的，它们来自Llama CPP社区，他们喜欢在那里玩得开心。PP提示处理是模型读取你的提示的过程，它依赖于计算能力或GPU核心。因此，核心越多、速度越快越好。而令牌生成TG则是模型写出答案的过程，这一过程依赖于内存带宽。M5 Ultra在这两个方面都得到了改进。但这不仅仅是渐进式的提升，也不是小幅度的改善。因为在M3 Ultra中，在M3代产品中，GPU核心仅仅是普通的GPU核心，就是老式的常规核心。但现在到了M5世代，对于每一个GPU核心，内部都嵌入了一个神经加速器。那就是每个核心内专用的矩阵乘法或AI硬件。现在看看这个：在M3 Ultra上，Llama CPP启动时显示“has_tensor=false”。而在完全相同的构建版本下，M5 Ultra上显示“has_tensor=true”。这意味着Llama CPP支持Metal。它实际上是Llama CPP最早支持的特性之一，而现在它有了一条特定的路径供软件在M5系列芯片上利用这些神经加速器。
赞助商简短发言：每个开发者账户都会让你的部分个人信息留在网上。数据经纪人收集这些碎片，建立档案，然后将其出售。让他人更难找到你的数据，就能让你更难成为目标。许多国家的隐私法允许你要求数据经纪人删除他们关于你的信息。困难之处在于找到所有这些经纪人，提交每一个请求，并在你的信息最终返回时再次检查。Incogni自动处理这些请求，并持续跟进和监控它们。我的仪表板显示有超过231个数据库包含我的详细信息，其中大多数已经消失。如果我发现某个特定页面仍有我的数据，我会通过自定义删除功能将URL发送给Incogni，他们会处理后续事宜。基本上就是找到数据、移除它并确保持续被删除。为了增加一些保障，Deoid验证了Incogni的数据移除流程。当然也有局限性：它不会删除政府记录或社交帖子，但可以处理数据经纪人和符合条件的页面。你可以尝试使用30天退款保证的服务。所以，让Incogni让你的个人信息更难被找到。访问incogni.com/alexiscant并使用代码ALEXISCIN购买年度计划可享受60%折扣。现在回到视频内容。M5 Ultra拥有每秒1.2太字节的内存带宽，我想对其进行测量。
有一个经典的基准测试叫 Stream 持续内存带宽，常用于高性能计算机。它虽然古老但依然有效，所以我下载并编译了它。苹果宣称 M3 Ultra 的带宽为每秒 819 GB，而实际测试中 Triad 模式达到每秒 312.9 GB，M5 Ultra 则高达每秒 583.6 GB。这比 M3 Ultra 高出很多，原因是 Stream 主要测试 CPU 内存带宽。为了评估对 AI 更重要的 GPU 侧内存带宽，我们进行了微基准测试：M3 Ultra 达到每秒 724 GB（苹果宣称的约 89-90%），M5 Ultra 达到每秒 1,039 GB（宣称的约 85-86%）。实测带宽是 M3 Ultra 的 1.4 倍。
这意味着令牌生成速度也会快 1.4 倍吗？让我们从大模型开始测试。DeepSeek V2 Flash 拥有 2840 亿参数，这是一个相当大且流行的模型。在 M3 Ultra 上我们得到每秒 37 个令牌，而在 M5 Ultra 上是每秒 53 个。这大约快了一倍半，基本吻合之前的带宽数据。这就是令牌生成阶段的表现，它受限于内存带宽。那么提示词处理呢？这是 M3 系列擅长令牌生成但此前表现不佳的环节，直到神经加速器出现。
现在看看提示词处理的表现：M3 Ultra 为每秒 483 个令牌，而 M5 Ultra 达到每秒 1,485 个。这是三倍的速度提升，虽然苹果宣称的是四倍，但不同模型表现各异。记得我在几个月前 M5 Max 视频中提到的 GPT-oss 120B（1,200 亿参数模型）吗？当时在 LM Studio 中，M3 Ultra 以每秒 82 个令牌领先。今天我在 Llama.cpp 中重新测试，M3 Ultra 为每秒 90 个令牌，而 M5 Ultra 达到每秒 130 个。
对于 1,200 亿参数的模型来说，这已经很快了。这次我们不展示常见的 Qwen-34B 模型。提示词处理速度从每秒约 1,300 个令牌提升到约 3,200 个。注意这个测试：在已有 64,000 个令牌的上下文中，我额外输入了 32,000 个令牌。M3 Ultra 耗时 80 秒，而 M5 Ultra 仅用 56 秒。这再次印证了约 1.4 倍的性能提升比例。
DeepSeek 和 GPT-oss 都是混合专家模型（MoE）。在这类模型中，每个令牌只经过少数几个小型专家网络，大部分组件处于空闲状态。而在稠密模型中，每个权重和令牌都会参与计算。因此我加入了 Qwen-3.827B 模型，这是一个相当流行但参数较少且为稠密结构的模型。它在 M3 Ultra 上生成速度为每秒 37 个令牌，M5 Ultra 为每秒 54 个，提升了约 1.47 倍。
基本上，在所有类型的模型中，我们看到的缩放比例是一致的：令牌生成速度基本符合苹果的宣传规格。而在提示词处理方面，M3 Ultra 为每秒 430 个令牌，M5 Ultra 高达每秒 1,800 个。这几乎是四倍的速度提升，实际上甚至超过了四倍。我还给两者都输入了 14,000 个令牌的提示词，这相当于处理代码时的几个源文件量级，以测试其在真实代码库而非单纯基准测试中的表现。
提示词处理耗时：M3 Ultra 为 33 秒，M5 Ultra 仅为 8 秒。苹果宣称提示词处理速度最高可达四倍，而我测得的数据是 4.2 倍。看来苹果这次没有夸大其词。但请注意，这“四倍”的提升需要较长的提示词才能体现出来。在约 1,700 个令牌时，提升约为 3.4 倍；要达到四倍的缩放比例，大约需要 4,500 个令牌。
如果专业使用这台机器，长提示词通常不是问题。然而，对于约 350 个令牌的短提示词（如日常聊天），速度提升仅约为 1.6 倍。虽然仍有改进，但如果你主要进行简短对话，可能不会明显感受到这种提升；而如果是输入文件进行处理，感受则会很明显。此外，能效方面并没有显著增加：在生成过程中，芯片功耗约为 45 瓦（M3 Ultra 为 36 瓦），这是 GPU 加 CPU 的功耗，而非墙插功率。
因此，每瓦特生成的令牌数仅提升了约 12%。这主要是因为机器空闲时 M3 Ultra 功耗为 11-12 瓦，而 M5 Ultra 约为 8-10 瓦。但在高强度的 GPU 工作负载下，情况则完全不同。我观察到两者的 GPU 使用率均飙升至 100%：M3 Ultra 接近 200 瓦，而 M5 Ultra 超过 400 瓦。这简直太疯狂了！
而且这种高功耗状态相当稳定。我首先听到了 M5 Ultra 的风扇声，它明显比之前更吵，甚至能通过麦克风听到。此时我几乎听不到 M3 Ultra 的声音，只听到 M5 Ultra 的轰鸣声。再看温度：从颜色就能看出 M5 Ultra 发热量大得多，其核心温度约为 43-44 摄氏度，而 M3 Ultra 则低得多。内存方面也是如此：今天运行的所有测试都包含在 256 GB 容量内，但 M5 Ultra 的内存温度明显比之前的 M3 系列要高得多。
市面上有更大的模型，我之前展示过许多使用搭载 M3 Ultra 的 512 GB Mac Studio塔式机型的例子，包括集群测试（稍后会详细讨论），这些机型既有 Mac Studio 格式也有 Mac Mini 格式。请继续关注后续内容。显然，512 GB 版本的 M5 Ultra 将非常昂贵，但它们能够运行更大且更快的模型。
总结来说：令牌生成速度快了 1.5 倍，这是一个不错的升级；提示词处理速度提升了 2 到 4 倍。对于代码代理应用，你将能明显感受到这一提升。这是一次初步评测，我还有更多测试要做。作为预览：当同时处理八个请求时，M5 Ultra 的输出速度为每秒 134 个令牌，而 M3 Ultra 仅为 75 个。我还将深入探讨 MLX 与 Llama.cpp 以及 8-bit 模型的区别，敬请期待。
别忘了订阅频道以免错过更新。如果你想查看 M5 Max 及其性能表现的视频，请点击这里观看。感谢收看，我们下期再见。