衷心祝贺帕万、雅各布以及微软和英伟达的全体团队。嗯,我要说他们非常慷慨地借给我一台 Surface Laptop Ultra 用了这几天。能在圣诞节赢得这台工作站真是太棒了。现在,有很多关于激动人心的未来的内容要深入探讨。但在那之前,我昨晚在 YouTube 上搜索了你们两位的信息,看到这两位先生同台亮相是非常罕见的。我在想,你们两人都有着深厚的历史渊源。这两家伟大的公司有着几十年的合作历史。你们个人之间也有长达数十年的共事经历。对我来说,这很有意义。我的第一份工作是在微软。我收到的第一张 GeForce FX 工资单是为了玩《半条命2》。所以,也许我们可以从詹森开始,你与萨提亚和微软合作时最难忘或有趣的记忆是什么?
嗯,英伟达的成立是因为 Windows。那是 1992 年,晚些时候是 3.1 版本的 Windows。我们开始看到个人电脑真正能做什么的愿景。当时,坦白说,我从未见过 PC。我主要在工作站上工作。我们有文件服务器和超级计算机用于设计芯片。创始人们和我讨论过这样一个未来:也许带有 3D 图形功能的个人电脑能够像游戏和工作站一样运行,并用于设计事物。我们想象着这样一个世界。如果没有 Windows,英伟达就不会成立。当然我们在 1993 年开始起步。Windows 95 真正重塑了 Windows。
哇。 >> 我在 >> Windows 95 使得 GPU 能够连接到个人电脑成为可能。而 DirectX 革命化了 GPU。Direct3D 是真正让我们能够将 GPU 的能力揭示给应用程序的 API。但随后 DX8 出现了,我们与微软共同发明了世界上第一个可编程 GPU,即可编程着色器。几步之后,它演变成了我们熟知的 CUDA。所以如果你回顾整个公司的历程,Windows 一直是核心。如果没有 Windows,就不会有 GeForce。没有 GeForce,CUDA 也不会来到这个世界。没有 CUDA,亚历克斯·库尔斯基、伊利亚·苏茨克弗、颜伦和安德鲁·安戈尼这些人就不会找到计算机来进行深度学习。
我们就在这里了。 >> 现在要把市值转回给我一点吗? >> [笑声] >> 我每天都这么做。 >> 但詹森讲述的这段旅程非凡至极。某种意义上,这就是计算的历史。其中一点让詹森对我有所启发的是,他在加速计算的愿景上或许是最一致的。回顾这一轨迹,你是我们行业中拥有最宏大、最具扩展性理念的人之一,坦率地说,甚至比任何单一的 PC 形态或芯片架构都要宏大。因为我回想起来,我最早的记忆之一是我们谈论在云端加速计算或高性能计算的规模有多大?我记得的第一笔交易是在 Azure 上,我们要如何让 HPC(高性能计算)变得更大。
顺便说一句,萨提亚是 InfiniBand 在云中的第一个用户,这直接把第一台超级计算机带给了 OpenAI。 >> 没错。如果我们没有这样做……你知道,生活充满了偶然事件,但如果我们没有为 HPC 做这件事,我们就不会拥有那台超级计算机来让 OpenAI 训练 GPT 模型,其余的便顺理成章了。某种意义上,这是一种机缘巧合。我们在构建基于 InfiniBand 的超级计算机时做了 HPC 相关的工作,然后萨姆·奥特曼过来说:“嘿,你们有计算资源吗?”我们说:“也许有。”
所以…… >> 但我要把功劳完全归于詹森的,是他对这一事物未来发展的愿景的一致性。不是今天或明天,而是作为一种长期趋势。正是这一点将我们带到了此刻。 >> 然后这引发了一场对话。我记得很清楚,萨提亚和我在讨论这意味着什么对 PC 而言?在这个一切之后我们如何制造完美的 PC?当然,个人电脑是终极工具。它是我的终极工具,对于整整一代人来说也是我们的终极工具。那么在代理时代会发生什么?当代理在你的电脑上时,它现在就是你的个人助理,但它想要访问所有惊人的工具。
是的。 >> 这些惊人的工具分散在英伟达生态系统中,包括游戏 PC。 >> 进入工作站。大多数工具都在那里,对吧?所有的创作工具和所有的手工匠人工具,以及 Autodesk 和 Adobe。你刚才也看到了很多。我们知道我们要世界最好的 Blender、世界最好的 Unreal、世界最好的 Omniverse 和世界最好的 Kia,所有这些都坐在同一台 PC 上。 >> 作为 AI…… >> 那么我们如何创造它呢?顺便说一句,这花了四年时间。
哇 [笑声] >> 那是四年前的事了,真是不可思议。 >> 这是一个很好的过渡话题。今天萨提亚我想最近几个月我们被这些关于代理和安全的故事淹没了。我知道我们都使用代理,我相信在座的每个人都在使用 Amuse 或 Instinct,你给予它们完全磁盘访问权限并让它们代表你行动。今天你们展示 MXC 时,在我看来这是一种代理的基本新操作系统原语,这与我们过去的做法截然不同。所以也许跟我们谈谈为什么 OS 是合适的地方以及这个原语将开启什么?
是的。首先,记住这一切始于编码代理在桌面上运行。事实上,如果你看看哪个代理最需要这种安全原语?是本地助手及其对文件系统的访问以及采取行动的能力。因此,事实上与詹森团队合作时我们说:看,我们要如何将其接入原语?无论是在云中还是在本地操作系统中。鉴于编码首先走向那里,即使你使用的是云模型,助手也是本地的,我们需要使桌面成为代理执行最安全的地方。这就是 MXC 的由来。很高兴看到 Open Shell 现在完全集成并原生支持 MXC。
正如Pin所提到的那些控制措施,即隔离必须在每个层面都得到执行。这并不是说只做一部分而忽略另一部分,它必须存在于微虚拟机(microVM)中、工作站管理器(WM)中以及会话层面。我最兴奋的部分是Windows会话具备隔离能力,这至关重要。当然,隔离虽然美妙,但我还需要全面的可观测性。如何获得这种可观测性呢?如果你能为智能体赋予一个身份,我就能追踪它,进而看到该智能体的所有输出和行为。
随后我可以对其进行治理,这意味着我可以像经典策略那样设定规则并加以管理,从而带来安心感——无论是对于IT运维还是安全团队而言。此外,我们不应忘记的另一件事是追踪令牌消耗的能力及其发生位置。这就是我们要整合的全部内容:并非单一功能,而是将这些要素缝合在一起。经历了消费者和企业采用的各个周期后,我认为阻碍广泛扩散的原因在于缺乏对所需要素的完整思考。
如果只做一部分而忽略其他,就无法建立信任。因此,我很高兴我们在云、客户端以及网络层面都实现了这一整合,且它是异构的。这并非依赖微软的任何单一技术,而是支持所有相关技术。正如Satia刚才所说,这将构成下一代IT的基础。他所描述的架构对未来的计算机具有深远意义,就像Windows和DirectX革命化了应用程序的开发方式一样。
MXC也将革命性地改变智能体的构建与部署方式,如果没有它,这一切都将是不可行的。这桩大交易与我们接下来的话题——混合智能密切相关。这对你们双方来说都很重要,虽然感觉略有不同。我想在座的各位都已在云端使用过大型模型:你调用它,可能通过Blender运行工具并得到响应。我们对此已习以为常,但几年后情况将有所不同:你将拥有模型选择权,部分在本地运行,部分在云端,并在两者间切换。
GitHub演讲者的一句话令我印象深刻:“你正在免费获得这些令牌。”这开启了新的可能性,因为现在你可以在本地笔记本电脑上运行部分工作负载,同时在云端运行另一部分,并智能地在两者间路由。这究竟打开了什么新局面?这种混合模式意味着工作负载在本地和云端之间智能分配,带来了全新的体验。
首先,我认为这是许多你一直在使用的技术终于汇聚在一起的里程碑时刻。这让我想起80年代末我在研究生院时的经历,那时我有一台VT100终端和一台VAX计算机。同时我在家里还拥有一台个人电脑,我基本上是在混合使用它们。有趣的是,在我的PC上,我通过调制解调器连接终端到VAX,同时运行本地的DOS和早期Windows系统。
此外我还使用Usenet等所有东西,但直到95年甚至Mosaic浏览器出现之前,这一切才真正整合起来。Mosaic是第一个将所有内容融合为无缝体验的浏览器。关键不在于本地或云端,而在于我希望无论计算能力在哪里,都能以流畅无缝的方式完成我的工作。当我看到Danielle展示的那个演示时,我感到震惊不已。
回想那个时刻,我想多年后我们会说:“天哪,那就是我们见证……”他所做的是进入Comfy UI,下载了一系列模型并构建了资产。他将这些导入Blender,甚至利用它增强那些资产,然后再次带回Comfy UI。接着他进入Photoshop,使用本地模型进行增强处理,再返回Comfy UI,最后将所有内容通过Astra和Unreal引擎转移到云端。
但他只是在桌面上使用应用程序、本地模型以及云端的模型,一切都能完美运行。这就是核心所在:今天展示了多种出色的设备和功能,但对我来说轨迹非常清晰。未来永远不会出现我们要去区分“这个在本地运行”或“那个在云端运行”的时刻。你会期望这种混合智能无处不在且普遍存在,这对我来说非常令人兴奋。
你刚才提到的Blender得到了加速,Comfy UI也得到了加速,Astra在云端运行,而智能体则在本地处理。这仅仅是表面现象,计算的范围是如此宏大且令人惊叹。是的,它确实如此。这一应用汇聚了人类历史上每家科技公司的全部力量。没错。
顺便提一下,回到你提到的加速计算机的概念,他之所以兴奋的原因在于:原本需要花费数天的工作现在只需几小时。他的雄心壮志得到了加速,这在我看来非常酷。我认为这与另一件事紧密相关:因为这些模型在工具使用方面已经变得非常出色,但许多工具通常存在于本地。文件也位于本地。
Jacob和我似乎都在最后一刻处理报税事宜,这里有一个方面涉及数据的安全、受控和保护。我希望工具的使用发生在靠近数据的地点。看看Jacob展示的Copilot功能,它确实开启了全新的可能性:数据需要安全且受控,工具应在靠近数据源的地方执行。
对我来说,当编码智能体成为焦点时,我兴奋地发现那些热爱控制台的人以及喜爱文件系统的人都对此着迷。这再次证明了文件系统的抽象能力有多么强大。我认为智能体将成为最大的文件系统用户,它们需要安全性。
之所以需要安全,是因为它们是异构的集合空间。Jacob SP提到的报税例子非常棒:基本上他将下载的文件、云文件甚至电子邮件都整理到一个文件系统容器中。
然后,我们在本地和云端使用模型来执行各种任务,这就是新型计算机。也就是说,我使用计算机,我的智能体也使用计算机,而智能体同样需要这些基础能力。我想起了 OneDrive,我最后一次把 OneDrive 当作云产品或客户端产品来思考是什么时候?它无处不在。在我看来,我们开始看到的正是这一点:嘿,我希望我的智能体能够全天候使用这些基础能力。当我在 PC 上使用它时,感觉应该就像是在用我的电脑;当我移动使用时,它也应随我一起漫游。
你知道令人惊叹的是什么吗?正如你所知,这些智能体将成为比我们更优秀的工具使用者。是的,原因在于我们通常只知道任何应用程序 10% 到 15% 的功能,但智能体知道每一个功能。没错。因此,这些令人难以置信的工具就坐在你的 PC 上,它们在这台 Surface Ultra 超级计算机中得到了加速。现在智能体可以访问所有这些能力。谁知道我们将能够做些什么呢?看看它刚才的表现就知道了,Blender、Unreal 和 Comfy AI 都令人惊叹。
能否请大家举手示意?在过去几个月里,有多少人尝试在本地使用模型运行这些应用程序之一?很好。所以我认为这展示了实际上可以在本地实现工具的使用。现在,Jensen,我想问问你关于硬件方面的情况。我们经常看到你谈论那些巨大的 Vera Rubin、Blackwell 和 NVL72,你知道的,这些智能令牌工厂为今天的数据中心提供动力。但我们在谈论不同的东西,比如 Spark 工作站,这是我非常想要作为圣诞礼物的设备,它在你的办公室里运行。请谈谈你是如何看待这种演变的:令牌的生产就在你身边发生,而不是像 Vera Rubin 那样在数据中心产生。
嗯,参与这个项目的工程师人数令人难以置信,超过 4000 个工程年。这是一个庞大的项目。看看我们做了什么:我们彻底重新发明了个人计算机。第一次,我们将曾经存在于游戏 PC、笔记本电脑、工作站和超级计算机以及云端的所有能力统一了架构,并使其运行在一颗超芯片上。这颗超芯片是矩形的,因为它是两个巨大的芯片融合在一起。它是一头野兽,拥有 1 PetaFLOPS(千万亿次浮点运算)。为了让你有个概念,引发 AI 革命的计算机 DGX1 只有 0.25 PetaFLOPS,售价四分之一亿美元,重达 500 磅。而现在它就在你的笔记本电脑里。
但令人惊叹的是,这也是世界上唯一一台运行 DirectX 及其所有应用程序、OpenGL 以及其每个版本的计算机。因为我们需要所有的工具和设计工具,对吧?创意工具。我们需要一切都能运行。我们需要 Unreal 运行得极其出色。所以 DirectX 必须非常出色,而且它也能让每一个 CUDA 应用程序都运行得极好。我和 Satya 四年前讨论的是,我们将拥有一整代新的软件开发者,这些软件开发者将是 AI 软件开发者。他们要么创建 AI 应用程序和模型,要么利用 AI 来开发他们的软件。
因此,计算机必须被彻底革新,并且从底层开始就必须在 CUDA 方面表现出色。这是地球上唯一一台在所有设备上原生运行所有内容的计算机,史无前例。为此我们数千名工程师付出了努力,但这也需要整个行业的参与。看看我们要身后:每一个笔记本电脑制造商、每一家台式机制造商、每一家工作站制造商都加入了我们。
是的,哇。是啊。我认为这是第一次,新的硬件、新的计算机架构汇聚在一起,整个行业从上到下、从左到右都参与其中,涉及每一个地区。这是一次彻底的重新发明。我们深知我们正在从事工作的严肃性。我们现在已经测试了超过 1200 个应用程序,这是世界上最密集的应用程序。全部经过测试、性能测试和兼容性测试,一切都已优化。我们将继续前行。对该系统的支持,我们要为其带来的软件数量、中间件和算法,简直无穷无尽。这是一项宏伟的工程,当你最终审视它时,看着这台美丽的笔记本电脑——Pavan 拿着这台漂亮的笔记本站在那里。
我们两家公司以及全球所有参与其中的公司的工程师数量之所以如此庞大,是因为我们相信个人计算机一直是人们的工具。现在它仍然是人们使用的工具,但它也将成为使用这些工具的我们的私人助手。最后一点给两位。我想如果你最近几天在 X(原推特)上,会有关于个人智能体的激烈讨论。我们一直在谈论生产力和企业级智能体,无论是 Muse 还是 Instinct,这里有一个问题:当这个智能体外出购物时,是“我”负责还是“智能体”负责?如果我是一个服务提供商,当这个人不再出现在我的网站上,而是人们试图建立标准时,我该如何应对?作为行业,我认为我们正在努力解决这些问题。
所以我有点好奇,如果你稍微窥探一下水晶球,你认为这会走向何方?是标准吗?行业是否围绕某些新行为正在凝聚共识?你看到它走向哪里了?嗯,首先我认为这始于我们早期讨论中提到的信任问题。而信任始于一件事:这些智能体是否受到限制?它们是否有身份标识?智能体的输出与其身份是否与用户分离,这是 Pawan 提到的关键点:如何确保代表工作的智能体 ID 与用户的身份分开。即使在日常使用中也需要这一点,但你也像我提到的那样需要它:我如何信任?我要委托什么?
事实上,如果我们看我们要做的第一个决定是什么,那就是我的授权范围。你知道,我正在给予智能体代表我行使的权力是多少?这是一个基于信任的决定,并且这种信任会不断增加。
它越自主,你就越信任并放手。因此我认为在消费级市场方面,这将归结为定价问题——我将其视为一种保险成本。因为在某种程度上,我们都可以谈论说实现自主代理并不难,我认为协议是完善的,我们应该执行它们。但最终,关键在于如何为那些代表我工作的代理进行定价。
你的问题触及了根本:MXC 是如此基础性的存在。Open Shell,我们共同开展的工作,其核心在于信任、隔离以及可观测性和监控。如果我们无法做到这一点,那就错了。没错。如果连这都做不到,那第一部分就失败了。我们必须确保这部分安全,让那些代表我们操作、为我们做事的代理拥有最小权限。它们具备凭证,受到监控和信任。只有做到这些,我们才能允许这些代理真正去执行任务。
你知道的,今天是一个糟糕的时刻。我记得当 Open Clock 从那里发布时,通过终端黑客手段获取自己的网关……这里有一个嵌入式的 Windows 片段,运行着加速的令牌。这确实非同寻常。
大量的工程投入才造就了今天的成果。太神奇了,而且它是一款很棒的产品。老实说让我告诉你这一点吧。好的,Jensen、Satya,非常感谢。今天真是美好的一天。谢谢你邀请我。现在我把时间交还给 Pav 和 Satya,以及微软团队。
我们重新定义了人们所熟知的计算机形态。非常感谢 Jensen,感谢你们的合作。今天非常令人兴奋。正如你所说,我想最后补充一点:Jensen 刚才简要提到了这一愿景——我们该如何做?我的意思是,Windows 一直以来的理念就是不要落下任何一段代码、任何一个框架,而是将它们全部整合。他提到我们将带来所有的 Windows 应用、所有图形应用、所有的 CUDA 和 OpenGL,而现在有了令牌工厂(Token Factory),这真是令人难以置信。Windows 已经陪伴了我 34 年,看起来它还将再陪伴我 34 年。
太棒了。非常感谢。