2026年10月21日,柏林Tempodrom。NVIDIA执行长黄仁勋的GTC Berlin主题演讲,全场93分钟不剪,中英双语字幕。几个看点:24分新一代Vera Rubin电脑亮相;71分宣布福斯、JLR、Volvo、宾士加入Hyperion自驾标准;76分参考机器人登场,明年第一季推出。想先看重点整理?还有这场跟台湾有什么关系?导读版连结在说明栏。
这,就是智慧诞生的方式。一种新型工厂,生产token:AI的基本构件。Token开启了全新疆界,把资料化为知识,再把知识化为行动。它们解开大自然的密码,找出隐藏的解药;为我们的城市打造镜像;不知疲倦地穿行于我们的世界。让我们持续前进,Token从我们的一举一动中学习:送上我们需要的照护;也走进危险之中,守护我们所爱的人。它们看见我们看不见的,让最沉稳的双手再也不必独自作业。Token点燃的每一个想法;它们共享的每一次成功,都让重要的事触手可及。
Token正帮助我们以前所未有的规模开疆辟土,让我们能伸手摘星,飞向更远。我们一起迈出下一次的伟大飞跃,奔向光明的新未来——一个为全人类打造的未来。而这一切,就从这里开始。欢迎NVIDIA创办人暨执行长黄仁勋上台!
柏林,大家好!欢迎来到GTC。很高兴来到这里。开始之前,先为我们会前节目的主持人鼓掌——又聪明又可爱!他们聊了AI基础设施、主权AI、AI安全,还有实体AI。今天早上他们涵盖的内容非常多,而我们要再往前推进一步,这很有意思。莱雅、Revolut、Spotify、默克、Vodafone、Zara、保时捷、雀巢、汇丰,有什么共同点?它们都是欧洲公司,而且都在和NVIDIA一起做AI。
在座的每一位,全都投入了AI生态系,朝着AI经济迈进。我们在欧洲深耕至今已经33年。你们可能不知道,NV1——NVIDIA的第一颗晶片,还有NV2、NV3(即RIVA 128),真正救了公司、让公司起飞的晶片,都是在欧洲打造的。我们的第一个合作伙伴是SGS-Thomson:我们在法国Crolles制造晶片,在马尔他封装,再销往全世界。我们第一个最大的客户(GeForce时代早期最大的客户)是一家叫MediaMarkt的公司,你们知道这家公司吗?
大家记得吧,Media Markt当年有组装PC的绝妙点子。他们是我们最大的客户。后来是德国公司ELSA,在2000年把NVIDIA带进了工作站产业。如今全欧洲每台设计汽车的工作站里都有NVIDIA——从造型、设计、工程到模拟,一路到车子里面。2005年,欧洲公司奥迪把我们带进了车内;到了2020年,我们开始和宾士合作自动驾驶。可以说NVIDIA这33年的人生旅程让我在德国待了很长的时间,所以很高兴能回到这里。谢谢大家!
很高兴能在这里举办GTC。今年,过去这一年我们展开了新的旅程:在欧洲开启AI经济的起点。光是过去一年,我们就在欧洲投资了近一百亿美元,涵盖新创、大大小小合作案,遍布全欧洲。光是上周,我一路从法国到英国、瑞典,再到柏林这里,我们宣布投资了14家新创公司。整体而言,从一开始到现在我们在欧洲已有超过12,000个合作伙伴。大家现在都朝着同一个目标努力:在电脑产业历经数十年的进步之后,我们正站在一场新工业革命的起点。
这张图是电脑生成的,提示词是我下的:“AI驱动新的工业革命”,就生成了这张图。我给了它几个想特别点名的伙伴,和我们合作的公司——这是很了不起的事!在AI的心中,这就是它的意义:打造一个新产业(生成token,也就是生产智慧),融入每一个产业,推动新的工业革命。新的工业革命会发生是在新技术改变了我们制造东西的方式以及我们能造出什么的时候——怎么造,以及能造什么。我认为AI将全方位影响我们打造的一切,甚至让我们能打造全新的事物。
之所以如此,是因为每个人都会用它;每家公司都会靠它驱动,因为它是数位智慧、一切事物的基础。每一个人都会使用它;每家公司都会靠它驱动;每个产业都会被改造,还会诞生新的产业。就这一点来说,就像电力一样——这是一场新的工业革命,而我们正处于最开端!问题是:什么是AI?这件事非常重要。如果你想参与创造这个未来,理解什么是AI至关重要。这其实是个简单的框架:我们很早就观察到,AI其实是一种制造业!
AI不只是软体技术。它是软体技术,但不仅止于此:它当然是在电脑上执行,但那台电脑运作的方式已经截然不同。它不再只是我们使用的工具;而是一套机器、一套基础设施的一部分——是一座座生产智慧的工厂,融入每一个产业和应用之中。一个简单的模型:把AI想成五层蛋糕——能源驱动先进的电脑;这些电脑组成AI工厂,生成token(也就是数位智慧),来自跑在上面的模型;再整合进每一个应用。一个五层蛋糕!
要参与这个AI经济,你不会只想当AI的消费者,你会想当AI的生产者。这些在欧洲全都做得到,而且其实我们已经开始了!欧洲正在打造自己的AI经济(五层蛋糕如图所示)。我们有很棒的伙伴。综观这五层蛋糕,你会发现这确实是个新产业,因为每一层都在成长:我们以惊人的速度创造就业、创造成长。欧洲的公司(施耐德电机、西门子能源)在全球表现都非常出色——我们是运算层,我们整合进如今遍地开花的欧洲AI工厂。
像Nebius这样的新创表现非常好;还有一家新公司Firebird正在中亚地区建立新的云端;甚至还有非洲的Cassava。我预测,未来的每一家电信公司旗下十万个站点(相当于约一百GW的分散式电信基地台与资料中心),未来将进化成分散式AI网路。AI基础设施层正在建设中,再上一层是AI模型!很重要的是要认知到:早在AI模型出现之前,基础设施就必须先存在。就像要有网路设备才可能有网际网路;就像在真正享受电力带来的能力之前,得先有通电的房子和发电厂。所以模型是下一层!
有趣的是,模型层不只有语言模型:它涵盖语言、生物、化学、物理、机器人动作、动画,各种规模的模型都有。不同产业会由不同模态的AI模型驱动,再整合进AI原生企业(也就是新创)。欧洲这里就有非常多这样的新创!所以欧洲的AI经济正在起步,而且正在加速。很高兴看到这一切。在这一切的基础层,大家多半认为我们的贡献是GPU——这没错!我们1993年开始做绘图晶片,后来演变成GPU(也就是可程式化着色GPU),之后我们加上CUDA加速重新发明了现代运算,进而催生出人工智慧。
但今天的NVIDIA其实是一个全端、端到端的完整AI工厂平台!这些年来,我们公司的技术广度大幅扩张:从GPU运算(最新一代是Vera Rubin);到把它们连成一颗巨大GPU的NVLink交换器;到我们最近推出的Vera BlueField 4运算(稍后我会多谈几句);再到Spectrum-X也就是我们的乙太网路方案,让NVIDIA成为当今全球最大的网路公司;再到Grok 3(用于产生token的解码加速器);再到Vera BlueField 4储存加速(这个我马上也会谈到);还有Vera RTX运算,等一下再说明。而这就代表了打造AI工厂所需的全部技术广度!
但没有软体把这一切启动起来,什么都动不了。第一部分是运行AI工厂的系统软体:这些系统非常巨大!一座1GW的资料中心、1GW的AI工厂,约要500亿美元(土地、电力、厂房)。所有运算、网路、储存、供电、散热全部连在一起,占地好几英亩的AI工厂。光是开机让它运转起来本身就是一项奇迹!要让这座工厂动起来所需的庞大软体,让它投入生产token,是一项了不起的壮举。NVIDIA提供整套全端软体!
在那之上是所谓的CUDA-X函式库:我们公司的演算法。NVIDIA的本质是演算法公司,再设计晶片去加速它们!其中之一当然就是cuDNN。许多研究者都知道这个函式库,正是它引爆了现代AI的大霹雳:cuDNN之于AI就像SQL之于全球资料库产业。它是一种领域专用语言、领域专用函式库——就像OpenGL和DirectX成就了即时电脑绘图,cuDNN成就了AI运算产业!还有另外350个函式库。这些函式库正是我们公司最珍贵的资产:从运算微影到讯号处理、影像处理、资料处理、粒子、流体、稀疏求解器。函式库的广度惊人,在座许多人都已经把它们接进自己的公司!我们就是这样开拓新市场:透过演算法把NVIDIA连结进来,让各位能以惊人的速度进行运算。
最后在右手边的,是模型:这是新的软体,是驱动新应用的新引擎!它架在CUDA-X函式库之上,并与之协作。这些模型是NVIDIA在多个领域持续打造的!有了这些模型就开启了新的机会,这部分我稍后有很多要说。每一代产品,NVIDIA是从Pascal开始的:AI时代始于Pascal(也就是所谓的DGX-1系统)。DGX-1为世界带来第一台AI超级电脑,十年前由我发表(第一台亲手交给了OpenAI),开启了他们的运算之旅。从Pascal到Volta,再到Ampere;然后是许多人第一次听到我们的那一代:Hopper;再到现行的Blackwell,如今Vera Rubin已全面量产。
大家看,这是六个世代的架构!每一代我们都把技术再往前推进。过去十年我们把AI效能提升了一百万倍:退一步想想,摩尔定律十年能做到什么?前五年提升10倍,后五年再10倍,十年总共100倍。而在同样的时间里(因为NVIDIA极限协同设计的做法),我们在每一台电脑上创新、在软体堆叠的每一层创新:优化新演算法、创造新演算法,同时打造能加速它们的架构。横跨整个领域!这就是我们说的极限协同设计:我们才能把AI加速一百万倍,而且我们会继续做下去!这就是NVIDIA今天打造的东西。这也是我们能协助欧洲参与AI生态系、AI经济的基础!
每一代来看:一开始Pascal是GPU,Volta是GPU,Ampere是GPU,Hopper也是GPU。我们发明了全新的DGX机型;接着Blackwell为世界带来第一个机柜级运算(等一下我会展示给大家看)。机柜级运算把一整个系统变成一台巨大的电脑、一颗GPU!现在有了Vera Rubin,我们把处理范围扩展到模型之外:超越大型语言模型去处理整个代理。这张投影片稍后还会回头讲,但请先记住这点:代理必须思考(这就是模型的用武之地)——感知、推理、规划、使用工具,这些都跑在大型语言模型上(模型就是为此设计的)。
但代理还有一个所谓的harness:基本上就是数位代理的外骨骼。就像我们有大脑,身体其他部分就是外骨骼;代理的外骨骼负责调度工作、让代理能真正动用记忆(主动记忆、工作记忆和长期记忆),并启用工具。第三部分是专为资料处理设计、处理知识的电脑;最后是一台专门跑CUDA-X函式库的电脑,它的工作就是执行工具。这些电脑现在构成了整个代理式系统!Vera Rubin已经全面量产,实际看到它蛮开心的。这是全世界第一台这样的电脑:没有任何线材、百分之百液冷!而且真的很赏心悦目……哎呀?等等。能这样抽出来,真的很疗愈。这就是一台Vera Rubin电脑!上面有两颗GPU(对)。
以前Grace Blackwell组一个节点要两个小时,等你看到就知道我的意思:到处都是线材、液冷只有八成。现在Vera Rubin百分之百液冷,组装不到五分钟!真的是非常了不起的成就(这当然也代表制造周期更快、可靠度大幅提升,效能当然也好得多)。这是NVLink交换器托盘:它能把72颗这样的GPU连起来(这里面有四组)。现在就把72颗GPU连成一颗巨大的GPU!每颗GPU是20 petaflops,72颗连成一个巨大系统。好,谢谢大家!谢谢!
这是我们新的Vera电脑……没事的(轻一点),给她一个机会嘛。每个人都有机会说句话的话,不过今天让我……不、不(待会再跟各位聊)。谢谢!都是很重要的议题,不过先让我把主题演讲讲完。现场这个会场已经坐满了;全球还有一百场观看派对!一百场观看派对,现在有1万5千人在收看。所以我会先把主题演讲讲完(最后有一些非常好玩的东西想给大家看),所以得先“折磨”大家上一点课,之后娱乐节目就来了!
这是我们全新的Vera电脑。Vera CPU是一头效能猛兽:每个时脉周期八条指令!它有全球第一套LPDDR记忆体系统,兼顾高效能、超高频宽以及极佳的能源效率。晶片内互连架构是全世界最快的,所以资料处理效能爆表!代理式工作阶段的启动与处理同样爆表——它就是为此而设计的。这就是我们的Vera电脑!
而这一台(这一台是Spectrum-X):这是全球第一个共同封装光学元件!大家可以看这里,我秀给大家看……这个舞台有些地方会陷下去、有些地方可以走。我只是不确定是哪里?好,所以如果我突然消失大家就知道是怎么回事(那不是特技表演,是意外)。大家可以看到这些是雷射:雷射光穿过光学元件上来直接连接(直接连到我们的晶片)。用的是我们和台积电共同发明的COUPE制程:矽光子元件直接贴附在我们的晶片上!不然的话这些全都是PCB电路板,而PCB的传输能力远不如光纤。所以我们现在有极高的资料速率、极高品质的资料直接进到晶片(讯号直接进去,不像以前要经过PCB和收发器)。现在直接进到光学元件!好,这是全球第一个CPO(我们已经全面量产512个连接埠、每埠200Gbps)。全球最先进的乙太网路交换器,我们非常自豪!谢谢大家。
这让我们有能力处理思考、处理大型语言模型;处理代理框架为它的知识执行资料处理,然后执行加速运算供所有工具使用。这基本上就是代理工作负载(等等再多讲)。Vera Rubin已全面量产,效能爆表!如我说过:每一个世代透过极致共同设计我们达到的效能远超出常理、远超摩尔定律的预期。大家知道,摩尔定律大致上已经终结!所以我们需要极致共同设计:从晶片到系统、系统软体到演算法,到整座AI工厂。Vera Rubin是在Blackwell之上的又一大步:Blackwell比Hopper快了约30倍(在代理式、大型语言模型处理上)。现在Vera Rubin又比Blackwell快30倍,只花了两年时间!
我们来看看Vera Rubin如何变成一座DSX全端AI工厂。AI正带来史上最大的基础建设潮:这些工厂规模庞大、投资金额可观!我们必须把它盖对。但光有好晶片成不了好的AI工厂:NVIDIA DSX是全端AI工厂参考架构,与全球顶尖基础设施公司共同打造(运算、网路、储存、软体、供电与散热一体化设计)。从设计到营运全面最佳化:DSX从数位孪生开始(效能、电力、用水与规模,动工前先虚拟验证)。PTC把设备设计转成可模拟的资产;达梭系统以模型化系统工程串联机柜与厂房设计;施耐德电机模拟配电与液冷系统;Jacobs在Omniverse数位孪生中整合一切;西门子评估热、噪音与电网冲击;Procore支援施工阶段规划。
电力限制了AI工厂的产能!DSX Max LPS是一套端到端控制回路,依工作负载需求动态调配电力(相同产出可省下30%电力)。DSX重新思考散热:NVIDIA Vera Rubin系统采闭回路液冷设计,冷却液温度可达摄氏45度。在合适气候下室外干式冷却器把热排入空气,不蒸发任何水!在2吉瓦规模DSX每天可省5,400万公升的水(相当于18万户家庭的每日用水量)。但AI工厂可能要盖好几个月,在启用之前它产不出任何token!今天我们宣布推出NVIDIA DSX Pod:把这套全端平台做成出厂即整合的系统。一切从Vera Rubin NVL72开始:七座液冷运算机柜,以17公里Spectrum-X线缆相连组成Vera Rubin DSX Pod。
Vera Rubin DSX Pod整合、布线、出厂测试一次完成,再以可运输货柜交付!干式冷却器取代传统蒸发式冷却;800伏特直流电接入机柜,供电更有效率。只要场地水电就绪预估现场部署从数月缩短到数天!NVIDIA DSX AI工厂从设计就兼顾责任。有了DSX Pod,AI工厂能以光速建成:每瓦更多智慧、更快产出第一个token!大家觉得怎么样?
2016年,我们推出全球第一台AI超级电脑。那是单一节点、单一GPU节点。三年前,我们又推出Grace Blackwell NVLink 72机柜级电脑。两次我们要重新发明的都不只是电脑,软体与运作方式,还有供应链。以NVLink 72来说,我们把整个机柜原本要在客户现场组装的,改到供应链里组装完成。等于是大规模制造超级电脑。这就是为什么我们能动作这么快,能同时供应全球数百个资料中心的建置。现在全球每一家电脑制造商都在生产NVLink 72,我们现在生产运算的规模是前所未有的、难以想像。
即便如此,这些系统送到你的场地后,还是得花好几个月组装。大家刚刚听到要1万7千公里的线只为了接好Spectrum-X的横向扩展运算。是17公里还是1万7千公里?这数字太夸张了,所以是17公里。很惊人的数字。现在假设这一切都在供应链里完成,全部先架设好、全部先建置好,确保它能完整运作。
完成验证、烧机测试,出货时就是完全可用的状态。现场布线和组装的工作量将大幅减少。但还有更重要的意义:事实上,把这些移进供应链之后,闲置在你们资料中心里的运算资源将大幅减少。记住这一点:每一座GW级资料中心要价五百亿美元,你预期它带来的营收是每年数百亿美元。
假设这套基础设施每年创造四百亿美元的营收,这四百亿只要延迟三个月,那就是五十亿……等等,是多少?是一百亿美元的营收。一百亿美元的营收谁都会紧张。所以,把这些工作搬进供应链之后,从设备进场到开机上线、到开始产出token的速度,会从好几个月——我们估计是四到五个月,缩短到大约一个月。
这是世界供应链的一次彻底改造,它会改变大家安装、兴建资料中心的方式。希望速度因此提上来,闲置的算力、闲置的资本支出都会减少,每个人都更赚钱。这就是NVLink 72:装进一个大型机柜系统,我们叫它DSX Pod。这就是NVIDIA运算的下一步。谢谢!
你做什么、怎么做,决定了你的独特之处。就像在欧洲,你们的专业让你们与众不同:你们设计机械、营运工厂、研发新药;你们拥有非凡的工艺。那份工艺、那份专业,让你们与众不同。而NVIDIA的独特之处有两点:第一,我们的架构是唯一通用的加速运算架构。
我们不只针对单一演算法(例如transformer),而是针对所有可平行化的运算:可以是流体和粒子、量子、量子化学、影像处理,也可以是资料处理(结构化向量资料等各种处理)。因为我们耕耘了这么久,也因为NVIDIA的架构整整二十五年来始终一致。
我们支援的演算法、涵盖的领域,以及服务并加速的产业数量都大幅成长。我们的安装基础、通用架构、对架构的坚持,以及和全球各产业的合作,让NVIDIA的架构真的无所不在。第二点是我们的做法:当然我们有自己开发的架构,但我们现在打造的是全端完整的AI工厂。
世界上有很多公司想自己设计晶片,但大多数公司只想部署AI基础设施,好在上面经营自己的业务。要设计晶片、打造超级电脑、写完所有软体,对全球大多数公司来说根本是天方夜谭。所以我们现在结合这两个理念:CUDA加上全端AI工厂,让我们能进入原本进不去的市场。
正因如此,我们才能和这么多公司合作。如果看一圈这些伙伴:先从云端服务商CSP说起。多数人认为今天绝大多数的AI都在这里,但大家在演讲开头也看到,我提到了一大堆不属于CSP的公司。所以CSP仍是全球运算非常大的业务,但还有AI原生公司正在世界各地诞生(今天在场就有很多)。
还有Neocloud:每个地区都想参与AI经济,确保自己宝贵的资源、自己的能源用在自己地区的公司上。例如欧洲的Mistral(法国的)、Nebius,欧洲各地有很多公司正在打造Neocloud。还有为全球企业打造电脑的OEM和ODM,以及AI实验室:去年我们谈的全是OpenAI;今天我们谈OpenAI、Anthropic,也谈到Meta出色的模型Grok(当然还有Gemini)。
这么多AI实验室都站上了最前沿。还有最重要的一点,这才是关键:AI要成功、欧洲要从AI受益(真正建立AI生态系和AI经济),就需要所有终端产业都采用AI并取得成功。无论是汽车产业(因为我们在打造自驾车)、用机器人制造、在医疗领域研发新药,还是金融服务业——这些产业每一个都必须变成AI公司。
而透过刚才说的CUDA和我们打造电脑的方式,我们有独特的能力能服务AI的每一个领域。所以:一个架构、多个市场;而且这些基础设施规模庞大、造价高昂,我们必须确保它们尽可能高效、尽快投产,且用途灵活。从你AI旅程的一开始,每种工作负载都能用:从资料处理、训练到后训练(推论和代理式处理)。
AI旅程的每一步、每种AI——从化学、物理到语言,再到每个产业和他们使用的演算法。所以NVIDIA的架构用途灵活,也因此能持续创新、持续更新软体;因为安装基础庞大、软体生态系极为丰富,这个架构因此也历久弥新:灵活、耐用、高效。这就打下了基础——这就是基础设施。
那我们要拿它做什么?过去这一年,我们看到AI出现转折:AI开始真正有生产力。最重要的时刻之一是今年年初OpenClaw的出现,带来开源AI代理人的概念。今天全世界看到的这一波就是从那里开始的:AI代理人会思考、推理、迭代、使用工具,结果就是消耗大量的token。
但也因为这样它们变得有用:更多代理人被开发出来、用的人也更多;又因为它们思考要烧很多token,token的消耗量一飞冲天。GPU的需求也跟着一飞冲天。处理这一切的就是这个——这就是一个代理,这是代理的五个要素:第一部分是语言模型(模型在GPU上运行、生成token供代理使用)。
我称代理为「外骨骼」,OpenClaw这个harness放在一个沙箱里(沙箱把它和系统其他部分隔离开来,这个概念很重要我待会还会回来谈)。一共有五个东西:有模型、有harness、有harness所在的沙箱,再加上知识和工具。模型、沙箱、harness、知识、工具——这就是代理的五个要素。
在谈怎么让代理变得好用之前,最重要的是必须先确保代理的安全:代理是自主的(这个自主系统能存取档案、资源、网路,能使用工具),我们必须确保给这个自主系统的权限是最小的,而且要持续监控它。我们推出了——一个超棒的新产品、新平台叫做OpenShell(它来得正是时候),是一套安全执行环境能提供我刚才提到的那些功能,还多了一层硬体层级的监控。
在说明之前我们先看一段影片:企业正准备部署数十亿个AI代理,要发挥作用它们得推理、规划、用工具、存取资料并协作。如今唯一能阻止代理滥用这些权限的,只有好言相劝(拜托不要删掉任何东西、拜托不要推到main、拜托不要碰我的SSH金钥)。这就是「拜托不要」式的做法。
但希望不等于安全:安全不该只是愿景而是技术与工程。NVIDIA OpenShell与Sentry把这个理念付诸实践:你为每个代理写好能碰什么的政策,OpenShell会在系统呼叫的粒度强制执行(包括档案存取与网路连线)。形式化验证会比对每次政策变更与你的权限上限,让代理永远不会取得超出预期的权限。
就像早期的网际互联网病毒到处都是直到浏览器严格限制网页能做的事,OpenShell为代理做了同样的事:强制执行发生在代理之外(不只是LLM的护栏),把代理原生的安全机制带进你的基础设施。每个代理都跑在独立的沙箱里,无法直接连上网路;所有对外网路请求经过沙箱外的supervisor。
它会依照你的政策检查那个动作,不被允许就直接拒绝:金钥留在沙箱外由supervisor保管(只在送往核准端点的途中才加上)。被入侵的代理泄漏不了它从未拿到的金钥。gateway是控制平面,supervisor负责决策;沙箱装着代理policy prover则比对新政策与你的权限上限。
OpenShell结合Linux核心隔离与执行期政策控管;NVIDIA Sentry在主机之外再加一层选用防护远离代理本身。Sentry在NVIDIA BlueField 4上运行,监控代理活动并在硬体隔离的信任域中执行安全政策。因为代理的推理流量都会经过Sentry,若打算做出非预期的事它会立刻更新政策并切断与模型的连线(在毫秒内隔离它)。
它还保留防窜改纪录供营运者验证,用于侦测、调查与应变。OpenShell以Apache 2.0授权开源(代理在哪它就能跑,从边缘到云端两个指令就能导入:安装CLI、建立沙箱、跑你喜欢的代理)。代理的用处取决于你给它的权限,OpenShell和Sentry让这些权限由你掌控。
这就是让AI能力与安全一起前进的方式:代理是自主系统,我们必须打造极度安全的技术才能安全地开发与部署这些代理。很不可思议:OpenShell发表之后全世界几乎每一家大公司(从前沿实验室到作业系统公司、资安公司、平台公司)都出来采用OpenShell。真的很棒,原因是这项技术来得正是时候:正当我们要把代理部署到全世界的时候(记住这不只是各种服务,部署代理时使用OpenShell更是要让全世界的公司都采用OpenShell)。
让你能接收这些代理让它们在公司内自主运作:每一种能力等级、你交给代理的每项任务/每位使用者/每一种组合,都需要不同的权限等级由你授予给代理。而且每次启动代理权限都不一样:所以权限、政策的强制执行和监控全都必须动态进行,OpenShell真的是革命性的。
我很高兴地宣布Anthropic正和NVIDIA合作打造Claude OpenShell代理(大家可以上官网那里有一篇很棒的介绍文章)。所以第一部分是:怎么使用这些代理框架?像OpenClaw、Hermes、OpenHand,你也可以用LangChain自建框架(用DeepAgents或直接写Python)。打造代理框架的方法非常多这些现在都放进OpenShell的安全框架里(也就是它所处的安全沙箱)。
接下来我们谈谈模型:各种模型你都应该用。未来不会只靠单一模型跑所有东西,我们会用最好的模型(不管是封闭、开放还是客制的),我们会用所有模型来做你的工作。有时你要做的工作相当通用(通用人工智慧会做得非常好),但有时你想做的事牵涉太多你的专有知识/专业,而你想持续强化那份智慧。
未来每家公司都会同时使用封闭模型和你自己客制的开放模型。听完这一段大家就会发现打造自己的AI其实没那么难:一切当然从模型开始(我们一直致力于推进开放模型开创新机会让大家能打造自己的客制AI)。Nemotron负责语言、Cosmos是我们的世界基础模型(我们是前沿)、GR00T负责人形机器人(我们是前沿)。
Alpamayo负责自主导航(我们是前沿)、iSYNC负责量子古典运算(我们是前沿),当然还有Earth-2物理AI(我们是前沿)。在这些不同的领域我们提供你全部的模型而且持续精进。我们已经做了十年也会永远做下去:我们把模型完全开放给你连同随附的资料让你知道模型的来历以及重现这个模型所需的脚本。
所以你拿到的不只是开放权重还有完整配方和资料能重建这些开放模型让你知道它从哪来、能完全信任它。不过这些模型未必是前沿中的前沿(尤其是语言模型),但只要客制化加上我们生态系的伙伴协助你就能把它们变成前沿,进而把你的专有资料变成主权智慧。
举个例子这是A21协助Alice把Nemotron打造成超越前沿能力的模型;这是Baseten协助CodeRabbit用你的资料微调Nemotron后达到前沿能力(Baseten和CodeRabbit);这是Trajectory和Harvey同样用Nemotron经过后训练打造出自家的前沿等级能力;这是Scale和Skydance合作做同样的事。
例子不胜枚举:重点是你可以从一个开源模型出发(像Nemotron这样非常好的模型),加上你自己的资料针对你的用途后训练,当然就能达到超级智慧。这是非常合理的做法而且技术今天全都已经存在(再举Palantir和坦帕综合医院的例子名单还很长)。我们有丰富的伙伴生态系能协助你(它们都是很出色的公司能在世界各地与你合作)。
总之我只要点名一家就会得罪其他所有人,那我只好坐在这里把每一家都念一遍这些我全都很喜欢。首先是agent harness(在安全沙箱OpenShell里执行),第二是Nemotron大型语言模型。这就是你需要的前两个元件,但最终让这些代理变成超级代理的是让它们能存取你公司的知识。
这一点非常特别:这就是我们打造的「代理知识基础」。里面的函式库和模型都是世界顶级让你能把公司的资料转化运用。这些资料、资产可能是非结构化的文件(所以你需要AI懂得怎么读PDF/读懂所有非结构化文件),也可能是资料库里的结构化资料。
我们有一整套必要的函式库和工具帮你从公司资料中萃取意义和理解:一个一个来。Nemotron Parse(世界顶级、排行榜第一);Nemotron Embed负责把查询对应到向量资料库里的知识(同样是排行榜第一)。
Nemotron Rerank它可能找到许多不同来源查询会对应到其中不同的资料片段,它会汇整起来依相关性高低排序。Kumo能从结构化资料库预测将发生的事(举例来说假设你收到通知说某家供应商会缺货或延迟供货,这项资讯很可能是非结构化文件;而你公司订单的相关资讯很可能放在结构化资料库如SQL数据库,要预测这些订单会发生什么事、谁会缺货/延迟多久就用Kumo来预测)。
接着为了找出能替换的方案你可能会用向量资料库做搜寻去找出替代零件的工程文件。好,所以这些各式各样的函式库和资料处理能力就构成了你的知识基础:你的AI现在配备了自家资料、自家知识。最后我要讲的是工具(行家的工具)。NVIDIA一直在做CUDA-X:在AI之前我们谈的都是怎么加速模拟器、解算器、资料处理引擎和各种领域专用函式库。
它们用在科学发现(各个科学领域)、工程、研究,以及设计建造和创意艺术。核心就是CUDA-X函式库它们就是演算法(而大家都知道演算法是美的)。我们来看一段:数学很美,数学真的很美。CUDA-X函式库是我们公司最珍贵的资产(原因是这样的)。
当你打造AI助理它可能是实验室助理、研究助理或共同设计师(一个和你一起创作/一起打造东西的伙伴)。最终是什么让这些代理有用?让它们能做实际工作的是工具。所以我们现在有了这些模型让代理能够推理、理解资讯(推理/规划并反复行动使用工具直到把工作完成)。
但关键终究还是工具:这些工具我们已经投入了很多年。我刚才展示的右手边那台电脑(这些工具每一个都能在它上面执行):可以是流体力学和粒子物理、量子化学、资料处理或光线追踪。所有工具都在那一台电脑上执行(处理速度比单纯用CPU跑快上10倍、50倍甚至100倍)。
CUDA-X给了代理行家的工具(看到大家怎么运用它真的很酷),我们来看看:这就是代理背后的魔法。说到底代理必须使用工具(当然最早的应用领域之一是软体开发所以有编译器或Python其实就够了)。但未来随着这些工具做越来越多/越来越有用的工作我们得给它们更多工具。
这里有几个例子:这是Lila Sciences(他们在打造实验室助理用的是NVIDIA的BioNeMo模型,这些模型专门用来理解蛋白质/细胞并为药物开发生成蛋白质和化合物)。他们用BioNeMo搭配CUDA-X工具。这是西门子工厂(打造的工厂代理用上懂实体世界的世界基础模型Cosmos和CUDA-X工具)。
这是达梭打造虚拟协作伙伴的例子(用了NVIDIA的语言模型Nemotron和CUDA-X工具)。我们来看它们实际运作。
再聪明的科学家,也需要实验室。最优秀的工程师,也需要模拟器和解算器。AI 代理也不例外。一个代理整合了五大构件:模型负责感知、推理和规划;harness 负责协调整体工作;知识基础则从你公司的结构化与非结构化的资料,给代理脉络;工具让代理能模拟、实验和行动;NVIDIA Open Shell 控管代理能存取、执行什么。你可以用前沿封闭模型,或客制开放模型。有了 NVIDIA 的 Agent Toolkit,任何公司都能把知识和专业变成客制的超级代理。我们来看三个例子。
Lila Sciences 的目标,是设计 B 细胞淋巴瘤的疗法。以 Nemotron 打造的 Lila Iris 代理,把目标化为实验计划。在「计算干实验室」里,Lila 代理用 NVIDIA BioNeMo Agent Toolkit 呼叫蛋白质设计和 RNA 优化模型,执行数百万次虚拟实验。最有潜力的候选,进入 Lila 的 AI 科学工厂,由搭配 NVIDIA Omniverse 和 Cosmos 开发的自主机器人和仪器,负责制作与测试。
结果回传给 Iris,形塑下一轮设计与实验。这个循环持续运转。在西门子埃尔朗根电子工厂,目标是让新产品投产。Process Preparation X 代理用 NVIDIA Cosmos 生成虚拟原型和合成资料,在投产前先训练并验证检测模型。Intelligence Center X 代理基于 NVIDIA 工厂营运 Blueprint,依订单、物料和产线配置,建议生产计划。
Digital Twin Composer 用 NVIDIA Omniverse 函式库,以物理模拟验证这些计划,搭配即时工厂资料,再让变更进到产线。在达梭系统的平台上,工程师要把福斯 Golf 车门设计改用到 Tiguan 上。Aura 和 Leo 用 NVIDIA Nemotron 推理工程需求,harness 协调各个专门子代理,在规划、设计和模拟之间保留脉络。
Aura 用 ENOVIA 规划工作,考量车辆尺寸、重量限制和其他工程需求。Leo 设计代理选出相容的 Golf 车门设计,再用 CATIA 重塑外形,以符合 Tiguan。Leo 模拟代理用 NVIDIA CUDA-X 加速的 Simulia 测试各个变体,结果发现振动问题。结果回到设计代理手上,进行改良。
工程师审阅改良后的设计,选出最终版本。不同的目标、不同的专业,相同的基本构件:开放模型、CUDA-X 加速工具,和 Open Shell 安全执行环境。全都由 NVIDIA Agent Toolkit 整合起来。很棒吧?有些人说 AI 来了,软体就要终结了,工具公司也要终结了。
事实正好相反:AI 确实来了,但我们打造的工具,使用者只会比以前更多。每一家工具公司现在都会变成 AI 公司、变成 agent 公司,他们不只提供工具,还会提供优化过的 agent——非常擅长使用自家工具的 agent。Cadence、CrowdStrike、达梭、IQVIA,几乎每一家企业公司都在打造 agent。能和他们合作,我们非常开心。
打造 agent 其实没那么难:它有五个元件——有模型、有 harness,两者都有闭源和开源版本;开放安全的执行环境;最重要的是知识与工具。而那些知识和工具是属于你的,那是你的专业。这些现在都做得到,待会我再多展示一些。但在那之前,先来谈谈实体 AI——那才是 AI 的下一波浪潮:能理解实体世界、并对它推理的 AI。
因为实体世界多样又复杂,有极长的长尾,要对它推理并用合适的工具与实体世界互动。大家一想到实体世界,就想到机器人。其实我最喜欢的实体世界应用之一是无线电的行动电话基地台。原因是这样的:它不用摄影机、不用喇叭和麦克风,而是用无线电波来感知世界。
它对世界推理、处理资讯,再透过波束成形与世界互动。所以这其实是一种应用,一种天生就适合 AI 的技术。AI 将彻底改变电信的运作方式:它会大幅提升频谱效率,就像我们在光线追踪上做到的一样。你们看到的所有画面,都是 100% 光线追踪。过去我们以为需要的运算量,和现在套用 AI 之后,差了一百万倍。
所以我们要为电信网路带来频谱效率的大幅跃进。不只如此,我们还要彻底改造这些基地台:整个西方世界有十万个站点、约一百吉瓦的分散式资料中心,未来会变成分散式的 AI 基础设施。我们很高兴能和欧洲许多公司合作。就在上周,在投入近八年之后,NVIDIA 与 Nokia 在 T-Mobile 网路打通首通商用电话。
所以现在 CUDA 也能用传统方式打电话了。做到这一步之后,就能在上面叠加 AI——这场革命即将展开,这对我们是非常令人兴奋的机会。另一个实体 AI 应用让我超级兴奋的,是机器人放射治疗:肿瘤的形状会改变,治疗过程中身体也在变化。这套自适应放疗机器人必须感知变化中的环境:掌握肿瘤位置、精准地把它分割出来,再精确地对准施放放射治疗。
基本上就是机器人……没错!请继续:这是一种机器人手术。当然,量最大、最接近落地的机器人、实体 AI 应用大家都知道:是我们投入超过十年的领域。现在我们看到,每一家车厂都会想让自家的车加入叫车车队:今天我们有叫车服务像 Uber,在欧洲还有 Bolt、Grab、Lyft 等等各式各样的叫车服务。
未来还会有无人计程车 robotaxi,也会接进这些叫车服务,而且不会只来自单一品牌。我们知道打造这些系统非常昂贵,尤其是上层的软体。所以我们决定打造一套标准架构:14 颗摄影机、9 组雷达、3 组光达,还有一大堆超音波感测器。这层感测器茧壳由双 NVIDIA GPU 自驾系统驱动,我们把它变成了产业标准。
现在一个又一个车系都在导入这套设计:上层是自驾软体公司,我们自己也是其中之一——打造自主 robotaxi 的能力再接进各家叫车服务。这个生态系正在成形:全世界每年行驶约一兆英里,未来其中许多里程每英里一、两美元会由 robotaxi 来跑。这是个巨大的机会,但极度零碎:打造产业标准 Hyperion、与整个生态系合作就能创造一个人人都能接入的巨型虚拟车队。
今天我很骄傲地宣布,再新增四个品牌:四条新车系即将加入福斯厢型车(我想不到更经典的车了)、JLR 的全新车款、Volvo 车队,以及宾士的下一代车款。也都会相容 Hyperion,加入这个网路:这个叫车网路、robotaxi 车队欢迎加入 Hyperion。下一个重大产业、下一个伟大的产业,而且规模可能极大就是人形机器人:
机器人之所以难做是有原因的。因为各种工作实在太多样,为每一种任务打造专属配置会把机器人产业切割成各式各样的规格让技术飞轮转不起来。手机之所以进步得这么快、个人电脑之所以进步得这么快、NVIDIA 的 NVLink 72 之所以进步得这么快,就是因为标准化配置让众多客户都能使用进而带出产量。
产量驱动技术飞轮让它越转越快、越来越好。所以我们需要一个尽可能标准化的机器人配置,而人形机器人显然具备这种潜力:它或许不是万能但很可能适用于许多事情。因此它很可能成为量最大的机器人配置。如果我们能打造出让它快速学习的 AI,那么没有整组机器人团队的中小企业不必写程式教机器人只要示范给它看。
机器人因为具备通用能力和通用智慧就能快速学习、快速适应:这很可能是下一个重大技术平台。我们正在和许多公司合作,很多欧洲公司大家都认得这是你们的大好机会:没有国家或地区像欧洲这样投入机电整合、电子以及机械系统达到这种精密与工艺水准。这里有太多公司极其擅长制造,这将是下一个高产量的产业:
大家可以看到已经有非常多公司加入我们很高兴能与各位合作。现在,要打造一套实体 AI 系统你需要三台电脑:第一台就是我们一直在谈的大家都很熟悉用来训练 AI 模型;第二台电脑是让 AI 学习技能的地方:你不能让 AI 自己训练好就直接放到实体世界为所欲为,这要在数位孪生里进行。
我们打造了名为 Omniverse 的数位孪生,你们已经听我们讲过很多次其实刚刚就有。刚刚大家看到的所有 CUDA-X 函式库,其实都是在一个数位孪生世界里完成的:那个数位孪生世界就叫 Omniverse。是能接上各种平台和工具的函式库,像西门子、达梭、Cadence 等等。所以大家能看到这些数位孪生系统被打造出来,这就是第二台电脑:
第三台电脑是机器人电脑。以自驾车来说这台电脑整合在无人计程车里,我们称它 Hyperion:包含电脑本身、功能安全系统、主动安全系统,和专为实体 AI 安全设计的作业系统。我们要为机器人系统做一模一样的事:这样每次你们开始投入研究、开发自己的机器人系统时,就不必从零东拼西凑所有软体运算系统、感测器和各种机械系统。
光是那些就得花上好几年,所以我们决定打造一台参考机器人:这是 NVIDIA 与 Agile Robotics 合作的 Agile 1。这台参考机器人明年第一季就会推出,出货时已预先组装好、电脑内建软体整合完成开箱就能有相当好的表现。这是很棒的起点,它会成为飞轮让我们加速机器人技术的发展:
让我用开场的起点来为今天的演讲收尾。NVIDIA 创立于 PC 革命时期那是 1993 年,PC 革命正要起飞。还记得 Windows 95 让它全面加速之后我们发明了 GPU、可程式着色、即时光线追踪,又把 CUDA 加进运算模型助燃了现代 AI 革命。所以四年前我们开始思考能做什么来为这个新时代重新想像个人电脑:在这个时代,个人电脑不只是你的工具而是你的个人代理、你的个人助理。
你与这台电脑互动的方式基本上像一位伙伴,一个帮你完成工作的人:这台电脑需要具备我今天讲的那五样东西。它需要有模型可以在本机跑也可以在云端跑;需要 harness、需要安全的执行环境开放的 shell,而且因为它就在你的 PC 上它需要能存取知识和工具。好消息是 NVIDIA 加速各种工具已经很多年,只要我们能打造出一台电脑能加速 OpenGL、DirectX 和所有 CUDA 的东西。
NVIDIA 做过的一切都能在这台电脑上执行,就是这个:与微软合作四年我们打造出 RTX Spark。这是全新系列的电脑真的有数千个工程人年投入其中,我们秘密研发了四年打造出一颗叫 N1X 的晶片最近才和整个 PC 产业一起正式发表。我们做了桌机、笔电和工作站,它有 1 petaflops 的算力整整 1 petaflops。
做个对比:2016 年我交付了 1 petaflops 的算力、128 GB 的记忆体给一家叫 OpenAI 的小公司。这台也是 1 petaflops、128 GB:唯一的差别是,这台我可以这样拿着,DGX-1 要两个人才擡得上楼。这就是全新的 RTX Spark PC:如果你想要一台能跑 CATIA 等软体的工作站伙伴,以及 Autodesk、Adobe、Cadence、Synopsys全系列。
你随时可以买一台跑 Windows 的 DGX Station,它有 20 petaflops 和 754 GB 的记忆体实在不可思议。当然也有桌上型的版本这些现在全都买得到:我想 DGX Station 搭配 DGX Spark(也就是跑 Windows 的 DGX Station)会在今年年底上市。到目前为止我只谈了代理的五个组件,现在的问题是:你要怎么打造一个代理让它跑在刚刚那些电脑其中一台上?
或是跑在云端、或某处的地端机房:答案是非常简单,做法是这样——打造代理的方法就是请一个代理帮你打造。这就是那段 prompt 它将会执行接下来这个应用:大家即将看到的是这个,你们将看到一个机器人应用。看这段展示的同时记得有个代理正在这台个人电脑上执行:这段展示横跨三台电脑,第一台负责训练第二台是数位孪生第三台则是把 AI 放进电脑本身。
好吗?所以是两个概念:第一个是代理怎么打造、怎么执行、能做什么;第二个是实体 AI 运算模型由三台电脑组成。我们来看看:这是 Microduck,Hugging Face 的机器人。我们用 NVIDIA RTX Spark 教它看东西和走路:我用 Hermes 当 harness,模型是 Nemotron 和 GPT-6 Astra。
加上 CUDA-X 加速的工具:FreeCAD、Blender,还有 Isaac Sim、Newton 物理引擎和 Isaac Lab。一切都在 RTX Spark 上跑大型工作才转往云端:首先,我描述课程内容和 Microduck 要学什么。在 RTX Spark 上,Hermes 和 Nemotron 规划课程列出所有需要的物件:接着由 Astra 接手,用 FreeCAD 建 3D 模型。
用 Blender 上材质再用 Omniverse SimReady 函式库加上物理属性:在 Isaac Sim 里,Astra 组好场景。Astra 帮 Microduck 绑好关节、致动器和连杆,并用 Newton 物理引擎模拟 Microduck 的动作:现在训练开始。在云端上千只 Microduck 在 Isaac Lab 平行训练,每一次跌倒都是一课:
每一次都让策略变得更好。Omniverse 函式库模拟 Microduck 的相机教它看,感知与物理一起运作:我的 Microduck 能避开障碍、穿过狭窄空间并适应周遭环境。我把策略下载到 RTX Spark,用 Nemotron 和 Isaac Sim 做多机器人协同评估我的 Microduck:我把验证过的策略部署到真的鸭子上,它就上路了。
NVIDIA RTX Spark 在你的笔电上直接打造并执行 AI 代理和加速工具:嘿小家伙们!哦是吗?好来吧,来过来这边走给大家看看。你还有相机喔:哦是吗?别绊倒了!你们可以坐下吗?坐下,好站起来睡个午觉。你该睡个午觉了:好站起来!你知道吗?你就是在这里面被造出来的,你是在 RTX Spark 上被创造的。
我知道:然后在云端、在一大堆 NVIDIA 超级电脑上训练你。你的本事就是在 RTX Spark 的数位孪生里学会的就是 Omniverse 数位孪生:是不是很不可思议?我知道,你们也太可爱了。而你们的爸妈叫 Pollen(P-O-L-L-E-N),是这样拼吗?嗯哼:Pollen Robotics 显然大家实在太爱你们了都卖到缺货了。
我知道,所以各位所有正在看的观众去 Pollen 的网站:这场大概会有两千万人收看每个正在看的人都去 Pollen 网站下一笔订单。这家新创好像只有 10 个人左右他们可能会一夕爆红一定会超级精彩:每个人都该有一台,你们真的好可爱。只要有一台 RTX Spark 我们就能教你新技能对不对?
哦你们看太不可思议了:你会翻跟斗吗?太棒了、太棒了哇!我们谈了欧洲要打造 AI 经济一切从基础设施开始:我们也发表了全新系统叫做 DSX Pod,让大家能轻松打造 AI 工厂。而这些 AI 工厂不再只是跑模型:注意喔专心点过来、过来到这边来专心。这些 AI 工厂不只是跑——好你坐下乖:
它们不再只是执行 AI 模型而是执行一整个 AI 代理。这些代理由五个部分组成:有大型语言模型负责感知、推理、规划和行动,并且搭配一个 harness 一起运作。harness 就像它的外骨骼而这个 harness 在我们叫 OpenShell 的安全执行环境里运作:有非常多一起支持它,你再让它能存取知识和工具。
这个代理就跑在这些电脑上但我们还要延伸到下一个世代也就是你们登场的地方:实体 AI。就是这样这就是今天谈的每个人都能打造,欧洲的每一家公司都会变成 AI 公司:毫无疑问每一家都会变成 AI 公司欧洲会有一个蓬勃的 AI 经济。33 年了多么不可思议的旅程,我们做了一支很酷影片大家想一起看吗?
好来过来这边再过来一点就好:我们先让开来吧全速前进、全速前进。这叫我们怎么接得下去啊?不过有一件事能让现场观众更疯狂是什么:你们绝对不敢相信!GTC 直接变成欧洲歌唱大赛了!欢迎来到 GTC,我要感谢大家、感谢在座每一位:
感谢所有赞助商大家看得到在场所有公司的名字。这些伙伴和我们已经合作了 33 年。
MicroDuck,我的新朋友们 让我们携手打造欧洲的 AI 经济,让 AI 投入工作。好了,各位,祝大家有个很棒的 GTC!
谢谢大家。
以上是黄仁勋 GTC Berlin 主题演讲的全场重点整理和台湾角度,我在导读版说明了,连结在说明栏。这支影片开头和结尾的旁白是用我本人声音授权训练的 AI 语音,中文字幕由 AI 辅助翻译。我是宝博,我们下次见。