今天是AI讲座系列的第五期,没有看过前四期的朋友们可以在我YouTube视频上看,把前四期的视频先看完。然后没有看过推特的highlights的朋友也可以在我推特把highlights看完啊。呃,第五期讲很简单的一个事情,今天要跟大家讨论我自己态度的一个转变,以及所有人态度的一个转变。这个巨大的转变是什么呢?就是传统具身智能迎来了一个大的拐点。
在2026年的下半年的时候,大家发现了一个非常重要的事情,就是以前具身智能所有的方向、所有的方法全都错误。今天此时此刻大家可以用GPT-4o加上AI Agent,加LLM Agent、VLM Agent,加上所谓的机械臂的游戏手柄控制的一些小方法就可以实现一个之前具身智能里面要砸几亿、几十亿都解决不了的一个重大难题,就是灵巧手的问题。
那今天具身智能已经几乎要把零巧手(注:应为“灵巧”)的问题有了一个很重大的突破,以及低的成本有很大很重大的突破,而且还在继续往前走。而这种突破是以前传统的矩阵智能(注:应为“具身”)的公司完完全全做不到的一点。所以说今天我们要跟你讨论讨论巨深智能(注:应为“具身”)的问题,你们也知道宇树科技这种老一代的军事智能(注:应为“具身”)公司,我骂了很多遍了。
他炒作、虚伪、虚荣,基础上几乎是没有任何的突破,而且他在实际的落地上在商业上是完全是画饼。所以我今天先跟你们聊一聊上一轮巨深智能(注:应为“具身”)的重大缺陷啊。首先你要知道很多人用reinforcement learning(强化学习)去训练它,去调一个小的模型或者调一些小的filter、小的什么东西,他们训练起来是极其困难的。
你们所有的机器人的公司告诉你,机器人公司就像一个垃圾场一样啊,一堆地上放着一堆的元器件、一堆传感器电机,然后各种各样连着你的工程师电脑。里面不断的去读数据,然后不断的去调试用reinforcement learning训练当然是一个突破但这突破太小了。这个突破不足以弥补传统矩阵智能(注:应为“具身”)领域的重大缺陷,而宇树科技到今天为止也包括中国其他的这些科技公司都没有解决零条手(注:应为“灵巧”)的问题。
所以用它们来训练是极其困难的事情,所有人所有在机器人公司工作过的人都告诉你里面的人基本上没有任何成熟的平台、没有任何成熟的方法。基本上是一个非常难的事情,所以说第一点训练起来是极其困难的。第二点收集数据也是极其困难的你要在现实世界中不断的收集数据然后不断的去训练,然后不断的去调整你的硬件、调整你的电机的参数。
然后怎么样任何一个迭代都会非常非常的漫长,收集数据这一点就已经非常非常的困难了所以说收集数据也是极其困难的。第三机器人的型号各异参数和标注也不同电机和信号全部相同你训练完之后只能用在你这一款机器人上面下一款上面不好意思,你还要重新的去做。而且所有的机器人如果因为信号各异导致你只能做几个任务那最后就像宇树科技的机器人一样每个机器人都是一个大号的遥控玩具。
你只能用几个按钮来做几个任务它首先不通用其次不灵巧跟你们想象的那个全能的超级的无敌的万能的有规划的什么都会的机器人完全不一样。第四点是它成本极高耗时极长人员极贵而且看不到希望如果你人员极贵你可以比如说我花一百个人但是我能带来一万倍的突破我认为好事儿,但是机器人领域呢就是说一百个人我只能带来一百倍的突破。
一百倍的训练工作强度那这个东西我认为它不是一个能够的一个东西,人们在科技行业里追求的是指数级的增长。而如果我需要我做一百款产品我需要一千个人然后十个人做一款,十个人做一款那这个东西完全就是对科技行业的一个错误的一个方向人们认为这个东西没有价值。而且你一直要找很贵的机器人工程师这么昂贵的人招进来你还让他们做非常土的活儿、非常脏累的活儿所以没有办法。
然后呢是Percy Liang的approach(方法),就是他做了一个小号的VLA模型Vision Language Action Model。哪怕是VLA这个模型已经比上之前的宇树科技的方法强一万倍了,但是这么一个模型它的参数依然很小训练起来呢也极其困难效果也非常差。而且到今天为止VLA几乎做不好常见人们期待的机器人的任何的好的项目、好的任务基本上都做不了。
所以说VLA这个方法呢已经有一个巨大突破了人们看到了一个非常有未来的曙光和希望,但是呢VLA这东西长期来看训练它也会越来越难。人们可以为通用的大模型花钱去训练OpenAI和Anthropic,但是人类几乎不太可能为VLA去花大钱因为你的成本过高而你的产出不及预期的情况下人们不会为你花钱的。
所以说VLA这个模型呢让人们看到了一点点的曙光,但是又破灭了这个东西商业化又是摇摇欲坠非常看不到边界。而且VLA这个东西你也要收集数据它还被前几个掐着就是他收集数据还极其困难成本也高。所以说呢机器人这个领域里面想做VLA你可能要等大模型人们都掌握训练目前的头部的模型的情况下你做VLA才有可能,但是这个成本又特别高了。
你要几万张卡、几十万张卡然后需要很多人工程师去搭infra(基础设施)这个东西又又是极其困难。所以VLA这个方向呢也是基本上死路一条。再有一个人类所有的也包括VC、市场、媒体、政府、老百姓、客户他们目前的想法都是企图一口吃成一个大胖子,这个东西就违反科学、违反技术的原理。
就是目前机器人什么都不能做到一口吃成一个大胖子成为超级全能机器人、零巧手通用的零巧手通用的超级大脑。这个东西是完全不可能的事情,你们总是拿科幻片的那些东西来去思考机器人领域的发展而机器人它不是科幻片儿它是实打实的工程。如果做不到这一点那你就只能让它活在PPT里面那就是骗人、那就是诈骗,你连一个往这个方向上的走的技术路线都没有。
而大家现在都在脑子里都在想哎呦我们是不是马上就要到这个这么一个超级机器人儿的时代了那一一直没有到一直在吊着大家胃口。整个是整个行业的一个责任心的问题就是你们在诈骗对吧?所有的公司demo优先于做技术争着融资、上市退出。就是说我们所有的公司都在尝试把我们长处拿出来比如说运动控制拿出来那我们就是做一个翻跟头对吧?
零条手(注:应为“灵巧”)你做不了那我零条手就不做了,所有的公司都是表演翻跟头啊、跑步走路啊、打拳跳舞之类的工作。然后你实际上没有零小手(注:应为“灵巧”)他就不可能用于真正的商业价值里面,不可能真正用于生产和一线的这些客户的需求里面。那什么时候这些东西可以用在一线呢?我就说什么时候这些零巧手能够被中国的江浙沪老板、深圳的老板一台一台买回家去放到你们的设备间里面然后让他们在工厂里面去操作那就是一个成功的东西。
比如说吧传统的机械臂啊,凡纳克(Fanuc)的机械臂啊各种各样的其他品牌的机械臂我们是买回来去做喷漆、去焊接的批量生产的这些任务里面用这个机械臂自由度。他们是已经不是今天已经落到生产线里面了而是二十年前就已经落到生产线里面了这种传统的可编程的机械臂已经大面积的铺开。而所谓的去深智能(注:应为“具身”)这种技术呢到今天为止目前为止没有任何的铺开也不可能通用、不可能超级、不可能灵巧、不可能聪明。
而这些江浙沪和深圳的老板们比任何人都聪明如果你真的有那么一天的情况下他们一定会买回来宁可这个成本和人差不太多他们也会买回来去尝试一下。而今天到此时此刻他们比任何人聪明他们也没有买这个东西好吧。所以说上一轮的巨神智能(注:应为“具身”)的重大缺陷就是这些东西所以几乎来说是一个碰到了一个技术的壁垒这个技术的一个死死胡同。
这个死胡同几乎往前走不了了再往前走的话需要以极高的成本和代价去往前推动了。那么本轮儿的预申智能(注:应为“具身”)从2026年开始他们的特点是什么呢?就是我就以上一代和本轮儿来去指代了啊。本轮儿的重点是首先抛弃了传统极其昂贵且低效率的reinforcement learning(强化学习)的方法。
就是整个宇树科技的技术栈、宇树科技的方法彻底被推翻一个也不用、一个也不留,彻底不用你了昂贵低效率。第二是抛弃了邯郸学步东施效颦的VLA方法Vision Language Action Model。它是一个非常非常好听的一个童话故事但这个东西它落地也很难成本也很高它也非常非常困难。
所以说那我们也把这个邯郸学步都实现,它本质上是我然后我们把LLM、VLM的方法我们加一个action我们就可以了吗?那不是这个意思你要差很远了。所以说你没有足够多的实力和能力的情况下你做VIA(注:应为“VLA”)是不死路一条。所以说VLA的方法也被抛弃了。第三是非常原始简陋的世界模型就是John的Japan(注:应为“Janus”或类似指代,原文发音似Japan但语境为世界模型)。
就是他提出的原教旨的世界模型就是Janus,但是呢Janus这个东西也八字没有一撇那这个东西大家也不用了。还有呢八字没有一撇的其他画饼级的世界模型,世界模型这个东西好我跟你讲世界模型我花点时间讲这东西吧。世界模型是一个非常非常漂亮的一个大的这个童话故事啊,每个人对世界模型都有自己的定义。
有的人说有生成的图像就是世界模型,有的人说生成那个3D就是世界模型,有的人说世界模型必须加上这个运动。总而言之世界模型可能现在世界上已经有二三十种定义了,每一种世界模型的定义都是在画饼、都在赌你自己相不相信世界模型这个漂亮完美的一个故事。
所以说今天大家聊到世界模型跟巨神智能(注:应为“具身”)已经没有任何关系了,哪怕很多公司在模模糊糊的跟你讲我们世界模型解决的问题就是矩阵智能(注:应为“具身”),我们世界模型最后就是矩阵智能里面最重要的一环。不是的,他们都是在画饼也没拿不出任何的你能看得见的东西。所以说今天此时此刻我可以说世界模型的所有公司都是在诈骗,包括你们看到的融资特别特别多都是图灵奖的那家公司也包括你们看到的在北京清华的那个公司。
世界模型全是在诈骗啊,这个东西一定一定是这一点好吧。所以说本轮儿矩阵智能(注:应为“具身”)特点是什么呢?我就告诉你很简单的一点就是用VLM Vision Language Model,就是你们能买到的GPT和Claude它们的模型加上AI Agent。
AI Agent连上什么呢?连上机械臂的手柄function calling(函数调用),机械臂的手柄就是它像一个机械臂一样就是你的机械臂有几个关节我控制关节运动直接进行机械臂的操作。你可以看到场景、看到场景之后让agent直接向小孩们(注:应为“向AI”或口语化表达,结合后文指代Agent)我可以把它类比为一个非常聪明的小孩儿就是你的AI Agent、你的VLM Agent。
一个聪明的小孩拿着游戏手柄盯着电视机就是你的摄像机的一个画面或者几个画面,你在打游戏你的内容是控制机械臂来完成任务。这是目前世界模型的一个呃说错了目前的屈伸智能(注:应为“具身”)的本轮开始的一个最大的方向。本质上就是一个聪明的小孩拿手柄盯着电视打游戏,这个游戏就是用控制机械臂来完成任务。
这个小孩很有耐心因为你的agent你用的token只要你你不欠费你会一直去用它,那你只要没有达成任务它就会一直往上往这么去做。所以说呢这是本轮巨人智能(注:应为“具身”)的一个特点,就是它是一个落地非常快、成本非常低而且我一讲你们都懂的这么一个approach(方法)。这个approach已经实现的效果比之前我跟你们讲的那些乱七八糟的东西都要好了,这是本轮矩阵阵容(注:应为“具身”)的特点。
所以呢我要跟你们讲一讲这个方式做屈伸智能(注:应为“具身”)有什么优点?跟前面比有什么优点?首先成本很低。你不用雇二十个、五十个robotics(机器人)、机械的、电子的PhD博士们。我估二十个五十个博士啊头部的大学的博士你花多少钱?你有多少钱那么少啊,成本很低。
这么做的成本很低呢你只要买一个头部的OpenAI的API就是和那个什么和那个Claude,GPT-4o你就用它的API就可以直接干了。它唯一的成本就是机械臂的本体和成熟的AI inference(推理)的市场零售价格就是你买API的会员和机械臂的本体。它不需要特别特别昂贵的东西,不需要极其昂贵的人员和研发的投资。
只要把这拼起来它就可以干活了你看这就是大模型的一个特点,它会带来各种各样的奇妙的变化。一个聪明的人、你要做一个人的手臂是很难但是你让一个聪明的小孩控制机械臂是很简单的,而聪明的小孩现在又可以市场上批发的去购买它。只要在OpenAI和Anthropic的API就可以购买到了,那这个东西就直接整个技术路线就完全合理化了对不对?
第二是它不需要任何的训练。你当然需要一些skills(技能)需要一些规则,但是它基本上不需要大规模的去训练模型模型的训练。我我把这个写清楚一点啊,不需要你train做任何的model training(模型训练),任何不需要。只需要给agent写规则或者skills正确接入机械臂手臂的手柄的tool calling(工具调用)就可以完成任务。
就是无论是function calling还是tool calling怎么教都可以,就是你只要把手柄正确的接入进来或者你接入一个手臂、或者你接入八个手臂十个手臂,它就可以通过API来完成任务。第三的智力水平非常的强大,强大到足以代偿你功能的缺点。
强大到可以完成极其复杂任务的运动规划比如一件一物的精细雕刻、一件工工的精细雕刻(注:应为“一件工艺”),比如说精密的手术,比如说非常精细的检查探查都是可以的。第四呢就是说你不用担心这个技术的天花板为什么呢?
天花板这个聪明的小孩儿,你不用担心他的智力怎么样小孩儿有人去研究小孩的智力对吧?这会组合探索天花板会有一些agent专门为机器人做的agent,他只要是做软件上的优化就可以了只要做agent上面的一些优化就可以了。同时LM(语言模型)呢你也可以期待OpenAI、Anthropic他们智力水平的迭代和增加。
那么你本身要做的就是说控制以上的东西交给LLM和Agent,控制以下东西机器人和本体。你只要做好接口就是做好游戏手柄、做好电视、做好游戏机你就可以了。而怎么样训练这个小孩儿,怎么样有更智力更高水平的小孩儿这个事情交给OpenAI和Anthropic就可以了你不用管了好吧。
所以说机械臂本体、电视控制器controller(手柄)、模型agent彻底脱钩解耦,你们上面做的好就可以了我们把下面做好我们就可以了。把它们一拼起来它就是一个执行任务非常强大的一个agent,一个一个实际上的一个机器人了好吧。第五一些非常长周期的工作可以实时调整、实时观察、实时更新规划对吧?
甚至我认为这个东西可以有潜在的可能性完成世界上最高的手术就是脑瘤(注:原文“千岛瘤”应为语音识别错误,结合后文语境为脑肿瘤/颅内手术)对吧?为什么脑瘤是最难的一个工作呢?脑瘤不是像数控机床一样我直接切一个东西出来就完事儿了,它需要切一点观察一下、切一点观察一下。
它首先需要非常多的经验对吧?你知道脑瘤这个东西人脑的血供是非常充分的充足的,那么切脑瘤最怕的一点是我不能切到血管。如果切到血管了那你这个脑子不就是等于说你你出事故了吗?所以说脑瘤最重要是不能切到血管,第二是我要把它切干净我不能让它复发。
而人脑的这个脑瘤呢有一个特点,就是说如果你是弥漫性的这种脑瘤那么你这个脑瘤会切不干净或者边缘你不好判断。那么你就需要非常今天中国、美国、欧洲都是一个道理,就是说脑瘤这种工作一定需要世界上最顶级的医生最有经验的医生一点一点切。可能要切五个小时、七个小时的时间就是这个医生就坐这儿坐着,然后就一点一点跟你可以想象就是用耳挖勺儿把你月饼里边的这个豆沙馅、枣泥馅一点儿一点儿的挖出来。
然后可能还有其他的一个馅儿但是你还不能把这个或者你可以这么想就是蛋黄里面有一个豆沙,豆沙里面有一个咸蛋黄儿然后你要把这个月饼切开之后呢你要把咸蛋黄儿一点儿一点儿的挖出来用耳拔勺(注:应为“耳挖勺”)一点一点地挖出来。同时你还不能碰豆沙,你还不能碰其他的有一些血管儿什么之类你还不能碰它难度就是这么高。
所以说它需要极其强、极其强的这种判断的这个能力,极其复杂的规划能力现场有随机应变能力处理危机事物的能力。同时你还有特别精细的手工而这种工作呢我认为如果你用LM Agent加机械臂手柄的function calling是有可能在这个方向上进军的。因为你的LM可以有潜在的能力去判断这个东西好用不好用。
所以说呢我认为就是如果LM Agent加上机械臂手柄能够我先不说切脑瘤儿,我先说比如说缝合一个血管儿或者说我时时的雕一块玉。
或者说就是一件儿一公,我按照它的规则去钓一块儿玉。或者说我比如说做一些需要观察、需要规划、需要灵机应变的一些工作手工活儿,如果他们能把这工作解决掉了,那就证明这个方向已经达到了人类可以达到的水平上。也就是说,人类的手工工业、人类的这些什么东西已经抛弃了,而这个东西更有价值。好吧,就好像一个小朋友拿着手柄做脑瘤那种工作呢?你可以用手柄来完成,为什么呢?因为它不求快,但它求稳、求准。它不像炒菜炒锅那个爆炒腰花,你只有十秒钟就必须出锅。那LM Agent它一定很慢,来不了这么实时的事情,而慢工出细活就切脑瘤。
就是神经外科的手术都是大手术,五个小时十个小时,只要麻醉允许你这么做,你就可以延长更长的时间。那么切脑瘤这个事情就有可能向着这个方向进军。而可能最简单的方式,比如说我切阑尾、缝一个血管或一个小肠儿,如果你做这个事情的话,他能够往这个方向进军,就证明一个初步的里程碑:说他可以进行一些人类外科手术的一些工作和方案。那我认为这是他的优势,就是说首先人类做Robotics的这些工程师,把人脑这些东西都解耦。
然后我用最低的成本把我要做好的这些Infrastructure就是电视机、电脑游戏手柄和环境摄像头给他们架好了,剩下东西都交给Agent,然后让他们操作手柄可能是最好的一个方式。好吧,这是他的优点。同时它并不是完美的,我跟你讲它有什么缺点啊?首先它依然没有Tactile Sensor(触觉传感器),依然不能完美地解决Pick and Place的工作。这个是我之前跟你们反复讲的,就是说灵巧手为什么不能解决的问题?
就是灵巧手如果要解决比如说我这里有一个药、这里把它抓住了,抓住完以后呢,我这里有杯子。如果抓他,这是一个非常生物底层直觉的一个东西,就是小朋友们都会用手抓杯子。一个非常小的小婴儿两岁三岁,你把奶瓶放到他手里也会抓,这是人类低级的反射。而如果你要靠小朋友、靠聪明的人去控制游戏手柄去抓东西,他很难。首先他没有触觉,其次呢我这里要添加一点。
另一个问题就是抓取,如果你要用这个东西强行把这个机械臂的关节放上去没有问题,但是抓取的手关节太多,所以它的复杂度是很高的。它依然不能完美地解决问题。比如说你们知道人手上尺神经、桡神经这种神经,人手是人手这个关节是很多的。如果你们了解一些手外科的一些临床医学知识,去抖音上看上海华山医院方有生主任的科普:人的手的功能由什么决定?
就是说如果一个人基本要完成的话,尺神经桡神经你必须要要有。其次呢人手的神经要能控制至少三个手指,就是五个手指头完成基本的抓取工作。如果五个手指头完成基本的工作,至少三个手指头能完成手工手功能的80%。那么三个手指头抓一个杯子可以完美抓住,两个就不行。最重要的是大拇指和食指中指的功能,大拇指是一定要留的。这是人手作为灵巧手的一个最基本的设计结构。
但是人手你看啊几个关节儿:中指一个两个三个三关节,食指六个关节,拇指八个关节。我需要八个关节来抓它,需要八个自由度。如果我要用VLM来做这个事情呢,我就要添加八个控制器去控制手的关节电机,这个附加都是很高的。你手可以随便抓因为你手是下意识的直觉反应,小婴儿闭着眼睛也能抓住。但你控制手柄如果有八个关节的调整旋钮让你去调整让它抓东西,非常难几乎不可能一点点调也不行。
所以说没有Tactile Sensor、没有低级直觉反馈,工作室不能做抓取和放下来。放下来很简单直接放开就行,但是抓取很难。Pick是简单的但Place是很难的(注:此处口语可能指放置动作中的精细调整或特定语境,结合后文强调Pick and Place整体难点)。所以说如果Place很难的情况下就是抓取这工作很难,你就不太能做人类的Pick and Place的工作。那么意味着只要和Pick and Place相关的工作可能这一代机械臂、具身智能暂时失败概率很大。
比如说切脑瘤的功能可能是九十分,而Pick and Place功能可能是三十分,这就是一个很大的短板。就好像人手没有触觉去抓东西也很难,手神经断裂完全不可能。所以说解决方法呢就是说如果他不能做Pick and Place的任务就不要让他做。解决办法就是把工具死死地攥在手上。比如说我的工具就是拿水杯舀水,那我就先天让手死死抓住它控制期间我就不动他了。
我就只调整胳膊和手腕儿的Rotation(旋转)和Translation(平移),用手来控制这个杯子来做就可以了。或者是我直接把这个东西用螺丝扣在手上,比如说我要做切脑瘤不用手抓着设备我可以焊死在手上死死抓着机械臂上,也可以直接用螺丝安装在手上让它来切、割、挖。所以说没有触觉传感器没有低级反馈,Pick and Place的工作你就不能做了。
但是呢它不代表你不能做任何任务。如果还是那句话人的缺点是人只有两个手,你们看医生做手术一定要三四个五个人。因为再厉害的医生也只有两只手。比如说我要给人修复心脏功能、修复血管搭桥或瓣膜,一定有好几个助手:一个拉钩,一个拿镜子做辅助工作支撑心脏。主刀拿着两个手小刀去切。所以说人手最大的缺点是人只有两只手。
而如果这种机械臂呢?那你可以同时控制八个机械臂,那就太简单了可以一步一步叠着来做。先让第二第三个机械臂把它拉开,第一个第四个切第五个调整摄像头什么之类都可以。所以说这是一个优势:把工具死死焊在机械臂手上不代表它不能完成工作,因为你可以有很多机械臂。不同的机械臂拿不同工具:这个持针器那个镊子缝合,这只手拿着刀挖。
然后这个人手拿钩子,你可以一个Agent控制十个机械臂轮流来工作。那么你的工具焊在手上你就不怕了,轮流的让这几个焊有不同工具的机械臂一点点工作。这就是最大的一个优势:你没有的功能也没有关系,因为你机械臂足够多把五个工具十个工具放到十个机械臂手上它就可以完成工作。
第二呢第二个缺点就是目前LLM的Inference速度很慢,你们都知道它做Coding都很慢文字工作也很慢。如果做运动控制一定更慢目前所有这方面的Demo都是一百倍速度加速,非常小心谨慎一百倍速度一点点迭代提高速度尝试试错。所以呢解决方法就是说这解决不了这个解死也解决不了,可能只能赌未来的LM Inference越来越快、聪明消耗的Token越来越少便宜。就是只能这么做。
第三呢是固定场景下的长期规划手工能力有巨大提升,但是距离强大无敌通用的灵巧手越来越远。失去了幻想和意淫不容易做PPT骗钱。哎人总是觉得我这个手万能什么都可以做,那不好意思那个是PPT里科幻小说电影里的东西语数科技诈骗宣传片的东西非常遥远已经不可能了。此时此刻LLM加Agent加机械臂实打实地工作了,那他绝对不灵巧能做的工作非常有限擅长的很擅长不擅长的欠缺。
那他就和零交手有巨大差别了,所以说他没有幻想和意义也不好骗钱了实打实地要上战场骡子是马拉出来溜溜。你要上场给人展示那你骗人是不行的对吧?这是他本轮儿的缺点啊好那么很多人在推特上跟人辩解,就是说本轮具身智能和数控机床3D打印的区别。最本质的区别是你是智能的它是程序化的,它只能执行G Code所有数控机床3D打印只能执行已经生成的。
哪怕你的G Code可以用LM去生成用Agent去生成,但是它无法根据视觉及时调整反馈。哪怕你可以生成几百份G Code都没有问题但你执行的时候没有反馈你只能按照G Code去执行直接走到去执行。所以呢它适合标准化的小批量生产但它还是批量生产比如做三百个五百个一千个没问题。而Agent控制游戏手柄呢最大的和数控机床区别是做一步观察、一步规划、做一步再观察。
一步再改规划长期改规划短期改规划和人交流,它具有随时修改规划能力以及和人类去沟通、人类批准的能力。比如说我发现切脑瘤有个血管,我能用G Code切吗?不行我没有建模不知道情况。现实中医生活体医生也是这个道理:我切一点儿看一下,发现血管旁边粘了一大块瘤子。怎么做?切一点试一试看有没有破再切一点儿,快收不住了赶紧停手去别的地儿。
所以说切一步观察一步规划一步再等下一步更新。比如脑瘤很多做了99%必须留1%,为什么?那1%是状况外的东西贴着血管了。我预计会留一点但没想到这么多,人们想象不到真正执行任务会遇到什么突发情况:血管比想象中复杂粘连厉害切不下来。那你就允许你不切了,对不对?Agent就有这个能力。
而你标准化任何小批量生产东西都可以用G Code去执行,但是非标准化不能走批量生产、且需要在执行过程中有反馈的这些东西数控机床3D打印完全做不了。只能只能用Agent来执行。那么Agent控制游戏手柄去做一步看一步,这就是它最大的一个区别、操作方式不同。所以说很多人说它就是数控机床3D打印我说不是的。
数控机床3D打印观察不了也规划不了,观察和规划都是离线的。而Agent控制游戏手柄它的观察是在线、规划改变也是在线,这是和数控机床3D打印最大的一个区别好吧。最后本轮具身智能的发展趋势给你们讲一讲,简单讲讲大的方向上我之前AI讲座系列1234期都讲过了这一期就讲具身智能的发展趋势。
一、VLM的高智力高智商可以代偿用游戏手柄做Function Calling/Tool Calling运动控制的所有缺点。不能说所有太绝对了是大部分缺点对吧?就是它不精准也不稳定很难规划上有各种难度。但是只要你VLM有高智力,我的智力水平是你VLA或其他强化学习运动控制的一亿倍以上那我就可以代偿了。我一个小猫小狗抓不了东西,一个聪明小孩控制游戏手柄哪怕有缺点也可以代偿逐渐去代偿。
我做复杂东西规划的东西更简单,所以说VLM高智力可以带上一切缺点。就好像阿斯伯格综合征或其他精神类疾病患者,现实中以正常人形态生活因为他们高智力可以代偿先天问题。你感觉这人有点不一样但聊天很正常,为什么?是用高智力去模仿正常状态。所以说高智力是可以代偿一切的缺点的这是第一点。
第二呢是VLM虽然又贵又慢但是未来可期。Robotics行业以前是我自己开发独立技术路线训练模型找方法,现在不是了:我机械臂手柄电视游戏机和智力决策手柄解耦了。OpenAI和Anthropic培养小孩儿,我机器人领域可以长期吃头部大模型厂商的剩饭了。对于Robotics行业来说就是找着金主了你金主就是头部AI公司我后面长期吃你剩饭了。这个是未来可期的一个方向第三解决它的成本很高难度很大,但是呢它也比之前所有方法都更有前途。
就是它可能能做好但可能会特别慢我不知道Place一定做不好,如果你自己有足够多的时间用手柄来解决的问题聪明的小孩儿他一定能解决。但是他解决起来一定会非常慢,可能要以更高智力来代偿解决这个问题。但是他以比之前做的话都更有前途这毫无疑问第四VLM用游戏手柄控制Tool Calling接机械臂更容易仿真。
就是说如果我机械臂运行在现实物理器件中,而我做之前如果能仿真那么在仿真中我先执行一下看能不能做得更好。我可以有几个摄像头把它三维重建出来然后我再仿真去执行一下,执行完以后再去操作。就好像医生一样我做这一步挖脑瘤之前先想一想哎呦这个能不能做?我先脑子里想一下我挖下来的是什么结果然后再执行。
啊我挖下来了没有问题这一勺没问题再挖下一勺,就是VLM用手柄控制Tool Calling其实更容易仿真。那么就更可以模拟这些专家们在提前大脑中建模之后再执行的这么一个方式,那它就是更稳定更有准儿了。不像那个愣头小子直接上去就切你这个方向是一个很好的方向就是你可以先仿真在仿真中执行然后在现实中再执行。
然后呢是VLM用手机用手柄控制Tool Calling接机械臂和人类手臂有本质区别。记住啊这是我讲的一个最重要的一点:你用游戏手柄控制机械臂和你自己用手一定有本质区别。我用手可能抓东西更方便,我用机械臂呢一定有什么更方便。所以说它和人类手臂一定有本质区别而且它们的功能任务一定会逐渐分化:一定是VLM Agent加机械臂有它更擅长的任务,人手有人手更擅长的任务。
pace,它一定代替不了拧螺丝的人。为什么?或者是比如说代替不了一些工业上的一些基本的工作,比如说他就是需要你在生产车间里把一个什么啊飞快飞过去的一个鸡蛋捡出来,或者是把一个什么羽毛给揪出来。你可以用流水线自动化的方式去检测坏鸡蛋。比如说鸡蛋炸了之后,这个这个里边发现里边小鸡孵出来了,或者鸡蛋臭了,你可以用自动化的方式把它弹出来。但是呢,人手可以抓,而你用VLM加上function calling加机械臂,它是很难做这个工作,因为它做的不好。
所以说人手的工作和机械臂加function calling就是就是本轮具身智能的这个。这个机械臂它一定会有分化。它就好比说人类有人类更擅长的工作,而VLM agent也有更擅长工作。对吧?就人类擅长的工作,有人类擅长的就是人类擅长察言观色,擅长沟通交流。而LM agent呢,有他擅长的工作,他擅长的是coding,擅长的解决系统化的工程、工程化的问题。
那么人类和agent已经开始出现分化了,那么VLM agent加机械臂和人手和传统的工业制造和传统的这个G code控制数控机床,它也一定有一个。长期来看是有一个策划,就是不会说谁消灭谁啊,人消灭机械、机械消灭人不会这样的。而说每个设备每个技术的场景都有它适合的这么一个市场,而只不过VLM agent,它市场会越来越大人类擅长的东西会越来越少。
那人类只能做人类更擅长的东西,而VLM agent加机械臂有它更擅长的工作,那这个工作可能越来越多,甚至可以替很多其他的工作。但是呢,长期来看呢是一定人类还是人类是不会被淘汰的。好吧,相信啊大家要相信这一点,要坚强的活下去你不会被淘汰掉的。
好吧今天就跟大家讲这些嗯基本上我今今天讲的东西跟我之前Twitter上讲的东西呢大差不差。我推断上讲的有更多的东西,而且没有看我之前12347 AI视频的朋友一定要把前四期都看完好吧。一一期二期是讲座系列,三期四期是直播这是第五期第五期就跟大家讲巨人阵容这一个方向好吧。
之前我跟大家讲的数学对吧很几个月前讲的数学的方向后来迎迎来了一波大爆发,讲AI的攻防攻击和防防御又又赢了一波大爆发。今天这个方向你看吧接下来六个月的时间一定是本轮驱车智能VLM agent接手柄接机械臂这个方向的大爆发好吧一定是这个方向。好吧今天跟大家讲这些。