正在行驶的是一辆没有方向盘的车,我正坐在它的驾驶座上,而它也没有任何脚踏板。这就是9月刚在德州奥斯汀投入运营的特斯拉Cybercab,马斯克说这就是未来交通的样子。其实早在我们今年5月中旬去奥斯汀的时候,已经发现Cybercab出没在这个城市的各个地方了。经过数月的测试,Cybercab终于迈入了一个新里程碑。
我们知道特斯拉FSD的发展故事一路上伴随着各种的丑闻、诉讼和质疑,自动驾驶技术还有很长的路要走。“(FSD)还是很失败”、“(FSD)是史上最糟糕的软件”,这样的舆论伴随了特斯拉FSD十几年。所幸,FSD一直没有停止进步,但进步是艰难的。在马斯克这个“抠门”老板的带领下,特斯拉自动驾驶的硬件研发总是反复拉扯、多次推倒重来,直到上线前还在加班修改。他(马斯克)就气的拍桌子,然后就开始F word(骂人)了。
从供应商的决裂、自研芯片的豪赌,甚至团队一度出现了“瞒报与欺骗”。Elon一听这个事就知道:“你们这帮做芯片的人明显就是忽悠我!”Elon就炒了很多人。与此同时,软件团队永远抱怨着算力不够用、人员不足,却在极致的成本控制中倒逼出了极致的技术路线。“你给我10倍(算力)我都能把它用掉。”
这期视频的写稿、采访和制作横跨了几个月,我们对谈了在特斯拉工作十余年的工程师,也去现场体验了特斯拉的无人驾驶车。这个视频我们从硬件和软件两条线详细拆解一下,详细拆解一下特斯拉FSD的进化史。大家不要忘记关注我们频道,也记得给我们点个赞。接下来就让我们进入FSD的世界。
今天是美国时间9月23日,我们从硅谷飞到了德州的奥斯汀,带大家来体验一下Cybercab。我们的Cybercab马上就来了,我们也等了大概8分钟,其实比我们想象中等待时间要短。我们的Cybercab已经到了,“然后Start Ride”。
这是我第一次坐上Cybercab,我自己是Model Y的车主。我之前开过Model 3,但很明显整个车要比Model Y缩水一大圈,甚至我觉得比Model 3还要小。我们坐进来之后发现它只有两个人的座位,我坐在本来该是驾驶员位置的左侧,但这边没有方向盘、也没有脚踏板、没有加速板。说实话心里有点小忐忑。
但我知道在目前的运营阶段,特斯拉有启动安全机制。由于Cybercab采用了无方向盘和无刹车踏板的原生无人车设计,车内乘客在遇到紧急情况时无法进行物理接管。为了确保安全,特斯拉在后台配备了远程工作人员来进行兜底。我也知道星链会进行网络保障,乘客也有一键紧急避险(Emergency Stop)按钮、靠边停车(Pull-over)请求,并自动接通Robotaxi的专属客服。
所以我们目前的安全指数是很高的。截止(2026年)9月22日,特斯拉在美国德州登记的自动驾驶车队(Robotaxi)总数增加到476辆。除了67辆Cybercab之外,其余409辆仍是配备方向盘的Model Y车型。特斯拉的FSD是如何做到目前的程度呢?这一切,要从一个“黑盒”开始说起。
2013年已经成立了10年的特斯拉,开始决定做自动驾驶。而且最初希望合作的公司就是谷歌,但是谷歌高精地图+激光雷达的方案太贵,不符合马斯克的第一性原理。同时谷歌主张一步到位直接做L4,而马斯克认为应该先推出L2再迭代到L4。为此双方分道扬镳,也让自动驾驶诞生出了两条路线并且争论至今。
可是特斯拉当时的状态别说自研了连活下去都费劲,最现实的路径就是先找个现成的供应商。于是他们选择了Mobileye。2014年10月特斯拉发布了Autopilot Hardware 1.0,全车的硬件非常基础:只有1个前置摄像头、1个前置毫米波雷达外加12个超声波传感器。芯片为Mobileye EyeQ3,500MHz频率、256MB的内存。放在如今肯定是不够看的,因为在早期车规的技术上它的局限性非常地大。“这是不得不采用的一个方案吧,因为你没有别的选择。”这是Kerry Liu。
他在特斯拉工作了近12年,参与了能源、自动驾驶、机器人等多个项目,负责AI相关的硬件开发。他告诉我们硅谷101 FSD 13年的研发中间有太多的曲折故事。2015年Autopilot软件正式上线,虽然当时只能实现车道保持、自适应巡航等基础功能,但对于当时的车主来说这已经非常惊艳了。要知道那个时候大部分的车甚至都还没有标配定速巡航,有的人在车里吃汉堡,有的人在副驾睡觉,直接把Autopilot当成了“无人驾驶”。
2016年5月7号佛罗里达州一辆Model S撞上了正在左转的拖挂货车,车主当场身亡。事故发生的原因在于辅助驾驶系统没有识别出货车。在此前Mobileye就警告过马斯克禁止驾驶员双手离开方向盘,但是没有被当回事。这次事故是成了双方彻底谈崩的催化剂。“为什么只是‘催化剂’呢?这里我们先来说说特斯拉第一代的Autopilot是怎么做的。”
自动驾驶主要分成3个流程:感知、规划、执行。特斯拉与Mobileye合作的时候,感知部分算法完全由Mobileye垄断,规划与控制由特斯拉自己主导。Mobileye提供的是典型的“黑盒(Black Box)”模式:摄像头捕捉到画面之后,直接输入到Mobileye的EyeQ3芯片当中计算结果之后,再传递到规划层。
当然这个可能也是当时分裂的原因,因为这个需要你强行两边定义一个接口,然后在这个接口之下Mobileye的内容肯定是黑盒不提供给特斯拉。那这点其实就非常阻碍特斯拉开发,因为有时候你想跨越这个接口或者更改这个接口但你没有这个控制权。所以真正让特斯拉和Mobileye分手的原因是因为合作不畅,此后特斯拉开始一手独揽算法部分硬件系统也有了新的合作商。但是市场却不买账了。
2016年10月距离事故仅5个月,特斯拉发布了Hardware 2.0。这次传感器从1个摄像头变成了8个,芯片从Mobileye换成了Nvidia Drive PX2。你别看这个摄像头的数量它变多了,但是在当时的作用并不大。“我觉得八个摄像头可能是design for future(为未来而设计),就是说你未来可能想要做到全自动驾驶,那你不可能只有前面的摄像头。但就当前我觉得只是要取代Mobileye的功能来说未必觉得是要用到这么多的算力去把每一个摄像头的信息都处理。”
不过很快特斯拉内部发现了Hardware 2.0存在缺陷,于是在发布10个月之后又推出了Hardware 2.5。那这两者的核心区别就是冗余,因为Hardware 2.0是特斯拉第一次用英伟达的方案。当时英伟达也并没有专门针对辅助驾驶做芯片,所以在结构上就是一个SoC再外挂一个GPU。但问题是马斯克当时已经在推全自动驾驶了,得考虑一个很现实的问题:万一芯片坏了怎么办?你得有备用方案吧。所以到了2.5特斯拉多加了一个GPU作为冗余,这就是特斯拉FSD双芯片架构的雏形。
与此同时特斯拉也在6个月内通过自研替代了Mobileye的算法部分,还新推出了FSD意味着和以前大不一样。但是初期表现却没有预期中那样的顺利。“Mobileye已经做了那么多年迭代下来,就算它技术比较落后肯定也还是各方面比较完善一些。你一个新的团队从零到一开始做刚开始有各种问题我觉得也非常可以理解。”不过英伟达芯片也只是个过渡方案,接下来特斯拉FSD才真正开始发力。
2019年4月特斯拉发布了Hardware 3.0,用自研的AI3芯片替换掉了英伟达芯片。其实采用自研芯片是迟早的事,早在与Mobileye合作的时候特斯拉就开始布局这条路了。我们先把时间拨回到2016年,当年1月马斯克挖来了芯片设计界的传奇人物Jim Keller。他在AMD设计了K7、K8架构,在苹果设计了A4、A5芯片,又回到了AMD研发了Zen架构,后来还去了英特尔。
2月Peter Bannon也加入了特斯拉,他的履历同样硬核:加入特斯拉前就有了近40年的计算系统设计经验,曾在苹果、英特尔、PA Semi等公司任职领导了苹果A4到A9处理器的开发。在这两名芯片大神的带领以及三星团队的帮助下,第一款FSD芯片也就是AI3只花了18个月就设计出来了。并且在2017年12月首次流片成功,整个过程非常顺利。“它当时甚至第一次流片出来这个芯片就基本上已经没有毛病了。”
“最后只是稍微小改了一下做了第二版然后就量产了,后面就再没改过了。所以Hardware 3算是一个非常成功的芯片。”因为你要知道做处理器这种芯片,你无论放在Intel、AMD不管哪家公司,一次流片能够做好的那是凤毛麟角。很多芯片第一次流片出来连开机都开不了,而且当时用了14纳米的制程相对比较成熟吧。这款自研芯片的一大优势就是性能强,相比Hardware 2.5采用的英伟达Pascal芯片AI3不仅神经网络算力提升了5倍以上,在其他各项参数上都有了显著的提升。
为什么能够提升这么大呢?是因为这是专为自动驾驶场景设计的芯片,和之前通用芯片架构完全不同。芯片算力不能光看纸面上的参数:像英伟达的芯片因为是通用的里面会包含线程调度、内存访问、分支预测等等任务,在执行神经网络任务的时候实际利用率很难跑上去。而特斯拉定制的芯片专为实际任务场景做了优化,有效利用率能够达到80%。相比通用芯片是提升了50%之多。“2016年确实还没有从零开始设计的神经网络加速器,当时大家都在自己的CPU、GPU或者DSP上增加指令让它们更适合做推理。但没有人真正从底层开始专门为此做设计,所以我们决定自己来做。”
而就在AI3即将量产的节骨眼上Jim Keller离开了特斯拉,由Peter Bannon接手整个硬件团队。先别着急为特斯拉担心,因为在业内看来他的离开早已注定。“我跟他(Jim Keller)一些别的朋友聊天这个事情。大家给我的一些反馈就说:Jim Keller这个人是一个非常喜欢做从0到1工作的这么一个人,他不喜欢做从1到10的事情。他之前无论在苹果还是在AMD都是把这个芯片从无到有做出来,然后在这个芯片做出来之前他就会走。那我想这可能也是为什么他能够愿意来特斯拉的原因,因为特斯拉要做芯片这个事情在当时就属于一个从0到1的事情。”
虽然AI3芯片的开发过程很顺利,但是鲜有人知的是在整套Hardware 3.0量产前的三个月特斯拉内部连轴转到几乎崩盘,而原因竟然是因为马斯克太“抠”了。“Elon他不喜欢招人。其实他到今天为止FSD的这个包括机器人、FSD他的软件团队其实人都很少,他们要同时支持已有的还在量产的Hardware 2.5又要同时写着Hardware 3的这个软件。那他们明显就是人手不足做不到,没有软件配套我们很多东西很多产品的就那个芯片的测试包括很多功能上想要去跑一下什么之类的都做不到。”
“所以当时我就记得印象特别深,我们就是各种hack(魔改),就是自己攒软件、自己写一点什么指令来模仿他们那个软件上的一些东西然后自己跑、自己测。量产的前三个月那时候Elon说不行了必须要开始搞Hardware 3了,整个软件团队就只剩三个月时间。我们硬件团队也要配套做测试:你给他们三个月那就相当于没给我们时间。”
“所以当时就是他们写一点软件我们硬件就配套地相对做一些测试。我就记得那三个月是我在特斯拉最忙的三个月,基本没有休息。三个月可能休了那么一两天、两三天。”用上了自研芯片之后主要带来了两个好处,也就是成本优势和主动权。这背后还有两个与供应商之间的周旋与冲突。先来说说第一个:众所周知马斯克一直都非常在意成本,而Kerry一项很重要的工作就是通过各种手段去逼迫供应商降价。
德州仪器(TI)是车规芯片的一个非常大的供应商,当时在2018年在我们整个车上其实是每年是要用大量的TI的芯片的。那时候2018年年底的时候(特斯拉)都差点破产了,所以当时这个成本的压力其实非常非常大。当时公司提出了就是说希望TI把整个特斯拉用的所有的这些芯片、这些料通通降价,TI就一直不肯答应。但实际上车规芯片的利润是挺高的平均那个时候的利润甚至能做到50%到55%。
“我就把TI这套芯片全部给它换掉,我就换成了ADI同等功能的一个芯片。其实当时要换这个东西的话无论是硬件还是软件都需要做很多测试和开发工作的,但是我就说不管这个必须得换然后我就换了。”
“换了之后TI没有想到这一套芯片对他们来讲非常重要,因为占了很大一部分的营收额。他们直接就开始求我们然后又找我老板就他们的CEO也都跑过来说能不能别换、能不能有什么别的方法。当时采购部门直接就把那个降价表格给他们发过去说:你只要把这个上面的所有芯片通通降价我们就改回来。”
“TI跟我们僵持了大概好几个礼拜吧,最后就同意了。当年的时候一年可以省大概2000万美金。”那对于马斯克来讲实际上是一个非常非常大的成本下降,他当时还特地发信给我们感谢我们。其次在主动权方面特斯拉除了前面我们提到的因为Mobileye黑盒算法吃过亏,就连与英伟达的合作也有一些冲突。
一方面是因为英伟达它的芯片并不是专为自动驾驶而设计的,其实到今天为止你都可以看到英伟达它最新的索尔(Thor)这种芯片也都还是一个通用芯片。他不希望自己被任何一家公司牵着鼻子走,它肯定是不希望被局限在特定的一个功能或者是算力的框架之下。另外一方面则是英伟达团队配合度不太高,这点对于马斯克来说更是无法容忍的。
“(2017年)有些车子有些返修的一些事情当时我们就在想好像是主板上温度是不是有点过高,因为英伟达他们芯片有温度感应器。我们就说你能不能把温度能够给我们显示一下?其实这个事情很简单写一个很简单的几行代码的事情就是写个驱动。英伟达跟我们来来回回扯皮光扯皮就扯了差不多一个礼拜,完了之后就开始问我们要钱说要开通这个新功能请付费。除了付费还要再等一个礼拜。”
“三行代码就能搞定的事情你已经折腾了快半个月了,就这样的一个合作模式基本上就很难往下推进了他(英伟达)也有他们别的核心的产品在车载这块在当年(2017年)真的是很难做效率非常地低。”好,讲完这些小故事我们再回到Hardware 3.0硬件上。它有一个很大的问题就是虽然在2016年设计的时候专为当时常用的卷积神经网络(CNN)做了优化,但是谁都没有想到一年之后也就是2017年出现了一篇改变整个AI史的论文:《Attention Is All You Need》。
2017年6月谷歌发布了Transformer开山论文,后面启发了OpenAI诞生了ChatGPT。与此同时一个30岁的年轻人却离开了OpenAI,他就是Andrej Karpathy。与Mobileye决裂之后特斯拉急需从零开始自研基于深度学习的视觉感知系统,彼时的马斯克还担任着OpenAI的联席董事长。在见识到Andrej的能力之后马斯克决定邀请他加入特斯拉并且直接向自己汇报。“实际上,是马斯克主动联系了我。他找我的那个时机可以说非常合适。”
“那时候我真的开始有些坐不住了,我就觉得这太合适了。我觉得我能做这件事,我觉得我有能力在这里作出贡献。”Karpathy的加入不仅为特斯拉带来了技术上的创新,更重要的是当时特斯拉的自动驾驶正处于低谷急需一位领头人来吸引更多的人才。因为他是一个AI和machine learning(机器学习)的标志性人物,所以我觉得他来首先最大的一个用处是hiring(招聘),就是recruiting(招聘)。因为没有他的话你作为一个top AI talent(顶尖AI人才)毕业为什么要去一个车厂?但是有Andrej可能这些人有一个理由,因为大家可能都上过Andrej的课。
随后特斯拉在2018年到2021年间对算法部分的“感知”模块进行了一次次升级。接下来我们尽量用通俗的语言来讲讲其中的四大升级点。还记得自动驾驶的三大模块吗?也就是感知、规划和执行,相关的基础知识我们在之前的视频当中有详细的介绍。感兴趣的小伙伴们可以回看一下。而Karpathy加入的第一件事就是用神经网络重构“感知”模块,他提出将车道线检测、车辆识别、行人感知这些基础任务都交给深度学习模型。通过海量数据训练让系统自己识别环境,这样面对从未见过的路况神经网络依然能够做出合理判断。
这又带来了另外一个问题:你看系统它又要识别车辆、行人,还要看懂红绿灯、锥桶、减速带还有施工标志等等。如果每一个任务都要跑一个独立的神经网络不仅代码量会非常大,车载的算力也不够用。这就要说到第二个升级点了:就是HydraNet架构。它的设计思路是让所有任务共用一个底层的特征提取网络(Backbone),只在最顶端分叉出不同的“任务头”也就是“Heads”。这样多个摄像头、多个识别任务都能共享同一个算力底座,就像一棵树。
树干是共享的算力底座,树枝是不同的识别任务,各长各的叶子但共享养分。HydraNet不仅提升了计算效率,更重要的是它能针对不同的识别任务单独做微调,不会影响其他的任务表现。第三个升级点是从“看图片”转向“看视频”。特斯拉的早期感知模块更像是一个图像识别系统,摄像头拍下一张照片通过CNN算法依次识别哪里有辆车、哪里有个行人、哪里有车道线。但现实世界是连续变化的,比如说一辆小汽车被驶过的大巴暂时遮挡之后,摄像头在某些时刻可能无法直接看到它。系统就需要结合前后时刻的信息继续判断这个目标是否依然存在以及它可能在哪里,所以特斯拉团队让系统从“看图片”转向了“看视频”,利用时序信息(Temporal Information)学习连续几秒钟发生了什么,并预测物体的运动轨迹或行为趋势。这样系统就能够拥有短暂的记忆能力。
第四个升级点是Transformer加持的鸟瞰图视角,也就是BEV(Bird's Eye View)。过去每个摄像头更多是在各自完成识别任务,相互之间没有多少交流。比如说左摄像头和右摄像头都识别到了一辆车,但是系统并不清楚这是不是同一辆。而现在,系统开始融合8个摄像头的信息,再通过空间变换和多视角融合技术,并且结合Transformer的交叉注意力机制(Cross-Attention),把这些信息统一投射到同一个俯视坐标系中,最终构建出完整的2.5D空间模型。但(BEV)这个创新也不是特斯拉独有的,可能更多的是整个学界因为有更多的funding(资金支持),其实一直在去做这些研究。就有一些工作出来,说我怎么把多传感器融合。有了这四大升级到2021年的时候,特斯拉的感知模块开始真正地理解了整个道路环境。但马斯克又突然决定移除车上所有的雷达,这可苦了软件团队一下又要进入作战模式了。
虽然马斯克很早就说过自动驾驶只需要摄像头就够了,在特斯拉内部看来移除雷达也确实会带来一定的优势。比如说过去融合多传感器的信息时会对算法带来额外的负担,同时因为多了额外的硬件还会增加后期维护的工程量等等。但在2021年5月马斯克决定移除车上所有雷达时,还是让大伙觉得这个时间点很突然。你可能会问是不是因为内部团队早就做好了测试或者技术已经足够成熟了?我们刚开始也这么认为,但是Kerry告诉我们真实的原因其实也非常地现实就是供应链的问题。当时是因为疫情毫米波雷达供不上货,毫米波雷达我们的供应商是Continental(德国大陆集团)Conti。然后后来当时好像是谈崩了吧,当时疫情的时候基本上采购团队反正大家都供不上货。只要是这种核心的供应商如果他们供不上货,采购的这个团队就会升级到Elon那边让他去跟这些供应商的CEO直接通话。有的供应商非常配合,有的供应商就不配合也许是觉得我们的量不够多或者说他们有更重要的客户。基本上这种不配合的供应商就都被拉黑了,Elon就直接就是说OK你既然不给了那我也不跟你谈了直接不要了。
在此之前马斯克早就催促过软件团队尽快在算法中去移除毫米波雷达,但是受限于软件团队人员不足这件事情就一拖再拖。所以疫情相当于是一个催化剂。去掉雷达之后测距精度会大幅度降低,为了弥补回这些信息只能通过纯视觉来预估速度。软件团队也就进入了新的作战模式因为雷达对速度的估计会比较准而且对天气情况也没有那么敏感,所以很多人是反对(移除)的。虽然移除的过程让团队吃了不少苦但是根据一些员工的回忆这件事情却鼓舞了团队士气因为这不仅验证了团队的能力也证明了马斯克的方向是对的。没什么比员工对老板的信任更加重要,移除雷达还只是第一步更重要的是如何只通过摄像头去构建出三维世界的模型。
在14个月之后特斯拉发布了这个技术,我们前面说到2021年特斯拉发布了2.5D的鸟瞰图而到了2022年的AI Day鸟瞰图变成了真3D。这背后的关键技术就是占用网络(Occupancy Network),它会把周围的空间划分成无数个立体小方块被称为“体素”(Voxel)。如果某个地方被体素占据就代表那里有障碍物。过去很多时候是用一个物体框是一个长方形来表达物体,但很多物体比如说一个公交车它有两节它拐弯的时候它是一个非长方体了。还有一些可能是其他形状的物体你一定要用长方形表达它就有损失信息的损失。对于这个规控模块比如说有个挖掘机它的臂可能能伸得很长,臂又有一定的高度有时候你是可以从它下面开过的但如果臂比较低你又不能从它下面开过。如果你硬要把这个挖掘机表达成一个2D的东西就很奇怪,Occupancy Network显然是更宽泛的表达形式因为它是3D的。这样一来系统不再需要“认识”每样东西就能够实现避障。
但是有一个问题训练Occupancy Network需要海量的真实数据去作为参考也就是“Ground truth”。在训练的时候需要告诉网络这个体素它被占了那个体素是空的。传统的方法是用激光雷达的点云去做人工标注,但是特斯拉量产车上没有激光雷达该怎么样去训练呢?因为过去为什么大家不做这个任务也是因为你没有ground truth(真值),因为你神经网络要学习需要有个标签。但你要说打这个3D的这些所有的occupancy(占用)的标签,这个是非常昂贵的。一种方案就是你去标激光雷达的点云但一是特斯拉也没那么多点云因为它没有LiDAR(激光雷达),其次你就算去标那个点云也非常昂贵因为你要人去把整个那么复杂的3D场景每一个点是属于哪个物体全都标好这个的cost(成本)可能是标物体框的10倍甚至更高。也是我觉得可能算力到了一定程度能够支持这个(事)。
其次比较关键的是特斯拉内部也有一套自己的标注系统,它有这个自动标注的网络它就可以通过自动生成标签的方式生成很多ground truth(真值),这样也支持了他有能力去训练这么一个Occupancy Network。你别看马斯克一直鄙夷使用任何雷达,特斯拉内部还是有一些特殊的车辆是配备了激光雷达的为的就是去采集ground truth(真值)让自动标注系统更加准确。所以以我们为例,我们做了大量的人工标注但我们也在探索一些方法不用人工标注就能用这些数据训练。或者你可以用传感器,用昂贵的传感器为数据提供更多信息比如你可以让几辆车在外面跑搭载雷达或者激光雷达或者任何你想用的其他传感器组合让它们提供关于场景的额外信息。这些信息就可以作为计算机视觉的标注。经过以上一系列的算法更新车上的算力越来越捉襟见肘,特斯拉内部也开始着手研发Hardware 4.0。而这次就不像当初3.0那么顺利了,内部经历了各种的反复拉扯为此马斯克是急得又是拍桌子又是骂人。
2020年Hardware 4.0项目正式启动,上一次2.5升级3.0的时候只是在主板上换一颗芯片并且新增安全冗余其他结构都大差不差。但是这一次是全系统的重新设计,当然这也意味着使用Hardware 3.0的老车主无法再像之前一样免费升级下一代的硬件平台了。(不能升级)很简单一个道理电路板已经装不下了因为Hardware 4的芯片变得更大整个内存要占用的位置也更大,内存也更多了功耗也变得更大了。所以那个电源的芯片也会变得更多电源供电那些线束接口也不可能跟以前一样了。正是因为改了太多的东西Hardware 4.0的研发过程不断爆出各种矛盾,我们就先来聊聊摄像头。
在摄像头方面有两个很大的改动第一个是像素从120万提升到了500万。你可能会觉得这也太抠了吧手机动不动都到1亿像素了,500万能干啥呢?这背后其实有不少的考量。首先车载摄像头更看重稳定性比如说耐高温、抗震动、动态范围还有寿命等等才是优先考虑的因素。其次对于车来说能够看清一定距离就够了再远也没有更多的意义,而且车载摄像头更看重的是帧率它的帧数越高对应急事件的反应就越快。第三随着像素和帧率的提升对于整个系统的数据传输计算量还有电气设计都带来了很大挑战,这也意味着不能无脑去堆像素。但是等到Hardware 4你都已经要做到5个megapixel(百万像素)了,摄像头这个CMOS sensor(传感器)的功耗就变大了你这个电线就会要求变得更粗。实际上这个就是变相增加成本而且也不利于信号的传输,摄像头出来的这个信号要传到处理器在车的中间这么个部位它可能是有1米、2米甚至3米的距离。远距离的这种高速信号传输的话你就不可能做到说是像手机那样做一个什么1亿像素的摄像头那是不可能的,数据量太大了。帧数越高的话那你的数据量也会相对地越大。
第二个改动就是摄像头的位置分布有所变化,原本在特斯拉前挡风玻璃那儿是有3个摄像头的升级到Hardware 4的时候却被马斯克砍掉了一个。当时开会说定摄像头分布的时候Elon又是很简单第一性思维对吧为什么要放那么多摄像头人就两只眼你放那么多摄像头干嘛?你要是跟他意见不统一的话他就气得拍桌子然后就开始F word(骂人),我们就没有人敢说话了。这一砍还真出事了因为以前车上还是有毫米波雷达的可以探测前向距离移除雷达之后前保险杠的位置就成为了盲区。比如说在一些停车场景可能就会撞上,所以我们当时开会的时候我们推荐的是如果前面是两个摄像头那你最好在车头那个位置再放一个摄像头。这个事情在Elon眼里就觉得这东西你只要你在入库之前(扫描记忆)你人开车你也看不到你那个车头下面有什么东西对吧。他的这个说法也有道理因为人是有记忆的,但实际上车在这个判断上面它其实没有想象得那么简单。这个记忆是需要有一个模型专门去训练这个东西的,于是我们也看到从Cybertruck开始特斯拉又在前保险杠的位置重新加上了摄像头。Elon他这个人就是这样就很多事情他自己会有一些非常强的判断但是他也能意识到他的这个判断可能不一定是正确的。但是特斯拉公司的好处就是非常快地去能够弥补或者是更正这些东西,他是能够接受他(马斯克)不会说是不愿意接受自己的错误。
原本在Hardware 3.0的时候特斯拉就用上了两颗算力72 TOPS的AI3芯片,而到了Hardware 4.0上单颗AI4芯片的算力已经翻倍。但这时软件团队跑出来说你看我要做到真正的自动驾驶就得把模型做得更大,算力肯定得更多。还用两颗芯片怎么能行呢?当时软件团队也是一开始跟Elon说两个不够只要有三个他们就能把FSD做出来。然后Elon说好没问题他说他相信他们,然后我们就真的把这个东西(三芯片主板)做出来了。三芯片其实在架构上是相对非常复杂的因为它涉及到冗余的一个判定的问题,因为双芯片很简单一个坏了另外一个接管。那三芯片就涉及到到底谁接管的它这个逻辑上判断就会变复杂很多,当时也是做了各种各样架构上的设计安全冗余包括供电、包括信号的这些传输。但硬件团队设计完成之后拉扯又出现了,直到量产的前一两个月项目管理的经理说了一句说我们到底用两个还是三个。然后Elon就听了这个事情说他突然想起这个事情了,估计也可能是finance(财务)的人就是CFO可能跟他提过这个东西他就可能觉得不对这个事情不能用三个用三个太贵了。软件团队一听说我们都已经定好用三个了这个我们都已经开始做研发了你现在说改回两个。然后Elon就说好我已经下这个决定这是最终决定谁也不要再跟我商量这个事情了就不用再讨论了就是两个。然后这个时候我们又赶紧回去把那个板子重新设计改回两个因为马上就要量产了。根据内部人士透露直到现在特斯拉团队依然在争论要不要加更多的芯片,为此Kerry也是小小地吐槽了一番软件团队他们内部有句玩笑说新的芯片才刚刚设计好,软件团队就已经想好怎么全部用掉了。算力肯定永远都不够用你给我10倍我都能把它用掉,这也反映了另外一个问题就是模型其实有很多可以优化的空间。在我看来我觉得不是那么的合理做模型的这帮团队反正至少特斯拉情况就比较明显因为人手太少了大家更多的是把这个模型做得大把精力放在这个事情上面而没有说真正地去专门找一拨人去优化这个事情。
除了芯片数量的拉扯在芯片研发上AI4也不如AI3那么顺利,前面我们说到在第一次研发AI3的时候有部分是三星来帮忙设计的所以到了AI4的时候特斯拉依然选择了和三星合作。而问题就出在这了由于当时三星已经他们在外面已经接了很多生意了所以他对我们的服务就没有Hardware 3那么好。所以Hardware 4整个schedule(日程表)其实是有比较严重的delay(延迟),芯片做出来的效果也不是那么的好。流片大概流片了三、四次这也是跟我们有关就是跟特斯拉也有关系用了GDDR这个内存大家都没有用过在设计上遇到了很多困难。这就有个问题了为什么特斯拉当时要抛弃成熟的方案选择在车载端不成熟的GDDR内存呢?随着自动驾驶的神经网络模型越来越大AI3的芯片性能开始跟不上,而真正卡脖子的却是内存带宽。你可以把芯片想象成一个超级工厂那算力就是工人的数量而内存带宽则是把原材料送进工厂的高速公路。那如果工厂里面有100个工人但是高速公路一次只能运进20个人的材料那么剩下80个人就只能站着发呆了。所以随着模型规模以及数据量的提升自动驾驶对于内存的带宽需求也越来越大,于是马斯克看上了GDDR内存。
我们来简单科普一下不同的内存,内存大致分为LPDDR、DDR、GDDR、HBM这些种类带宽依次提升相对应的功耗也更高。此前特斯拉用的是LPDDR常用在手机笔记本上,而马斯克为了追求更高的带宽选择了游戏显卡常用的GDDR。这个思路出发点可以说是正确的但是受限于行业成熟度实际研发的时候带来了不少的挑战。GDDR我们当时拿到一看就发现它的功耗其实非常的高而且没有什么厂商做这个东西尤其车规的也是第一次放在车上而且还是我们的自研芯片而且还非常的小众,功耗特别大价格也比较高。所以用了这么多年Hardware 4你可以看到其实它的内存的容量就成了一个瓶颈因为没有人去给车专门提供大容量的GDDR。因为特斯拉是唯一一个公司在做这个事情所以不可能因为特斯拉去让美光或者是三星专门研发一款大容量的GDDR去给车规用的。其实特斯拉现在内部一直都在做这个Hardware 4.3把它改成用LPDDR然后就是说牺牲一点点带宽但是提高这个容量因为他们的模型现在已经越来越大了所以可能在不久将来你们应该看到车上会装这个Hardware 4.3。在当时也许有别人看出来但是别人没有一个人愿意提我是唯一一个提出来这个事情的人,但是没有人愿意听我的。但是我觉得这个应该是当时的一个决策上的失误吧。
虽然Hardware 4.0的研发过程充满了波折但是最终在成本控制上依然非常符合马斯克的作风。根据Kerry的透露整套硬件的成本甚至比MacBook Air都要低很多基本上就是个普通iPad的价格。而且随着技术不断地迭代成本还会继续降低,特斯拉在这个事情上其实更新换代、迭代速度是非常快的。你外观上可能看不出这个车有什么变化但实际上这个车每隔几个月里面的东西都会有一个非常大的变化。在性能维持不变的情况下成本降低,额外说一句特斯拉自研的芯片不管是AI3还是AI4除了被用在车上还被装进了服务器里进一步平摊了研发成本。(车和服务器)其实芯片都是一样的只是在电脑(服务器)设计上可能有一些区别接口包括一些信号传输上面有一些区别。和主打训练的超级计算机Dojo不同使用AI4芯片的服务器主要做两个方面的工作第一个是叫做Pixel Injection(像素注入),这个名字听起来有点抽象我们可以换个说法把它理解为类似世界模型的仿真环境通过生成各种虚拟场景来训练自动驾驶模型。而第二个就是推理验证特斯拉会把真实道路上采集的视频数据回传到AI4服务器里让它模拟FSD系统在当时场景下会怎么去决策。然后把决策结果和当时人类驾驶员的实际操作做对比用来迭代下一版模型。Hardware 4.0在2023年2月正式装车,可惜的是它上车还没多久又要“过时”了因为它设计得比较早没有针对Transformer去做优化。那你可能就要问了为什么Transformer优化如此重要呢?因为这一次特斯拉推翻了此前的所有代码推出了端到端。
2022年7月,Andrej Karpathy离开了特斯拉,由软件团队的创始成员之一Ashok Elluswamy接替他的位置。一时间外界纷纷猜测特斯拉在算法上遇到了困难,股价也应声下跌。“我算是逐渐让自己进入了一个有点偏管理的岗位,但从根本上说,这不是我喜欢的工作。但我觉得到了这个阶段,我已经把团队搭起来了,感觉它可以自主运转了,而我成了一名管理者。而我想做更多技术方面的事情。”确实,如果按照当时的路线发展下去,Karpathy的工作将是不断地优化已有的路径、日益重复。
但是他没有想到的是,年底GPT 3.5震惊了整个世界。当时马斯克刚刚收购了Twitter,想从特斯拉抽调一批工程师去优化推荐算法。其中的一名工程师名叫Dhaval Shroff,然而他并不想离开特斯拉,于是他告诉马斯克自己正在做“车用的ChatGPT”,也就是用神经网络替代所有的规则算法,让系统通过模仿人类的驾驶行为学会自己开车。
这样一来,即使面对没有见过的场景,系统也能够自己避障,必要的时候还能做出类似人类驾驶员的灵活判断。比如说压实线避障,这和过去呆板的rule based(基于规则的)方案完全不一样。Shroff的解释瞬间击中了马斯克,甚至马斯克都开始畅想着要做一个像《007》电影一样的场景演示。于是Shroff是留了下来,后面就是我们听到的特斯拉推出了“端到端”(End to End),把之前的30万行代码精简到了2000行。
我们采访了特斯拉前AI软件工程总监Srihari,他过去负责特斯拉Robotaxi和Optimus项目的AI工程团队以及软硬件协同设计团队。前还因优化特斯拉车载AI计算机的性能被马斯克点名表扬,称没有他们团队Robotaxi将无法实现。Srihari回忆说,端到端的探索在ChatGPT出现之前就已经开始了,而ChatGPT可能加速了这个进程。
“在ChatGPT出现之前其实就已经有了一些尝试,去尝试类似的想法和类似的方法。我觉得可能是ChatGPT加快了其中一些尝试的进程,让我们在某些方向上加大了投入。”但他说:“我们早就在尝试也已经研发其中的一些部分很久了,算是在逐渐走向那个方向。”好的,我听说当时是一个很小的团队在做这件事。“对,有多少人?我记得人确实很少。”
2023年8月底,马斯克在自己车上用手机直播了FSD端到端的第一次公开演示。当时他随机在地图上标记路径点,证明这不是预先规划好的路线,然后车就自己开始行驶了。虽然中间闯了一次红灯被嘲笑了很久,但是在一些业内人士看来这样的表现已经非常好了。“我其实还是挺respect(佩服)的。因为作为一个全新的技术路线,能做到这样的程度实际上已经是有很强的信号了。”
2023年年底特斯拉内部员工开始批量地收到端到端版的FSD V12推送,直到2024年1月正式面向普通车主推送。虽然特斯拉确实是第一个将端到端落地的车企,但这项技术理念并不是特斯拉最先发现的。早在2016年就已经被英伟达提出了,甚至在学术界这个概念在1989年就有了。
那关于端到端的各种技术原理有什么优劣势以及各种drama(戏剧)故事,我们在《自动驾驶》这期视频当中有非常详细的解释。感兴趣的话可以回看一下。那这期我们就不多赘述了,不过当时我们采访的时候嘉宾们对于一点提出了很大的质疑。那就是既然FSD V12是一整个神经网络,那么BEV上的显示输出是如何来的呢?
这次我们还额外(匿名)采访了参与开发的特斯拉算法工程师,他就这个问题提供了他的解答。特斯拉在整个神经网络的中间额外分出了一条任务也就是“head”,去专门显示鸟瞰图。在推理的时候这个分支就像阑尾一样,除了显示之外是没有参与其他功能的。说到这个“head”是不是很熟悉?就是我们前面讲HydraNet的时候用到的架构。
值得一提的是,尽管FSD V12几乎彻底重写了底层代码,但是其中也复用了不少以前Andrej Karpathy用神经网络重构感知模块的思路。“并不是说好就把我们之前付出的努力全都扔掉。比如我们构建的那些网络和方法,为了更好的物体检测、占用感知等可以说它们就像是种子为我们下一步想做的事情打下基础。”所以这些工作也一直对下一步有帮助。那我们再来解析一下这两年来FSD又有了哪些新的进化呢?
2024年11月特斯拉推出FSD V13,它增加了模型参数提升了接管里程(MPI),新增了“车位到车位”功能。同时模型还对AI4芯片进行了优化,更重要的是V13让摄像头捕获的光子信息不加任何前置处理直接输入到模型当中。不仅减少了从输入到输出的延迟,还能让模型理解场景、预测每个物体之间的关联从而开起来更像人。
减少了卡顿、犹豫的表现。此外V13还提升了摄像头输入画面的帧率和分辨率来解释一下,虽然之前Hardware 4.0更新的时候摄像头已经提升到了500万像素。但是受限于算法模型在感知的时候并没有完整地利用全部像素,摄像头的像素用上多少这个是算法完全可以自己控制的。那如果说FSD V12是为了验证端到端的可行性,那么V13的目标就是简化控制栈让模型运行得更有效率。
那这版更新甚至被内部工程师比作成SpaceX的猛禽V3火箭那样“clean”(简洁)。在特斯拉我们优化的目标是每瓦功耗的智能水平,因为车里只有一台很小的计算机。你要怎么让它发挥出尽可能高的智能?所以我们投入了很多工程工作在推理这一侧也在训练这一侧。你怎么才能真正把尽可能多的智能塞进它里面?能不能做到?
所以我觉得我们投入的这些工程工作确实让我们的这些模型更新带来了非常显著的提升,在模型迭代上取得了更大进展。所以这涉及训练也涉及推理还有所有的工程、数据、基础设施以及围绕这些展开的一切,为的是真正构建更好的模型让每瓦功耗提供更高的智能水平。到了2025年10月特斯拉直接跳过了FSD V14.0推出了V14.1。
马斯克称这是继V12之后的第二大更新,模型参数提升了10倍让Robotaxi技术第一次大规模回流量产车的版本。还引入强化学习训练、升级视觉编码器并且重写了底层AI编译器等等。“我觉得FSD V14主要是在进一步增加加大对缩放定律这条路线的投入,加大投入看看我们究竟能做到什么。”因为正如我刚才说的我觉得整个物理AI领域是一个新领域。
也就是说没有关于缩放定律的文献也没有关于这些问题的相关文献,你要怎么真正构建出一些东西去展示到底有哪些可能性?所以真的是这样我们必须发明一整套技术栈才能让这件事在物理AI领域真正运行起来。那你要怎么对这些部分进行协同设计?因为很多已有的研究文献都是为了让它适用于比如Transformer或者自回归Transformer之类的。
但我们必须找到自己的架构让它真正运行起来。用一句话来总结V14那就是继续提升模型规模,打个不那么恰当的比方就像种一棵树。V12的目标是验证这棵树是否能够存活;那V13是剪掉一些不影响生长的枝叶;而V14则是继续地施肥让树长得更高。我们也确实看到此后FSD的表现是有了不少的进步,比如说2025年年底的时候一辆Model 3从加州出发。
经过两天的行程驾驶了2700英里到达了南卡罗来纳州,全程使用FSD V14而且没有一次人工干预。此前端到端一直饱受诟病的是它是一个黑盒模型,工程师难以验证它到底学会了啥、如何思考。而且端到端网络输入的是上亿个Token,最终只输出了两个动作也就是转向和加减速。这样巨大的压缩比会让神经网络学到“虚假相关性”。
比如说在一条训练素材中驾驶员在行驶时减速是因为看到了前车刹车灯,而模型却误以为原因是看到了旁边摇晃的树枝。在最近的几次分享当中特斯拉的AI软件副总裁Ashok Elluswamy就介绍了他们的解法。在训练数据方面虽然特斯拉有海量人类驾驶视频,但大部分是无聊的高速巡航。如果全量收集再筛选成本会高到离谱。
所以特斯拉在车端部署了筛选器只将那些高价值的片段上传训练,比如说各种极限反应、复杂路况或者遇到了特殊车辆等等。这样不仅能够节约成本还能够让模型学到更多危险场景。在可解释性方面特斯拉会让网络在训练过程中额外生成一个3D世界表示,也就是前面我们提到的让模型在其中一个节点输出自己构建的场景。
用于检查模型到底关注了什么、是否建立了正确的空间关系。那在可验证方面其实就是我们前面说到的AI4服务器的作用了,用另一个独立的生成式神经网络不断生成模拟现实的环境也就是世界模型。同时把训练好的FSD算法放到这个模拟环境当中让它在里面驾驶,模拟环境会不断引入各种变量。
比如说把曾经让系统犯错的片段输入验证新版本是否修正,或者注入新的极端场景测试FSD的极限反应。最后这点看上去很像传统的仿真系统(simulation),但是在最近大火的世界模型加持下已经有了很大的不同。传统仿真主要靠人工建模,比如说工程师手动搭建场景、定义物体编写物理规则然后再用渲染器把它生成画面。
而最新的趋势是用世界模型生成场景,就不再需要“建模-渲染”两个步骤。模型可以直接生成每个传感器看到的内容,那它的flexibility(灵活性)肯定是更高的,它的potential(潜力)也比较高。因为它可以把两个步骤合在一起它可能基于一个已有的视频去延续这个视频之后的rollout(推演),它可以把所有的建模都合并在这一(神经)网络里面。
但是基于世界模型来训练的仿真环境有两个很大的挑战:第一是硬件性能,因为需要实时渲染场景对计算资源要求极高;第二是模型表现必须要确保模型生成的世界足够真实,每项输出得和真实世界的演变有很强的相关性。比如说当你右转的时候可能有行人在过马路或者影响其他的车辆,这个时候如何按照现实世界来模拟这些车辆和行人的反应呢?是非常棘手的挑战。
在最新的FSD算法中输入到模型的不光是视频数据,音频也会参与到决策当中来。目前主要是用来识别环境未来还会融入到车辆控制当中。“我们有自己的音频模型,目前它不是用来做自然语言交互的。它更多是用来你知道的理解车周围的各种声音比如警笛、应急车辆之类的声音。”但在未来是的,我们会全面集成语音控制指令用这些指令来控制车辆。
所以这背后的思路就是人类所感知到的各种输入我们能不能也把它们提供给AI,然后你就能开始看到改善在这些信息有用的场景中。除了量产车之外端到端的FSD还让马斯克有了更大的信心去推出Robotaxi。“我们的自动驾驶未来已经到来,正如我所说我们有50辆特斯拉在自动驾驶。”
2024年10月特斯拉发布了Robotaxi,没有方向盘、没有踏板完全为无人驾驶设计。而真正的Robotaxi服务直到一年之后才开始落地,2025年6月特斯拉在奥斯汀启动了Robotaxi试点初期只投入了10到20辆Model Y的测试车。在硬件上特斯拉所有的Robotaxi不管是Model Y还是没有方向盘的Cybercab都和量产车没有任何的区别,没有任何的差别。
只是在安全冗余上当时针对Cybercab做了一些硬件安全冗余上的优化,但是这个优化后来也都已经放到所有的(量产)车型当中了。而关键的区别在于软件上,一方面Robotaxi的软件版本相比量产车更新得更频繁。“我们现在在坐的(Model Y Robotaxi)的算法或者是FSD其实是会比我们现在自家车里面用的FSD会稍微的比较先进的那一款。但并不是完全的两个技术它们是基于同样一个大树上的。”
现在的这个模型它就是比如说放到我们现在开的特斯拉上面它其实也还是L2,但是它这套模型放在现在我们在坐的这个Robotaxi里面它就是L4。对或者说这几辆车它的能力足够了,同时它也获得了政府许可的L4的运行资质。可以说Robotaxi所运行的软件版本是特斯拉内部最新最强的,只有经过长时间测试稳定之后才能够推送到量产车中。
这就带来了一个问题就是如果最新的软件测试出问题怎么办呢?所以另一方面的区别就是Robotaxi是额外引入了远程监管机制。在乘坐Cybercab的过程中我其实对安全问题没有那么担心,因为我知道目前的阶段马斯克和特斯拉一定会最大努力的保证每一辆车的安全。但真的等Cybercab扩张到几千上万乃至数十万辆的规模的时候,如何在保证安全的情况下快速扩城才是最大的挑战。
这也是外界对特斯拉扩城速度的质疑。“那现在我们的这个车应该是有远程监管的,我推测可能是有人在看着我们的。”在最早进行的时候在他们的战备室里面就可以看到当时他们最早的几辆车大家都是随时在盯着他们的。其实每一公里的今天此时此刻的成本可能是非常高的,因为它也包含着后面在盯着我们这些人的工资。“对当然在长期的情况下当它能够证明自己足够安全的时候那么特斯拉应该就会考虑说把这些人工的比例减少然后把这个成本拉下来。”
从奥斯汀上线后的一年时间特斯拉已经陆续在加州旧金山湾区、内华达、亚利桑那等多个地区获得不同条件下的运营许可。虽然不同地区因为法规不同进度有所差异,但是总的来说测试和扩城都在快速地进行中。在Srihari看来现在特斯拉Robotaxi的挑战中技术已经不再是问题了。“总体来说我觉得这已经不再是一个技术问题,这似乎主要涉及验证与监管。就目前的部署阶段而言你能多快部署、你怎么获得反馈、你又怎么改进这个部署过程?因为说到底这确实是一个扩大规模的挑战。
而且要在不同的地理区域扩大规模,问题是:谁有合适的基础设施能真正更快地扩大规模?”不过想要更好的体验还得看下一代的硬件,因为FSD V14所运行的Hardware 4.0又一次接近瓶颈了。那么最后我们来聊聊即将发布的AI5芯片的研发内幕,这次的难度比AI4还要更大内部还出现了对马斯克的瞒报与欺骗的行为。
2025年8月一条消息在AI圈炸开了锅,号称“全球最快的AI训练计算机”Dojo项目被叫停了。同时马斯克解散了Dojo团队,要知道Dojo曾经被马斯克视为特斯拉AI的核心基础设施甚至被华尔街视为价值数千亿美元的潜在资产。这一举措不免让业界怀疑特斯拉还有训练AI的能力吗?而马斯克解释称因为AI5、AI6芯片在训练方面表现也不错可以直接让自研AI芯片用到训练阶段。
因此没有必要浪费资源重复投入到Dojo上,可以看出后续的AI5、AI6芯片关乎着特斯拉模型的成败。然而亲身参与AI5研发的Kerry向我们透露说这款芯片的研发遇到了巨大的挫折和隐瞒,甚至Peter Bannon的离职也与此有关。那故事要从AI4的研发开始说起,前面我们提到当时AI4由三星来合作设计。
但是双方配合的时候产生了很多摩擦,于是到了AI5的研发上特斯拉决定停止与三星合作。当时特斯拉的硬件负责人也就是我的老板叫Peter Bannon,他就做了个决定:“从AI5开始我们要做完全自研就不再使用外包服务了也就不再使用三星了。”那跟三星分手以后我们的团队明显是不足以来支撑完全自研这么复杂的芯片的一个项目。
这个决定从战略上看是对的,毕竟只有完全自己掌控设计效率才最高对吧?非常符合马斯克的作风。但是在执行上却出了问题,一方面人手不够虽然特斯拉为此新招了很多人但是和三星这类几百上千人的芯片设计团队相比数量差距还是太大了。另一方面经验不足就算特斯拉的工程师都很厉害但是从来没有完全靠自己做过一颗芯片,此前Hardware 3和Hardware 4的芯片都是由三星深度参与。
现在自己单干起来很多环节都缺乏经验,在这两个因素下AI5的研发进展非常缓慢。而更致命的是其中的项目主管在工作中还存在着隐瞒与欺骗,当时也跟这个项目在德州那边的主管有一定的关系。就是他相当于隐瞒了很多研发当中的一些困难,他其实遇到很多困难但他没有真实地反映出来。所以这个事情就一拖再拖AI5这个芯片是要交给台积电来流片的,因为那个时候一直说(AI5)马上就要做好了。
“一直跟他说再有两个月这个再有两个月说了快一年了,结果后来Elon把这个图纸发给台积电。台积电一看说这哪是再有两个月?这估计再有一年,你们做这么久怎么做出这么个东西?说这东西根本没办法流片这离流片差远了去了。”然后Elon一听这个事就知道你们这帮做芯片的人明显就是忽悠我没跟我说实话。Elon就fire(解雇)了很多人,包括我的老板(Peter Bannon),还有芯片部门的领导也都被fire(解雇)了。
Kerry对硅谷101表示在他的视角看来他的老板Peter也算是受害人,他认为Peter并没有参与瞒报的过程。但因为涉嫌瞒报的主管直接汇报给他导致Peter有连带责任,在此之后……
马斯克便开始亲自接管了芯片设计团队,并且列出了两个方案并行。方案一是找了第三方的芯片设计公司作为外包,辅助现有的AI5设计,并且继续交由台积电生产;另一个是找回了三星团队,让三星来帮忙做另外一款AI5。今年4月15号,台积电版本的AI5已经完成了第一次流片,预计将于2027年开始量产。根据马斯克的说法,这款芯片在特定任务上速度将比AI4提升40倍;业界猜测搭载AI5的Hardware 5.0算力,将达到2000到2500TOPS。
这个芯片功能上我想应该是非常强大的,而且也是用了MCM(多芯片模块)的技术,可以说也是一种挑战。这还只是第一版,三星的版本也在推进;两个版本最终都叫AI5,只是一个是台积电工艺,另一个是三星工艺。根据Kerry的猜测,最终两个版本的芯片可能会在同款车型上混用,但是消费者是不会感知到差异。同一款车型例如说有的用台积电的、有的用三星的这个是没有问题的,它是可以混用的。
但是它不可能在一个电路板上混用;但是最终反映到用户上面,我觉得应该不会有什么太大的差别。就是在FSD的这个使用体感上,你应该没办法去区分它到底是三星的芯片还是台积电的芯片。不过呢Kerry透露也有最新的内部消息说,AI5芯片也有可能不会装到车上;原因是马斯克认为AI4已经够用。
了,AI5将主要用在算力中心和机器人上;但这可能也会有进一步的变数,所以我们届时以官方宣布为准。看看AI5的应用方案到底如何?接下来FSD的故事还在继续,我们也期待着AI5量产装机之后,看看它的实际表现到底如何。
回到我们开头的那个问题:为什么是特斯拉做出了FSD呢?不要说传统的那种汽车公司了,甚至像硅谷的公司有些新的技术可能要衡量很久(用不用),但是特斯拉一直都是非常愿意去承担风险,然后能够快速使用新的技术。这就让我们工程师做的事情就会变得非常有趣:管理好所有这些资源是很困难的,要找到一种方式让你不会……你需要押注未来的技术,同时你又必须把当前的技术交付出去。
这是一门艺术。Srihari就认为因为特斯拉内部没有繁杂的流程,大家专心倾注在产品打磨上才能够保持快速地推进。我觉得总体来说特斯拉最好的地方是它没有那么多官僚流程,也就是说好:我们是不是真的在试着把注意力放在那些真正能让产品变得更好的事情上?你在很多方面都受到限制:算力受到限制,还有人员也受到限制;时间也受到很大的限制。
因为你必须发布新功能。回到13年前,特斯拉刚开始做自动驾驶时它和Google走向了两条完全不同的路:Google也就是后来的Waymo选择的是一条更谨慎的路线,更昂贵的传感器、更严格的安全冗余;先在有限区域里把无人驾驶做出来再一点点地扩大边界。特斯拉的选择恰恰相反,它把摄像头装进几百万辆量产车把一个还远没有成熟的系统交给真实世界。
然后在一次次事故、争议、返工和软件更新中继续往前走。13年之后这两条路线依然没有分出胜负;而如今自动驾驶之战正式进入了下半场,这场战争已经无关技术路线了它的名字叫做经济之战。今天Waymo依然在无人驾驶商业化和实际运营上保持着明显的领先,而Cybercab才刚刚开始。
在奥斯汀有限区域运行;与此同时美国联邦监管机构已经对特斯拉Cybercab启动调查,核查设计是否满足安全标准。所以前方还有诸多不确定性;而现在还不能证明特斯拉已经赢得了自动驾驶战争,在10月FSD的V15应该就要发布了。
那这无疑是一个重要的里程碑;目前媒体透露的消息包括它的模型参数规模较前代扩大了10倍。那这个版本意在支持Level 4级别的无人驾驶,早期版本已经在特斯拉的Robotaxi车队当中部署运行了。那我们也拭目以待V15的更新对特斯拉无人驾驶车队进程的影响会有多少?但至少在目前,特斯拉已经成功地证明了一件事:那条曾经被很多人认为过于激进的路线一直留在牌桌上,甚至走到了下半场的决赛圈。
已经开始改变很多人的生活方式了;但也许真正困难的问题现在才开始。特斯拉要证明的是当没有安全员、没有方向盘,面对数百万次真实出行时它还能不能保持足够稳定的安全性;以及Waymo要与特斯拉比拼的,是在多地已经跑起来的无人驾驶系统能不能继续扩城、扩大车队并且把成本降到真正的大规模商业化。
接下来我们还会出一期内容讲讲Waymo和特斯拉的扩城之战,大家不要忘记关注我们的频道不要错过更新。那以上就是这期视频的全部内容了;你们的点赞、转发还有留言是支持我们《硅谷101》做好深度科技和商业内容的最佳动力。我是陈茜,那我们就下期视频再见啦bye~