你敢让机器人给你按摩吗？它刚才是在找我的穴位。说实话，以前我是不敢的，万一它用力过猛，真的有点吓人……但在今年的WAIC上我体验了一把之后，发现还挺舒服的啊。这台给我按摩的机器人很大的不同在于，它搭载了触觉传感器。有人说“触觉”是具身智能的最后一块拼图，真是如此吗？老黄也提出来，触觉其实是机器人有了触觉后真的能更强大吗？干活会更聪明吗？如果答案是肯定的，那么为什么目前大多数机器人都还没有触觉？市场上有哪些路线与冲突呢？大家好，欢迎收看硅谷101，我是陈茜。这期视频跟我们一起走进实验室，去看看触觉传感器的前线研究，我们来聊聊机器人的触觉到底发展到什么程度了。
第一个问题是，机器人为什么需要触觉呢？我们不妨先玩一个游戏：这一堆花生中，有三个是假的。只能看不能摸，你能够最快挑出假的吗？这个……然后这个……好难选。这个吧……这个……很遗憾，可能三颗都没选对？全错吗？先别着急嘲笑我，大家也可以跟着来“云挑战”一下。接下来我们降低一点难度，把这一堆花生变成六个，其中有两个是假的。大家来盲猜一下哪两个是假的呢？我们也同时让机器手做一下这个挑战，看一下它能否分辨得出来，看一下它的准确率。
这个是真的……这个是假的？是的，来看一下最后一个：全对！厉害！怎么样，你猜对了吗？猜错了也没有关系，毕竟两个假花生做得实在是太真了。为什么机器手能猜对呢？就因为它搭载了触觉传感器。相信我，只要能够上手摸，你也能够很快分辨出来。因为假花生是石头做的，表面更冰凉、更光滑，重量也更重还是实心的，摇起来没有真花生中果粒的振动感。通过这个案例，相信你也明白了触觉的重要性：现实中有很多任务是无法单纯通过视觉来完成的。
行业界有一些实验，就比如说专门把一些正常人的手打一些麻药，将触觉感知神经给它短暂地麻醉掉。这个时候的人其实对一些操作就已经失灵了：拧一些东西、抓握，或者甚至系扣子等等。你可能会疑惑，一些没有触觉的机器人不是在很多任务上的成功率都很高了吗？但是业内人士就指出：成功率高并不等于可用性强。只用视觉，我动得非常非常慢，每次微调一毫米，不断地去试，总归我是能完成这些任务的。
所以如果我们只是去看这个成功率的话，其实它是一个伪命题。那么在这种情况下，“力”就变得非常重要：比如说我握一个东西握得多紧，两个物体有没有咬合上。比如说我要去拧一个螺丝，那我不能只靠视觉说“螺丝拧花了我才会认为这个力过大了”，那太晚了。就比如说我柔性的操作，每根线的软硬度、它的材质都很重要。那么触觉到底是什么呢？它听上去是一种感觉，但我们把它拆开来看会发现，其实包含两种不同维度的信息：一类是对“力”本身的感知，另一类是对“形态学”的感知。
其中力的感知还分为静态力和动态力：静态力是抓握物品的时候手指持续施加的压力，它告诉你捏得够紧吗、物体有多硬；动态力是物体滑动时候产生的高频信号，它会告诉你是不是要掉了、摩擦力够不够。而形态学的感知就是对不同材料的分辨：比如说通过触摸分辨苹果和橘子，就得判断表面是光滑还是粗糙、摩擦时候的振动频率等等。这么多复杂的维度放在机器身上该如何识别呢？
目前我们看到市面上的方案主要有五种：分别是压阻式、压电式、电容式、光学式和磁感应。我们先来说一下压阻式，这是最传统、最成熟的一条路线：材料受力之后发生形变，电阻值发生变化，通过测量电阻变化来反推压力。我们常用的电子秤就是这个原理。它最大的优势是成熟、便宜、技术门槛低，但是它只能测垂直方向上的力，并且会随着温度、湿度产生漂移。
第二种是压电式：一些特殊材料（比如说石英、PZT陶瓷）受力时，内部正负电荷中心发生偏移从而产生电压信号，就像打火机的放电器。而它最大的特点是只对变化的力敏感：什么意思呢？就是你按下去的一瞬间，它会产生一个电压信号；但是如果你一直按着不动，信号就会慢慢地衰减到零；松开的时候又会产生一个反向的电压信号。所以压电式非常适合检测振动、冲击这类高频动态信号，却难以测量静态力。
前面两种都是直接把“力”转化为“电信号”，后面三种就不太一样了，是把“力”转为了“形变量”，然后测形变的程度。这样做的一大好处就是不再只局限在垂直方向，而是能够检测出三维的力。电容式的原理是平行板电容器：当材料受力的时候，弹性材料会形变（比如按下去的时候上下两层更近了，电容变大），此时就能够测量垂直方向上的力；或者滑动的时候板面积变化、电容也变化，能够感受到平面上的力。它的优点是灵敏度极高、响应速度快而且成本相对较低；但问题在于动态范围有限，同时容易受到电磁干扰。
第四种是光学式（也叫视触觉）：它是在传感器最上层覆盖一层柔性材料，接触到物体时会产生形变；材料背面有照明层，而藏在最底下的摄像头会实时检测材料的状态。通过算法反算出形变量再换算成力的分布，因此这是一种可以同时解算接触形貌和接触力的传感器。这就是目前行业最热门的方式也是精度最高的方式，但是成本较高（其中的细节点我们稍后来说）。我们先聊完最后一种方式：也就是磁感应。
这种方式结构和光学式类似，只是表面的弹性材料加入了磁性颗粒，去掉了中间的照明层；底部的摄像头变成了磁传感器。这样表面弹性体变化的时候磁场也变化，底部传感器捕捉变化之后反算出形变量，同样能够推算出三维力。但磁感应容易受电磁干扰（周围的磁场环境会影响精度），而且分辨率有限。还有一些其他不太常用的方式，比如说磁流体还有超声等等（我们就不详细说明了）。
以上不同的方式各有优劣。我们的采访嘉宾就认为，对于机器人的触觉来说，“多传感器结合”也许是更好的方案：你看我们除了手指之外，其他的每一寸皮肤都是有感知的。如果机器人想做到人类的水平，是不是也需要全身都布满触觉呢？但如果全身都用最好的技术，那么成本就很难控制了。而且不同部位的要求也不一样，同一种技术路径也难以适用全身：比如指尖的精度要求非常高，使用光学式的方案就能达到更高分辨率；但是如果是手掌、手臂等其他部位精度要求没那么高的时候，用昂贵的光学式就不划算了。
同时它的面积也比较大：比如说我们去考虑视触觉的话，那我们这个光学模块的设计就会非常非常的困难；但是如果我们使用比如说压阻式或者电容式的，那它就会比较容易去覆盖这么大的面积。在一些比较简单的应用场景下也可以选择精度不那么高的路径：比如说我们在WAIC的展会上就看到一些采用电容式的触觉传感器已经被批量用于工厂的产品分拣还有检测了。原因就在于成本相对较低，与精度最高的光学式相比采购价只有四分之一到二分之一。
而且即使是同一个部位未来也有机会融合多种技术，但前提是技术得足够成熟：电容其实它的灵敏度非常高，但这个问题就在于当你把这个材料已经压紧了之后它对于力的感知范围就会非常有限；但压阻其实是一种必须硬碰硬的技术。所以在这种情况下，结合两者是一个可行的方案。但是问题就在于：到底这个制造的工艺和它的良率和量产能力是否能够跟上我们的需求？但是现阶段可能大家都还在尽可能地去完善单一技术路线本身的一些缺陷。
除了力的感知，广义的触觉还包括振动、材质感知等等，这就得依靠其他的传感器来补足。比如说人类想分辨丝绸和棉布的时候会通过触摸加滑动的方式来产生振动，来感知材质的细粒度。那么到了机器人身上该怎么做呢？我们会加入像加速度计或者像麦克风这种传感器，能够更有效地捕捉到高频振动产生的信号。所以完整的触觉方案不是选一种技术路线就完事了：目前行业里面最前沿、精度最高的就是光学式。我们的采访嘉宾Eric所创办的公司一目科技也就是选择了这个方向，那么接下来我们就走进他的实验室探究一下光学式的原理。
2000年前后一批研究人员开始尝试一个大胆的想法：触觉能不能也像视觉一样被摄像头“看见”？其中最具代表性的探索之一来自MIT教授Edward Adelson领导的团队，他们在2009年提出了GelSight让机器人第一次拥有了类似“视觉”的触觉能力。光学式最显著的优势就是分辨率高甚至已经超过了人类：人的一个指尖大概1平方厘米上面布了3000个触觉的感知点，每一个点下面有四个不同的nerve（神经元），就相当于12000个不同的神经元在去做感知；我们的传感器现在可以做到24万个点，就已经超过人了。但是代价也不小：接下来我们从材料、结构、算法、成本四个方面详细来说说。
首先是材料，有三大要求：第一就是得特别软（业内称为“杨氏模量”低），这样才能够通过细致的形变精确地反映物体的硬度和力度；第二是得耐磨，不然日常执行任务久了就会出现性能漂移或者破损；第三是要尽量薄才能尽可能缩小整个传感器尺寸扩大应用场景。而这三点却天然对立无法同时满足：我们一直讲它是个“不可能三角”，但我们只能找平衡，以及说找一些新的方法能不能把某些的变量给的约束条件去掉或者说减弱。接下来我们去到材料实验室看看新材料的研发过程：这边是我们自己做配方研究的一个实验台，可以看到其实这边我们这些原材料大部分都是这种液态的材料。
其实种类很多感觉是个化学实验室：对，通过我们自己研究要把这些不同的原材料给它混到一起从而能够使它在成型之后达到我们想要的这种性能。这个事情的难点在哪里？就是配方的各种不一样的配比Ratio（比例）。还是它其实还不仅仅是这种配方，我们从底层的一些化学基底开始研究单体然后到我们的配方。Eric告诉我们现在行业出现了一种很有意思的材料叫做“可恢复性材料”：就像人一样就算不小心给划破了过段时间就能够自愈。它恢复性一般来自于一些特殊的官能团：就比如说我们会发现有一些分子它的分子键断裂之后还会恢复，就是这种特殊的一些官能团我们（做配方时）要去保留。
这是我们新型的、非常新颖的一种材料：能做到跟人皮肤很接近吗？很接近！这个就是你可以上手试一试，这超软的比刚才那个软很多。对，像婴儿摸起来它也没有任何伤害的感觉。我们再来聊聊结构：手指肯定是越小越灵活对吧？这就要求触觉传感器也尽可能做得小，我们的产品体积是最小的我们的厚度和SIM卡的大小基本上是一致的不到16毫米。为什么做得薄是一个技术领先的事情？光触觉它背后需要有一个感光的芯片要么用摄像头要么用一些感光芯片；但是你为了达到把整个视场都能看到的（相当于我们微距摄影一样）它总是需要有一定距离的，这个距离就是它最底层的一个物理制约因素。
要做得小一方面就是我们前面提到的材料要尽可能地薄，另一方面就得从摄像头上下功夫了：尽可能去降低摄像头的对焦距离同时还要扩大视场角来覆盖更多的感应区域。我们通过自研的一些超表面和芯片的技术能够去压缩它的视距不再用一些传统的这种lens（透镜）镜头的方式来做了。在结构上照明层的光路设计也是一大难点：因为手指的形态不是完全平面的结构，左右两边都有一些弯曲的弧度。这就需要精细设置照明灯珠的排布保证不同位置照明的一致性：照射的光路这里边是非常有讲究的，所以我们要做大量的仿真我们叫光追踪看到每一个光子在传播的路径里边会怎么去做传播。
在设计的时候我们就要把它做到一方面是覆盖最广这样我才能在270度都能覆盖到，另外一方面就是说它精度和轨迹是可预测的否则的话可能光和光之间就打架就会产生了串扰。这是一台BSDF测试装置用于我们不同产品的表面材料的光学特性的测量可以将测得的光学特性输入到仿真模拟中使我们的仿真更加准确。有个小故事：之前如果买一套这种设备好像很贵，我记得大概多少？专业一点的设备要百万级。这个是我们胡博士自己搭的是吗？对，他们当时说我们买一台吧，胡博士说我们来自己试试能不能搭一台而且精度各方面挺好的。你们这个有点SpaceX的味道了：自己搭了一个百万级的设备！
另外照明的灯珠在市场上有两种方案，一种是单色另一种是多色。为什么呢？这就要说到第三点也就是算法：光学式具体是怎么去识别触觉的呢？主要有三种方式。第一种叫做标记点法：在皮肤层上会印很多微小的标记点，摄像头跟踪这些点的位移变化来计算皮肤层的形变。优点是算法简单、制造容易；但缺点是精度上限很低：Marker（标记点）我能点多少个？一般可能顶多就几十个Marker点，它就是你resolution（分辨率）的上限了。顶多我中间做一些插值但这都不是真值，所以它的问题就在于相对来说精度低一些。
第二种是纹理分析法：皮肤表面不再需要规则的点阵而是随机喷涂的细小颗粒或者利用材料本身自带的不规则纹理。受力时摄像头通过追踪光影纹理的流动来计算形变：它的优点在于硬件制造简单因为不需要做标记点了（其实大家手里面的光学鼠标原理就是简化版的纹理分析法）。为什么是简化版呢？因为鼠标检测的是二维平面上的变化，而触觉传感器需要检测的是三维。这也是它的缺点所在：算法复杂、计算量更大相对的响应延迟也较高。前面两种算法主要关心的是亮度还有对比度这些信息所以用单色照明方案就够了；而第三种光度立体法就必须用多色光了。
这种方式不需要任何标记点和纹理，皮肤比较均匀：照明层用红、绿、蓝三种颜色的光从不同方向打光。发生形变的时候由于皮肤表面凹凸变化，不同颜色光线打到同一个点的距离不同相机捕捉到的就不再是均匀的颜色。算法会分析图像中的每一个像素点的RGB颜色值来计算形变：第三种其实是兼顾了这两者优缺点的一个比较好的折中方案。制造方面来说也没有那么复杂，但是它在解算的时候通过预训练的一些模型就可以快速地去做分析了。所以它算力要求比第一种大、比第二种小，精度也是比较优的。
而光学式的第四个挑战就在于成本：通过前面的解析相信大家也能够看出来它的结构有多复杂相应的成本也更高。单价来讲的话（单指）还是千元级的这么一个价格，可能会比别的技术路线稍微贵一些。其实我们也看到了把整个的成本降到小几百的可能性随着它的量上升。而且不光是制造本身后续的算法、算力要求也更高：视触为什么现在大家比较流行？因为大家发现我可以比较好地用这种视觉的模型就直接可以处理。但它的问题是什么？这个视觉的模型一般都会比较大所以它对于算力的要求相对来讲会是更高。当然高成本也对应着高上限：在实验室里面我们也看到了直观的对比。
这是一个没有触觉的灵巧手在没有视觉的辅助下夹起薯片的时候因为掌握不好力度很容易就夹飞了；而这是带有视触觉的夹爪不仅可以轻轻夹起薯片，当我想从它手中抽离时它还会感知到轻微的晃动和摩擦慢慢卸力。还有更好玩的就是夹树叶：相比起薯片，树叶缺少了刚性稍微多一点力就会发生形变。但我们看到夹爪依然能精准感知到树叶发生微小的形变之后因弹性而对两边释放的微小力。不过业内人士认为现阶段更应该优先考虑的不是成本而是验证路径的可行性：所以接下来我们先来说说应用路上的第一道障碍也就是数据采集。
机器人最稀缺的就是训练数据了，而到了触觉领域已经不仅仅是“少”了：现在触觉的数据基本为0（就可用的数据基本为0）。高保真的这种传感器其实之前是缺失的，然后我们通过传统的一些方法采集来的数据跟人不太接近且没有那么高保真的能力。你看对于“触觉”这种强调实感的维度，普通的视频还有文字等互联网数据是无法反映出“力”的大小和方向的。所以这个领域尤其强调真机数据，但是真机数据在获取上存在着三大难点：我们再来做个简单的小实验哈。
我们戴上这个很厚的手套然后试图拿起一块豆腐：真的很难掌控力度，要么就是它会滑下去要么我可能稍微一用力它就破了。最主要的原因就是厚重的手套完全屏蔽了我们的触觉：我们无法判断豆腐和手指之间的摩擦力是否够、是否快掉下去了，以及豆腐的形变程度是不是快破了。也是触觉数据采集时要面临的最大悖论：采集人的触觉也就意味着我们会需要在人手和物体之间做一个隔离，那也就是说在某种程度上我们屏蔽了人自己的触觉。
如果人手被传感器覆盖导致人本身的触觉没有办法被有效利用，那么操作者的手变笨了那我的这个demonstration（示范）其实质量会下降，那我这个数据其实训练出来的结果就没有办法让机器人能具有像人一样的灵巧的能力。这是一目的数采设备：把整个传感器放在了手指前面，操作起来就像用筷子一样。我认为它确实跟真实世界有gap（差距），通过一些算法能把它回退回来可以去做一些gap的弥补，但是我不可否认它跟人是不一样的。所以最大的问题就是：要采集触觉就得先屏蔽触觉；但是屏蔽触觉之后又难以采集触觉。这个好绕口，而且采集设备本身也比较复杂一定程度上也会影响采集员的操作：其实大多数数采设备都非常的笨重就是它尺寸大穿戴比较麻烦，都会在某种程度上影响操作员采集数据本身的一些行为。
要解决这个问题一方面需要行业做出更薄的传感器尽可能减少对采集员触觉的屏蔽。
我们下一代的触觉传感器是超薄型的，3毫米。你不需要戴一个非常复杂的手套，只在某些关键的地方贴一些触觉点。另一方面，行业需要设计出更舒适、更符合人体工学的采集设备，而这需要多学科领域交叉。
（人体工学设计）这个其实是和设计一个触觉传感器和灵巧手是完全不相干的东西，这个是我觉得接下来一年非常重要的一个课题。行业里也有一些对采集员影响较小的织物采集手套，但是这就牵扯到第二个问题了：数据密度不够。
最好的织物的触觉手套我们看到的也就500个点一个手，我如果想把这个数据应用在比如说我们的传感器上，那其实这个gap（差距）还是挺大的。也就是说如果我戴着这个手套去抓一个M2的螺钉，其实在这个上面就是一个点，我是没有办法去检测到这个螺丝的方向或者它的大小的。
即使模型再强也没有办法有效地让它去学习到这样的一些信息。于弢团队和MIT去年合作了一个项目，用这类手套采集触觉数据，结果发现大部分有效数据都是用整个手掌抓取一个较大的东西。因为这种任务对密度的要求最低，一旦涉及到精细操作数据就失效了。
行业面临的第三个问题是：由于触觉还是非常早期的行业，各家公司的数据采集格式不统一，难以形成大规模的训练集。比如有的采集设备是两指的，就只适合在工业场景的机器夹爪上，不适用于灵巧手的训练。
在数据的存储和对齐方面，我觉得现在还做得不够好。它们之间的一致性好不好？触觉和其他模态的对齐好不好？比如说我同时采了触觉、视觉、本体信息，这些模态是不是能从时间轴到它数据本身的对齐能力做得更好？就这块其实也是缺失的或者做得不够好。
硬件其实现在是相对不成熟的，不同的技术也好、不同的传感方式、数采设备各自的数据格式、各自的数据形态其实都不一样。算法就没有办法去演进，因为数据的量上不去；设备不够成熟就采不到高质量数据，然后训练不出好模型，然后就没人愿意投资这个领域。
这会是一个不断的恶性循环。既然真机采集这么难，那如何才能够规模化呢？这就得用到仿真合成了。仿真是在虚拟的环境中模拟真实场景，可以同时、批量采集不同的数据。到了这一步就不得不说到大家比较熟悉的公司英伟达了，这条是老黄重点押注的路线。
他们为此也搭建了非常完善的框架Isaac Lab，实际训练的时候触觉公司会利用各种公有的模型并对不同的模型加入一些真实的物理特性。比如一个螺母它就是刚性的、比较重、表面光滑；或者是一个毛线球它有多软、多重、表面粗糙程度如何等等。
同时还要在系统里输入触觉传感器的特征，比如说表面的弹性体的物理特征、手指内的光源分布等等。而有了这些数据之后就可以在系统内模拟触觉传感器接触到不同物体时表面的形变程度、光路变化，推算出最终采集到的数据。
仿真的结果还会和现实表现做对比通过数据标定来进一步修正。这边图上面就是展示的我们在某一个确定的条件下实际上的图像采集，后面蓝色的点就是仿真的形变，红色的点就是标定的。我们暂时的这部分修正是在解算层面最后做一个映射的矩阵去修正输出，后续会在模型输入的层面去做修正。
另外在今年五月有一篇名为Tabero的论文还提出了一种方法，那就是复用已有机器人数据把这些轨迹重新放入Isaac Lab当中并且加入触觉传感器模拟最终生成完整的“视觉-触觉-语言-动作”数据。这其中最大的难点就是计算量太大了，如果说要精细地进行弹性体变形的计算的话。
如果说我们用一些有限元的方法来进行精细的计算的话可能一帧就需要一个小时的时间，这对于需要快速实时地获取数据而言是不能接受的。所以学术界提出了很多简化的计算方式比如说英伟达在2025年就发布了TacSL论文就介绍了一种用于视触觉的仿真方式。
它的核心思路是用软接触模型代替有限元计算，什么叫做软接触呢？比如说我们把物体和皮肤都当作刚体处理但它们之间可以“互相穿透”，接触的力越大穿透得越多。这样算出来的形变虽然不是最精确的但也能大致模拟而且在计算速度上更快。
但不可否认仿真和现实之间永远都会有差距，Eric就告诉我们他们仿真的准确率大概是在90%以上而其中10%的差距主要在于柔性物体的模拟这也是目前的挑战所在。（针对柔性物体）我们也可以去补充一些后训练数据比如说我们已经有一个80分的模型了我再加一点点后训练很快就可以到90分以上。
这个思路和TacSL论文的策略是一致的，TacSL在训练策略的时候做了两件事：一是随机化物理参数让策略适应不同的刚度、阻尼；二是在触觉图像上做大量的数据增强让策略对摄像头差异、光照变化鲁棒。这样他们在真机上实现了零样本迁移，在插拔销钉的任务上TacSL在真机上达到了82.7%的成功率。
所以仿真的意义更多是作为真机数据的补充，两者需要搭配训练：我到底真实的（数据）多一点和仿真的多一点每家可能不太一样。我们的判断可能至少1比1甚至1比1以上，仿真可能会占多数。在短期之内到底需要多少数据才能够训练出较好的模型在这点上业内人士给出的答案比我们想象的更乐观一些。
什么时候我们能够收（集）到100万小时等同于一个人一生的物理经验的数据我觉得可能我们才开始后面的探索，这是我们采访做具身模型的人时Physical Intelligence的嘉宾Kay她给我们的答案。但到了触觉领域数据量却只要十分之一，训练一个带有触觉的基础模型所需要的数据应该是要远低于基于视觉的基础模型。
当你有10万小时的数据往上走你会发现它逐渐就开始有一定的泛化能力，这背后的原因其实不难理解。因为机器人的行为模型其实包含了大量操作的“过程”信息比如说转身、伸手、移动等等并不是说这些信息不重要但真正对训练有效的部分往往是那些“拿起”、“放下”等关键的操作。
而对于触觉数据来说平时在没有操作时输入的信息基本为零相当于这10万小时已经减掉了无效操作的部分。说完数据采集我们再来聊聊触觉的第二个障碍：算法模型的应用。有意思的是如果你直接把触觉信号输入到行为模型当中机器人任务的成功率反而会下降这是为什么呢？
今年6月伯克利、英伟达、斯坦福集结了李飞飞、Jim Fan等众多知名学者联合发布了一篇名为T-Rex的论文，其中一项实验结果表明如果把触觉信号直接输入到π0.5的模型当中各项任务的成功率反而下降了。这反映出一个问题：加了一个模态不等于模型表现就能够变好，所以如何利用触觉信号目前是最大的挑战之一。
我觉得最大挑战其实是大家对于触觉这个模态还是比较陌生以及它真的怎么融入到我们模型训练里边其实大家还没有一个完整跑通cycle（闭环）的这么一个好的SOTA（最先进的）模型出来。我们先简单来说说此前触觉应用的三大挑战：第一个问题是触觉没法用规则定义一个东西到底是软还是硬、是脆还是弹超过多大的力会破坏物品物品能不能被破坏我们没法单纯地设置一个数值写一个规则这样在执行任务的时候模型会难以判断。
比如拿起纸杯这件事力气小一点能够拿起来稍微再夹紧点杯子有点形变也可以接受但是到了鸡蛋上就绝不能让蛋壳有形变。第二个问题是触觉信号维度太多直接输入到模型当中反而成为了噪声我们前面说过触觉包含了纵向的压力横向剪切力和摩擦力还有表面材质感知的温度振动、音频等等数据这些数据不加处理地输入到大脑中模型将难以分解。
第三个问题是触觉和其他模态的频率不匹配，触觉信号天然是高频的而视觉语言模型通常运行在低频率这就意味着两者难以直接结合会出现计算资源浪费、反应速度慢触觉噪声干扰高层规划等问题。到了今年由于AI的进步业界是看到触觉应用的范式之所以触觉最近两年开始火并不是因为触觉这个技术本身这两年才存在而是在很久以来大家并不知道怎么样去用触觉。
其实像最近这些AI算法的演化和这种端到端模型的实现其实对于触觉的利用是非常大的促进。我们知道端到端就是直接把信号输入给神经网络让模型自己学习不需要人为定义规则这就解决了第一个挑战。第二个挑战的解决思路就是利用编码器（Encoder）前置处理触觉信号将这些数据打包后输出完整的语义理解。
就是用这种Self-supervised learning（自监督学习）的方式去train Encoder（训练编码器），我们可以很容易地把不同类型的触觉模态甚至视觉结合在一起然后利用现有的一些比较常见的这种Attention的mechanism（注意力机制）就可以比较好地去抓取不同模态的触觉之间的这种相互的关系。
然后从模型训练的角度这个能够比较有效地把这样的一个信息集成到更大的一个Backbone（主干网络）里面我们叫Tactile Transformer encoder（触觉Transformer编码器），然后通过编码器对它进行一个语义理解比如说到底是软的、硬的有没有摩擦包括形态上来说像什么等等这些语义理解它做完这个编码之后再进到这个backbone（主干网络）大模型里面去做一个判断。
再来说说如何解决频率不匹配的问题，在T-Rex论文当中就提到了MoT的方式。这篇论文提出的“MoT”架构借鉴了MoE的思想由不同专家处理不同类型的信息为此构建三个不同的专家：Latent Expert潜在专家负责处理视觉和语言观察预测未来的视觉表征提供“上下文理解”这是慢速的、认知层面的；Action Expert动作专家负责根据视觉语言上下文生成动作序列比如说往哪里走、手臂大概怎么摆等等但是它输出的只是粗略的动作。
而最具创新的是第三个专家叫Tactile Expert触觉专家它就像机器人的反射系统在动作执行过程当中通过实时触觉反馈对力度、角度和接触状态进行快速修正。听上去好像也不算啥创新毕竟MoE架构早就有了只是额外设置了一个触觉专家而已别着急这套系统最重要的思想在于“异步执行”。
什么意思呢？在推理时动作专家生成动作规划同时触觉专家以更高的频率独立运行不断对动作进行修正。这样机器人在利用触觉的时候可以复用已经算好的上下文缓存只进行快速的触觉推理，这样既保留了大模型的理解能力又获得了类似人类触觉反射的快速响应能力。
这也类似我们之前聊基础模型的双系统架构它的System 2负责慢思考、长程规划而System 1负责快反应、本能动作触觉也不例外所以我们就觉得它应该是两个不同的系统以及它可以去打通。就比如说在触觉在边缘端我其实应该有一个快速响应机制比如碰到了我们就应该做什么动作同时我觉得触觉信息也应该能回到大脑去对我一个相对长程的这个过程里边做一定决策的影响但是它就偏reasoning（推理）。
我们在采访过程当中也发现了业界的一点分歧那就是触觉模型是单独训练还是要结合摄像头、激光雷达等其他传感器来一起训练呢？Eric就认为触觉模型可以单独训练这样才能够更好地去平衡权重就像T-Rex这篇论文的思路我们会更倾向于触觉模态的单独训练。
因为触觉模态它本身的语义理解就可以完成一定的闭环了当它的语义理解结束之后再和其他的模态进行融合让大脑去判断会更好一点因为它每一个模块可以去单独地做训练、测试、闭环然后同时这些模块可以像即插即用一样去插到不同的系统里面去做应用它还能跟其他模态更好对齐。
不然的话你这个眉毛胡子一把抓都混在一起到底模态之间的数据怎么去平衡其实是个挺难的问题。而来自北美的于弢就认为两者必须要同时进行这样才能够判断每个“力”在空间中的分布让模型更好地理解“我是拿了什么东西才会有这样的感知”。
视觉它是一个全局的而触觉它真的是一个非常局部的事情我的手的形态动的时候同一个传感器对应的在空间上的分布是不一样的。当大家做视觉和触觉的模态融合的时候其实并不是一个简单的Latent space representation（表征空间）你在同一个embodiment（载体）做同样一件事情的时候是可以的但一旦这样做完之后你的transfer（迁移）非常难。
比如像哥大李昀烛（Yunzhu Li）老师是把这种触觉的力的分布是结合到这种三维点云上的那么也就是说这个力并不只是一个力而是它在这个空间中力的一个分布。那么在这种情况下其实是需要触觉和视觉的结合的于弢的思路也对应着我们前面提到的Tabero这篇论文他认为触觉应该参与到高层决策中理解“轻一点”和“重一点”的语义。
简单来说Tabero主打前置的“语义力控”而T-Rex是执行过程的“高频修正”。由于触觉这个行业目前处于非常早期的阶段多条路线在同时探索没有绝对的优劣之分我们也只是向大家来展示不同的路径。最后我们来说说触觉的第三个障碍就是规模化量产。
量产的最大的难题就在于性能的一致性，上周在ICRA 2026在维也纳我们看到非常多的触觉传感的公司我们亲手去测了一下这个事它是否一致其实大多数是做不到的。因为手指的调整动作都是非常微小的在做精密操作的时候输出的力稍微有点偏差就可能导致任务失败但触觉传感器又太精密了。
但凡表面的弹性体厚度相差太大弹性系数不一致、传感器间距不同都会导致参数偏差算法就难以计算出正确的数值。接下来我们就去一目科技的试产车间看看他们是如何验证新工艺的我们现在穿上了无尘服，接下来会去到他们的试产车间。
大家先摸一下这个防静电球去除身上的静电第一步是先把凝胶材料放到模具内固化作为手指的表面弹性体这一步得注意不能有任何的灰尘和气泡。这是一个超净工作台它可以提供一个局部100级的超洁净空间有利于我们的凝胶制备。
制备完成之后还得先检验是否合格这边会做一些拍摄如果发现里面有气泡、杂质的情况我们是可以通过视觉来筛选的并且我们所有的数据会经过上位机的判断再筛选一次。最后就是将其他地方制备的零部件集中到一条产线上进行组装大家刚才看到的材料会在这里进行分步组装。
从第一个粘接工位到这边的预总装工位包括壳体、灯带、相机、芯片等各个零部件的精密组装然后我们会到总装前的预检测工位我们的触觉传感器会在这里进行一个成像的检测可以拉近看一下我们电脑里显示的画面它展示了我们触觉传感器的一些精密动态它是力学的反馈里面有很多的AI算法在里面。
经过检验的成品最后就变成了我们的成品当然每个批次的试产样品还得经过自动化测试用来验证工艺参数的稳定性。相信大家都能看出来在试产阶段很多步骤依然依赖于手工操作因为触觉传感器是一个比较新的品类现成的标准化、自动化设备暂时还没有统一。
这个（触觉的）量产它不是脱离了你的上下游自己去生产，你的上下游比如说是数采或者是灵巧手其实它有不同的协议、有不同的接口、有不同的关于它手的适配。所以来讲你的量产还是要跟着它的需求有一些定制化的操作一方面是自动化量产线稳定交付标准品另一方面是试产线承接定制化需求和新工艺验证。
那么这两条线协同运转正是这个行业走向成熟的标志而到了2026年这个时间点我们采访的几乎所有嘉宾都表示触觉已经是处于爆发的前夜了。今年我们确实是看到了说整个需求有一个大幅度的上涨大家慢慢认识到了触觉的数据其实对于物理AI最后训出更好的模型来讲是非常重要的。
今年来讲的话灵巧手、上下游包括具身的整机大家都在去拼命地做、拼命地出货自然也会带动整个触觉传感更加成熟。在今年的WAIC展会上我们也在一目科技的展台看到了某大型汽车电池装配工厂将他们的触觉传感器搭载到了机械臂上实现了工业级的应用。
不同的电池包这样的一些形态、它的一些变化如果我们依赖传统的自动化纯去做每次的预编程和大量的开发是没有办法去做适应这种产线的频繁调度和变化的这样的一个过程的。所以基于这个触觉就得到了一些柔性装配的能力而未来还将应用到实验室里做更多精密操作的项目比如说像滴管去做精准的取液。
我恰好要把它控制到毫克级的这样一个精准程度有了触觉的一个精准反馈我可以精准地去控制对于滴管施加的一个力形变这样的一些变化。根据美国银行的预测到2030年人形机器人的出货量将达到120万台假设都装配了触觉传感器每个机器人10根手指那么触觉的市场需求将提升到千万级别。
如果那个时候是量产我们倒推一年或者一年半到两年这么一个研发的周期或者测试的周期也就是说下一年（要开始上量）。（触觉的）下一个里程碑节点会在什么时候发生？我觉得就是今年或者明年年初应该就这个时间段。
在我们采访的时候，Eric就提到：触觉是让机器人类人、甚至超越人的“最后一块拼图”。因为这不仅是多了一个维度的数据，更是让机器人掌握到了“人类的第一语言”。人类的婴幼儿刚出生之后，他第一个会的其实并不是看和听。小朋友都是靠触觉去摸这个世界，甚至可能用舔、用舌头。这个其实是我们人类对于这个世界的第一语言。