呃，各位小伙伴好，欢迎参加TJ沟通会个股分会的直播个股连线。本期是我们的第二十八期。这次呃，依然是这个AI主题。呃，在我们去聊这次关于无人车COT和一些大模型reasoning的呃内容之前呢，我。先呃介绍一下TJO恳谈会，TJO恳谈会是奇科邦旗下的科技领导者的聚集和交流的社区，学员主要由呃CTO架构师和有技术背景的CEO组成。目前在北京、上海、深圳、硅谷、新加坡、台北等地都会定期的举办一些呃学习活动。我们硅谷分会秉持着提升华人技术影响力的使命，为全球技术交流提供最前沿的信息。

啊，我是主持人俊伟。这次我特意为小伙伴们邀请了两位大咖啊，孟醒老师和田渊栋老师，呃。顺便我再提一下，这次呢也是TJO，呃，这A A I A I连线与I Triple E的C A S期刊一起主办的，呃，一场峰会，所以也会有一些趣味性行业的内容，也会有一些呃学术的味道在里面。啊，OK，那我们现在基本就正式开始。我们这次的主要的内容会讨论一些呃无人车的内容，无论是FSD像现在的地平线或者微软的刚刚上市，呃，我们会借着这些这种。呃，热词我们去聊一下呃无人车的领域，然后孟醒老师肯定是这方面的专家。

呃，田渊栋老师呃是Meta AI的Director Research Director，我们会跟田老师更多的去讨论一下，无论是COT或者是大模型的reasoning方面的内容。然后最后呢，我们也会去聊一聊这个storytelling的呃一些有意思有意思的话题。嗯，那我们在正式开始之前，呃，孟醒老师和田渊栋老师，你们可以呃自己介绍一下自己吗？嗯，谢谢。啊呃，大家好，我是孟醒，感谢俊伟老师的邀请啊啊，参加TPO的活动。呃，我现在在五源资本负责前沿科技的投资，嗯，然后在之前过去五年里面一直在呃负责滴滴自动驾驶的几个业务啊，大概负责我们呃整个滴滴无人车吧，那无人车团队啊，从一个非常小团队到呃一个嗯一个完整业务的一个过程。

然后在早期呢，我在呃湾区和在国内做过两次计算机视觉方向的创业，啊，然后还做过一段时间游戏的，然后更早的时候。啊啊对，中间还跳了。我哎，在顺为还这个在在创业之前，我在顺为负责这个也是搭建前沿科技投资的团队吧。啊，投了，反正过去大概是从一一年开始创业到投资到卖方到买方各个角色，可能轮过一遍。呃，一直围绕人工智能这个大领域来去来去做各种各样的角色吧。哎，我稍微提一下。对啊，孟醒老师在顺为期间呢，也投中了小鹏汽车。然后孟醒老师还有自己的一个播客《科技不无聊》，然后之前和这个孟晓俊老师做了可能一期从蒸汽机到无人车一个非常细、非常长的一个系列，我都听了，然后也推荐小伙伴们去去听一下，里面的干货非常多。嗯，感谢感谢老师，我自己忘了给自己打广告了。对对，谢谢几位老师。对。

田老师，啊，对，嗯，感谢邀请啊，我叫田渊栋啊，我现在在Meta是那个研究总监，research director。对，呃，我们现在是这样，有个我们在呃那个梅梅隆Park和那个纽约都有一个那个啊team啊，这个这个我们这主要是在做呃关于那个推理、关于规划啊和大模型的结合的这样的一个方向啊，大概是大概是这样子。嗯，我在加入百度之前，其实也去过过无人车，大概去了一年多一点。然后呃加入了那个呃 Meta 啊，然后之后曾经做一些就是呃跟推理规划相呃相关的一些项目，比如说像围棋啊啊，还包括一些就是怎么样用 AI 来做那个设计和和那个和和分析这样的一些问题啊。当然，我这边那个大语言模型出来之后呢。我们这边也做一些，就是关于怎么样让大语言模型变得更有效率 efficiency 这样的问题，然后还有那个啊，对于啊当前的那个神经网络如何做啊理解，啊如何那个洞察里面到底在发生了什么，然后训练的过程，啊这样的一些分析嘛，那这些可能就是比较个人的项目。

然后田老师呢，还有另一个写上青年的身份，就是写小说，玩的都是高端局，呃，然后我觉得之前，呃，可能有很多人本身都尝试了去去做一些关于这个 transformer 的理解，然后田老师也有两篇的一作，呃，非常有代表性，呃，可能未来我们在聊天的过程当中也会去呃接触一下这方面的问题，嗯。OK，那那这样，最近这几天呢，特特别是好像是今天，然后特斯拉的股票又涨了小百分之二十，然后无论是地平线，于凯老师的，然后是托尼的呃，Wayride，也算是这个Robotaxi的第一股。上市了。然后两位，这个孟醒老师是在这个行业浸淫多年，然后田渊栋老师刚开始是在 Google X，当初也是接触了一些这些的项目。那我们就从自动驾驶这个问题开始聊，然后再泛泛的可能就会过过渡到一个大模型的一个一个问题。

嗯，呃。业界之前，比如说这个美国交通局可能分成了这个 L1、L5，但是我觉得好像无论是侯晓迪，然后孟醒和其他的业内的呃这些老师专家们，慢慢的就把这个划分变成了这这两块，一个所谓的是辅助驾驶，一个是和这个无人驾驶。特别像无人驾驶，现在这个端到端，我我看国内的小鹏呢，其实也是非常在努力的推进，而且体验也不错。然后华为的嗯，一些支架的功能也在不断的去提升，呃，所以关于现在的这个辅助驾驶和无人驾驶，算是说，呃，这个世界无论是学术界和业界当中，对这个路线基本是 converged嘛，就在这两个呃领域当中。哎，孟醒老师，嗯，对，呃，我我觉得其实这是一个很有意思的话题，因为呃，我们在划分这个 L1 到 L5 的这个过程中，其实包含了两层信息，对吧？一个是能力，一个是责任，但是往往这两个是在啊这个框架体系里面是对等的，就我们认为它具备了这样能力，同时也具备了这样责任。

其实，呃，因为法规和宣传和各种各样需求的原因，往往这两个其实在实际落地过程中就拆分出来。就是很多车可能具备着这个L四的能力，但它只承担L二的责任，对吧？也就是说，我出了事儿，其实人是兜底的，或者是反过来，可能也会出现这种情况。呃，但但这是我觉得，所以当我们说L四、L L二或者说L五的时候，其实往往有时候会会把这两个混混起来，对吧？就是它到底是说的是什么？第二个，我觉得是往往这是一个技术的划分角度，但其实最终决定了商业模式。就是L二本质上因为它是辅助驾驶，因为人兜底，因为它更适合是一个产品闭环的形式来去交付给整车，所以它可能是一个整车的功能。然后L四呢，其实你听起来好像是L二的一个进阶，但我觉得本质上是另外一个产品。就虽然都是自动驾驶，它可能对于下线的要求会非常高，对于上线的可能是属于过线。但是呢，这个它因为要闭环去保证下线，所以它当更适合做运营，因为它可能除了自动驾驶以外，还有其他各种各样的手段来要去保证这个下线的上线，所以它可能运，所以最后就分化成了两种形态，一个是辅助驾驶，对吧？汽车产品里面的辅助驾驶的一个一个 feature，然后一个是呃无人驾驶的运营的解决方案或者无人驾驶运营的运力服务，就是这两个体系。

然后这个产品又反过来就决定了技术路线，对吧？就是我觉得核心的可能最大的区别，啊，抛开所有的用的实际的技术环节以外，我觉得从产品定义上，我觉得最大的区别是L四是非常非常注重下限的提升的，对吧？就我一定要保证你的最差情况不能出现，啊，一些愚蠢的或者无法预料的这种情况的出现，啊，大多数情况最好是可解释的，起码是要远超人类的安全度的。至于上线，当我达到了，它更像我们感觉企业服务软件对吧？就是它到了某一个红线的选，到达这个红线的，无论是从效率还是成本，还从能力之前，压根就不应该有这个东西出现，就是其实不应该上线。但是，一旦过了以后，它可能对于上线的提升的要求也有，但可能没有那么重要，反而可能是降成本啊、做规模啊，可能这些比较重要。

呃，对于L二就是辅助驾驶来讲，其实本质上在根本就没有几条红线，或者从我说的跨极致一点啊，就是这个红线是非常模糊的。呃，没有红线的意思就是说，我哪怕做的非常非常糙啊，但是有比没有好一点，对吧？或者说对于一些人群好一点，那它其实就可以上线。那它本质上是一个体验主导型的产品，呃，大家会因为体验好，所以所以这个可以去早，所以可以早期看到像像非常非常早的Autopai的产品啊，然后到后面这种高速的NV啊，然后到后面城市的。这些产品其实，在推出的时候其实都很糙的，对吧？大家要高度高度的去接管啊，高度的注意力集中，但不妨碍它上线。它的核心要求是迭代速度要快，就上下一版本要比上一版本好，而且持续永久不停歇的要去升级。嗯，它没有这条红线，好处是说可以推出早，缺点是它要永远跟自己卷，对吧？卷到几？所以，所以我觉得它是另外一个维度的呃的一个产品，啊，它要求上限，因为要不断的卷，所以要求上限不断破天花板的这个这个高度。但是呢，因为有人兜底，所以对于下线临时性的要求其实没有那么高。所以这两个，我觉得最后造成了两个产品。那那今天用的很多技术方案，由由于这两个产品的需求的不同，最后造成了技术方案的不同，造成了最后团队的配置和资源的投入，以及最后的商业模式的不同。

呃，那在这个无人驾驶的过程当中，我们有我们的scaling law嘛？当然，我知道孟醒老师的观点是，无人驾驶领域呃并没有自己的GPT时刻，然后是我们是在不断的这个去迭代的。那我们有我们自己的这个scaling law。呃，这种的判断嘛，这个数据往上的增加，呃，然后这个performance就就会越好，但是potential可能好像是一个指数规模的这种数据的增加，然后大家因为比如说大家对这个特斯拉的估值当中，其实最大的一部分，也就是说啊，它会有海量的。这些数据嘛，可以去用来去训练。嗯，在大模型当中，我们现在呃，可能是各个 research center 或者是大学，大家还 believe 这个 scaling law。那在无人驾驶领域，有吗？那您现在的判断？

嗯，呃，我觉得还在观察吧。就是今天，呃，其实还呃，我觉得从两个维度啊，一个是从理论学术的维度上来去看，对吧？一个是从实际落在车上啊实践的结果的维度。我觉得从结果的维度上，现在看起来还比较早，或者说我相对来讲没有那没有像主流的呃这个特斯拉的。对吧？这个狂热群体和股东一样那么的乐观在这件事上，so far看到的结果，我其实非常非常从内心里有非常愿意看到这件事的出现，但我觉得比较这个冷静的去看的话，我觉得可能还啊这个苗头还没有没有完全长出来。其实今天早上正好看到那个我有一个朋友，Brad段是Altimeter的这个。呃，这个投资人，然后他发了一个呃 tweet，然后这个伊浪还转发了一下，对吧？就是回回了一下，然后就是他其实就讲了最近从 FSD 十一开啊十二点一开始以后。呃，它的scaling law的展现，对吧？但它的数据基本上都是伊浪自己说的数，对吧？就每一版本乘三倍，然后三倍之上乘五倍，五倍之上，对吧？在下一个版本上是六倍，对吧？很快可能就是从一百倍到一千倍的这样一个level的提升。

从实际的体感上来讲，啊，比如说从十二点一之后切到端到端之后呢，我觉得，嗯，你说从业内的从业者来讲，我觉得是要给他鼓掌的。鼓掌不是说它 scale up 展示出来多大的能力的提升，而是说它没有往下去掉对它这个能力，就是在 B version B 的这么一个研发这么多年的一个完整的框架之上，可能还有很多 patch 的基础上，直接切到端到端，而且是相对来讲比较完整的端到端的这个架构之后。至少是城区啊，高速其实当时还没切，啊，其实performance是是是持平，甚至在一些地方有提高的。我觉得这本身就是很了不起的一件事情，啊，suppose一个架构的天花板是要高的。但是从十二点一到十二点三点六到十二点四这三个版本是我自己比较详细的测过的吧。然后十二点五以后是现在推的一个版本吧。然后啊，可能更多是在线上有这样的。啊，这个 user reports 和大家的反馈，我觉得本质上看到的不是一个 exponential 的这样的一个 curve 往上走，就还如果从我们从接管率或者关键接管率，就还 PCI 的一个角度，啊，可能没有看到像伊浪说的每一个版本之间大概五到十倍的这个提升吧。我觉得更多感觉在一些。

呃，整个的接管率，我觉得我自己反复测试，就是比如说我们从三番的这个北端 Pier Thirty Nine 或者 Pier Forty Two，然后往南经过 Chinatown，然后经过这个 Market Street，然后一直到这个，就是说到了呃南侧，甚至到 Daly City 吧，大概就是可能十二个迈到十五个迈左右的这个一个一个开的过程中，在城市里面。啊，一个驾驶体验，我觉得是完全没有接管，几乎是不可能的啊。当然最最新最新版本我没做过啊，这个话说，但是呃，so far 我觉得体验是完全没有接管是不可能，它有一些固，它有一些呃确定性的场景，在高峰期甚至于非高峰期是百分之百要接管的，就是不会不会能逃过的。那你在这条路线上没有，就是只要你不刻意的去避开这些东西，就是你随机选路线，大概率会有这样的场景出现，所以大概率一到两次接管率吧。所以那你如果这么除下来的话，在市区里面可能就是在对吧，就个位数的这个 MPCI 对吧，我们的关键接管率，但是。Google同样的 context 下面啊，一直在三班，就是 contained 三班里面去 regular 去跑，大概自己就是 Waymo 大概自己 report 的数在啊这个十万十万 miles 左右吧，或者十万英里，但是十万公里的就换算成六万 miles 左右。呃的这个 MPCI，所以大概这可能就是一个一万倍到对吧，就是大几千到一万倍之间的一个差别，呃，当然不是一个特别 fair 的 comparison 啊，因为毕竟它它是这个一一套是一个量产的非常便宜的传感器，一套是非常非常复杂的，呃，无论是算力平台还是传感器体系都会更更好，甚至车也会更更好一点。但但至少我觉得大家关注的无非就是说，这个现在个位数的这个呃呃 status quo 跟这个我们看到的，比如 Waymo 假如说已经是 solve 三番了，假如说对吧，这我们认为它是这样的情况，那这之间的这个 gap 是不是在一个非常非常短的时间内，伊朗的说法可能在一年之内能弥补上？那今天的苗头其实可能。还是还是没有的，嗯，我觉得即便然后这这还是在一个说在呃呃，比如说 Waymo 啊，或者说一些专门做 L4 的公司啊，还没有 fundamentally 去转大规模去铺开这种呃 vision 的 foundation model 或者一些端到端的这个 model 之前，对吧？就是大家其实都在做这些方向，但它可能还不是呃。就是尤其在在比如说在轨迹生成啊，在这些方面上啊，还 machine learning based 的这个 trajectory 啊生成或者 behavior 的判断，可能还不是最最最就是唯一主流的方向的基础上形成这样的的差距，对吧？当 Waymo 在也往前去 adapt 这些方向的时候，我觉得可能这个还会有上，就是这个天花板还会上往上提高。

所以，所以我觉得，嗯，你说在，在这个，当然，当然，当然，我觉得另外一个点就是，特斯拉本身在 build 它的这个 training cluster，其实也是一个逐步去，就是在今年年内逐步 ramp up 的过程，对吧？年初的时候可能就一万多个。呃，H一H G equivalents这个training cluster，然后到现在到年终了，可能就三万多，到年底可能就会啊大得多，对吧？然后呢，它也是step by step一起去ramp up，啊，那这里面会不会有些magic出来，对吧？或者是一些influence？啊，有可能有，有可能没有的。然后我觉得另外一个维度就是伊浪自己表达的这个数据，就是大家在一千万个clips里面开始看到一些emergent的现象。我理解这些emergent现象，可能就是说开始有一些自主规划行为不完全啊被traffic laws，包括有的时候在该不看红绿灯的时候，可能也要。对，就是很奇怪的，有时候他会闯红绿灯，对吧？为什么会闯红绿灯？因为有时候红绿灯坏了，或者说或者说全部堵死了，然后人有时候也会做一种灵活调试呢，会看到有些这样的现象的出现。所以，所以我觉得就是，我觉得你如果从这个维度上来讲，就是在这个 scale 上能看到一些 mergers，但我觉得离就是怎么说呢？不谈不谈剂量的这种这个这个药可能都是耍流氓嘛。我觉得他他这个，我觉得离离真正的目标还是有很多远处。但你说看到一些 promising 的 signal，我觉得是有。但但我觉得是不是今天肯定不是插PPT moment？我觉得甚至于这事儿有没有插PPT moment，我觉得都很难讲的，在这个过程，是我的我的看法。

哎，田老师，那我们既然谈到了scaling law，OK，嗯，那我们就直接怼在这个大模型那个。我记得半年前，那可能参加这个硅谷一零一的时候，嗯，自己分享了一些关于您对scaling law的一些看法。我不知道您现在对这个问题呢是怎么看的呢？嗯，对我还是保持之前的看法嘛，就是说我可能没有那么乐观，呃，因为我会觉得就是，首先第一个就是，我们这scaling

Scaling Law其实是指，就是注意力达到一定程度之后，就会有个涌现的效应，就是我们突然之间发现这个模型可以自主规划了啊，突然发现这个模型可以做一些没有见过的推理啊，对这个部分这部分其实是其实是应该说是。不管是研究员来说，还是公司来说，还是投资人来说，最最兴奋的地方，因为就是意味着就是如果加很多数据进去之后，它突然之间学会了以前学不会的能力，啊，那也许就是我们能看到AGI实现，啊，我觉得这个是一个很重要的一个一个点嘛，就是大家为什么投钱，就是虽然说Scaling Law是exponential的。那个代价换取临界的提升，对吧？就是现在横轴是，它横轴是那个就是指数级的，啊，乘十乘十乘十才往上走，然后纵轴呢是线性级的，对吧？这种情况下，为什么大家愿意花钱花时间去做这个事情？就是因为有很多涌现能力，这边能力也许可以从本质上去改变这个生态或者改变这个整个被算的逻辑。啊，我觉得这个这个这个目的，但是就是说

Scaling Law这个问题，就是说，一个是它为什么会有这个Scaling Law，然后第二就是说这个东西只是相当于是大家在那个电脑电在那机箱前面，就是求人爸爸求一下说求你来来个Scaling Law，然后来个Emergent Behavior嘛，然后我们能不能做出来？对，所以特别这个东西对于就是规划或者说推理这种问题来说，我觉得这个很难。对，你看那个O1的现在很多那个评测其实也已经出来了，对吧？现现在评测我看了一下，基本上就说它确实比之前的模型好，这个毋庸置疑。啊，但是他们这个好不是那种断崖式的好，就是还是会受到某些那个制约。比如说问题变得越来越复杂的时候呢，这个模这个这个质量啊，比如O1的质量，O1 Preview的质量和其他模型的质量相比一样的，都会都会比如说降到零，就是让效效果就变得很差啊。所以就说他本质上来说并没有学会就解决这个问题的逻辑，他学会了可能还是呃在比较大的规模上还是能够解决这个问题，解决比较好。但如果规模再大一点，那可能这个问题就还是很难，所以O1还是解决不了啊。所以其实还是有这个问题在那儿，就是你没有看到一个啊，突然之间它学会了一个更本质的一个算法。然后呢，解决这一大类的所有问题，没有没有没没有没有任何一个文章说过这一点，啊，所以现在可能还是处于这个状态吧，对，嗯，就是对我来说，我当然是希望就是那有朝一日能够发现，呃，这个学习的这个秘密，啊，它到底是为什么能学出来，有什么样的那个结构能够自动学出来啊？那这个知道了之后。那当然，我们就可以对就是将来这个Scale到底能不能起作用啊，产生一个很好的、比较可靠的推测啊。当然，现在就是大家还是比较就是两眼摸黑嘛，就是我相信就是相信，对吧？所以就是有这样的一个一一个一个一个担心在里面嘛。所以就特别是对于那种比较复杂的问题。

呃，很像这个曾经的半导体的这种摩尔定律嘛，就是刚开始大家发现了，好像业界当中刚开始起步阶段有这么一个规律，然后剩下的就变成了一个工程师，然后再加可能整个一个领导层资源的投入，愿意去依然去去Follow这个规律，就变成了一个自证预言。呃，这就是曾经这个，它当然它并不是一个自然规律嘛。我觉得可能现在的Scaling Law至少是在初级阶段，可能大家还是呃在这么一个状态。我愿意投入资源，但是我后来变成了又又加强，我信了这个的信这个东西，就变得有点自证预言了。但事实上我们。这俩可能还不一样，因为摩尔定律呢，至少还是一个工程上来说可以计算的东西。就是说，OK，我每个部门每个部门可能在某个方面上有一些百分比的那个那个那个增长啊，那乘起来之后会得到一个综合的增长，对吧？那这个工程上来说，或者说在那个Business上来说能算。但Scale这个问题就是说，就只能说灌大量数据进去看有没有效果啊，大概是这样子。所以其实还挺难的。嗯，OK，那我们在最后一个问题，可能也是孟醒老师，呃，也总结的差不多了，我们就把这个自动驾驶这一part就过去，然后下面就去聊一些大模型的。就最最后一个关于自动驾驶的问题，如果L5是圣杯的话，这个FSD的模式和Waymo的模式，嗯，他们谁会更有优势呢？呃，就是比较快的能能Convert导致L5的这个状态呢？嗯。

我觉得这个背后可能有一个，先跟大家讨论有另外一个呃话题跟这个这个是相关啊，就是说技术本身是不是有自己的使命，对吧？就是不管人的需求是什么，技术自己会往一个方向发展，不管人的需求，呃要推动还是不推动它，反正早晚就会往一个方向。还是说其实技术怎么发展完全人由需求和产品的需求决定的啊？如果没这需求，压根就不会有这技术。嗯，我又我倾向于就这两者，这是一个技术哲学问题啊。我觉得可能这个相信这两个的都有，我比较倾向于后者。我觉得。我会就是简单的答案而言是，我觉得L2或者说辅助驾驶这条路线，如果有一天真的能看到L5，首先这是个大问号，有没有能看到L5啊？其次，是不是需要实现到AGI才能有L5，对吧？是不是一个AGI实现之后，然后再蒸馏出来一个增驾驶模型，这叫L5？还是说压根儿有一个增驾驶模？我觉得这这个都是问号。但但假如说这个是存在的，我是相信，其实，在辅助驾驶这条路线上，可能会有可能跑到L5，呃，概率会更大一点。呃，原因是因为本质上L4或者无人驾驶这条这个商业场景其实不需要啊，或者在大多数场景里面是不需要，而L2这个场景是持续需要破除天花板的。啊，去迭代就刚因为刚才说那个原因啊，就是它本质上是个体验性质的呃呃的产品，虽然它真正对无人化的要求不是最高，但迫使无人化的上限是体验提升的一个很重要的手段。而L4在无人运营这个场景下过了某个阶段之后，其实它可能的核心并不是要去迫使天花板的东西，它其实是不断的去压啊提升地板和成呃和压缩成本、扩大规模的这个角色。所以，所以从这个角度上来讲，我觉得大概率可能是类似于这种啊通巨型数据。因为今天其实从理性上来角度，我们昨天在跟一些做这种Dojo芯片的公司去沟通，我就觉得就是说从理性上来讲，其实你今天对吧就搭建一个Dojo级别的集群，做这么大的计算密度，在一个机架里头放。群体，然后放对吧？这么多机柜互联，其实并不是从今天需求角度出发。其实我觉得预判了很多很多未来年的这种呃计算的上限啊和等等，甚至于可能都不知道会用来干什么用，甚至也有可能都会浪费掉，对吧？就是计算资源。呃，我觉得从特斯拉角度，你按今天的这个状态，你搭把十万卡的机群，虽然有些可能是为了给XAI或者是其他场景用，但但我觉得也很夸张，就是其实你是，我觉得我不知道自动驾驶这个本身，你就算训练出来这模型怎么在车上去跑起来，我觉得可能这都可可能都很困难。但我觉得它并不care这件事情，我觉得它本质上是要啊达到上限天花板，不断往上上探的这个一个过程，这是我觉得它的使命。然后因为这个使命，所以我觉得它最有可能来去往前去走吧。呃，这个使命可能并不是L4最核心的使命。

哎，谢谢啊孟老师的分享。呃，那那个田老师是这样，就是我知道我们现在的这个组更多是关于Reasoning，然后可能您之前更多的是关于这个一些这Efficient，比如说希望可能在四零九零的一张卡上单卡24GB，然后就直接开始Train一个Model。我知道做可能推理就是比较Make Sense的，但在Train上方面呢，我们就就想更多的提高这些的性能。那您在之前的这些Project有什么一项新的进展吗？无论是像这个Mobile LLM，然后Sky and uh Snap这些的工作，您最近有什么一个呃新的进展吗？嗯，在Efficiency方面。呃，那个首先，Draw嘛，那个或者Scans不是Finish Finish系的工作，就是这两个像篇文章更偏是像那个做理论分析的啊工作，就是说对于就是就是当前那个Transformer的这个结构。对吧？然后它能做什么事情啊？我们要做一些分析，然后让这个分析能够，呃，让大家能够打开这个黑箱子嘛，对吧？那么这个方向其实有很多的那个工作。那么最近有一篇我那个Single Author就单单单做了一篇文章，呃，就是说啊，我们能够分析出来，就是啊，神经网络的它的一些那个那个解，那那那那些解呢，其实可以通过某种代数的方式构造出来。啊，通过这个方式，因为一般来说是，比如说你神经网络去求解一个，比如说像那个加法这样的问题，那么这样的问题你在做的时候呢，就是你一般会觉得啊，神经网络是不是应该把呃，把这个加法的所有可能都背背出来，变成一个表格，然后你这个直接往里面存这个表格，然后用这个表格去回答你想要的问题啊。比如说一加等于三，一加三等于四，这都可以记下来。啊，但是其实呃，你会发现你真是在训练的时候，呃，你这个神经网络训练出来的模型，它其实不是存一张表格，它是，它是通过傅里叶变换然后来做这个加法，啊，这就很这就非常神奇，就是这个其实是某种程度上来说呢，也是涌现的一种啊，就是之前我们说那个那个Emergence Behavior，对吧？那么为什么会出现这种情况？然后另外呢，就是说，呃，它里面有什么样的结构啊？那么这篇文章肯定主要说的是，就是对这样的结构呢，其实存在一个代数的这个结构来分析它。所以那个神经网络，你用梯度下降得到一个解，那么这个解呢，其实最终是可以用代数的方式直接构造出来的。啊，那么构造出来的这个方式呢，其实完全跟你的神经网络梯度下降是没有关系的。啊，所以这个很有意思，因为这可能意味着就是，也许将来某一天，大家会发现梯度下降是没有意义的，可能大家可能，可能需要用另外一种方式来解这个问题。啊，那可能是一个新的一条路径吧，对吧？可能这个你这同时也可以，可能就是稍微揭开一点，就是，呃，对神经网络来说，就是什么样的，呃，问题可能会出现这个涌现的效果啊，什么样的问题可能不会出现这个效果，呃，但这个只是个初步的那个结果，也是之后可能会有更好的那个那个那个结论出来，啊，那么这篇文章其实是没有那个没有Attention的，没有注意力机制的。因为是希望做一个非常简单的基简版本，能够把这个那个本质看出来，啊，那之后呢，呃，希望能加入一个特征机制，啊，注意机制，我觉得现在分析下来主要的原因呢，是因为为什么要注意机制呢？是因为你输入数据实在是太复杂太多了，所以你需要就是啊找到那些最相关的数据，然后呃把这也把这个学习的过程集中在这个相关数据上面，啊，这是注意机制的一个用处。啊！但是它并不解决，就是学习出来这个啊这个结构或者说这个表示啊，就是那个表征啊是什么形式的啊？也许这个表征的形式跟你想象的完全是不一样的啊！这就是为什么会有涌现的机制出现啊！但是这个只是非常初步的一些结论嘛，之后可能会有更好的或者更深入的一个想法，就是最终也许我们能够想办法去那个啊，真的去啊把这个涌现这个机制刻画清楚啊，比如说什么时候。呃，我学出来的东西完全是背出来，啊，我什么时候我学出来东西是对于这个问题有本质的或者深刻的理解，啊，然后是能够能够能够能够泛化到一些新的地方，对吧？这个这个问题其实很难，因为现在神经网络有就是它可能会去耳机两个区间嘛，大家可能发现数据量不是很多的时候，它完全是背书。啊，数量多到一定程度的时候，突然之间他会好像好像学会了什么东西，啊，其实这个是一个就是涌现肯定是存在的啊，我现在是倾向于相信涌现存在，但是。呃，但是呢，就是说，我们能够在多大程度上去刻画啊这个结构，让这个结构变得，呃，让大家能理解啊。通过这个方式，也许我们能可能外推出来，也许哪些Scaling Line真的有用，哪些Scaling Line是不用没有用的。这个东西，这样的话，我们才能定量的、科学的去理解这个问题，啊，大概是这样。那么这是。呃，我们在这个，呃，那个，我们在呃，就是神经网络理解上面的一些进展吧。啊，对。那么另外一方面就是像你刚才说的那个四零九零跑那个训练，对吧？啊，那那个是就是我们Get All的那的的文章，对那篇确实是啊，我们今年的一篇啊中了Oral的一篇一篇文章。那之后我们会有一些那个Follow Up出来。啊，那个这个Follow Up呢，就是现在还在审审理吧，就是但之后会有一些工作出来，因为还是这个方向，其实在呃不同的一些方向上啊，应用还是挺广泛的，而且确实能够省内存，有的时候还甚至还能提高性能啊，所以这个很有意思，很有意思。但这个可能更偏那个呃，更偏那个实践，更偏于Practical，啊，大概是这样子。

那您现在新领导的这个组呢，比如说做Decoder啊等等这些工作，你能呃也也再稍微介绍一下吗？嗯，对，这些工作是就是因为我们现在最近刚刚有一些那个变动嘛，呃，所以我们现在这边是有一个新的组啊，然后啊这个组呢，其实目的呢是希望。呃，能够做呃推理、做规划做得更好，啊，因为这其实是现在神经网络一个呃，现在AI的一个短板，啊，就是就刚才想说的就是，欧文虽然说很厉害，啊，但是欧文对于一些比较难的问题还是啊比较比较难以处理，啊，有很多的比较难的呃呃一些规划问题，它其实还是效果还是没有啊之前的，还是就是就是没有没有本质的突破吧。对，那么这个方向其实可能是，呃，下一代这个架构啊，或者下一代那个啊那个训练的方式的一个一个突破点吧。对，所以啊，为什么我们会有这样的一个一个一个工作成立？那么比如说我们最近那个DualFormer这篇工作，当然这篇我们没有改架构啊，还是还是是Transformer，但它至少可以发现了一个有意思的现象，嗯，就是说，呃，我们一直以来有认为就是人类在思考问题的时候有两种方案，一种叫System One译成叫System Two，对System One呢，就是说啊，我是直觉推理啊，我看到这个问题，我马上跟你说这个答案是。没有中间步骤，然后System Two呢是这种慢速推理啊，就是说你可能需要纸上写草稿啊，然后通过一些反复的啊推理啊，反复的那个推敲得到个答案，就是这个要慢的。所以快的和慢的呢，就是传统上来说呢，就是认知学那边认为这两个是不同的呃推理模式啊，是分开的。啊，然后呢，就是人脑的有两个，呃，就有意思的这个结构，就是它可能可以做慢速，也可以做快速，啊，但是一般快速慢速被认为是两个不同的推理过程。啊，但是在那个DualFormer里面呢，其实我们发现，就是如果我们把数据的那个分布啊设成一个一个一个一个特殊的样子啊，它里面又有那个System One的推理方式，又有System Two推理方式，放在混在一起，然后一起训练的话呢，你会发现这个网络其实它可以同时做啊System One和System Two啊的推理。就如果问题比较简单，它会自动切到System One；问题比较复杂，它会自动切到System Two。啊，这个就非常像人了，因为对人来说，他其实脑子里并没有想我要用哪个方式来推理啊，他可以在。很短的时间内决定我要走哪条路，哪条路相对来说更容易出结果，啊，那么那么那丢粉末呢，在这方面其实是实现了这个自动切换，就是不需要一个外界的一个啊一个一个一个成分，这个成分去决定这个哪哪哪条路要走，它自动会发现哪条路可以走，啊，这个很有很有意思啊，不仅如此，它还能够。呃，能够就是如果我们想指定它走哪条路的话，也很容易指定，啊，就训练完之后呢，就一次训练完之后呢，就是指定的可以自动指定，啊，一个是自动发现哪条路可以走，另外一方面就是可以让人来指定哪个方向可以走。啊，那么两而且两边走出来的那个效果都比那个单纯做生成模型、输出生成模型出的效果要好啊，这个是个很有意思的现象啊，这个是一个我们现在一个比较好的一个工作，对。

然后再稍微Comment一下，我记得可能是这个VLM出来了，出来的时候，就是理想汽车嘛，然后迅速在怼怼在这个车载的时候，他们其实就采用了一个System One这个大模型和小模型的。这种结构，当然它并不会像这个DualFormer一样，这个我是自动去去判别到底走走类似呃那种Chain上面那种去做，然后它是自己的一些比较比较这个需要迅速的这种Prompt，就就在小模型上再处理一下，只要它需要一些思考的时候，它才会怼在一个大模型上。呃，这是一些比较粗浅的，在这个也不能叫粗浅的，因为它它需要迅速的把这个东西推到一个呃产业界去用。这理想汽车，我记得当年好像有这么一些这个应用。嗯嗯嗯，对，就是像这样的工作，就是就是说，就是一种就是比较那个直接的方法嘛。就是我们分两个系统，每个系统专门处理System One或者System Two，对吧？你有个小模型专门处理System One，然后有大模型专门处理System Two，是这样。当然，这个DualFormer呢，就是就是它能够它说明就是说我存在一个模型，我可以同时做这两件事情，还可以自动切换，大概是这样子。

也成，那那我们再我们再把现在的讨论话题呢扩展到偏点儿这个非电力领域。哎，来，正好刚才讨论到那个车的这部分，就是其实就是一个。那个他在研究，因为我觉得一旦把很多任务从云端迁移到端上之后，呃，从云上迁移到端上之后，它就有了一些新的现实条件，对吧？就比如说System Two的这个时效在车上，而一个大的LLM Model要求

在车上去跑的时候，大家第一个是不知道它多长时间能跑出来结果，也不知道那个结果到底有没有用。且如果你要及时处理的话，因为这车可能就撞了，对吧？就是之前也或者算力又有限，对吧？可能是。这个这个，在一个单任务上，我记得很很多时候早期跑的版本可能延时要一秒多，后来可能能压到零点几秒或者是更低的这么一个一个节奏，可能会肯定会越来越好，但就是就是那由于这个的限制，会造成说那我到底什么时候能调用？是不是我不知道？就是因为今天车上还没有像像这个元栋老师做的这种这种自动分配的 routing 的机制，对吧？但是如果有的话，我觉得可能在甚至于这个 routing 可能都不是对于一个单一问题，可能要预判有可能有什么问题，然后提前也 gauge 一些一些对吧？ system 就同时在跑，然后 system one 一直在在 run 的这样的一个过程，觉得好像是一个在端上会变得有格外的复杂的一个一个体系啊。对，有可能会会变得比较复杂吧。就是当然，我们这篇文章是想办法简化这个体系，一个模型能够做两件事情，啊，这是一个啊。

如果在端上的话呢，就是一个你考虑到成本嘛，就是也许这个模型。他在做决策之前，肯定先要让那个外面告诉他啊，我你现在只有两秒钟时间，我完成决策，啊，请你不要花太多的token生成那个整瑞生的那个pass，啊，这个其实是一个test time compute的啊一个啊一些一些要求吧。对吧？你比如说，就是就比如说以前我们做围棋的时候，就是我希望我们这个 bot 两分钟之内，或者说一分钟之内能够出结果啊。一分钟之内你得马上出来，如果没出来就是超时，你就算输了。所以这种其实是有很多的那个方式去做。当时我们就比如说用蒙特卡洛 tree search，蒙特卡洛搜索的时候呢，就是说你可以做到这一点，因为这个算法是一个 anytime algorithm，什么意思呢？就是它在任何时候可以停下来，然后输出一个答案。啊，这个时间呢是不需要事先给定的，啊，所以这个是一个很好的性质。那么这样的话，它比较适合比赛。因为比赛的时候说，我你得马上得停下来了，那我就马上停下来，然后告诉他那个下一波怎么走，啊，那么这个是一一个一个办法。

当然了，就是现在现在这个时代已经是 L M 的时代了，所以就是也许有更好的办法可以做这些事情啊，但这都是一些挑战了，就是端上你怎么样去部署，让这个时间不超时，同时又是大模型啊，这个都是都是问题。啊，那我还感兴趣的下一个问题，就偏点儿啊，这个业界大家。这个对这个问题更加本质的一个思考吧。之前的 GSM 苹果出了一篇文章说啊，那这件事情呢，其实我并不是真的在推理，我更多的就是一些词的适配。然后呢，DeepMind 的那个 Danny Zhou 老师呢，出了一篇是其实 COT 的这件事情，其实是我并没有限制的这种呃 upper limitation，就是听起来好像呃。至少是这个不不严格的去去分析的话，好像是一个相反的一个问题。所以呃，两位嗯，你们对这两件事情是这两篇文章是怎么看的呢？一个是苹果觉得哎，我其实并没有真的一个 reasoning 推理。呃，然后周老师对这件事情觉得哎，其实我们是上限是很多的。我知道就是单独的，比如说一层很浅的呃这种神经网络呢，其实它就可以拟合。应该还是任任意这个程度吧，接近的去去拟合的这个函数，呃，所以这个你们两位对这个问题是怎怎么看的？

嗯，嗯，元栋老师还发专门发推还怼过，所以可以先讲一下。对，怎么说就是看看见我我像当事人感觉。对，是这样，就是那个 Danny 周那边做的那个工作呢，是啊，对，就是他是这样，他这边主要是跟那个啊马腾宇马老师啊他们合作的啊，就这边主要的他的那个目的呢是这样，就是证明啊他在呃就我存在一种那个参数的构造，那这构造下面我能够解决啊很多很多的问题。啊，大概是这样的一个东西。然后，如果这问题比较复杂，比如说它的那个它内部有多少的gate，这个gate数目是t的时候，你可以通过t层的那个t步的那个那个推理，可以把这快把它解决啊，大概是这样子。对，就是，但是呢，这个问题就是这样，就是因为，呃，所有的就是，如果是内部有七个不同的门，算出这个这个这个问题的结果，对吧？那这这是个假设，这假设其实是意思就是说，这个问题其实是比较简单的，就是多项式时间能解决的问题。所以它是一个一个P问题，大家做P等于NP啊这样的一个一些argument，它其实是个P问题。然后这P问题里面的复杂度跟你的每一步的推理的那个长度的复杂度呢是成正比的啊，是这个意思。所以就是说，如果这个问题里面有七个门，什么各种与或门，反正各种门，那么有些这个门之后呢，然后啊你就可以用七步的方式来把它推理出来，啊大概是这样子。那么这个这个结论其实就是说，确实是就是有一个universal的结论，但是它没有那么没有那么强了。

就是说，应该说，因为世界上很多问题是NP hard的问题，然后这NP hard的问题按照这个逻辑呢是做不出来的，你需要指数步的推理啊，这个是啊，这是一样。但是呢，其实很多NP hard的问题啊，对于人类来说，就是人总是能找到一些shortcut，或者能找到一些好的heuristic。啊，能够找到更好的结论啊，但这个问题就很难讲了，就是因为所谓NP hard的问题是，就是在最差情况下是是指数级的啊，但是这句话并不意味着一般情况下是指数级，或者说有很大部分情况下它都很都都很容易做，只是在很少的一些小的case上，一些小的cold case它不做不出来啊，这这个这样的话，呃，在这种情况下你Transformer一样也也也也也也也也做不出来。嗯，所以其实这个不矛盾，就是说一个就是说也许问题很难啊，所以 Transformer 也做不了；另外是说如果问题不是很难，那我 Transformer 可以做啊，所以这两个其实并不是矛盾的啊。

对，然后像那个那个 GSM AKA 那篇，苹果那篇，其实苹果里面有一个结论，就是说如果你加呃一句就是跟这个问题无关的啊话。啊，比如说小明买了一个，买了三个苹果，每苹果五块钱，对吧？一共多少钱？我跟你说，这个苹果是富士的，我这苹果是其他牌子的，这这这个这这这个东西跟那个问题没有关系，但是这句话就就会让这个啊大模型那个出现短路，然后那个效果就变差啊。其实 Danny 之前，Danny 组其实之前也有一篇相似的文章，啊，而且被引了很多次的那篇文章也是一样的结过结论，就说如果你在做那个 reading task 的时候，你中间插入一句没关系的。那输出的结果也是比较很差啊，所以大模型就是说，在这个情况下，其实它并没有办法啊，真正的去就是说理解问题，并且把那些无关的东西去掉，然后做做推理啊，所以这个实际是个证据，说证明它可能就是背书，因为它只看到这个问题，看到了 exactly 就问题，那我知道怎么做，但是问题稍微变化一下啊，它可能就不知道怎么做。那就是为什么大家可能会觉得他现在还没有太，太能够做推理的一个原因嘛？对，嗯。

对我，我感受就是，倒倒不是说针对于这个，因为因为他这个那那中那个文章，我觉得还是还是比较开阔的一篇，对吧？就是在这个怎包了呃这个电路层面上来去推理出来这个复杂度和对应解，我觉得就是从逻辑上来讲，我是感觉。呃，去合理。但我其实我最大的感受，因为我我不是做这块研发，但是因为我原来学数学的嘛，然后我们觉得最最大的感受是 O1 这种东西其实应该理论上是可以预判的，对吧？所以 test time 能够提升以及能提升多少，就像我们比如说原来做这种呃，就像刚才元栋老师讲的这种对吧？如果是一个多项式的这种这种企业，那比如说一个多项式本身我们就有这种泰勒展开式的近似方式，对吧？然后，然后我们在它的展开式的近似方式之上，还有这个牛顿近似法，对吧？从一阶一阶导数来去近似，这个我觉得本质上就是O1做这个过程reasoning过程就是在。做一个牛顿近似法，对吧？就是多次近似之后，然后多次反复跳转去推理，然后近似到那个那那个节点上。然后呢，三套反正是 model 的能力是是是，实际上你是它的展开是展开到多少多少维，对吧？你可能展开到一维就差一点，然后你可能要近似的次数多一点，你要展开到，对吧？就是比如说五阶导数，那可能就会好一点，就更相似，就是你上来展开可能更相似，但本质上是上来可能是一个多项式的问题才有的后边这些这些状况嘛。但但我就说这些 methodology 其实都已经是是存在且广泛应用到这个这个行业里面来。但就是就像以前我们做，但但我觉得就是有个跳跃，就像我对，当时学数学的时候也是从从最就原来全是符号推理吧。对吧？就是你姐啊，什么就是都是这突然开始学数值分析，对吧？就是 numerical analysis 学了这些什么近似法，跟计算机科学相关的这些东西。然后我对我来讲，当时就非常不适应，就是觉得这不是个很严肃的数学问题了，对吧？就是开始变成了一些。一些这个因为 compute 能力不够，所以有一些计算问题。但但但这事儿早就已经存在。我就是我那个的转变，我觉得其实很多人今天其实也是这种感受的转变，就是说，哎，原来我们就是一个正常的 scaling 推理，然后突然为啥，哎，去去反复用 COT 这种去多层堆叠，还能得出来很好的结果，或者说这是不是一个合理的方法？我觉得就是。这这这玩意儿，我觉得 inside 应该早就存在对吧？从从很多其他的行业里面来去干，嗯，这个我是我我我觉得我最大的的感受吧。

然后同样就是先讲的是说很早就被证明过对吧？两层的神经网络理论上也能拟合所有东西，啊，但 so what 对吧？就这确实是是一个我觉得挺好的一个问题，就是这个这个道理是确实存在的。但它可能并不能指引我们来往前去走很多。我们大多数问题其实，就是无论是有 compute constraint，还是说这个问题的复杂度，还是还是这个，就是你你你怎么就是好两层可以，但你怎么搭这两层的，就就可能也是一个一个很难的一个过程吧。这个我觉得，嗯，就是道理上跟实践上，我觉得有很多很大的差距。苹果那个我觉得还是挺挺挺惊讶的，我觉得就是就是简单的插入，或者说我觉得也许在这个过程中是不是少一层工作，就是说用另外一个模型来去把这些呃复杂插入进来的东西去拿掉，对吧？就是说 identify 哪些就是说是在这个 context 或者这个问题 context 下无关的信息取掉，是不是就把这个事儿其实可以解决的比较好，对吧？就是如果你 one shot 让模型直接去干的话，可能就会差一些。但我觉得这么小的 perturbation，然后会造成这么大的影响，其实是确实没有没有预料。就是你你肯定大家都觉得它不是真实的 reasoning 吗？但这个不是真实的到到什么程度啊？我觉得那个那篇 paper，我觉得更多我我感受的是一个是个对这个程度的一个一个直观的描述，对吧？就是非常非常小的杂的。呃。信号呢？那这个其实对我们使用起来就是一个很大的问题啊！就因为原来学的 prompt engineering 什么这些已经其实越来越弱化了，对吧？你对于你怎么写 prompt，怎么去设计 system prompt 可能就越来不重要了，但其实你问问题如果差一点都会这么重要，那你的 prompt 其实会影响比这个更大，那大家还是会谨小慎微来去做所谓工作。那对应的当然来讲，就是还是对于在所谓就是套皮公司，对吧，在模型上去做一些啊 UI UX 加工或者说 system prompt 定义的这样公司，其实还是依然还有很大的这个余地，对吧？这这是我觉得对应的这个事儿的 take away 吧。

呃，感谢孟醒老师的分析。然后，从 continuous 的连续的数学，因为我们去讲了很多的 PDE 啊，去讲了这种 curl，然后才会突然跳到离散数学的时候，感觉呃，好像的确是数学，但是没没有没有那种感觉。那我就继续沿着这条线，然后我们再再往外推一下。因为之前那个 Alan 朱老师他也做了一个说关于这个大语言模型的这个物理学。呃，那铁铁老师，你对这件事情是怎么去理解的？就是我之所以抛出这些问题，都可以理解成，无论是比如站在VC的角度呢，他投了钱，但是他肯定也会琢磨着这事儿。如果这个upper的limitation已经到了，那我就赶紧往回收一收，说别人去接了那个锅，呃，是是这样。所以他们本身呢，站在VC的角度，他们也会去这件事情，呃，这非常感兴趣。我觉得站在学界呢，就是大家本身呢去求真嘛，就像年纪。您写的那个知乎上的文章，不问寒暑嘛，就是问求道。其实大家也想知道，OK，图灵机难道就这么强大？我们想知道它到底在哪个范围内？去去去做这些活动，所以您对这个Allen朱老师做的呃这篇文章，呃，您是怎怎么去理解的呢？

就是要建立大语言模型的啊，我希望在里面去找到我们自己的是吧？这个一些可能的牛顿定律啊，至少有一些比较solid的东西在那儿。嗯嗯，对。但这篇呢，就是说我觉得做的非常扎实吧，就是非常solid，很多很多实验啊，其实是我觉得就是他就是Allen其实从去年年底开始做了，就是去年底。他在我觉得就是我们内部class能看到了，就是我觉得他他一直在跑project，他跑的这个GPU的数目远远多于我，呃，有很多很多那个，有很多很多那个那个那个努力吧啊，就是非常多努力做做这些做做这些项目，对，就是但是就是说呃，现在这个这这篇文章其实你就是说它是physics是指就是它比较偏那个empirical的，就是说呃，大概就是做一些非常详细的分析。啊，分析啊每个呃微小的变量的那个改变，能够影响最终那个大语言模型的效果啊，大概是这样的一个一个逻辑。其实就是说，你可以认为它是一个非常那个系统化的，然后非常。呃，细致的啊，或者说非常扎实的一个呃那个多变量的那个分析的啊这样的一篇文章，啊，然后比如说你有些变量发生了变化，啊，比如说有有有具体的，比如说你在做这个这个task的时候，某一个参数发生了变化，最后结果会怎么样？啊，比如说我我这样的一个啊 graph reasoning 这个 task，我们看能不能学出来一个结构来。他发现就学出来，比如说动态规划这样的一个结构啊，他就通过很非常细致的分析，然后发现它确实跟动态规划很有关系啊。大概是这样的一个一也也也这样一篇文章吧。

对，它其实有很多很多的那个那个比较细的那个。啊，那个分析，然后这些细的分析里面，其实呃，其实能够给大家一个比较好的那个 insights，就说这个事情是啊怎么回事儿啊，或者那个那个事情是那个是怎么样这样的一个过程啊？对，因为其实有很多的那个啊结论，或者说网上有很多这种这种这种信息，其实不一定是对的。啊，因为很多时候这个信息不是因为你做大量的那个控制变量法，然后有一个呃比较系统性的结论。啊，Allen这篇文章其实是做了一个系统性的分析。然后得到一些结论，这结论相对来说比较，啊，就是说比较 solid 的，或者说比较比较坚实，可以可以可以拿来可以拿来，就用这个结论去去分析啊模型的 B 行为是怎么样子啊，都是这样子。当然，另外一方面就是说，就是你要说到那个 physics 这个级别，其实还有可能还有一点距离吧，因为，嗯呃，就是说他没有提出那个像 Newton's law 这样的一些一些一些方一些东西，对，呃，也其实挺难的，因为。呃，我们有很多这个 empirical 的啊，这个 law 那个 law，就比如大家知道 scaling law，这是个 law，这是个 empirical 的东西，对。然后还有各种各样 scaling law，现在又又出了个 test test of the test of computer scaling law，啊，就所以这些其实都是就是相对来说比较 empirical 的吧，但是就离一个那个三大定律这个还是挺有一点距离吧，还是大家还需要努力的。

关于大语言模型能否涌现出高级抽象概念，如黎曼流形或度量定义，目前看来仍面临短板。模型虽能调用已有概念，但理解往往粗浅。正如陶哲轩评价O1模型，其虽知识广博、讲解头头是道，但缺乏深层理解，更像熟练的“做题家”。生成新概念需大量数据刻画，而新概念本身缺乏数据，陷入“鸡生蛋”困境。因此，目前AI难以像人类一样创造全新概念并用于推理，但在已有概念的处理上表现优异。

对于“概念”的定义，需具备清晰解释性、逻辑自洽性及推导能力。虽然大模型可能在隐式空间中存在类似概念，但尚未显性表达。早期CNN研究已发现节点对应人脸、正方形等概念，但这多源于数据总结。AI创造新概念用于推理规划仍具挑战，或许AI已具备此能力但未被识别。若AI能以极小数据量获得人类洞察力，则意味着新概念的生成，这与“涌现”能力密切相关。

Agent技术目前处于初步阶段，基准测试表现尚可，但落地应用仍需代价。垂直领域因需大量私有数据，专用模型可能优于通用大模型。若通用模型无法实现全能涌现，垂直领域将形成由专家和数据构成的护城河。小公司可通过专有数据训练出特定领域优势模型。Agent投资需谨慎，应寻找具备足够垂直深度和数据壁垒的方向，而非盲目追求通用能力。

Agent的评估体系尚不统一，存在量化基准与感性体验之争。从Web Arena到SWE-bench，再到TopBench，基准测试成功率逐步提升，如Claude 3.5任务成功率近50%。Agent-as-Judge等过程评价方式日益重要，以解决“过程错误但结果正确”的问题。当前行业处于谨慎乐观状态，创业者多凭信念推进，但研究者需建立自洽体系，避免盲目崇拜Scaling或强化学习，理性看待Agent的发展路径。

最后提及田渊栋博士的新小说已在京东发布，并探讨Storytelling话题。国内创业者尝试用大模型讲故事、陪孩子，这引发了对AI叙事能力的思考。Storytelling涉及情感、逻辑与创意，是检验AI理解力与生成能力的重要场景。通过这一话题，进一步探讨AI在垂直应用中的潜力，以及技术如何更好地服务于人文需求，为Agent的发展提供新的视角。

这部小说创作于2020至2021年疫情期间，初衷是作为无聊时的娱乐项目，更深层的动机则是畅想AI时代的科幻叙事。田渊栋认为，科幻小说扎根于时代，如16、17世纪的机械幻想与20世纪电子时代的想象截然不同。随着AI发展，社会可能进入“所见即所得”的状态，如现在AI能瞬间生成可运行的App，这在当时难以想象。这种技术跃迁意味着重复劳动失去意义，现有的社会体系和价值观将彻底重构。因此，小说探讨了在“所思即所得”的零银河联盟背景下，人类的价值、组织架构及发展意义何在。

此外，小说设定了外星入侵的情节，但摒弃了传统物理毁灭的逻辑，转而思考高等文明在信息时代对低等文明的看法。这不仅是技术之余的自我娱乐，更是对大问题的有趣探索。随后话题转向孟醒老师关于Storytelling的观点。孟醒指出，自己好奇剧情分支与变量变化带来的衍生故事，如历史假设。传统同人创作门槛高且难流行，而硅谷一直在探索介于电影（短时长弱互动）与游戏（长时长高互动）之间的新媒体形式。

在中国，抖音等短视频平台通过降低互动门槛并拉长使用时长，提供了一种答案。无论是PGC的交互式电影还是UGC的短视频，都需要杠杆来放大创造力。孟醒认为，AI能力使得普通人也能利用工具拉通故事，从文字生成图片、视频，甚至口述生成沙盒游戏。Storytelling的定义因门槛降低而拓宽，形式从单线固定转向多线沙盒。这一领域深水区不在大模型公司，而在具体的产品体验、互动逻辑及情绪模拟等非模型部分。

最后，田渊栋补充小说名为《破晓之钟》，并指出Storytelling如同数学中的代数，通过不同元素组合演化出虚拟世界。这一切背后的驱动力是人类的好奇心：既包括对学术求道的渴望，也包括认识并利用工具去探索更大世界的本能。感谢两位老师近两小时的深入交流，访谈在感谢与道别中结束。