Hello，大家好，我是小俊。我们此前访谈过谢赛宁、洪乐彤，他们分别是来自于欧洲和美国的New Lab，但是今天的这个现象已经不止于海外。二零二六年，中国也涌现了一批新型实验室。这些有研究背景的老师或者学生正在成为一级市场的新宠儿，他们普遍很年轻，有名校科研背景，第一次创业，在还没有产品的时候就能以估值数亿美金融资。
当下资本涌入最活跃的方向是世界模型和 Auto Research，Auto Research 又可以叫做 AI for AI。我很好奇这个现象的现实与成因。那这期节目呢，我邀请了清华大学人工智能学院助理教授、上海七智研究院PI刘子鸣。他毕业于北大和MIT，是看网络的一作，在今年三月份刚刚回国到清华任教，同时参与创建公司圆环智能。
他用“太疯狂了”来形容这股新的资本潮。我们聊了聊中美 neo labs的兴起与成因，以及他所探索的一条非典型的 AI for AI
背式。那接下来就是我对刘子鸣的访谈。对，我是三月份回的国，然后大概是四月底入职的清华，啊，然后五月底开始参与融资，然后这个过程，我的体感是。就太疯狂了，怎么说？但但反正不管是 AI for Science 还是世界模型，还是这个 AI for AI，我觉得都是一个就一级市场是一个非常 formal
的一个状态。
确实就是说大家都在这个相互打探消息，然后大家都投项目的动作就就都非常的快。Hello，子明，先给听众朋友们打个招呼吧。嗯，Hello，大家好。啊，能不能先做一个简单的自我介绍，聊聊你的工作和你现在的一些状态？嗯，好的，好的。对，首先感谢小金的邀请啊。然后我是啊刘子明，现在我是清华大学人工智能学院的助理教授。
同时呢，这个我们节目录制也是在这个上海七思研究院，也是在上海七思研究院担任这个兼职PI，然后同时也是参与到了创业当中来，然后在圆环之人担任这个首席科学家。然后我之前的经历呢，本科是在北大物理学院读的本科，然后后面去了MIT，接着是做这个AI和物理的交叉，之后短暂的在斯坦佛做了半年的这个脑科学家AI。
嗯，然后我博士的导师比较有名，是这个呃 Max Tegmark，他是从二零一二年就开始去宣传这个 AI for Physics，然后包括二二年底、二三年初，他也是最早的这个宣传这个 Mechanistic
Interpretability，就这个机制可解释性啊，这个最近也是这个唐杰老师说要政府要投资百亿的这样的一个方向啊，也是 Anthropic 在做的方向，对，这个我们是二二年底、二三年初就开始布局这样的一个事情，对。
你是怎么从物理走到AI的？我觉得很多，包括姚舜宇，是吧？我觉得很多做物理的人都会有这样的一个经历，就一开始做物理是觉得哦，物理它是一个很美的，在智力上非常 challenging，就是非常困难的一个事情，所以就被物理这个学科所吸引，啊，但是后后面慢慢的就。感觉这好像不是 the party is
over，就就是啊，这个也是高能里面经常说的一句话，就是说盛宴已过啊，就是感觉，就是给年轻人留下的那些问题其实没有那么多了。
但是AI呢，它是一个呃，相反是一个给我们这些小灯有非常多机会的领域。嗯啊，然后我大概是。呃，具体来说，我是大二那那会儿，应该是一七年，我就是关注到了这个GAN网络，就是那个Generative Adversarial Network生成对抗网络，啊，那个时候我就觉得哇，这个东西特别重我的兴奋点，而且它好像在数学上也没有那么难。
他做的东西就非常的 fancy，然后那个时候正好被理论物理和实验物理双重毒打，那个时候就不知道自己要做什么，因为理论物理又非常的困难，也比不过姚顺宇。呃，对，姚申宇，by the way，就是也是我们一直以来的一个偶像吧，因为在本科期间他就发了两篇这个 PRL 的论文。你们是一级吗？啊，他比我大一级，我在我在北大，在清华，对对对对，是的，是的，所以一直就是听听说他的传说。
然后实验物理那边我也在想，OK，那我理论做不行，那我去做做实验，然后发现实验做起来就更惨。就有点像那个，我不知道奥本海默还有杨振宁，好吧，我少在这里给自己贴金了。就是我感觉到，就是我进了实验室只会把这个事情变得更加的混乱。就我其实也参加过一些实验物理的一些科研，比如说之前做过一个磁流体，结果搞得满手和满脸都是，然后后来我就觉得，哦，那我好像也不太适合做实验。
所以那个时候就是比较沮丧嘛，就感觉理论物理跟实验物理都不是我所擅长的。那接下来我要干什么？然后正好那个时候就看到了干这样的一个东西，我就觉得哦，那这个东西非常中我的兴奋点。那我要开始做它。对，但可能一开始还是比较谨慎一点，就是觉得啊，我不想轻易的放弃自己的物理的这个背景。所以呢，一开始我们还是这个做 AI for physics 比较多。
啊，一开始这个 for physics 主要做的是这个高能微相。就是 high energy phenomenology，这个其实和我们现在的一些研究 physics of AI，就是所谓的 AI 的物理学，这个方法论其实是有挺多相似之处的。它既不是完全的理论，它也不是完全的实验。它是一种维像，它是一种能够嫁接理论跟实验的这样一种桥梁。
AI for physics的本体就是你服务对象是physics，但是你physics of AI的服务对象是服务对象是AI。OK，对，是的，这个也是后面为什么从一七年做到二二年，我做的都是AI for
physics。其实那个时候我们就已经开始在谈。AI科学家、AI物理学家这样的一些概念，嗯，但是也是到了二二年的这个时间点，就是Chat GPT出来了，我是觉得物理里面没有那么多像Chat GPT这样那么sexy的东西可以值得去做，对吧？
所以我就把这个AI跟物理的这个角色给它换了一个位置。就是不再是这个 AI for physics，而是 physics for AI，更具体的就是 physics of AI，这个 AI 的物理学，就是我要用这种物理学的这种方法论，用物理学的这种思想去帮助我们更好的去理解 AI 和设计 AI。所以你本科就已经开始接触一些 AI 的内容，你做了吗？
AI？对本科就开始做AI，就我的第一个项目就是拿干网络去做高能物理里面的一个任务，但是和很多人一样，第一个项目就是很显然是不成功的。但是呢，就是在这个过程中，我自学了很多AI的东西。然后在这个过程中，慢慢的就觉得，就还是学习AI能够给我带来的这种愉悦吧，给我带来的这种成就感是比物理要多很多的。所以我就学着学着学着，我就慢慢的就是就是说我基本上所有的时间都投在AI上面了。
所以你到本科毕业的时候是一个什么状态？我本科毕业的时候状态，那个时候我是发表了三篇就是AI for physics的文章。哦，有两篇是就是和高能物理相关的，然后还有一篇是可能算是 physics for AI 吧，就是我们用量子里面的一些想法去设计了一个更好的一个采样的一个东西，一个 exemplar 啊，一个优化器，所以那个时候的状态。
我觉得还是偏物理这边的，包括后面去申请这个博士，MIT MIT 对，申的也是物理的这个项目。但是 Max 他就是不拘一格降人才吧，就是说可能整个 MIT 物理系除了他，可能还有 Mary Sajadich，啊，就是另一个做光学的一个老师，但是也是 AI for 光学的一个老师，他们两个是非常好的好哥们。
可能整个 MIT 那个时候是二零年。AI for science还是一个有点过于遥远的概念。我记得我当时申请博士，就是我在我的这个研究计划里面写的就是说，我接下来要做AI for physics。也只有Max看到了我的材料，啊，然后他说我要招这个人，啊，然后他就把我招进去了。他是因为喜欢你的研究方向招的你。
他是喜欢我的研究方向，然后他也跟我说，就是他看我的个人网站也觉得非常的厉害，因为我当时就是在我个人网站上面画了一个类似于八卦图的一样的东西，我会去画我的这个呃 research interest，就我的这些研究兴趣，他们是怎么样相互关联的，然后他就觉得说其实和他的思维模式非常像，嗯，就是 Max 也是一个就是思维有点发散的一个人，就是你跟他聊，可能我们。
就聊一个小时，可能会涉及到，比如说五到十个 topic，因为他是经济学的本科，然后后面他才是去做了物理，然后后来在二零一二年的时候，他就开始说 AI for physics 了，这个是一个非常非常早期、非常非常超前的一个做法。我我觉得都是因为他这个人的兴趣点也是非常的广泛，然后他能够就是看到不同事物之间的联系吧，这个他是比较典型的这种所谓的鸟人。
这就是Freeman Dyson，他会把科学家分成这种鸟人和蛙人。鸟人就是说，简单来说就是每个领域都懂一点，然后他能够看到不同领域之间的结构性相似，因此他们能够把一个领域的一些方法给搬运到另一个领域。鸟人的好处就是说，他能够鸟看整片领域。然后他能够去集中精力，他主要的时间是花在去找到一些更 high level 的一些更高层级的一些啊比较和抽象上。
但是挖人另一方面呢，就是说啊，他们会把一个领域做的非常的精细，就是研究的非常的深刻。那在这点上，我跟 Max 其实都是非常典型的鸟人，嗯嗯。哎，你是 I N T J，我感觉 I N T J 哦 P 人比较像你说的这种呃鸟人对发散型对他是他是 E N T P，哦对 Max 是 E N T
P，然后我其实也 T P 有点不分了吧，就是因为我感觉很多事情，不管是研究还是生活，其实很多事情不是自己所能控制的。
所以渐渐的也就也变得更僻了一些吧。你在博士的研究探索上有一条主线吗？其实中间换过几次方向，就是在二二年之前就还是AI for Physics做这个AI物理学家。嗯，然后二二年底ChatGPT出来，然后Max说OK，我们整个组都要换方向，我们从现在开始要来做机制可解释性。为什么呢？因为大语言模型太危险了。
那我们要保证它的安全，我们就需要理解它，它内部是到底是怎么工作的。所以这个大概是啊，二三年、二四年。就是这两年，我们主要是围绕的机制可解释性。By the way，看其实是我自己的一个 side project，就是一开始 Max 还不同意我做这个项目。但是后面我大概做了两周，做出了一点初步的成果，然后他说哦，这个东西还有点意思，那你就接着去干吧。
为什么他开始不同意？这个是你就是一个很有影响力的看的呃看的网络，这个也是一个呼应，就是我是因为干入的这个AI哦，然后我们后来二四年又提了这个看的网络，对，就是他为什么一开始不同意呢？他就甩了我一篇一九八九年的一篇论文。啊，那篇论文是那个 Tomasz Porzel 写的，Tomasz Porzel
也是我们 MIT 的一个，就是很有名的一个教授，然后今年应该是九十岁了，然后他在八九年的时候就写这个，这两位苏联科学家、数学家 Komogorov 跟 Arnold 的两个人提出的这个数学定理，他没有办法。
被变成真的算法，然后他们当时的一个说法就是说，他们就就是找到了一个 worst case，就最坏的情况。在这个最坏的情况里面呢，他们是没有办法找到这种严格的两层光滑的这种 Komogorov Arnold 的表征啊。这个这个听起来很冗长，反正就是前面加了一系列这个限制性的条件。但是我呢，就是感觉作为物理出身的人吧，可能有的时候并不那么 care，并不那么关心这个最坏的情况是什么样的。
我们关心的是一般的情况，我们关心的是它能不能在某些场景有用。它能在某些场景有用，那它就是一个好的一个东西。对这个，可能跟另一个想法就是“All models are wrong, but some are useful”，就是所有的模型都是错的。但是有一些模型它是有用的，所以也就是这种想法，对我就在想，那你数学上告诉我这个东西最坏情况不 work，但是物理上我们关心的东西都是有很漂亮的结构的。
那这些东西其实它不是最坏的情况，就是我们人能生活在这个宇宙里面，我们这个宇宙就不是最坏的宇宙。我们就一定是一个还不错的宇宙，我我们才能够演化出生命出来，我们才能够在这里问这个问题，我们到底是不是在这个最坏的宇宙里面？所以说，就是基于这个，就是因为这样的一个乐观心，让我暂时的忽视掉了 Max
的这个警告，就是说一九八九年，编织说这个东西不 work，我就是花了两周的时间，把这个原型给做出来了，然后我去找 Max 说，你看。
我我把这个网络给训练出来了，但是 Max 呢，一开始还是不是很满意。他就是说，但是我并不知道你这个网络这个内部到底发生了什么呀？你还是造了一个黑盒子出来，这个也是这个机制可解释性之道，它这还是个黑盒子。Max 就说，那你能不能想一下去把这个把这个网络给它做一个可视化？然后我就大概花了一周的时间。By the way，那个时候。
我还是一个不相信 coding agent 的人，当然那个时候 coding agent 确实也还没有现在这么厉害，所以那个时候这些代码就是还是一一行一行手搓的，所以那个可视化还是花了我一周的时间，但现在可能一个小时就够了。对，就我花了一周的时间把那个可视化给做好了，然后把这个可视化做好了之后，Max 说，哇， this is awesome。
啊，因为Max是一个超级的视觉动物，其实我也是，就是我一定要看到一个东西，我才会相信它。我如果不看到一个东西，我就总觉得很难受，就是我脑子里有个图像，我没办法把它倒出来，我就会很难受。对，所以说我把这个看的这个。结构图画出来之后，Max就被说服了。他说：“哇，这个这个东西它太有趣了，我们居然能够看到这个网络它的脑子里面到底在想什么，而不仅仅是说它最后端到端它的这个端到端的它的这个预测是什么。
”对，所以这个是。通过这个方式，就说服了Max吧。然后后面其实就是一个一些很正常的一些，呃，research的工作。对，但是确实早期，呃，我觉得还是蛮有意思的一段经历吧。嗯，你当时为什么想到要做CAN的这个网络？对，我觉得这个也是是我一直以来的一个执念吧。就是我会觉得，AI和物理。这两个学科的哲学差的太远了。
就是AI的哲学，至少我们现在的AI，它是一种基于连接主义的，它是一种神经的东西；但是物理呢，它是一种基于符号的东西。那我就会觉得两个东西不统一。就很不好，就这个可能也是来自于就是受过物理训练之后会有一种冲动想要去系统化，想要去做统一的这样的一种冲动。所以呢，我其实很早就从二零二一年我就在思考这个问题，就是我怎么样构建一个网络，它同时是一个网络，它同时又是一个符号公式。
这个其实有一点像波粒二象性，就是我们量子物理中说的一个粒子，它既是物理，它同时又是波。那我能不能构造一个网络，它同时是一个神经网络，同时它又是一个符号公式？然后就是基于这个探索，我就写出了这样的一个方程出来。其实我是事后我才知道，大概过了几天我才知道，我写出来的这个方程其实就是一九五七年科莫戈罗夫和Arnold写出来的那个方程。
但是我是从另一个角度，我是从神经网络和符号公式玻璃二向性的这样的一个角度，我写出来这个公式。然后我后知后觉，我意识到哦，这个东西一九五七年的两个苏联数学家就已经写出来了，而且他们证明了这个东西是有这种万能逼近定理，就是相当于就给我们的这个模型有了这个理论的背书，就是这样的一个表征，它能够表示任意的函数。
啊，那那这样一来的话，这个对就相当于是把我一直以来的这样的一个执念给他就给他close掉了。嗯，对。再看之后你的探索是怎么延续下去的呢？后面跟这个工作还关系吗？对，就是看对我来说，它更像是一个例子，一个什么样的例子呢？就是我人通过拍脑袋，我能够去设计出一个新的架构。我觉得我这个人思维模式有的时候有点偏抽象吧，或者有点偏 high level。
就是看成功之后，我想的不是说怎么样把看去应用到不同的场景，而是说我在想。我怎么样复现？我能提出新架构这个事情，对，所以这也是导致了我后面这个physics of
AI，就是对AI的物理学的探索。就我觉得，设计模型本身应该是一门科学，它不应该是像。我们现在这样，transformer拍脑袋拍出来的，干拍脑袋拍出来的，resnet拍脑袋拍出来的，看拍脑袋拍出来的，那这个就非常的不 scalable，就是我觉得我们不应该 scale，就是 compute 或者
data，我们应该 compute 这种 AI 模型的设计，但是这个东西怎么去 scale，那这个又是一个巨大的一个 research 的问题，所以就是在看之后，其实我觉得它对我来说是一个出发点，就是我我会更多的去思考一些。
Math science层面的东西，某种意义上，就是我是怎么样思考出来的，然后我想把我的思这个思考过程给蒸馏到一个。模型当中去，嗯，所以就成了我的一个新的执念。这个也是我现在参与创业做的这个A F A I想做的一个事情，就是把我自己或者把这个世界上这种顶尖的A I研究员。的这种脑回路给蒸馏到这个模型当中去，甚至不是蒸馏，甚至我觉得能够产生一些最顶尖的人类的科学家和研究人员更好的一些东西。
但是大家说 transformer 的时候，也会说它是抽中了 GPU 的彩票，就是它跟芯片它是更适配的一种模型结构。那如果基于不管是 physics of AI 还是 AI for AI 设计出一种新的模型结构，那它跟当下的这个硬件它能适配吗？嗯，这是一个好的问题。对，其实这更加说明了，就是 transformer 其实，在算法上也没有那么厉害，它是中了这个硬件的彩票。
就我其实挺挺同意，就是，呃，赛宁，就是之前赛宁和你的采访里面，赛宁的一个观点啊，赛宁就是说，大语言模型它是反Bitter Lesson的，就是大语言模型它能成功，它成功的点在于语言，它成功的点不在模型，就是因为语言是我们人类演化了百万年，相当于是自然给我们的一种馈赠。然后我们把这个礼物，把这个馈赠拿过来，然后在上面，其实你做什么样的模型，只要这个模型能够把这些馈赠给吃下去。
那它就是一个好的模型，它可能是transformer，但平行宇宙里面它可能是另外一个模型，它都是有可能的。其实我们现在已已经有了各种各样的变种了，对吧？比如说这种这种linear attention啊这种模型，所以说。对，所以说对于语言模型来说，我觉得这个地方的架构设计还相对来说没有那么精巧，是因为语言本身是一个已经被压缩的很好的一个模态。
但是对于很多其他的模态，比如说像视觉，嗯，我觉得这个也是很多现在世界模型公司想要解决的问题，它这些模态并没有被压缩的很好。所以这个时候很重要的一点是，我们怎么样去构建一个可以压缩的模型？这个模型它不仅仅是是说像 transformer 一样，我去把所有的知识给记下来，而是它能够去学到抽象的表征。这个其实也是人我们最擅长的嘛，因为我们人这个世界的变量实在是太多了。
但是我们人要我们的祖先，我们要能存活下来，我们需要去理解。我们存活最重要的要素是什么？我们最重要的要素是，哎，那个地方有个果子，我要把它摘下来，我吃下去，我今天就不会饿死。然后那个地方就是有一只老虎，然后我不能被他发现。就是人因为这个进化的原因，我们不得不去特别擅长，就是识别海量信息里面最重要的部分。
但是这个恰恰是现在的AI还不具备的这种抽象的能力，对，所以这个。我个人是觉得，为什么模型设计会变得更加的重要？在后 L M 时代，我觉得会变得更加的重要，是因为 L M 的成功不是因为模型。当然了，我说这话也也有点马后炮的意思，对吧？就 Transformer，就比如说它这种 attention
的机制，是能够让信息在上下文方向上很快速的进行传播，这个是像之前的模型，像 R N 或者 L S T M 那一代模型所不具备的。
那这个确实是它的一个创新点，但是可能只要我找另一个模型，另一个模型它也能够让我们在上赛文上面有很高效的这种信息传播。那对于那种模型来说，可能跟 transformer 是一样好的，就是说它牛不是因为它叫 transformer，它牛是因为它能够在上下文上有比较高效的这个信息传播，以及 resnet
也是，它牛不是因为它叫 resnet，它牛是因为它能在深度方向上有很高效的信息传播，有很高效的这种梯度传播。
你自己觉得你自己是一个什么样的研究的风格呀？从你的本科到你的博士，我觉得我其实是有一条很清晰的主线的。但这个其实也是我后知后觉，就是有很多人问我说：“感觉你东做一下，西做一下。”然后后面我再慢慢的总结出来，从点连成线。是的，是的，就是这个主线说的就是如何去嫁接神经和符号这两个世界。或者更具体一点，就是如何去嫁接AI和物理，或者更一般的就是自然科学。
对，因为我们人所居住在的这样的一个宇宙，居住在这样的一个自然的一个环境里面，我们是非常擅长这个这种符号。就是虽然我们不一定能够显示的写出来牛顿方程。但是我们却非常擅长，就是能够去就比如说我抛弃一个东西，我非常擅长去预测它下一次会会出现在什么地方。那这个其实是就又是神经这一部分带给我们的一个能力，对。
所以说我整体的研究是想要去嫁接AI和科学这两支。那AI for science说的就是说现在的science它太symbolic了。我想用 neural 的东西去补足这个 symbolic 的东西，这是 AI for science。为什么科学是符号主义的？是因为它有很多的方程式。对，我觉得至少物理它是一个非常符号主义的一个东西，嗯，那化学、生物可能也有一些不少的这样的一些经验性的东西。
然后这个是 AI for science，那 science of AI 呢，就是说我不满意于 AI 是一个黑盒。我不满意于AI，它就是一个神经的东西，然后我要用符号的东西，我要用science的东西去描述、去理解、去改进、去设计我的这个神经的东西，这个是science of AI，所以。包括 A F A I，其实我说的 A F A I，其实和大家现在说的 A F A I 也有点不是完全一样吧？
大家现在说的 A F A I，可能是说我拿一个 coding agent。去写paper，或者说我提升自己的这个这个训练的这个pipeline，那这个就还是说从神经到神经就没有闭环进我的这个symbolic的部分。所以我的AI for AI，我是想用自动化的方式去做AI的物理学，就是用AI来辅助我们更快的去理解AI本身，然后这个事情最后又能够闭环到不仅仅是理解，而是去提升AI。
为什么一定要引入符号学呢？就是没有符号主义也很好啊，只要你能 A F A I 就可以了。嗯，对，这个地方我觉得有一点取决于你的 belief，就是我的 belief 是 A I 它是一个半物理半偏生物的这样的一个东西，那物理它是一个，我觉得可以这么来讲。就是用Ilya
Sutskever说说过的一句话，就是“Intelligence is compression”，啊，或者反过来，“Compression is intelligence”。
就是我觉得符号是一种极致压缩的体现。就是当我们能够把一个东西符号化。这个东西意味着我们能够对眼前的数据做极致的压缩。那这个其实是像物理学这样的场景，我们是有这样的一个呃 luxury，就是我们是能够去给它压缩成符号的。但是可能对于像化学或者生物或者一些更呃社会科学，可能我们确实没有办法把它给符号化。
所以我觉得这个也是我认知的一种演化吧。就是比如说你如果在去年问我这个AI的物理学怎么做，我觉得它最后一定是符号化的。但是我做的越来越多了之后，我会意识到哦，可能我做一个预测器出来就好了。就是说，因因为物理最后的目的也是预测，我不一定非得用一个符号的理论去做预测。那现在我都做了一个预测器了，那这个预测器其实可以是一个神经的东西，它可以就是一个
neural network，它可以不一定是符号的，只要它能够有用，只要它能够在某些场景预测的还不错，就我特别同意你说的，就是它不一定得是 A F A I，它不一定得是一个。
符号的东西，它可以是一个神经的东西，但只不过符号的东西，我觉得还是so far还是我个人的一个执念吧，就是因为啊，符号的东西它更可解释一点。符号其实是把它从一个经验科学变成理论科学的过程啊，是的，对。而且这个地方，符号其实它也是有不同的level的，它也是有不同的层级的。这个我我特别喜欢举的一个例子就是说。
对应到天文学，天文学是有三个阶段的。第一个阶段是地谷，他这个人去大量的关心，他会去记录什么星星在什么时候在什么地方，这是第一个阶段，这是一个数据的阶段。然后第二个阶段是开普勒，开普勒他会去。你和这个行星的这个轨迹，然后他会发现哦，行星的轨迹是椭圆，然后这个时候就已经有了这个经验公式。然后第三个阶段再是牛顿的阶段，就是牛顿他会去把开普勒的这些经验公式拿过来，就开普勒的这个三大定律拿过来，他说你这三大定律仍然不本质。
你还需要三个定律，我给你写个引力公式，我可以把你三个定律我全部给你预测，所以这就是一个典型的一个压缩的过程。就是在地谷时代，你需要把整个数据表给记录下来，它就非常低效。但是你到了开普勒时代，你一个椭圆方程，然后再加上一些这个开普勒三大定律，就可以把这些数据很好的归纳进来，然后再到牛顿时代，牛顿时代说你你开普勒仍然麻烦了。
啊，我可以给你压缩的更小，我可以给你把这个的的东西压缩的更小。对，那对应到现在AI，其实我们大体上是处于一个，就看我们怎么衡量了。有的时候会说我们现在是处于第一点五个阶段，什么意思呢？就是我们其实有了大量的实验，但是呢，我们的经验规律其实还不是很多。就比如说像scaling law，其实是我们。为数不多的吧，知道的几个经验规律，它跟开普勒定律的这个地位是类似的。
我们现在还远远没有到这个AI的牛顿这个状态。嗯，对。当然，有的时候我又会说，我们其实更悲观一点，我们可能现在是零点五。就为什么这么说呢？因为地谷他好说歹说，他把望远镜对准了星空，他会去测各个星区的星星在什么地方。但是我们现在过度的聚焦在过早的收敛到，比如说像 transformer 这种类型的架构上，我们似乎已经失去了探索其他类型架构的这样的一个 motivation。
所以就有点像是地谷，他就盯着一片新区，然后过分的沉迷于这片新区，哇，这片新区实在是太美妙了，然后就忽视掉了对其他新区的一些观察。所以从这个意义上来说。我们现在可能可能连地谷时代都还没到，可能连数据大数据的时代都没到。就是说，我们这个数据它是只针对Transformer，只针对很少的几份这种模型有效的。
我们还远远没有到能够看到整片星空的这样的一个阶段。我要给大家解释一下，因为子鸣现在的创业的方向，参与的创业公司的方向是 A F for AI，所以刚才我们在讲他所相信的 A F for AI 是什么。我们刚才吃饭的时候，你也聊到你当时在 MIT 的时候，其实没有想过要创业，还是想着要当教授，然后去了 Stanford 才想着要创业。
能把这段经历给大家讲讲？嗯，对，我觉得 MIT 和 Stanford 还是挺不一样的两所学校，在 MIT 呢，大家就还是比较学术，比较偏保守一点，就比如说二四年。啊，那会儿在MIT，这个大家就是我的同学吧，都觉得湾区那些人搞的AI其实都是在骗钱。对，所以说呢，就是说一直到可能就是二五年五月那个时候拿了清华的offer，我的mindset都还是说我要就我要在学术界。
然后做出更有影响力的工作，我不要跟你们工业界那些人同流合污。对，但是现在看来，那个时候就太 naive 了，就是或者就是太理想化了，或者用比较流行的话就是说，还没有脱下这个孔乙己的长衫。来自于 MIT
的人的信仰是什么？MIT的信仰就是，我们比如说用五年的时间就能写出AI的物理学。有了这个AI的物理学之后，我们会发现现在我们投入这么多资源，完全就是在浪费，因为我们可以从第一性原理去推导出最优的架构是什么样子的。
所以你也可以理解，就是我为什么。那那个时候特别看不上工业界，因为我觉得你们你们就是有钱，对吧？其实从这里也能看出你理解的AI for AI和大部分人理解的AI for AI也是不一样，也是也是不一样的。这个你的理解的AI for AI还是蛮脱胎于MIT的那个文化的，我觉得，因为你还是在想最优的模型结构。
是的，是的，是的，对。但是我现在创业呢，我觉得就是参与到创业当中来呢，我我觉得我是有一个比较 interesting 的一个立场，就是我是比啊工业界的那些人都更。某种意义上更学究，或者说啊更理性一点吧，也也也不能说他们不理智，而是说他们看到了一个可行的路径就快速推，我觉得也是可以理解的。但是就是从啊学术的角度，我会比他们更理性一点，但是我又比学术的那些人老学究们更疯狂一点。
哦，你处在中间，对，我处在中间，然后我的疯狂就使得就是老学究们就会觉得，那可能AI的物理学就是需要做几百年。就是需要慢慢的做，但是我现在意识到了，可能如果还是靠我们古法科研，就是我这个怎么估出来，我就我不是凭空说的，对吧？因为物理学从亚里士多德时代到现在就是两千年，对吧？从牛顿到现在四百年，那我们。
现在到没到亚里士多德时代？我其实也不确定。就就是对于AI的物理学来说，对，当然在MIT的时候，那个时候我是特别乐观。乐观的意思就是说，我相信在学术界靠几个聪明的脑子，我们就可以把AI的物理学写下来。然后就可以 save the world，啊，或者 kill the world，我不知道，对，但就是不需要那么多的试错，我们就可以把这个模型，就是给它设计出来，给它训练出来。
对那个时候，其实我的实验已经做了很多了，就是已已经有大量的这个，这个是做什么实验？这个这个实验就是AI的实验，对。但是慢慢的后面呢，我觉得一方面是我们在这个就是AI的物理学这条路径上面走起来，发现没有那么的顺利，就这么让你绝望了？也没有绝望吧，是我仍然相信它最终是能够做成的。但是我是会觉得这个时间线不是我在有生之年可以看到。
就是如果我们不是用 AI for 这个 physics of AI 的办法，而是用古法科研。去理解 physics of AI，啊，最多我说我招十个学生，就是我招一百个学生，但是我我仍然觉得这个不是特别 scalable 的一个方向。对，所以这个也是我现在参与到创业中要做的是要去 scale insight，就是因为我觉得 AI 的物理学追求的是 understanding 和 insight。
对，当然有了 understanding 和 insight 之后，最后还是会闭环到他告诉我们应该怎么去提升模型。但是第一步是 understanding and insight，就是我们不能够跳过这一步直接到提升模型。当然了，你能直接提升模型那是最好的，但是现状是可能你想一百个想法，可能有一个想法 somewhat work，但是。
如果我们不跳过中间的步骤，我们先有了这个 understanding 的 insight，它能够更快的帮助我们去去更好的设计模型。从那个不想跟工业界同流合污的你，到 Stanford 以后决定要创业的你，发生了变什么变化？你在 Stanford 多久？我在 Stanford 其实只待了六个月。对，但是我觉得对我来说是像开智了一样。
对我，我觉得也不想就是说哪边更好吧，但确实 Stanford 就是我身边有很多人都在创业，就是有一个是我一个很要好的朋友叫高文浩，对，他在湾区那边现在也在创业，做的是 AI for Chemistry。哦，他跟我一开始也也都是在 MIT 去读博士的，所以我们一开始我们的画风还挺相近的啊，就都是瞧不起这个创业，瞧不起大厂。
但是去了 Stanford 之后呢？我们是同时开始做博后的，然后他就在那边待了两周，就跟我说：“哦，子鸣，我要创业了。”我们之前是每周吃饭嘛，每周吃饭我们就是聊的学术啊，聊的什么。然后他开始创业之后，他就开始教我这个创业应该怎么样创业。他的变化来自于什么？才两周，他的变化可能他也有类似的朋友给给了他这样的一个刺激，我不知道。
他让你受到刺激的是什么呢？就是在你们吃饭的过程中，我觉得主要还是就是你特别。相信你的 peer，就尤其是你觉得跟你风格很像的 peer，当你看到和你风格很像的 peer，他做出一些改变，他做出一些。你之前觉得很危险，你之前觉得你做不到的事情的时候，你就会去想，是不是我不够激进，是不是我太在舒适区里面了？
这个是一个，然后另一个也是我在斯坦福待的那个组里面，我在斯坦福博士后，我做的是 neuroscience 加 AI，老板也是特别有名的这个 Andreas Toulis，他是也是全球做 neuroscience foundation model 最顶尖的几个人之一。我虽然只有六个月，但是弯曲的这个节奏确实非常快。
就是我刚去的前两个月，呃，他们那个 startup 还可能在秘密的筹划吧，也是个 new lab，算是 new lab，但是他们更偏 neuroscience 一些，他们是希望能够从 neuroscience 一些 principle 来去解决 AI foundation model 的问题，就更像 neural for AI，对神经科学，就比如说猴，或者说老鼠，他们脑子里面的一些表征能不能够。
呃，用来去约束我这个 artificial neural network 这这种人工神经网络中的这些表征，嗯啊，然后人脑子中的一些结构能不能用来去约束这个人工神经网络中的一些结构，等等等等，大概做这样的一个事情。然后我也是就目睹他们从筹划到最后 announced 这样的一个过程。然后基本上，我觉得对我来说也是一种教育。
基本上我刚去的时候，他们可能在开始筹划，然后当我离开之前的一个月，他们就 announced 了。对我觉得对我触动也是挺大的吧，就是因为我觉得 Andreas 他也是一个特别 pure scientist 的人，然后我是目睹了他也是从这个 pure scientist 往 entrepreneur 转的这样转变，嗯。
对，然后当时，当时我跟他说我有创业的想法的时候，他也说，哎，那你就在我们公司好了，反正我们公司也想做这个 AI scientist，也想做 AF AI，对。但是后来想了一下呢，还是觉得就有点寄人篱下的感觉。为什么？嗯。这我觉得我们的路线也不太一样，就是我们 approach AI for AI 的路线也不太一样，就是我还是希望能够至少早期的科研 R and D 这方面按照我的。
亿元按照我的想法去推，后面这个东西怎么去做产品，怎么去商业化，这个我觉得就我也 open，但是它的 DNA 得是你的这个方案，是的，是的，得是这个原生的想法，是的，是的，它这个技术，它的这个想法得是我原生的想法，对，这个可能也是。学术圈的人会有一种控制欲吧，会有就是会有一种，就是很强的，就是说这个想法得是我原创，这个想法得是我提出来的。
当然，这个也还是我现在的想法，或许我过段时间之后会发现这个也是一种常生。你的那个导师他有跟你说他为什么要从一个 scientist 转成 entrepreneur 吗？其实答案很简单，他跟我说答案很简单，就是因为他们要做大量的这种老鼠跟猴子的实验，那这些实验他是真的需要去用到很贵的仪器，所以他在，呃，公司做的事情其实跟在学校做的事情是差不多的，只不过就是说啊，公司那边会。
更多的去思考，就是这个东西要怎么去商业化。当然，他说的是，他们的投资人跟他们说，三年之内你们不用考虑商业化，这个三年你就安安心心的做R&D，因为确实你做这些猴子的实验，你确实这个东西急不得。你去采数据，你就是需要人去养猴子。嗯，你就是这个周期你是避免不了的。哎，这里也说到了一个我们今天很想聊的话题，就是今年出现特别多的neo labs。
你年初的时候可能还是在硅谷经历这一波neo labs，包括也亲身的经历了他们整个的筹备到发布的过程。然后回国，你又组建了自己的neo labs。为什么在今年这个时间点，中美两边都出现这些neo labs，他们大量涌现背后的本质可能是什么呢？我觉得这个地方就是一个人才选择的问题，就是对于顶尖的人才，你的。
选择无外乎就那么几个嘛，就是要么在学界，当然现在AI其实，在学界的人其实绝大多数也会在业界跨一下，就你要么就去。大厂、模型厂，可能做一个大头兵。那你要么你就自己出来单干。我我觉得这个也是，就是能有这么多新的 neo labs，也是就是现在的这个范式逐渐收敛的一个过程。就是现在的人才，他不太希望去大厂里面去当大头兵，也是下一个范式，下一个 transformer 会是用我的这个路线。
还会有下一个 transformer 吗？我觉得它不一定是 transformer，它不一定是一个新的架构。我觉得它可能是一种新的范式，就像我们刚刚聊到的，就是其实现在 AI 不管你是 transformer
还是什么架构，它最大的一个问题是没有办法做抽象。所以他就只能够说，要么你喂给他的数据就已经足够的抽象了，比如说像语言；要么你就是给他喂大量的数据，强迫让他涌现出抽象，像VLA，像世界模型其实就是这个样子。
但是so far仍然不是很work，是因为抽象实在是太差了。对，就对于视觉来说，这个抽象实在是太难涌现了。我的意思说还会有下一个transformer吗？我觉得当然肯定会有，但是我想说的是它这个时间周期的问题。嗯，就是为什么不是就是已经有transformer架构了，已经有了现在这样已经部分好用的模型。
是不是就应该在这个模型基础上去做工业化？嗯，就是把它推到应用场景里，还是说我们要继续在这里探索新的范式，然后涌现出新的一种结构也好，或者创新也好？就为什么大家现在的选择是出现了这么多 new lab，而不是一门心思就往前面推进？就基于现在这个范式之下的这个应用？嗯，我觉得是。对于一些方向是还是需要一些 research，它并不是完全已经路径清晰的事情。
嗯，就比如说我们这里在做的这个 research。就AI for research, auto research这个事情，它不是一个路线已经完全清晰，甚至说在非常早期的这样的一个事情。对，当然了，就是说coding其实已经非常成功了，就AI for coding也非常成功了。那下一个范式其实自然而然的就是AI for research。
但是我是认为research和coding有很大的不同，就是coding它是一个高度结构化的，这是第一点。第二点是它是有大量的数据的。就是我们已经有了 GitHub，在 GitHub 这个上面的这些数据是远比其他互联网上其他的部分要更高质量的，嗯，结构化更强的多的。但是对于 research 来说，research 它不是一个被结构化很好的这样的一个数据结构。
就是我们现在还大量的在说，我们需要研究的直觉，我们需要研究的这个品味。就是当我们说这些词的时候，其实就默认了研究它不是一个可以很好被结构化的东西。就是一旦当一个东西可以被结构化、可以被标准化、可以被规模化，大家就应该会对这个东西祛魅。但是我们现在还没对research祛魅，说明它还没有被。结构化被标准化被规模化，那我们要做的就是我刚刚说的三步。
第一步是首先要结构化research，因为我们有的时候我们自己做research好像是乱的，我们脑子里是乱的，就是我这里蹦一下，那里蹦一下，那这些数据其实是没有被沉淀下来的。那未来我们要沉淀下来的这个关于 research
的结构，就比如说我们先观测到了一个什么东西，观测到了一个什么现象，这个现象预示着这个系统里面可能有什么样的问题，然后关于这个问题我有什么样的一个假设，然后这个假设告诉我们下一步我们应该去做什么样的一些操作。
然后我下一步做的这样一个操作，是不是真的能够对我带来训练的提升？就这样的一个闭环，这个是我们，呃，应该最近会 release 的一个博客，就是我们会会讲我们的这一套方法论以及它的一些初步的一些结果。那我们的这一套方法论呢，缩写叫做 Office。就是 O P H I S 这个 O 呢就是
observation，P 就是 problem，H 它是 hypothesis，I 是 intervention，S 是 speed up。
就是说，我们认为所有的 research paper 都应该按照这种结构去对它进行结构化。然后我在做科研的过程中，当然了，他所有的科研不会是说那么顺利的。我这样的一个思维链就下来了，我可能是在不同的节点当中来回的去跳，但没关系。但是所有的东西至少我们要对它结构化成它是O，它是P，它是H，它是I，它是S。
然后有了这样的一些结构化的东西之后，我们相当于创造了一门研究的语言。当然，这个说的有点玄学啊，就是我是认为研究的语言，它大体上是基于自然语言的。但是它背后的结构是需要我们自己去做抽象，自己创造出这样的一个结构的语言。那一旦我们有了这个 research 的语言之后，我们就可以像训大语言模型一样，我们训一个 research language 的一个 language model。
那那个时候，这个 research 它就能够被自动化，能够被规模化。但是首先第一步是我们要结构化这个 research。这你在说你现在在做的事情，对吧？是的，我的意思是说，为什么现在出现了这么多 neo labs？你有没有一些观察？嗯，就我觉得 neo labs 也是，就是找到了现在主流的范式的一些痛点吧。
然后 auto research 是其中的。一个例子，嗯，就是说现在用 coding agent 的这个范式接着往下去做，其实它会有一些 missing part，就像我刚刚说的，它这个结构还没有被 structured 得很好，然后还有一些痛点，就比如说世界模型，那世界模型它就是需要设计一些比较新颖的架构，那对于这样的一些方向，它也是现在的这个。
范式所达不到的东西，对，所以简单来说，我觉得 neo labs 的出现就是因为当前的范式，啊，一个是你不想去做大头兵，第二个就是说，啊，当前的范式有一些明显的一些痛点，就是明显打击不到的地方，而且那些地方呢，有的时候可能需要一些早期需要大量的 research。而不仅仅是说我我上来我去对资源我去对工程就可以做成的对。
然后我刚刚举的两个例子就是说啊，Auto Research和这个World Model，我觉得是我认为两个啊我能看到的比较重要的，就是现在的当前范式不能立马解决的问题。嗯，简单来说，auto research或者说AI for AI，它其实都在讲一个事儿，就是我们要训练一个AI researcher，对，把它训练成一个AI researcher，能够自主的去做研究。
然后世界模型的本质是在说，它要给机器人训练个脑子，它其实是for robotics那个赛道的。对，这也是当下所谓的new lab融资资本涌入最活跃的两个方向。啊，是的，是的，是的，是的。你们实际融资感受怎么样？在今年这个市场上，能不能给大家说一些体感？你是三月份回的国，对，我是三月份回的国，然后大概是四月底入职的清华。
啊，然后五月底开始参与融资，然后这个过程，我的体感是就太疯狂了。怎么说？就是我觉得像世界模型。当然，更大的还是 AI for Science。我觉得很多投资人会把我们归类到 AI for Science，其实就是因为 AI for AI 最后它 for 的还是一个要 for 的一个东西，可可以是 AI for AI for 世界模型，也可以是 AI for AI for Science。
嗯，你们 for 的是 Science 吗？可以说是算一次，但是我们现在还没有定。对，但就是说，其实很多投资人会把我们去划在 AI for Science 下面，然后按照 AI for Science 去聊。但但反正不管是 AI for Science 还是世界模型，还是这个 AI for AI。我觉得都是一个，就一级市场是一个非常 formal 的一个状态，有多 formal？
因为我也没有一个比较吧，对，所以我也很难说，但确实就是说大家都在。这个相互打探消息，然后大家都投项目的动作就就都非常的快，嗯，因为close也非常快，而且从种子轮到后面就是种子轮加加轮加加轮加加加轮可以无限的加下去。呃，这个是现在融资的一个比较常见的一个策略吧，就是说上一轮的投资人没进来，对，那我下一轮那我就开一轮，但是我开了一轮之后下下一轮投资人又没进来，然后就相当于是一个连续的融资的一个状态。
对，你当时为什么没有想在美国创业？你为什么做了这个回国的动作？就是我觉得我 auto research 这个事情是需要。比较多，然后高质量、高智商，就是高人才密度的这样的一个对，因为我就去观察嘛，因为我在MIT其实也带过二三十个本科生。我的体感是，其实平均水平是远不如清北的本科生。那我要做的这个事情，我是要带小天才的，就是我们这个事情是需要小天才加入的，对。
然后我要需要很多的小天才。但那就回到，就加入清华吧，也不叫回到，因为我之前是北大的，就是就加入清华，然后顺便也能从北大那里薅一些学生过来，那就相当于能聚集，我觉得不是全国，而是全世界最聪明的学生。得偿所愿没有？呃，对啊，是就是现在我在七智研究院，我带的十几个学生，就是跟我在七智研究院这边哦啊，就都是我觉得是非常非常顶级的学生。
嗯，当我们说 AI for AI 和 neo labs 的时候，我们自然的会想到田园洞在硅谷那家公司，对，呃，RSI Recursive，你跟他的方向有什么不一样吗？就是我当我们在说 AI for AI，你们在做的是一个事儿吗？嗯，我的理解，我基于对他们最近，他们最近发布了一篇博客嘛，嗯，他们博客就是显示了他们的第一步的一些努力。
我感觉他们做的更多的还是说偏 coding agent 的改进，就是我的理解是 coding agent 的这个路线更像是说把做一个更勤奋的 AI for AI，就是我有超强的行动力，我可以不停的在这里迭代。啊！但是我们这里想做的是 AI for AI，是一个更聪明的 AI for AI。比如说，我提三次想法，可能你们有一个就 work 了。
之前的话，你 coding agent 可能是你提一百个想法，它里面只有一个能 work。对，当然最终了，这个勤奋跟聪明都是需要的，所以我觉得我们是两个正交的方向，嗯，然后 in the end 最终我们会在某一个地方去对两个 approach 进行一个整合。嗯，他们也聊过对吧？在回来之前，对我跟田云栋也聊过啊。
当然田云栋其实他本人是挺支持 science of AI 的，所以这个我其实呃。说实话，我我我也有一些危机感吧。就是如果说他们的路线最后会变得和我比较相似，那就一定是钱文东做的，对。对，因因为我跟田云栋就是关于 science of AI 啊，关于以及就是说，就之前那个他做的那个 Grokking 的研究，我们之前也有研究嘛。
对，所以我们 taste 其实还是非常相近的。对，但是之前的话就是怎么说呢？我觉得还是吧，就是不完全一样。所以我还是想按照我的意志，按照我想象的这个东西去推这个事情。对我发现了，你对你这个原生的想法非常的在意。你这个原生想法来自于哪一刻？就AI for AI或者是Physics of AI的这个想法诞生于哪一刻？
我觉得最近AI for
AI的想法诞生于我把自己当成一个模型去做训练。这个是我从今年年初开始做的一个事情，就是我每天会随机的去拉一个数据集过来，随机的拉一个模型过来进行训练。然后呢，我会在我做做实验之前，我去问自己：现在你来预测这个训练曲线会长成什么样子？我就日复一日的做这个，我我大概做了六十天。就是我每天做，然后这个你如果去看我个人网站上面，我个人网站上面是有个博客专栏的，然后你会发现我早期是跟的非常频繁，我每天都跟，甚至有的时候一天两跟，就是因为我在那段时间里面，我基本上就是闭关，然后把自己当成一个模型在做训练，就是我今天做了一个实验之后，哦，我就去训练我的大脑。
这个场景，然后我把这个模型、这个数据集、这个优化器，它会产生这样的训练曲线。然后呢，我做这样的一个训练，我我发现我一开始预测能力非常差，我可能连趋势都预测不对。但是我大概自己训练自己训练了四五十天之后，我发现我开始变准了，就是我在做实验之前，我大概能预测，它这个实验的结果是什么样的。甚至可能有的时候，我我前几天做的是
language 相关的实验，我今天做的是个 vision 相关的实验，我也能给它预测准。
那这个是为什么呀？怎么预测的呢？我不知道，就是就是，我只是训练我的脑子，我就是我现在还没有办法。把我脑子里的东西给它给写写成自然语言，它可能是一种视觉的 reasoning，然后可能还有一些，就是可能它在浅空间有些 reasoning，但我其实也说不清楚这些浅空间 reasoning 是什么。但就是
somehow 我自己突然获得了这种可以预测的能力，就是我在做实验之前我就能够部分的去预测这个实验的结果是什么。
然后就是因为这样的一个在自我身上，在自己身上这个人体实验，让我相信存在着元模型这个东西。就白德伟元模型，就是说我的输入是一个模型。以及可能还有一些其他的数据集是什么，优化器是什么，然后输出就是这个模型的训练曲线。所以我在今年年初那两个月时间里面，基本上就是把我自己当成一个元模型在训练。训练到四五十天的时候，我突然grok了，我突然顿悟了。
然后是因为这样的一个，我觉得是这样的一个近似于苦行僧式的一种修行。让我意识到元模型是可能的。你为什么想来去做这个事儿？我觉得 motivation 还是 AI 的物理学，就是说，如果我能够去。预测清楚接下来会发生什么，那相当于我脑子里其实是有一个世界模型，其实是有一个关于AI的世界模型，或者关于AI的这个物理学。
因因为物理学就是说，我拿来我的物理理论。我不用去做实验，我就能够通过
simulation，通过计算，我就可以预测出来之后会发生什么。对，所以，呃，相当于是一种先知的能力，就是你只要能够预言之后会发生什么，你就一定是掌握了某种世界模型。基于你自己做这个人体实验，你相信是存在元模型的。是的。然后呢？但是呢，这个问题就是说，我没有办法把我的这种know
how写下来，因为so far我的这些知识都还是。
嗯，以某种脑电波的形式存储在我的脑子里。那我下一步很自然的我就要想，我要把这个东西外化，就是我要把自己给拷贝一份，就我要做一个原模型，它能够取代我，就是因为我每天最多就做一个实验，把一个实验做的非常的仔细。这是人的 bandwidth，这是人的带宽，最多做这个，最多做两个吧。但是一个模型，它其实可以一个 batch 你就可以见到几千组东西。
对，这这个还是回到我之前说的，如果我日复一日把我自己当成元模型去训练。我可能要训练一千年，我可能需要训练几千年，但是我活不了那么久，所以我要去加速这个过程。我要去做一个元模型，这个元模型，它不像我一样需要睡觉，它不像我一样需要吃喝，会有情绪。它的任务就是去看各种各样的实验，然后去预测它们的结果。然后在我自己的人体实验上面，我发现四五十次就基本上能开始有 grok 的迹象了。
那对于元墨性来说，当然可能元墨性没有我那么就是抽象能力那么强啊，所以他可能需要四五百次，但是可能无所谓，可能这个地方多消耗一点这个啊计算资源也无所谓。对，所以这里想法主要还是说，我想把自己给外化，对，我想把自己的脑子给外化。它和 A F A I 的关系是什么？我觉得元模型是 A I for A I 的一个一条技术路径吧。
就是一旦你有了元模型，它可以做很多事情。比如说，你现在有一百个想法，你不知道该试哪一个。啊，更具体一点的吧。你有一百个架构，你不知道该试哪一个。那么你元模型说的是，你把架构作为我元模型的输入，这个元模型就能够预测这个模型它的性能是什么样子的。嗯，那么你现在就不需要做一百次实验。你就只需要用元模型全传一百次，做一百次预测，那这个是非常便宜的一个事情。
当然了，最后我们还是要真的去做这个实验。但就是对于筛选想法这个事情，这是个元模型能够帮助迭代的这个AFA的这个迭代的系统更快的去迭代想法。就之前你如果没有这种好的直觉。你如果没有元模型做辅助，你可能需要，比如说一百个想法，你需要都尝试。但是现在的话，这个元模型它能够给你在你事前就去做一个排序。啊，就能告诉你哪个想法比其他的想法是更 promising 的。
然然后这个地方的想法更多的还是做做 AI 的 research，所以是一个 AI for AI 的一个东西。我我觉得 AI for AI 可能有的时候有点 buzz word，有的时候我会也会管它叫做 Auto research。嗯，但是因为这个地方我们 Auto 的 research 是 AI 的
research，嗯，然后我们这个地方的 Auto 也是用 AI 去做的这个 Auto，所以 Auto research 它其实也也就是一个 AI for AI 的概念，对。
世界模型说是预测下一个 state，语言模型是预测 next token，你们这个算是预测一个实验结果？对，我们是预测 next curve，我们的实验结果就是一个训练的曲线。那你们的训练语料是什么呢？你们需要训自己的模型吗？需要多少多少算力？就是怎么开始做这件事情呢？对，我们会先从 demo 做起嘛，因为这个事情我觉得是一个三到五年比较长期的一个事情。
对于我们元模型来说，我们的数据是模型，那这个地方有点绕啊，因为我们这个元模型它是一种关于模型的模型，嗯，或者说关于模型的世界模型，所以我们这个地方的训练数据是模型。所以，我们是要训练这些模型，拿到这个模型的训练曲线，这样我们就获得了我们的一个 data
point，然后我们再生成另一个模型。然后另一个模型它会有有一条对应的训练曲线，然后有了这样的一个 pair 之后，模型和训练曲线的 pair 之后，我们去训练这个原模型，就是用这个监督的方式。
就是我的输入是这个模型的时候，你这个原模型应该预测它的这个训练曲线。对，用这种监督的方式去训练我们的这个原模型。那这个它贵的点就是说，我们也是需要挺多的计算资源的，但它不像大模型一样需要一个很大的集群，需要卡之间 communication 做得很好。因为我们这个地方，我们是要做大量的这种小模型，但是这个地方呢，我们小模型不是说就是 transformer 的小模型，而是我们强调的是多样性。
我们强调的是要让这个元模型见过很多人看起来非常奇怪的架构，但或许就是这个架构能够帮助我们去跳脱出这个 transformer 现在的这个 local minimum。目标是什么呀？目标是发现下一个模型结构，这个是一个终极目标吧？最终我们是希望下一个 transformer 不是人发现的，不是人拍脑袋发现的。
而是说通过我们这个元模型，这个元模型给我们预测出来的。那中间呢？中间要实现的是什么呢？中间阶段，因为你说下一个模型结构也许是最终目标嘛，那最终目标是什么？对。中间目标还是就是我们刚刚聊到的，去结构化research，然后去收集这种结构化的数据，然后训练一个我们自己的这个research的这个模型。就是为什么我会这么去划分？
因为好像中间目标听起来它也是要训练一个模型，嗯，对吧？原本一个是一个模型，我可能借用这个。Rich Sutton的这个Bitter Lesson，嗯，Bitter Lesson说的就是说，在短期当你数据不够的时候，你需要去引入结构。但是当长期，当你数据特别多的时候，你就不需要结构了。对，所以说我觉得在短期，因为研究的结构化数据还是偏少的，对这种情况下，我们需要去引入结构到我们的这个整个框架当中来。
嗯，所以这个是短期，我觉得比较偏就更务实的一个事情。但是长期这个元模型它是一个端到端的东西，我觉得这么说或许有点像我们现在是要做一个世界模型，就短期、中短期是要做一个世界模型。长期是要做一个 VLA，我我觉得可能有点，我觉得可能有点和这个趋势反过来了。但是，但是我觉得可能不重要，重要的是我们最终要做成 AI for AI。
那至于中间的路径是什么，我觉得这个就看着办呗，就是就边探索着边往前去拱吧。为什么短期是 World Model，中间是 VLA，就是 World Model in the sense 就是它它有更多的结构，然后 VLA in the sense 就是它更端到端，对。在现阶段，你们还不是训练自己的模型。
现阶段其实更重要的是结构化、结构化 research，嗯，然后以及收集相关的就是结构化 research 的数据。怎么结构化 research 呢？因为你也说，你们的目标并不是说去做一个 paper agent，不是说我就训一堆的论文，让它比如说发现下一个科学原理。因为论文其实是整个研究探索的结果过程中的灵光一现，或者它的曲折，然后它的点点呈现。
草蛇灰线都是没有被记录下来的，你这个怎么来做这个结构化呢？因为论文都只是最后的一个结果，或者你可以说它是某一种公式，但是它可能还没有那么的被符号化。是的，我可以这么说吧，可能百分之一的AI论文其实结构化做的不错。举个例子，就是呃，朱泽元他们做 physics of arms，那这个 physics
of arms 就是结构化比较好的，就是说我观测到了什么事情，我决定做下一件事情，他的这个做实验的这个所谓的 chain of thought。
就这个 reasoning chain，推理链是非常清晰的，但是可能百分之九十九的 paper 吧，它可能就不会包含这么清晰的这种研究的思维链在里面。我感觉在很长的一段时间里面，大家把展现思维链当做一种耻辱。为什么？你要显示你很厉害。你就要让别人觉得不可琢磨，对你就要直接把这个公式写下来，就是说这是我梦到的，这是我梦到的，不是我推出来的，这是我梦到的。
那这样别人觉得你。最牛。然后，当然，我写 paper 我觉得也是受那个 Max Tegmark 这个的影响。就是我们写 paper，一个是很平铺直叙，第二个是也会把思维链写进来。嗯，但是毕竟这种会包含思维链的文章虽然不多吧，但它也不少。OK，因为本来论文的基数就已经挺大的。第二方面呢是说我们会收集我们自己的一些数据。
就我之前，比如说和学生去讨论 project 的时候，我会经常有一种感觉。就是我们的思维链其实并没有被很好的记录下来，而正是这些数据是我们做 auto research
所需要的。那之所以现在autocracy还做的不好，其实可能跟架构跟这个路线没有太大的关系，其实就是这个数据现在还没有保留下来。对，那我们第一步是首先我们要构造一个device或者说是一个software，这个是我们最近在就是在做的一个东西啊，就是它能够更好的去采集，就是说我们整个思维链。
采集就是说话啊，比如开会讨论，这个是思维链。对，最后要做的这么智能，现在还就是说，我在做下一个实验之前，我必须要强迫你去写一段话，去评价你之前干了什么，然后你得出什么结论，你才能进入下一个实验。嗯，是一个很流程化的系统。目前来说还是个偏流程化的系统。这要多大规模的数据呢？如果是采集你们这几个人的，肯定太少了吧？
我觉得这个地方分几种，一种就是说 paper 是有大量的，但它质量不一定高。然后人的话，就是说这个是我瞎说的啊，因为我们还在构建这个采集系统，就我们还没开始采。但是我预计，比如说我一天采十条。二十个学生加员工，可能每个人每天也能采十条，这就一天就能采两百条，然后两个月就能采一万条。我觉得就是差不多，可能开始够用了，就是可以开始训练这个模型来来蒸馏我们自己。
某种意义上，采集完数据，接着你要做的下一步是什么？下一步就是训练一个这个模型，元模型吗？它不是元模型，元模型是一个特别终极，我们可以把它当成是一个北极星一样的一个目标。这个模型它就是去预测我的下一个动作是什么，就是我们这个数据收集器，其实它不仅是个收集，它也是个环境，就相当于是我是在类似于一个我的世界科研版，我可以在我的世界里面做各种各样的操作，记录下来我的这些操作，之后会有一个
next action prediction，就是它就会预测，如果是子民，就比如说我学生，目前做了这些动作，然后卡在这个地方了，它就可以调用子民 model。
如果是子明现在做，他会怎么去做？他就能够不需要我在场，就能够获得我的这个同样水平的这种反馈。但这样的话，就是需要去训练一个子明 model，然后每个人都要训一个 model，或者说把所有人的东西混成一个 model，就是要训这个 model。对，当然这个也是我们在探索过程中不断的在 pivot 吧，因为就是一旦开始做一个事情之后，其实想法以及这个路线每周都在改，甚至每天都在改，甚至每个小时都在改。
就只要你迭代的足够快，嗯，就比如说这个采访如果是上周发生的，我就不会讲这一趴，因为这一趴是我们这一周在迭代的事情。那如果你下周再采访，可能我们这个东西就已经做出来，就你开始收数据就已经开始有一些初步的结果了。还有什么人有一些其他的AI for AI的路线？还包括现在的模性公司里，他们也会说自己在做AI for AI，或者说他们觉得就是AI能训练AI的时候，会是一个比较标志性的时刻。
就是现在主流的绝大多数人做的，还是说基于现有的 coding agent。我不觉得说我的路线跟他们是矛盾的或者怎么样，我觉得是互补的。可能如果细分的话，可能有些人更偏就是说找到下一个架构，就比如说我的梦想是说用 AI 能找到下一个架构。我相对来说不那么 care 生产
paper，因为我在博士期间我就是个 paper machine，然后我也知道这些 paper 写出来其实真正有价值的可能就那么几个点，对，但是写 paper 呢也是有它的价值，但只不过就是 paper 是一个我觉得是一个研究的一个副产物。
第一性原理就是研究的第一性原理是拓展自己的知识图谱。paper只不过是说，当我的知识图谱足够大的时候，我溢出了，就是我的脑子里装不下那么多东西，我必须要把它写出来。我必须要把它和我的同事去进行分享，嗯，不然我憋不住。就是我觉得我很多时候写paper并不是说我真的需要一个paper毕业或者怎么样，我真的需要一个paper干嘛，而是说它在我的脑子里，我就想把它给扔出来，我就想把它给dump出来。
对，是有一些AI for AI的公司，他们更像是paper agent。但这个就不太是我们的目标，我们的目标还是说积累尽可能多的这个AI的物理学的insight。这些insight它不一定是paper，当然我们想也能写成paper，但就是说这些insight它能形成这个AI的物理学的知识库，能够帮助我们系统和科学的在未来帮助我们去设计更好的模型架构。
这个是我们的目的。我看到你把 physics of AI 拆成三个方向，空间上更细，时间上更细，平行宇宙间看的更细，这三个分法是怎么想出来的？我是喜欢从我们所居住的这个宇宙角度来思考很多的问题。这是你尝试来解释AI这个黑盒是吗？这是你的解释方法。是的，是的，在空间上看的更细呢，指的就是说我不仅仅是关注这个模型它端到端的行为，我也会去关心它这个模型内部的某些神经元。
然后它的内部表征会有什么样的一些特性？这个是空间上看的更细，就有点像是我们去做解剖，我们不仅仅是去看表面上什么样的，我们也去看它内部它的这个工作方式、工作模式是什么样子的。这个是第一个，就是在空间上看的更细，在时间上看的更细呢？这个就是说我不仅仅只关心这个模型它最后一个时刻。它的表现，它的这种性质，我也关心它是怎么样演化来的。
这个其实在生物上面有一个对应，叫做 Nothing in biology makes sense except in light of evolution。它说的就是，如果你不从进化的角度来理解生物，其实在生物里面没有东西是可以理解的啊，就是是是 make sense 的，也是黑盒，也是黑盒，就是因为生物也是黑盒，但是你从演化的角度来说，你至少能有一些理解吧？
对你，你可能会看你的这个祖先，他可能在某一时刻他没有上陆地，对吧？然后他就一直在水里待着了。就你就通过这种历史，通过这种自然进化，你会有一些启发。看设备环境，对。第三个呢，这个平行宇宙，我为什么这么叫吧？我觉得还是因为我的博士导师 Max Tegmark，他是平行宇宙理论，他是提出者之一。当然，这个地方平行宇宙说的很玄学啊，其实就是控制实验。
什么意思呢？就比如说，我有两个培养皿，都有一些细菌，然后这些细菌可能在不同的环境里面。那对于一个培养皿里面的细菌，他就觉得另一个培养皿它就是一个平行宇宙。那这个对应到我们人的科学上面做实验，那其实就是去做一些控制实验。在一个环境里面，我能训出来一个什么样的模型？这个环境可能指的就是，比如说我的超参数该怎么调。
调成了另一个超参数，我就能得到限制不一样的模型。这个其实是朱泽源他的这个 physics of R O M 里面其实很重要的一种方法论。就是他会去扫一个相图出来，就是 phase diagram。那这个相图其实也是物理学中其实比较常见的一个概念。相图说的就是说物质它可能有不同的形态，它在不同的状态下，它可能有这个不同的相。
同样的物质都是 H2O，都是水，但是它可能不同的压强、不同的温度，它可能就有不同的相。这个 AI 里面也是有很多的相的，不管是训练动力学还是什么，这个 AI 里面也是有非常多的相的。那我们很多时候会有一些 no how，就是说什么 trick 它 work，什么 trick 不 work。其实很多时候是针对这个项而言的，就是只有当你的实验是在这个项里面的时候。
它才是 work 的。当它出了这个项，当它进入了别的项，它这个 trick 可能就不 work 了。那可能另一个 trick 才 work。但我们现在之所以很混乱，是因为所有的人都在说我的这个 trick work，但是没有人回答我的这个 trick 在什么时候 work，我的模型，我的这个系统要在什么项里面它才 work。
所以这个其实也是这个 science of AI 或者 physics of AI 想要解决的问题。就是因为我们知道 no free lunch theorem 告诉我们，没有一个模型，没有一个 trick，能够在所有的数据集，在所有的任务上，都比其他的方法更好。Physics of AI的任务就是去理清楚每一个 trick，每个架构它的适用条件是什么。
嗯，这个才是一种做科学的态度，而不是说你做出来一个东西，你就在那里去卖。这个，哎呀，我们我们这个东西好，但是全然忽视掉了可能它好是有一些适用条件的。嗯嗯。Faces of AI，其实你想做的也是 AI 的可解释性，你试图把它的原理搞清楚。是的，就是我会比较警惕可解释性这个词，因为可解释性现在就是不同的人可能有不同的这种诠释吧。
我们认为物理其实就是在解释我们的这个自然世界，那么是的，就是我是在做可解释性，Physics of AI 是在做可解释性，但是我们的这个可解释要解释到什么程度？就我们不一定要像 anthropic 一样解释到 neuron level。当然，我们其实二二年底、二三年、二四年初，我们其实做了大量的这种工作。
嗯，因为我们自己做了大量的这种工作，去解释神经网络背后是在做什么算法呀，去理解一些 neuron。我们自己意识到，这样的一些故事其实有的时候没有那么的
robust，就是你可能换一个随机数种子，它这个故事就完全不对了。或者说，我们解释的有点过于微观了。好处是说它非常的具体。坏处是说它不一定鲁棒，我觉得大体来说可以说是可解释性，但不一定就是我们要非得做到像 Anthropic 那种机制机制可解释性的那种 level。
嗯，我有一点矛盾啊。你一方面在做 fixes of AI，我理解它是试图理解 AI 的原理，让它理论化。我不知道这个理解对不对。那是的，是的。另一方面，你要做的是 AI for AI，这两个是怎么联系起来的？就是你做 AI for AI 需要去理解 AI 的原理吗？AI 更像是一个它自己能够自动化去做的事情的一个系统，一个机器。
这中间需要人去把它的原理搞清楚。我觉得这个地方有一个 gap，就是说，之所以 AI 能够帮助我们去做一些自然语言相关的事情，是因为我们已经有大量的自然语言的语料，但是我们才创造 AI 几十年，我们其实并没有太多关于 AI 的语料。嗯，这个地方可能稍微有点 confusing，就是说怎么建模型这些，我们都是知道的。
但是，关于模型，我们训练一个模型，拿到它的训练曲线这样的一个映射关系，目前还非常不清楚的。所以，也就是说，连这样的一个语言，我们现在都还没有把它进行规模化。嗯，AI for X 它能成功的前提是 X 得有大量的数据，但是 AI for AI 根据我刚刚的逻辑，或者说 AI for AI
research，其实 AI research 它其实没有大量的数据，至少没有大量的这种结构化好的这种高质量的数据，而结构化这个事情本身就需要 physics of AI。
对，这里可能稍微有点绕，而且我需要显示的去说明我的这个想法是挺非主流的，就是因为 A I for A I，绝大多数人都想的是我直接用 A I 去提升 A I 就好了，但我说 stop，就中间其实还有一步。我们是先要做 physics of AI 这个东西能够帮助我们去设计 AI，但是人做
physics of AI 太慢了，古法科研做 physics of AI 太慢了，所以我需要用 AI 来帮助我们做 physics of AI。
嗯，所以我的 AI for AI 的全称应该是 AI for physics of AI。For AI，有了AI的物理学，它能帮助AI。这其实就是我一开始问你的，就是连接主义的过程中需要符号主义吗？就你说你是连接主义和符号主义中间？是的，因为物理学相对来说是更符号主义的。那如果AI能够自进化的话，它需要中间有一个符号主义，或者是短期是需要的。
就是这个短期，我指的可能是一百年以内。那更长期或许不需要。我觉得这个地方还是一个 bitter lesson。更长期数据量大了就不需要了。更长期就是当 AI research 已经被结构化好了，已经有大量的 AI research 的数据了，就不需要了。但是像刚刚说的，我们现在连这个 AI research 怎么样最好的去结构化都不知道，就更别谈说这个数据量有多大了。
嗯，所以在这种情况之下，我们需要很多的人的先验，或者说这种 symbolic 的东西去做约束。Agent某种意义上就是把这个连接主义又往符号主义往回拉了一点嘛，就 harness所谓的 harness，就是说你不能太自由了。我要给你一些约束啊。某种意义上，我觉得 coding agent 它其实是在说明这个符号主义把连接主义又往符号主义回拉了这样一点。
嗯，但是我们做的这个 auto vision 这个事情，我们是希望比较第一性的从偏符号主义。为什么我要讲偏符号主义？或者我之前自己也捏造过一个词，叫做结构主义。就是我会认为看它就是一种结构主义。就是我为什么不讲符号主义？是因为太多符号主义的hater。就我一讲我们是符号主义，大家就说没意思，没意思，老古董。
但是这个事情，我觉得符号主义跟连接主义其实在历史上也是不断的在摇摆的。我们需要跳出明斯基，呃，对对对对，这一波AI是连接主义非常的厉害，那或许下一波我们又应该是往符号主义又回摆一点。其实像我刚刚说的，agent已经是代表了这样的一种趋势。嗯，Anthropic做的模型的可解释性，他们现在能做到什么程度啊？
哦，Anthropic就是比较极端的，比较激进的，就是说我能理解单个neuron它在干嘛。可能这个单个 neuron 它是一个，比如说说脏话的 neuron，那我把这个 neuron 给它 shut off，那它就不会说脏话了。但像我刚刚说的这种例子，其实非常的不稳健，就可能你在一个例子上面找到了。
有这样的一个 neuron，你可能换一个随机数种子，它在那个网络上面可能就没有这样的一个行为。Enfrope 他们做的一系列工作，包括 sparse autoencoder，包括 transcoder，其实都是基于这样的想法，就是说我能够把模型内部的那些混合的表征，superposition
的一些表征，给它升到一个高维但是很 sparse 的东西，这样的话，它能够把里面的一些原子的一些概念给它抽取出来。
但是这个，我个人觉得是有一些 wishful thinking 在里面的。嗯，我仍然很尊重他们，因为我二二年底、二三年初，我们做机制可解释性其实也是同样的 approach，所以我们知道这个东西里面有什么样的一些水分吧，包括。他们可解释性 team 的像呃 Samuel Marks, Wesker
Nei，然后以及我之前那个 MIT 带的一个本科生，最后都去 Anthropic 了，也是最早从我们组做出来的。
就比如 Wesker Nei 去 Anthropic 做的那个怎么做加法，Cloud 怎么做加法的那个任务，其实也是我们组的一个 paper 后面的一个延伸。嗯，对，所以当我脱下长衫之后。我会觉得这些东西就都是很有趣的故事，但是 what's beyond that，这个其实我也一直在思考。但是最近我其实又开始在重新在思考机制可解释性这个事情。
嗯，我觉得还是因为到了一个新的这个 A F A I 的这样的一个框架下，我突然又觉得机制可解释性没有那么缥缈了。我觉得这个跟我之前的对于AI的物理学的判断是类似的，就是机制可解释性其实有一点像biology of AI，就是AI的生物学。就是我之前也会觉得生物学我们发展了挺久的，医学我们发展了这么久，那AI的生物学机制可解释性也是需要发展几百年的呀。
嗯，again就是回到了AI for
AI的这个框架下来，我觉得之所以需要几百年，需要几千年，是因为我们没有办法自动化。那一旦我们能自动化了，这个进展其实是可以是很快的。嗯，就是最近看到那个唐杰老师说要政府要投万亿级别的资源到机制可解释性上，就如果半年前的我看到，我会觉得这是在干嘛？对，但是现在就是放到了这个AI for
AI的这个框架下，我觉得机制可解释性它确实是一个好的目标，但之所以之前我觉得不promising，是因为它实在是太难了。
那这个跟AI的物理学是一样的，就它是一个好的目标，但是因为它太难了，所以之前会觉得会很frustrated。但是现在有了这个auto research，就是至少我们在build吧，就是现在还没有。但是有了这个auto research系统之后，我觉得这些之前看起来非常。莫名其妙、非常遥远的这样的一些北极星的东西，其实是有可能能在三到五年之内达到的。
你觉得Auto Research或者说AF AI的一个关键的节点会是什么呀？它的一个标志性的路标可能会是什么？我觉得是提出一个在一个垂直的领域，它都不需要很通用，就是在一个垂直的领域能够提出一个新的架构出来，不仅能够碾压现在已经有的架构。而且能得到人的这个 endorsement，就大家都说啊，它这个架构很精妙啊。
哦，但或许也不需要，就是可好用就行了。呃，对，甚至不需要你看见。对，是的，我还是在想凯明，就是凯明的 ResNet，大家为什么会用？有人说是很优美，但是我们不要忘了，当时凯明在 ImageNet 上面是比第二名高百分之十的。所以我就在想，你要么就是用拳头把敌人打晕，你如果没有办法用拳头把别人打晕，你这个时候就是需要一些口舌去说服别人，以理服人。
这个 A F A I 的系统，它能在一个垂直的领域提出一个新的架构出来，嗯，然后这个新的架构能够去刷榜，而且这个刷榜不是说我就涨百分之一的点，而是我能涨到百分之十的点。那这个 Auto Research 或者 A F A I，它是 A I 路线图上的一个什么样的坐标？它是必经点吗？我觉得这里所有的词汇都都有点模糊。
我觉得是 necessary 的，但是还不是充分的。我会觉得还缺一个东西，就是我们刚刚其实也一直在聊的，就是对数据去做抽象。因为我觉得为什么抽象很重要？因为人是有持续学习能力的。然后人有持续学习的能力，是因为人会做抽象。但是现在的 AI 仍然不会做抽象。如果说它能做抽象，最多是因为我们的数据本身已经被抽象好了，比如说像自然语言。
所以我会觉得，就是要达到真正的AGI，除了AI for AI，还需要有一个做抽象的能力，然后做抽象的能力是做持续学习的能力的一个必要的能力。就取决于这个，我们对 A F A I 的定义是说它需不需要具有持续学习能力？就因为听起来你这个 A I
的自迭代了，它左脚踩右脚，它就上天了。嗯，就是说我说需要持续学习能力，可能是我对 A F A I 的定义可能更务实一点，就是说它能够在一个垂直的领域，它能提出一个好的架构出来。
为了达到这个目标，其实不需要解决持续学习的能力，但是要解决 A G I，它是一定要解决持续学习的能力的。现在有一种说法也是说，就是大模型的第一幕是 Chatbot，第二幕是 Coding Agent，第三幕就是 AI for AI。所以说，其实 AI for AI 可能也是就是在这些模型公司的这些延长线上的。
你觉得作为一个 neo labs 和这些模型公司的竞争来看的话，竞争优势是什么呢？我觉得就是 better different thing，就是因为我的。思路是从 physics of AI 来的，然后这个思路其实，在学术界其实也是非常先进的，就是比相对来说比较早期的一个东西。但是我比就是学术界的那些人就更加激进，就是我是相信 AI 是可以加速这个 physics of AI 的这个事情的。
从模型厂的角度来说，是一个过于 risky 的一个路线，嗯，但这恰恰是我们的机会。就是说，因为我相信这条路线，而且我们其实有很多小天才在我们的这个组里和在公司里面。我能把这些问题去做一些拆解，然后拆解完了之后是这些，就是小天才能够很好的去把它们给进行完成。我们是有自己的一个非常快速的一个迭代的一个东西，我们在迭代，但是我们的这个东西可能一直到做出我们的GPT三之前，可能大厂都觉得我们是在胡闹。
嗯嗯，对，所以我觉得某种意义上是一种基于不同的信仰吧。我们相信这个事情，我们就会让它发生。大厂绝大多数人不相信这个事情，那就不会往这个方向投入资源。Physics of AI 是 AFA 的手段是吗？可以这么说，就是我的 AFAI 它就是一种 automated physics of AI，就是自动化去做 physics of AI，就是我的这个 AFAI。
这个 physics of AI 的 physics 到底要理解到哪一层？我们是不是真的要写出牛顿定律，就是牛顿公式？我觉得是不一定的，而且这个很可能也是需要几百年的时间。嗯，投资人问你最多的问题会是什么呢？在你跟他讲你的这个技术路线的时候。其实也都问到了，就是说这个元模型要花多少算力，投资人可能也关心的是这个东西怎么样去最后去做商业化。
我觉得也是说，在跟投资人交流的过程中，我们逐渐的清晰了这个产品它最后是什么样子的。嗯，对，因为元模型，不管是元模型还是 physics 和 AI，说了半天，其实都是技术。那它最后这个技术是一个什么产品背后的技术？嗯，我们最后要做的一个产品，它是一个 training autopilot。如果说短期一点，它会是一个 training copilot。
这个是什么意思呢？就是说我们现在并不是所有人都掌握着训练的能力的，但是未来所有人都可以去训练他自己的私有模型。这个私有模型也不一定是 L M，但或许是 L M 微调过去的。这个用户他就只需要和我们的这个系统说我的需求是什么样子的，然后我们的这个系统它就能够端到端的去给你设计模型、训练模型、部署模型，然后交付给你，你就可以直接去用这个模型。
然后很重要的是，这个用户说我这里只有一百块钱，我这里只有一百块钱，嗯，最终这样的一个系统，它要是能够做这样的一个端到端的事情，那这个其实和现在的像 cloud code, fiber coding 其实很像。那只不过现在是说这个对象是程序员，就是我要去做一个什么样的任务，你给我 code 出来。但是未来的话，它会是一个更加闭环的一个东西。
嗯，我都不需要告诉你这个技术路线怎么去做，我不告诉你，你要用 transformer。我不告诉你你要怎么去训练，我只告诉你我的需求，嗯，然后我就能够端到端的去给你去设计训练部署这个模型。其实也有投资人会问，大家为什么要训练自己的模型？对我在想，Cursor、Cloud Code是让不会写程序的人也能写程序了。
对，那你这个是让不会做 AI research，不会做 AI research，也开始做 AI research 了，对吧？对，就是不会自己训模型的人也会自己训模型。但是我觉得你这个是一个很大胆的想法，因为你这意味着模型未来。呃，我不知道多少年以后的未来，它不只掌握在几个巨头手里，是的，是的，所有的巨大的模型，对吧？
每个人人人都可以用你们的系统就能训练，是的，人人都可以训练一下。然后呢，我能干什么？对，那这个地方的点就是说，现在大家不会训自己的这个模型，是因为它的门槛还太高了。那之后有了这个能力之后，我们把这个性价比弄得足够高之后，其实大家都会有这个需求。就比如说，我买了一个机械狗，让它来陪伴我。那可能我就是需要把我的一些数据，把我的一些语音的数据啊，把我的一些跟他对话的数据啊，给存下来，帮助去训练，不管是微调吧还是怎么样，去训练这个机械狗，让这个机械狗能够能够让我更开心。
比如说它不是只天天在那里汪汪汪的叫，它还能说些话来安慰我。那这样的一个事情，现在不会有人说我为了做这样的一个东西，我要去自己去学怎么去训练东西。当然了，现在可能会有一些啊创业公司可能会做类似的想法，对。但是未来我们想的就是说，有了这个系统，我们不是自己做一家 Open AI，它是能够孵化各行各业各个垂直领域的 Open AI。
当我说垂直领域的时候，我已经是谈论的比 language model 更高一个层级了。就是说，我们的这个元模型，当然它也不一定是元模型吧。就是说，最终的这个终极的系统，它能够去设计出各个垂直领域的这种 transformer，就是可以这么讲。就如同是 L M 它统一了 N L P
自然语言处理里面的各种任务一样，那我们现在造不同的模型还是不同的任务，造世界模型的人造世界模型，造 L M 的人造 L M，造这个 AI for Science 模型的人造 AI for Science 的模型，嗯，但是这些领域现在大体上还是不互通的。
对对，但是未来会有这样的一个 God，就是 Vibe Training 的一个东西，就现在是还是 Vibe Coding 嘛，未来会是 Vibe Training，Vibe Training，未来会是 Vibe Training，啊，就是你把你的需求说清楚，它就能够给你端到端的去设计、训练、部署这个模型。
对，那有了这个能力之后，好吧，我实话实说，我也没有想太清楚，就是有了这样的一个，就是每个用户训自己的模型，能有什么样的需求？但是很多时候是这样的，就是当你技术便宜到一定程度的时候，有些需求它自然会涌现。嗯，只不过我们现在还没有到这个时间点，好像很难去想象这个事情。你这个是电脑从啊，对啊，就是怎么会有 household 会想要在家里面放一台巨大的电脑呢？
到了一个每个人人手可用的笔记本。对呀，对呀，嗯，这个倒是一个挺有意思的方向的。当模型人人可用的时候，我们用它来干啥？对，不仅人人可用，人人可训。但是我们需不需要人人可训，现在是一个大问号。哦哦哦哦哦，是。就说这个时候可训也不是说你是做一个 researcher 去训它，而是说你就是做一个用户，你给他提需求，他能够端到端的去给你返回一个你想要的模型。
当然，你可能不需要一个 AI 模型，模型能类比成脑子，我需要那么多聪明的脑子在我身边，或提供情绪价值，提供情绪价值。或提供智慧，我觉得是这样的。我觉得是这个聪明的脑子，它能 produce 一些东西，它能够生产出一些东西，这些东西能给你提供情绪价值，而不是聪明的脑子本身会提供情绪价值。嗯嗯啊，事实上，聪明的脑子很多时候会让你很恼火，我觉得。
所以你对未来模型的生态有什么样的构想？你觉得模型会是垄断于巨头手中，或者是会模型吞噬一切？你觉得有着应用公司的生态位吗？会从一个垄断的局面，慢慢的变到人手可用吗？就你对模型的未来的一切有什么样的想？终极的目标，如果我们能 deliver 那个 vibe training autopilot，嗯，那就相当于是平权了，就所有人都能够去训自己的模型。
但是这个地方的问题是，呃，还是需要钱。嗯，因为你现在训一个大约模型都这么的贵。你要人人可训，我觉得这个地方也是当 physics of AI 理清了之后，其实训练的成本也是会下来，就是因为我们现在不是最优的一个
recipe，很有可能还有很大的优化空间吧。我们也很希望为我们的听众能够提供一些就是行业新鲜的动态啊，就比如说除了你在做 A F A I，我们刚才提到田云栋老师他的 Recursi 他的那家创业公司也在做 A F A I，国内还有一些其他团队在做 A F A
I，能不能很想给大家做一个说理，就是大家各自路线是什么？
嗯，好呀好呀，其实 A F A I 这个在国内还是一个相对来说比较新鲜的概念，嗯，就我觉得还挺有意思的，就我从五月份开始去融资。融了几天，发现 recursive 就 announced，然后国内就开始火起来了。目前来说，其实还没有那么主流啊。当然，孙天祥是很早他们就开始在做了，嗯啊。然后最近去百度做，然后最近去百度做大的模型了。
对对对，孙天祥是一个特别符合你们工作室名字的这样的一个想法。就他之前的一个采访说的是 language 基本上就是整个世界，所有的东西都能够被 language 描述。嗯，这是他的一个 belief。他们之前做的像 faris 那个系统，就也是自动生产 paper 的一个系统，就是一个 paper agent。
嗯，那我们 AI 院还有另一位老师叫陈永超，他最近也是在做这个 AI for AI。他的路线呢，就也是更偏这个早期的路线嘛，至少现在的路线更像是这个 paper agent，能让 AI 自己去写一些 AI research 的一些文章。RSI那边，这个我们其实也无从得知吧。但是从他们的这个博客里面能够窥到一些技术路线。
嗯，我们大概猜测他们会强调这个auto research系统需要维持一个比较好的memory。就比如说，我昨天做了五次实验，我都是在调这个学习率，然后五次实验我全部失败了。那么我今天就会记住我昨天做过这些实验，那我今天就不会接着去调学习率。但是 again，就是说，那维持一个好的 memory 系统，但是你不理解它背后为什么学习率会失败，你之前的经验也不一定是对的。
就是可能你之前学习率失败是因为 A 原因，但可能我第二天做实验的时候，我这个时候其实是 B 原因，所以这个时候调学习率可能反而是对的。对，所以这个地方还是存在一个，到底我只是一个经验驱动，还是一个这个机制驱动的？当然，我看他们的官网上，然后以及因为田云东老师也在里面，所以我相信他们也是会在 Science of AI 上去有一定投入的。
嗯，但是目前来说还不是特别清楚他们的 Science of AI 的路线到底是什么样子的。嗯，对。哎，说到研究啊，就是研究中所谓的顿悟时刻或者研究的直觉，这个怎么训练模型？首先，模型它得拿到这个数据。你告诉他你的思维链，这就是让他拿到这个数据的过程吗？是的，就是我们要强行的强迫自己把思维链写下来。每一个顿悟时刻都是有思维链的吗？
一定是有的。如果没有的话，就是你问自己问的不够深。因为我自己的经验是这样的，就是我一开始也挺相信研究品味、研究直觉这回事。我其实现在对这个事情有点祛魅了。就我觉得研究品味、研究直觉其实是一个遮羞布。就是说，因为我们聪明到可以提出一个想法，但没有聪明到可以去用语言说出来我是怎么提出这个想法的，所以我们把顿悟这个事情给他说成是所谓的品味、所谓的直觉、所谓的灵光一现。
还有句话叫“善战者无赫赫之功”，嗯，就是说最牛逼的人，他提想法对他来说就跟呼吸一样简单，他能够把别人觉得哇这个太神奇了，他是怎么想到的，他能把这些事情系统变成他的系统。而那些不是最顶级的人，他们也能提出一些很好的想法，但是他们可能并不知道自己是怎么提出这个想法的。嗯嗯，我其实一直在有意的训练自己，就是我不仅是要提出好的想法。
我还要去追问我是怎么提出好的想法的，然后在这个过程中，其实是尝试把我的想法语言化。其实这个事情对我来说非常难，因为我不是一个通过自然语言沟通特别顺畅的一个人。就我的思维模式可能更偏，就是 Max Tegmark，就我博士的老板，就我们都是非常偏视觉的，偏视觉。偏视觉的意思就是说，我们会在脑子里面会有一个图像。
哦，我会特别想把它画出来，但是我美术又不行，所以这个就很尴尬。嗯，对，所以有的时候我只能够通过我真的把这个东西做出来。把这个东西展现在你的眼前，这个是我沟通的方式。嗯，所以我是觉得思维链这个东西一定是能或多或少的被说出来。当然，还有一条路径，当我们的脑科学发展的足够完善了，以及我们没有一些道德的问题，就比如说我们去检测一个人的脑电波，我们可以用一些侵入式的方式去检测他的脑电波，或者我们有些更高级的方法，不用侵入式，我们也能够检测到比较清晰的脑电波信号。
到了那个时间点，我不需要用语言，我直接去测这个人脑电波就行了。但是这个时候，我需要这个人的脑电波。但是因为现在我们没有办法获取这个人脑电波，我们只能够去拷问这个人，或者拷问我们自己，就是我刚刚到底是怎么想出这个想法的。嗯，啊，你如果说不出来，说明你还没有拷问的太深。你只要拷问的足够深，你总能说出点什么。
但它不一定完全可以取代，就是脑电波的价值。但是至少它能说出点什么。你刚才说你当时做博后的那个实验室，他们当时创业的时候，投资人们跟他们说你们三年不用盈利。国内投资人也跟你说啊，那那是那是完全不可能的。国内投资人恨不得你现在当天就能盈利，能吗？啊，能吗？你们呃，当天还是不行。估计什么时候能有产品，什么时候能商业模式？
你们这个 road map 是什么样子？呃，我们这个六个月之内还是侧重 R N D，就是去做一些 demo
呀，然后以及就是说做一些产品的雏形。六个月之后，根据我们这六个月的一些成果，去决定这个之后到底要怎么去做。肯定是在一年这个时间节点，肯定是会开始去产品化跟商业化的。但是，比如六到十二个月，这个我觉得六到十二个月的这个 research and development，这个对于一个 new lab
来说是非常重要的。
嗯，不能过早的去投入到一个其实不是那么好的一个方向，只是为了短期能够去交差，短期能够去做商业化，需要六到十二个月的探索去找到一个更好的方向。New lab 的本质，你觉得应该是 lab 还是公司？它之所以我们起了一个新的名字给它，就是因为它既不是 lab 也不是公司。他就是应该像我说的，你六到十二个月去按照一个 lab 的形式，按照一个 research institute 的方式去运转。
嗯，一旦 grok 了一旦顿悟了，这个事情就要应该按照公司的方式去运转。就是前 OpenAI 时代和后 OpenAI 时代的感受。是的，是的，是的。对，那会不会给他做 lab 的时间不够长？OpenAI 毕竟慢慢做了很多年。你觉得现在这个生态或者机制有那么长时间的探测期吗？它有这个包容度吗？还有你们的现金流够吗？
现金流肯定是我们会也是持续会募资的。我个人是觉得，就是现在的路线已经相对来说比较清晰了。六到十二个月，我觉得是能够画上一个逗号，然后开始去做产品。如果说你一年前问我这个事情，我可能觉得我们需要做三到五年的 research and development。我觉得也是我在不断的思考，我自己意识到这个元模型的可行性。
之后啊，我说我要快速的推进这个事情了。那像之前我确实也是挺犹豫的吧，就是因为我没有找到一条清晰的路线。对，当然，这条清晰的路线在做的过程中，实际上也是会不断的进行调整。你们这个路线也可以描述成元模型，也可以描述成A F I Auto Research，可以描述成Physics of AI。你觉得哪个词是最精准的？
如果只选一个，我觉得Auto Research是最接近的。但是我觉得我们得创造一个新的词汇，专门给我们这个路线起个名字。但是我们 so far 还没有太思考这方面的问题。我觉得未来是需要，就比如像 AI 的物理学这个东西，就是我们自己起的名字嘛。因为现在所有 neo labs 都是他说他形容他在做一个什么事情，那创业者和投资人脑子里都就不是一个事儿，不是一个事儿，对，就是对，不是一个事儿。
就之所以用这些 cliché word，是因为投资人他要得听懂。对，你看你们也被投资人描述成 AI for science，对吧？他跟你你心目中的构思也是不同的，但是你现在心目中的构思其实也没有找到一个最准确的词来描述它。所以也在套一些词汇。是的，是的。从投资人的视角，我的理解是，他们投的方向其实也蛮广的。
在他们接触到的广度里面，AI for science、AI for AI、Auto
research其实都算一堆，对对，然后计算模型、数据模型都算一堆。嗯，你觉得今天处于一个AI发展的一个什么样的时期？它收敛清晰了吗？已经？我觉得对于大语言模型，它收敛已经比较清晰了。嗯，但是新的机会是来自于，就是其实我们一开始也聊到，就是关于世界模型，然后关于 Auto
Research，嗯，这两条赛道，我认为还处于相当早期。
大语言模型可能辐射不到，辐射不到。但辐射不到的原因，我觉得我也不是说 transformer 的 hater 啊，我觉得更多的还是说 mode model 那边，其实我觉得更像是说要找到一个更全新的架构，它能够更好的去抽象和找到这个物理世界真正的 latent space。Auto research
这边，我觉得更多的还是说大语言模型没见过这种数据，所以第一步是首先要去结构化，然后第二步是收集这种结构化的 research 的数据。
这个是最重要的。那有了这些数据，其实大模型也能吃。其实他做的其实可能也不赖。当然了，这个元模型的这个路径，它是一种关于模型的模型。大模型也是因为没有见过关于模型的这种数据，没有见过太多关于模型的这种结构化数据，所以大模型也做不好。你这创业几个月什么感受啊？节奏非常快，多快？基本上就是除了睡觉都是在工作吧。
对，但是我觉得也是一种挺新的体验吧。一方面是你有了更多的资源，你认识了更多的人。你好像就是突然接触到了一个更大的世界，但另一方面，技术上的事情、研究上的事情还是得踏踏实实的去做。嗯，是一个不小的一个挑战吧。因为之前的话就是说踏踏实实的做研究，但是现在的话，不仅是做当下的研究，你还要和很多的人去做交流，而且你还要去想，不仅去想当下的事情，你还要去想几年之后的事情。
根据几年之后的目标去倒推，那我们这个路径到底该怎么去走？嗯，所以这个我觉得，这个有一点 out of my distribution 的东西，也是我在学习的事情。嗯，如果只能选一个做 professor 和做企业家 entrepreneur，你会选哪个？嗯，我都要，就是我现在都是我都要的状态。如果非要非要选一个，我觉得这个再看吧，看做做看，做做看啊。
对，今天这个创业的时代好像跟以前变得特别的不一样，因为很多都是学术背景，或者是像你是有了教职以后也创业，那也有的是学生开始创业，就是好多都是 research 背景的人在创业。对，我觉得还是取决于做的事情，它是一个是否需要早期去研究驱动的。就像 Auto Research 跟 World Model，我觉得至少需要六到十二个月研究驱动的时间。
嗯，那这个时间是不能够被跳过的。嗯，那至于比如说六到十二个月之后。当我把我脑子里的这个东西给它 dump 出来，嗯，比如说 dump 成一个雏形，它摆在我的眼前，然后之后，比如说再引入一些有这个产品经验、有这个商业化经验的一些联创进来，帮助去把这个东西的影响力打出来，而不仅仅是一个小而美的一个东西。
但是我觉得还是需要，就是说啊，六到十二个月的时间是首先把这个原型打出来。嗯，所以理想状态是六到十二个月这个研究探索的成果及某个产品。是的，是的，嗯，对。那我最后结快问快答，全球范围内你一个你喜欢的食物，反正我不管在哪里去读书还是旅游，我都是会想吃这个热干面的。一个全球范围内你喜欢的地点，只要有江河的地方，我都挺喜欢的，包括武汉，包括上海这边，就是在这个黄浦江边上，在MIT就是在波士顿那边，就是查尔斯河，我喜欢没事就去河边走走。
一本影响过改变你人生的书。人类简史吧，就是我其实就一直都比较 nerd，就是不是很懂这些 social science 的事情。然后我有的时候会觉得，哎，这个事情明明不合理，但是为什么大家都相信这个事情啊？然后读了人类简史之后就知道，哦，我们的这个社会其实就是故事驱动的，所以叙事非常重要，不仅仅是技术重要，这个背后的叙事也是非常重要的。
在你心目中，影响 AI 进程的几篇论文。这个太常规的就不说，就比如像 scaling law呀这些文章，就我觉得对我个人影响来说最大的就是干这篇文章吧，因为它相当于是为我打开了这个 AI 世界的大门。基于你当下的认知，一个关键的重要的 but 是什么？可能就是我们刚刚一直讲的，就是 AI for
coding 下一个会是 AI for research，但是是需要用 physics of AI 的方式去做。
We'll explore the new world from here.好了，今天的节目就是这样。这里是商业访谈录，是一档由语言及世界工作室出品的深度访谈节目。你可以到公众号关注我们的工作室，获取更多的信息。我们的公众号是语言及世界 Language is World，也欢迎你在小宇宙的评论区与我们有更多的互动。
我们希望和你一起从这里探索新的世界。We'll explore the new world from here. Shouting out so the clouds can't hear every heartbeat, drawing the map we steer. We'll
explore the new world from here. Step by step through the doubt to cheer, we're the start of the story. This world we're here. We'll explore the new
world from here.