大厂不需要多人了，所以大家都得找到自己的意义。今天的这期视频播客，我们来到旧金山城里，嘉宾呢是我们的老朋友了，田渊栋。田渊栋作为 Meta 基础 AI 研究实验室 Fair 七研究总监，在去年被裁员之后，历经半年，他最近呢是官宣了新动向，与其他七位顶级研究员一起。创立了新的AI研究公司Recursive Super Intelligence，简称RSI，融资六点五亿美元，估值达到四十六点五亿美元。
这个令人瞩目的新实验室想做什么样的事情？为什么资本会如此看好他们？那么过去半年 AI 市场的格局迅速变化，他又如何看待模型技术的趋势与瓶颈呢？也是真实的官宣来到了 RSI。半年前接受咱们采访的时候，其实已经差不多定了，很小很精的团队把这事情做成了，成为一个大的趋势。但 RSI 有八个 cofounder 啊，在没有任何产品出来的一个前提下，为什么觉得资本会对你们买账呢？
最顶级的资本还是看人。Recursive self improvement，你们为什么觉得这个方式很关键？对，用 AI 来那个优化很多的 AI 自己的一些东西，AI 变得更强。用AI来做新的发现啊，我们可以呃增加人类社会进步的速度。那如果说你们的最终目标是十的话，你觉得我们现在大概是在一个什么样的阶段啊？
也许我们现在在那个一和二的这个位置上。你们lab会从pretraining从头开始做吗？就是商业化方面，对有任何的思考吗？迭代速度可以披露？你们为什么要把自动化AI科研作为第一步？我们应该把目标观放得更长远一点。如果我们对科学的这个研究的这个过程本身有建模的话，那你可以拿做很多。你怎么看视觉模型？说我觉得语言跟视觉相比呢，语言还是一个更加有信号的东西。
有一些前沿的路线是想把 diffusion 跟 LLM 有一个组合，速度上来说肯定会变更快。Pre training 的上限其实是决定了 LL 相关学习的上限。自然这是也是我的观点嘛，对吧？所以呃有可能是错的。你说大家迟早全部做到失业的嘛？四和五的这些工程师，他们的能力就是 AI 很多事情其实可以做。
Coding 之后的下一个 the next。Big thing是什么？我觉得是AI research。OpenAI跟Adobe的一个比拼，你会觉得是什么样的一个结果？谷歌还能够追上来吗？啊，你觉得AI发生了什么？就是Meta，你怎么评价Microsoft？大模型就永远赢家，应该这么说。前沿大模型之争，其实最后变成了一个组织架构之争。
应该说，组织架构在这次的那个。技术进展有很大的一个角色。那他最近有点争议啊，他们要强制蒸馏员工这个事情啊，吸金大法还是？呵呵呵，立刻炼化炼化了之后，然后你就被踢出去的话，大家都会开心的，不太顾及员工感受吧？感觉是个大趋势了。它就相当于就是在一条鱼在水坑里面跳，水总的来说是越来越少了，所以你永远找不到，你最终一定要变成一个四维生物，你才能活下来。
那么接下来就跟我走进RSI。那以下就是我与田渊栋的专访。非常感谢渊栋，欢迎来做客硅谷杨林幺。非常感谢你们又过来，呃，我们可以继续下一轮的采访。啊，现在据我们上次聊的时候，其实过了半年的时间。对。然后我知道当时你刚从Meta出来嘛，你当时跟我说已经有很多的团队跟公司在跟你接洽了。对。那其实现在你是正式的官宣来到了RSI，能不能跟我们说一下为什么最后选了这家公司？
公司，嗯，对，应该说这么说吧。其实我当时，呃，半年前接受你们采访的时候，其实已经差不多定了。啊，对，其实应该说是一个，呃，比较快速的一个决定的过程吧。对，嗯，然后呢？我其实也有不少人当时联系我啊，应该说就是在十月底到十月初这段时间之内，我的手机基本上是被打爆的状态，然后我所有的message都我就属于不能回复，因为太多了看不过来。
嗯，对，那最后还是选了这个，觉得对于现在的，呃，就是大模型的这个趋势来说呢，啊，应该说团队小型化，然后那个团队的那个速度变快，然后团队之间的摩擦变少，然后很小很精团队把事情做成了，成为一个大的趋势。有这个趋势之后呢，你再在大公司里面再待着呢，可能就不太方便。啊，对，其实我也亲眼目睹过很多的这种大团队，呃，有大团队一些问题吧。
当时也不少那个大团队是来找我的啊。当时有 Anthropic 的，然后有 XAI 的，啊，有，啊啊 Amazon 的、Apple 的、Microsoft。但是呢，后来你会发现，再过就在找我之后的可能大概两三个月之后，有很多人当时找我的人都走了。嗯，对，大家看到了很多的这个这个消息啊，对，当然我也就不一一列举了啊。
其实这个原因是因为，呃，对大团队来说，对大公司来说，啊，他们这个组织架构比较臃肿，或者人比较多。那么就一定会有问题，就是对CEO，CEO是非常急，他希望这公司能成功啊，他就会有，呃，很多的这个命令或者说很多的这个指示啊，去指导下面去做。但对一个大团队来说，他就花要花很多很多时间。去适应就是上面的这个这个要求，然后同时呢对齐啊下面员工的一些啊想法和愿望。
那如果是这样的话呢，那这个过程这个速度呢是应该说是远远慢于小团队的这个对齐速度，啊，所以你会发现就最近有很多的那个大公司大团队，他们频繁的会reorg，啊，频繁的会裁员啊，会那个改变自己的方向和战略啊，主要原因还是因为这个组织沟通上的速度是根本已经跟不上AI的发展速度。啊，所以是这样的原因。当时我毕竟在Meta我也待了也快十一年了嘛，啊，所以我也是能亲身都感觉到了这样的一种趋势。
啊，所以这段时间之内呢，就是啊，就是正好这个麦也给了这个机会嘛，啊，那我就去过一个不一样的人生嘛，啊，大概是这样的想法。那其实当时来找你的可能也不只是RSI这一家的startup跟这个lab对吧？对啊，为什么最后选了？当时是Richard呃Souter亲自来找你的嘛，然后为什么选择了这一个团队？呃，我觉得应该是这样吧，就是说，一个呢是这团队刚刚组建，嗯啊，所以当时呢，就是我我也跟啊，就是
Richard，还有蔡明，啊，还有 Team，啊， Team 师，啊，还有那个 Team Broke 都聊过，啊，所以我觉得，呃，一个是团队刚刚组建，所以机会应该比较比较大。
那是一个，另外就是说，这个团队里面我有两两到三个人我以前认识，而且其中像 Tim Rochelle 跟我以前是同事，他以前也在那个 Meta，在 Meta 伦敦啊做 reinforcement 那个啊，然后我在那个。加州这边做 reinforcement，所以也比较熟吧。呃，那同时呢，这个团队刚刚组建啊，所以也是一个很好的一个机会啊。
蔡明勇我之前也也也有很多 connection，对，所以有这个 connection 之后呢，我觉得其实可以可以尝试一下啊，所以可以做一下这样的事情。那么其他的很多的创投队他们也来找我啊，但很多时候呢，这个机会呢相对来说是稍微。呃，没有没有那么好啊。比如说啊，他们希望招聘员工啊，或者说希望啊，就是让我进来做，比如说像 head of AI 啊，说 head of research 这样一个职位。
那么当然了，就是对我来说要创业的话，那你希望做 co-founder 更好一点啊。那当然是有这个机会。但 RSI 有八个 co-founder 啊，啊，对，这个还挺罕见的。对，嗯，当时是怎么样一个 set up？那么给我们讲一讲。呃，我觉得是这样吧，就是说，因为每个口方的他们的 expertise 是不一样的啊，他们各自有各自的擅长地方和比较欣赏别人的地方嘛，对吧？
所以相对来说，我们这八个人还是比较互补的啊，有这个互补的这个基因的话，而且大家都是聪明人嘛。啊，所以我觉得，呃，合作起来其实也比较比较顺利。对，能不能跟我们介绍一下这八个 co-founder？你们各自呃分别负责什么样的工作领域呢？像如夏硕士，大家可能知道，他他一直是就是啊做 CEO 的角色。他之前创立了那个 Meta Mind，然后被 Salesforce 收购了。
收购了之后，他在 Salesforce 带了啊四年吧，做那个 Chief Scientist。啊，然后啊，这个之后呢，他出来开一个新的公司叫 Yuandong.com，现在也是有有有盈利，还是不错的。啊，然后现在他又出来成为我们这边的那个 CEO，啊，这样。那么然后呢，像蔡明啊，熊蔡明之前是那个啊，跟 Richard 一起啊做那个 MetaMind 的啊，他们被 Salesforce 一起收购了。
啊，收购了之后呢，那个在 Richard 走了之后呢，啊，那个熊蔡明啊，他就成为了这个啊，就 Salesforce Research 的这个 Senior VP。啊，然后在 Salesforce 也待了十年，十年多的时间。啊，那么还有比如说像那个 Tim Rockshel，啊，他以前是我在 Meta
的同事，啊，然后他在 Meta 待了四年之后呢，他就离开了 Meta，去了那个 Google Deep Mind。
那么在 Deep Mind，他是那个 Project Jerry，啊，Jerry 一二三的这个 lead。啊，一个例子。然后，那这个是大家都在做世界模型的嘛？啊，对。然后，同时呢，他也离了一个 team 叫 Agent Openness。啊，那么这个 team 的方向其实应该说跟我们现在做的方向是非常接近的啊，是非常有相关性的啊，对。
那么，他其实在 Google 的口碑是非常好的。就是我们融资，应该说它有很大的一个贡献，就是说啊，它其实在国内口碑非常好，所以Google翻车，当时我们做了，他们做背调，啊，然后嗯，就是给了一个非常好的一个一个分数啊。对，呃，然后呢，比如说还有 Jeff Krum，Jeff Krum
呢是呃也是做这个 agent of manliness 啊这样的一个方向，那么他的团队其实啊在过去的行十年里面一直在做这个方向啊，应该说非常投入，非常深入，嗯，然后呢，他们最近那篇文章啊叫 AI Scientist 啊，AI Scientist V2 啊，这篇文章其实已经被 Nature
收入了啊，所以应该说这个方向上它的学术影响力啊是非常大的。
像我们这边还有那个 Josh Tobin 啊，Josh Tobin 呢，他是以前 OpenAI 的早期员工啊，然后他自己出来开公司之后呢，公司被 OpenAI 收了之后呢，他又回到 OpenAI 做那个 Agent 啊，Science Lead 啊，那他在这个 Agent 这方面啊有很大的那个经验，然后还有工程上也有很多经验。
然后呢，他就啊到我们这儿来，是这样子。那么还有一个像Alexey Alexey啊Dorosky啊，他以前是啊很早以前是做强化学习的。我大概十年多以前就认识他，啊，当时呢我们是啊都是做强化学习的嘛。当时有个游戏叫Doom啊，叫毁灭战士。那么我们当时是一个track的第一名，然后他是第二track的第一名，啊，所以我们通过这个方式呢，我们认识了。
啊，对，后来他去了Google啊，做那个Vision Transformer啊，他是Vision Transformer的一作，Vision Transformer是一篇非常有影响力的文章啊，他第一次把那个Transformer啊带入了这个Computer Vision这个领域，然后证明了就是数据量足大的情况下，Transformer在Vision上效果也很好。
那么这篇文章其实影响力非常大啊。那么他其实是在里面做很大的贡献啊。那么之后呢，他离开了Google啊，然后去了比如说一些小公司AI for Science公司。那么他现在过来也是给我们做客方的。所以应该说还有比如说像那个Tim Shi石天林对吧？但是之前Cresta的代替Cresta的CTO对吧？所以他在Cresta做了啊很多年的时间，然后把Cresta做成一个非常好的公司。
那么他现在对这个Recursive啊，对我们这个啊我们的愿景有很大的。啊，引很大的这个兴趣啊，然后他就离开了以前的公司啊，他把CTO的职位都辞了啊，来到我们这儿来做做做联创。所以这么八个都是非常顶级的人，非常核心的这个AI researcher跟AI从业者哈，然后聚在一起，你们不会打架吗？就是我觉得每个人都是非常的有自己的想法的人，就是如果你们遇到不同的意见怎么办？
啊，对这个我们还是比较民主嘛，对吧？我们会有很多讨论，很多那个思想上的碰撞啊，和和和考虑啊，对，然后最终呢还是会有一些想法和和逻辑大家同意的，我们一起做的啊，所以应该说就是至少目前为止我们的合作还是相当好的。而且大家都是聪明人嘛，就是和聪明人合作，其实应该说是比较省心的啊。大家都希望，嗯，花很多时间、很多精力，然后把事情都做好，然后把盘做大。
我觉得这个其实是一个很好的啊，一个一个一个状态。你们宣布的这一轮融资哈，我觉得还是挺让人瞩目的。然后六点五亿美元的融资，四十六点五亿美元的估值，在没有任何产品出来的一个前前提下，为什么觉得资本会对你们买账呢？呃，应该是这么说吧，就是我觉得资本呢，其实还是看人的，就是最顶级的资本还是看人，因为那个投资融资也好，然后啊，比如说那个最终的商业愿景也好啊，最终的那个产品也好，在AI这个非常变化非常大的领域里面呢，其实很难在一开始就讲的非常的清楚。
嗯，对，很多时候是这样了，就是说你今天说我们要做这个，然后过了两个月，发现谁谁谁又出点新的东西。那么这个时候呢，这个团队要怎么应对？然后他是不是有很快的执行力做一件事情出来啊？这个其实是最重要的。应该说，资本最重要的还是看就是人的判断、人的以前的经历，还有人的能力啊，和和团队三个人之间的一个一个一个磨磨合啊，和那合作的程度，这个是最重要的。
啊，所以这么多这个钱进来啊，这么多人愿意投资我们，其实还是能看中我们呃以前的履历和我们呃对于就是这个愿景啊上的一个一个一个。投入吧。你在其中主要负责的部分是哪些？因为我记得上次我们聊的时候，你说像一份啊工作，想做工程加前沿研究结合的这样的一个岗位。因为我在说这句话的时候，我已经知道我差不多要来了啊啊，所以买了一个伏笔，可能埋了一个伏笔吧。
就是我大概说的时候呢，我心里在想啊，我不能跟你说，不能跟陈倩说。呃，我已经加入一家公司了，或者说，我即将加入的公司，对吧？因为这还是保密的，嗯啊。但是呢，我也希望给大家说一些，呃，就是比较明确的一个一个路径，嗯啊。所以大概是这样。那确实就是我现在来了之后呢，也是大概是这样的一个结合。因为我们这边以前就是像我和蔡明啊，是做modeling做的比较多的，那我们还可以继续。
做这个modeling啊，做一些建模啊，做一些那个训训练后训练这样的一些工作，对吧？然后工程上也是有一些东西可以做啊，像agent的hardness，我们也会做一。那接下来我们就聊一聊公司，聊聊RSI。啊，首先你们的这个名字哈，RSI是Recursive Super Intelligence的缩写，所以可以看出来这个Recursive，它中文叫递归式。
啊，这个技术是一个关键词，非常的重要。能不能给我们介绍一下RSI主要想做什么？然后Recursive。啊，self improvement究竟是什么样的一种方式？然后你们为什么觉得这个方式很关键？对我觉得是这样，就是recursive self
improvement的意思就是说我能不能用AI来那个优化很多的那个AI自己的一些一些一些一些一些东西，然后让AI变得更强，通过这种方式再做点财富再踩上去。
啊，大概是这样的一个一个逻辑。那么具体来说呢，就是说我们希望用AI啊做很多的，就是现在有需要人工来做的一些事情，比如说像科学家发现新的想法、新的逻辑啊，发科学家像那个比如说训练的过程啊，需不需要用AI来做强化，用AI来做新的发现啊，这个其实都是在我们这个COS里面。的啊，那么我们最终的愿景是希望啊，就是就是有一个很好的系统，就是这个系统里面就是我放进去各种各样的计算资源，然后输出的时候呢，能输出啊这个新的知识啊，新的那个啊新的见解啊，新的这个新的洞察力啊，大概是这样的一个一个东西啊，对，所以其实我们recursive的网站上就说了嘛，就maximizing
knowledge discovery rate。
对不对啊？所以通过这个方式呢，啊，我们可以呃增加人类社会进步的速度，然后提高人类社会对新知识发现和新知识理解的一个一个一个啊一个能力。然后目前我们看到，比如说前沿大模型，OpenAI、Anthropic、Google，那主流做法还是依靠。人类去设计模型，然后收集数据，然后大规模的训练，然后人工标注对齐。
那我听你之前有一些分享，你认为说这条路上人类是一个瓶颈，然后你们押注的是让。AI能够自动化研发过程，是不是？然后中间能不能跟我们展开来解释一下，怎么能实现？对，因为其实应该说，现在人类呃，或者说研研究员吧，其实在做研究的时候，或者在做这个AI发现的时候呢，大部分时间还是浪费的。也不能说浪费吧，就是说，因为人有自己的生理极限嘛，对吧？
你要吃喝拉撒，你要睡觉啊，所以你没有办法百分之一百时间花在这上面啊。所以很多时候呢，就是如果用AI来至少代替，或者说用AI来做一些人类呃认为比较繁琐、比较繁重的，或者说比较重复性的劳动的话，这肯定是可以的。啊，这是第一步。那么第二步呢，就是说我们是不是能够让AI，呃，在这劳动之上，能不能就是发现新的，自动发现新的一些洞察，新的一些那个，啊，重要的这样的一个信息，然后用它。
然后加速这个AI的整个人类发展的进程。那AI系统学会的东西，它是一个对真正的能力上的提升，还是在某个评估指标上的过拟合呢？你觉得？就是当然希望AI最终能达到能力上提升吧，对吧？因为能力上提升呢，就是说可能AI现在能做，比如说相对来说本科生能做的事情。那么我们希望AI以后能做硕士生或者博士生能做的事情，或者说更高的，比如说研究员能做的事情。
我觉得这样的啊。呃，程度呢是我们想要达达到的啊。你说 benchmark 这个事情，应该说是这样，就是说你刷榜啊，或者说各种榜单是达成这个目的的手段，因为这个手段本身呢是呃比较虚的，或者说是比较高层次的，对吧？你要把它真的 break down，或者说把它分解成一步一步的这种小步骤的时候，你基本上每一步可能都有一些 metric，有一些 number，那么这就是 benchmark。
所以当这个 AI 系统它开始自主的去设计实验，自主的去评估结果，那人类还可以作为一个可靠的评判者吗？然后你们怎么去解决所谓的 evaluating 的 evaluator，也就是评估者本身也需要被评估的这个递归的难题呢？我觉得是这样的，就是说至少现在 AI 还是达不到人的这个评估的那个标准啊。我觉得所以至少在一定时间之内，人类还可以作为评估者啊，这个没有问题。
然后另外一个第二个点呢，就是说，就是等到AI厉害到一定程度之后呢，应该说很多的评估标准呢变得主观了，而不是非常客观啊。比如说你拿AI写code，比如说你发现就是AI对于这个就人类的指指令非常的遵循，遵循的非常好。啊，那已经已经做得很好。那再往上走，比如说你要让AI去做一些人类的那个那个设计啊，比如说这个代码怎么设计啊，什么怎么安排各个模块之间的关系，那么这种问题上来说，其实每个人的见解是不一样的。
嗯，那么这样的话，你就会有一个subjective的啊，一个有主度主观性的这样的一个因素在里面。那么这种情况下，其实应该说已经很难有一个正确答案了啊。所以这种每个人其实有自己的这个想法，大家都是对的啊。在这种情况下，其实并不存在说人类的能力达不到的水平，很多时候是就是依照每个人的想法去完成一下这种事情。
那怎么评估呢？就如果就这个时候其实很难去评估这个这个数字，就是说你可能最终看最终结果。对吧？我我与其说评估中间的状态，不如说OK，我加AI或者说人类加AI，最终得到一个东西，能够让大家啊喜欢，或者说能够完成某件事情，那就可以了。所以这个评估就成了，就是从这个中间的benchmark，到最后的这个结果的评估啊。
所以这个评估会往后走。我这是我的一个预测，就会变得非常 result driven。啊， result driven，对的对。那么中间这些过程其实变成了一个非常自由的一个地方，就是你可以做任何想做的事情。啊，但最终目的是人家AI最终得到一个结果，这个结果是啊想要的。那这样的情况下，可解释性这件事情还重要吗？
因为啊，你之前也提到过哈，就是无论scaling最终成功还是失败，可解释性都是必须要解决的。如果成功，我们需要。确保超级AI不作恶。如果失败，我们需要理解为什么模型在某些地方崩溃。哈，那那比如说在啊你们RSI的这条路上，当AI可以自己修改自己的代码或者权重，自己AI可以设计出一系列的实验的时候，那可解释性这件事情会不会变得更加的困难？
呃，我觉得这是非常重要的，而且是应该说是应该说比原来更重要啊。一个当然是因为关于 safety 的问题，啊，对，就是啊，我们在 launch 这个 recursive 的时候呢，其实非常注重说我们要做 safe 的这个 super intelligence，对不对？那么 safe 这部分呢，其实一个方案就是说通过可解释来完成。
因为对，如果说你对这个模型的那个内部机制有理解和有一些想法的话，那你就大概知道这个模型是怎么work的。那么这样的话呢，你就知道这个模型本身啊，它对就是将来可能会有什么样的威胁和问题。啊，所以这是一个非常重要的地方。然后另外就是说，可解释性的本身也提供了一个非常好的一个指标啊，去啊找到一个那个能够更快的找到我们想要的东西啊。
就比如说你要做那个啊，你要做这个 recursive self improvements，其实它背后呢是意味着就是你可能需要大量的算力做的事情。比如说，你可能需要花，比如说几千块卡或者几万块卡，比如说训练一个模型。那么，如果你在你对模型本身不理解，那你可能只能等到这个模型训练完毕之后，你才去预才去预测，或者才去这个啊评估这个模型好不好。
那么这样的话呢，这个速度就很慢啊。那如果有可解释性的话呢，那我们是不是可以把这个评估放在前面去完成啊？那如果是这样的话，那我们是不是能提高这个预算效率？所以应该说，可解释性在这个过程中扮演很重要的角色。所以你们内部还是有人专门去研究可解释性的问题。会有的，会有的，会有的。对对。那你们的设想是让AI系统长时间的自主运行，对，去追求研究者定义的这个目标，同时呢产生出，对啊，超出人类预想的新思路哈。
对，但是这个超出人类预想和失去控制之间的这个边界在哪里？你们打算用什么样的机制来保证这条线不会被越过呢？啊，我觉得其实还是一个是也是重要是可解释性嘛，对吧？就说你如果知道这个模型在啊发现的过程中找到什么东西了，然后这个东西你们呢可以让 human 来做 evaluate 啊，这个是一个重要的，对吧？
然后模型本身的机制呢，都可以如果能够被 inspect 的话，那么我们就可以通过这方式，然后来判断这个模型究竟是越界了呢，还是发现一些新龙，现在没有越界，嗯啊，这是很重要的。你甚至可以用另外一模型去去，比如说去验证这个模型是不是好的，嗯啊，这个都是可以的。啊，所以就是说，应该说，在这样的一个就是就是越越难的问题上来说呢，就是说我们希望这个模型找到一些人类做不到的事情，同时希望这个模型安全。
那这种情况下，就是我们不能代替模型去发现新东西，那我们就得知道模型是怎么想的。模型是怎么去思考的？模型是不是有一些疯狂的想法啊？有一些地方是超过了我们想要的他做的事情。那么这个其实就需要科技。我记得你谈到自己在用 GPT 五的时候的一些感想哈，然后当时你发现模型能够帮你做很多事儿，对。但是呢，它缺乏高层的人类洞察力和专业知识，然后目前呢仍然需要人类去引导。
但是 RSI 的路线和目标恰恰是让 AI 能够自主的提出实验的假设，然后自主的验证，然后也就是说要自动化掉人类的洞察力这件事情。你怎么解释这后面的矛盾呢？还是说现在技术其实已经有进展了？然后改变了你的想法，应应该是这么说吧，就是说，呃，正因为现在 AI 做不了，所以我们希望 AI 能做，嗯，哎，是这样一个逻辑嘛？
对，你们选了一个更难的这样的一个路径，是的，是是，正因为做不了，那就说 OK，这就是我们将来研究员能发挥发挥的地方。那么我们当然希望开公司，让哎能做这事情，啊，这个是一个重要的一个一个点啊。至于就是，但这个事情本身呢，不是零到一的。就不是说是要做不出来要做出来，这不像无人车，无人车说你要不在路上百分之一百分路上就撞人了不行，对，所以就是它其实有很多层次的，对吧？
也许AI今天能写代码，但是AI读不了paper，然后明天AI能读paper，然后AI还是理解不了这个问题的本质。那么后天的话，也许AI能理解一点点了，然后但是AI还不能理解太难的问题，所以它会一层一层的这个层次上去。所以它就有个很深的一个阶梯在那里啊，那阶梯到能爬到什么程度，我们先并不知道啊。但是我们是能往上爬一点。
那么每一步呢，其实应该说会带来大量的一个应用场景啊和一些呃可能这个方向。啊，所以应该说就是这个本身是一个非常吸引人的啊，一个东西。那么对于研究员来说，当然是希望永攀科学高峰嘛，对。所以这个肯定是一个很有意思的阶阶梯可以走。那如果说你们的最终目标是十的话，你觉得我们现在大概是在一个什么样的阶段？我觉得我们现在还是在那个一到二、二到三这个阶段吧，对吧？
对，甚至我可以说，我们现在可能就是零点零，肯定是零点五吧。嗯啊，对，因为这个这个这个阶梯应该说非常非常高啊，能多能能有多高，这个是不知道的，因为它可能会这样，就是假设我们希望人类的那个边界是十，嗯，对吧？也许我们现在在那个一和二的这个位置上。对吧？那还当然过了那边界之后，也许还有一百那部分，我们是不知道的。
嗯嗯，就是你要翻过那座山，你才能看见后面的山有多高。是的，是的，是的。对，而且在那个时候，其实那边界会往上走。因为回想一下，人家AI能力肯定超过我们以前的人最优水平，啊，像最近那个OpenAI他们，呃，他们发现了一些就是就能证明一些完全非平凡的定理。那么这个事情其实应该说，对于以前的人类来说是很难想象的。
啊，对，但是现在就是你会发现正定理把以前定理都证证完了，它的这个啊这个新闻的这个频次是越来越快了啊，所以我想以后应该会出现这种情况。你当时在 Meta 其实比较重要的工作之一就是 CoCoNa，啊，然后这个方法呢就是说让 AI 在连续的潜在空间里面去做推理，做 latent reasoning 嘛，啊，然后我很好奇说 CoCoNa 的相关研究在 RSI 里面还会有一个继续的去推进吗？
然后我也很好奇说就是啊你。怎么想当前的这个 Chain of Thought
的这个路线啊，以及就是你接下来的研究工作，会不会对这个方向有一个继续的往前推演？啊，对，我可能肯定还会做的，对这个是没有问题。但是具体细节来说，我们毕竟是公司嘛，所以很多事情我们不能讲讲讲太细，没问题。对，讲太细，对。但是我们就是说，对我们来说，我们如果有个很好的这个
machinery，就是我们有一个很好的系统能够做自动化的研究啊，自动化的那个理解的话，那我们可以用这个东西来继续做研究，对吧？
那么这样的话，其实我们的研究更像是一个 product。对吧？我们可以说，哎，我们的系统非常厉害，然后那个我们做了很好的工作来，那么这个工作我们本身可以
publish，我们本身可以拿来就给大家说说我们很好的结果啊。至于这个东西怎么做出来的，我们可以啊作为一个黑盒子啊，我们可以说这是我们公司一个。一个 secret source，然后刚才我们那个也稍微提到了一下，就是那个 latent reasoning 哈，所以就是你会认为说当前的 chain
of thought 的路线对是错的吗？
我觉得当前 chain of thought
路线不是错的，是一个是非常实用，对吧？大家都在用，这所以肯定不是错的。啊，但是我觉得人类在思考问题的时候呢，最终还是需要一个非语言的媒介来做这事情。嗯，啊，其实至少对我来说，我在思考问题的时候，其实我并不是需要用语言来做的。很多时候是有图像的成分，有一些是一些比较那个说不清道不明的一个这些思路啊，然后在这个思路里面发现了一个问题啊，然后我把它写下来，变成语言，所以语言更多情况下是一种解释。
而不是说是训练的一个或者说思考的过程，啊，而且其实我们当时在做这篇文章的时候呢，我们也发现，就是如果通过就是 latent reasoning 来做思考的话，那么这个 reasoning 这个 pass 这个过程，应该说还是啊效率应该比这个语言要高的啊？为什么呢？是因为 latent
reasoning 的就是每个 latent token 它里面可以存的这个这个信息其实高于每个语言的 token 的。
啊，零头哥，你可以存很多信息，比如说你可以同时存几个不同的思路，同时存在一起，然后最终呢，这里面有一个思路是对的，那么你这个路径就出来了。但如果你要用语言去去想的话呢，你就得人工的去写下来每个数是什么。嗯嗯，对，一个一个出来。对，所以这个效率就是不一样的啊。所以这个至少在原理上来说是能看到这个不一样的地方啊。
那么当然了，就是具体的这个这个在实现呢和最后的那个那个应用场景上来说呢，可能还是有各种各样的不一样的地方。嗯。但是呢，这个方向本身呢也是很有意思。而且现在你会发现，就我们之前这篇论文的paper应该说已经啊已经有很多的很大很多citation啊有很多很多的人。在这上面做很多拓展啊，就是当然包括最近有一些那个像
Luffy Transformer 啊这样一些结构，它本身也是 latent space 的 reasoning 对吧？
然后它也有很好的效果啊，所以应该说这个方向本身将来应该是有很大的方向，很大地方东西可以挖的，而且我觉得也许以后可能是一个有意思的那个那个突破点。你觉得现在哪一家是比较？就是重视这个方向的。我听说 Anthropic 的按那个 the Mixes model，它用的是 Luffy Transformer 啊，但我也不知道是真的是假的。
对，呃，这个是一个可能的可能路径吧。对，因为为什么大家说这个呢？嗯，是因为就是说他们看到我们大家看到就是 Mixes 它在一些就是图上的这个搜索的问题上，它的效果比之前的模型好很多很多啊，所以有人就在怀疑是不是它用了一些新的架构。嗯，对，当然这个问题你去问A家的人，他是不会回答。呃，之前你其实有跟那个观众分享过顿悟对啊的这个研究嘛？
对对对，能不能再跟我们展开聊聊？然后一起就是最近有没有什么？研究上的新的进展，新的进展我就不说了，因为我们这边也是比较保密吧，就是说我们不希望有更新进展马上要说出来啊。但是你还是在研究这一块，对做肯定是会做的，这个没有什么问题。而且确实应该说这篇文章在发出去之后，我收到不少人来信啊，都是说挺有兴趣的，而且当时跟我说啊，这篇文章我们我做了个
extension，做了一个拓展，然后你们帮我看一下啊，其实我也挺开心的，有很多的这个有很多的人愿意来找我跟我去讨论这个问题。
啊，对，所以我觉得顿路本身应该说是很有意思的一个问题，就是这个模型怎么样从，就是记忆，然后突然变成一个泛化这样的过程啊。那么这个过程本身呢，是应该说是能解，是不是能解开整个神经网络的训练过程这个秘密的所在，应该是这样子。对，那么这篇文章主要的逻辑是说，我们在一些比较具体的，比如那个结构化的数据输入的时候呢，就是说你会非常清楚看见这个模型从记忆变成了那个泛化啊，这个过程啊，这过程可以本身可以通过一个啊比较清楚的这个数学过程啊来描述啊，比如这里面有个能量函数，这能量函数呢，在数据不足的时候呢，它得到的那个最小值呢，都是记忆的解。
但这个数据足够大到多到一定程度之后呢，突然之间这个能量函数的这个这个结构呢，就变成了泛化的解啊。那么这个过程就是动物的过程，而且我们可以知道，就是我们究竟需要多少数据能够导产生这样的一个变化。啊，所以这个其实是很有意思的一个过程。那么这过程如果理解清楚的话，那我们是不是就可以对神经网络的训练过程有更好的理解？
我们是不是更好的效率提高这个速？这个的研究其实还是我理解比较早期的阶段。我们现在知道多少数据可以？对，就是我们有一个，就是这篇文章主要还是比较偏理论嘛，就是说，就是在这个设计设定下，我们可以说，哦，如果我们总数据是 m 平方数量级的，我们就需要 m log m 的这样一个数据，就是说可能比线性多一点，但是也没有太多啊，就比总数据的数目相比了还是少很多的。
你们那不会从 pre training 从头开始做吗？我们都在做操作尝试吧，做尝试吧。对，因为 pretraining 呢，一个也比较好的地方是，因为一个是它它本身的这个训练过程呢比较 smooth，啊，它这个那个那个 loss curve 相对来说比较稳定，啊，所以其实是一个也是一个挺好的一个方向。
就所以你们什么都会自己做？对，会有一些，就是目前我们还处于这个探索阶段嘛，对吗？我们会有一些不同的那个方向都会去试。嗯，那在产品方面或者是商业化方面，对，有任何的思考吗？对，我觉得这个是我们现在已经有一些思考了啊。对，应该说我们这个团队呢是一个非常落地的实际的团队啊，就是团队里面应该说有超过半数的人以前开过公司啊，然后也知道就是怎么样落地呀，怎么把产品做好啊，怎么样去满足用户的需求啊。
所以其实应该说就是我们内部在聊的时候呢，很多时候就是说的话和讲的那个故事啊和。聊那些内容都非常接地气，啊，就是说是非常实际的，说啊，这个东西是不是能用，那个东西是不是能用啊，这个东西是不是可以赚钱，或者说可以那个 make commercial 的那个
benefit。啊，这个都是在在讨论的讨论。其实，但应该说就是 self improvement 这个方向呢，又会有很多的事情可以做，哎，很多的那个东西可以可以完成。
比如说，对吧？比如说，我们是不是能够训练一个模型，让拿这个 model inference 变得很快？啊，对吧？那其实是不是我们就可以让这个 inference 的 speed、 inference 的 efficiency 变得很高？嗯，啊，这个是当然是可以的，对吧？嗯，比如说我们找到了新的 recipe，那么这个 recipe 是不是啊可以有更好的那个结果？
这个都是。可以commercialize的啊，是这样子，或者说我们对这个模型本身的那个啊，会对人类在做这个研究的过程中。它的这个思维方式做很好的建模的话，那么是不是可以拿它来做一些很难的人类社会、人类能做的一些一些研究？我们是不是可以让AI来做？这都是可以可能说来的。对，但是现在目前看起来，就是说这个方向本身呢，应该说还是比较开放的啊，有很多事情可以完成。
你们现在就是因为八个人嘛，然后你们现在有一个非常有共识并且清晰的这样的一个。技术的路线图了吗？对我们差不多是有一些。我之前看有报告说哈，就是你们第一步呢是要训练一个具备五万名博士能力的系统来自动化AI科研本身，然后计划呢是在今年年中左右推出一个Level One的自主训练系统。那比如说在Level One之后，肯定还会有Level Two、 Three、 Four嘛，对吧？
就是大概的这样的迭代速度可以披露吗？呃，我目前是就是现在可能在就是一开始的一年到一年半里面嘛，对吧？我们会把这系统很好做好啊，然后做深入啊，对，然后呃之后呢，我们就想办法用让它落地啊，找到一些更好的一些 use case。大概是这样的一个时间。我看到那个 Sauter 之前有在采访说哈，就是说要构建你们啊，要想设想的这个技术，可能需要好几年的这个时间才能够完成哈。
那在你自己的心目当中，这个 RSI
从自动化部分的科研。到真正的递归自我改进，再到超越人类的整体的能力啊，每个阶段的时间点，对，大概是什么样子的？我们需要多长的时间能够完成这件事情？以及呢，如果我们要达到这样的突破的话？呃，基础上面有哪些是关键的一些信号呢？嗯嗯嗯，我觉得其实还是要几年的时间嘛，就是就是目前是应该说是一个很好的一个时间切入的，对，因为在这个时间在这个时间点呢，就是大家开始形成了共识。
就说以后啊，就是说研究，或者说以后就是新的知识获取和知识发现这个问题呢，肯定还是让AI来做。因为人一是没有这么时间和精力去看那么多文献啊，另外二是说那个人不像AI那么有大的广博的知识啊，然后有有无穷无尽的时间和精力，然后也可以让A一个AI做很多事情，就是说你可以有几千个AI同时进行。所以这个事情呢，也可以来要来做，所以这个是个一定是个趋势，这没问题。
但另外呢，就是说这个时间点比较好的地方，是因为就是大家现在都不知道怎么做。啊，所以也在探索阶段啊，所以像这样的一个时间点呢，就是大家有这个 excitement，同时呢，那个大家都不知道怎么做呢，是一个很好的节点，开始这件事这个旅程吧。但旅程非常长啊，那这个旅程可能要持续，比如说好几年的时间啊，才能开始有眉目，有有结果啊。
这个我觉得是肯定会发生的啊。对，大概是大概是这样。技术上来说呢，应该说就是说这个技术比较好的地方是，它到每一个层次呢，应该说都有一些应用价值。啊，就不管是在什么地方，它不像有些那个方向呢，就是说要不全部做出来，要不全部做不出来，不是这样子的啊。像比如说，如果你要去找你，比如说新的材料啊，你要找那个新的什么核聚变或者说超导的这样的一个solution，那么这个bat就很大，就是要不就是百分之一百，就是你真的成功了，要不就是你没有办法成功。
啊，但是如果是做这个 self improvements 的话，就是它每一步的这个进展，它其实都会有一些应用价值。嗯啊，所以这总来说，应该说这个趋势是比较平缓的啊，所以我觉得这也是一个。我对这个技术比较有信心的原因之一嘛，就是这点还挺有意思的。因为我也想问说，哎，你们为什么要把自动化AI科研作为第一步？
因为，嗯，就是它这个商业化毕竟还是会更困难一点，相比起比如说一些比较To B的落地的一些企业服务或者消费的产品哈。那为什么你们做选择这个作为起点，而不是一个更容易产生收入的方向？呃，因为如果你要想更可能产生收入方向的话，那其实一个问题就是在于，就是大家会时刻担心你用的这个为这个产品的收入产生的具体技术，会不会在明天或者在下个月被AI取代。
这个其实是应该说是硅谷，或者说是很多投资人的一个很大的一个痛点。当然说，今天我们可以拉很多人团队，我们做一个单独的事情，比如说我们要做语音陪伴，或者说我们要做聊天助手，或者我们要为某个垂直领域把一个事情做得很好。但是这件事情本身呢，就是之前其实应该说，在过去的三年里面，已经有很多的那个量力证明，就是说那个为了某件事情做一个是那个比较特殊化的一个模型做的事情呢，也许有一天会被一个大的一个被更加一般化的模型给取代，或者说给。
给给给盖掉，啊，所以有这样的一个 concern 之后呢，其实应该说，我们应该把目标观放得更长远一点，对吧？就是说，我们希望就是在这个范式上啊，花时间花精力。这个范式，说我自我在自我进化这个范式，这范式只要不变，那我们的公司立场是不变的啊。那么在这范式之下，我们再看有没有什么好的这个应用，有没有什么好的可以那个商业化的机会啊？
我觉得这个是一个比较好的一个立足点。我看到搜澈也在采访中说到，说希望 RSI 之后把它的应用范围扩展到物理学、化学，然后还有临床、生物学等等。那在你们 Vision 当中，啊 RSI 未来的一些具体的应用场景是什么样子？比如说谁是你们比较想要重点 Target 的用户群体？对，这个其实是 RAI for Science，当然是其中的一个。
因为，如果我们对这个啊，对这个科学的这个研究的这个过程本身有建模的话，我们知道就是人是怎么样去获取知识的，人是怎么样去呃获取信息的，怎么样去得到新的假设、新的逻辑，然后怎么样去验证，然后最终怎么样产生一个有意思的、没有不平凡的结果。过程我们这个建模建的很好的话呢，你可以拿来做很多事情。像刚才我们说，就AI
for science这样一些一些方向，啊，那么这个本身就是一个很大的一个一个市场啊，我们可以可以做。
然后本身呢，另外就是说，我们是不是通过这方式啊，能够啊提高研究员的效率，然后提高整个呃研究过程的这个呃自动化的程度？那么这本身能够提高，比如说大模型的本身的训练一个一个一个效率，这本身可能就是也是一个非常重要的一个commercialization的一个。方式，那其实这个领域竞争也慢慢的变得激烈起来了。
我们看到 OpenAI，特别是 DeepMind，他自己 AlphaFold、 AlphaEvolved 啊，就是他们其实也是在做 AI for science，AI 自主科研嘛。然后包括刚才我们提到 DeepMind 的这个 Alpha Evolve 已经是能够用 LLM 不断去变异和组合算法啊，那比如说这和你们的 Recursive Self Improvement 有什么样的根本性的不同呢？
以及你们的差异化优势会在哪里？OK，我觉得一个当然是大公司和小公司的区别，就是说大公司有大公司的这个 BAT。小公司有小公司的 bet，对吧？大公司的 bet
呢，往往是这样的，就是说大公司非常多人，几万个人，然后呢，就是可能有会有一些研究团队啊，做一些就是不同方向的事情，啊，但是呢，这个一个是对大公司来说，这个 bet 可能是一万中的一个，或者一百中的一个啊，对，所以他们不会为为因为这个大 bet 来获得很多很多资源。
啊，这个是一个一个问题。然后大公司的那些人，他们的这个 incentive 就说他们这个薪酬结构啊，和呃和对于就是目目的的这个追求啊，这本身呢可能跟小公司也是不一样的。小公司说 OK，我们的目使命或者我们的目的就是要做 self improvement。那如果是这样的一条方向的话，那小公司会集中所有的那个能力和所有的资源，把所有的事情都放在一个地方把它做出来。
那么这样的话呢，小公司其实应该说是更 focus。啊，这个是一个重要的点。那另外那个 Alpha Evolve 呢？其实一个就是说，他们还是用 AI 去优化某个具体的啊一个，比如说一个代码或者什么的，对吧？但是我们这边希望 AI 来优化自己。就是你刚才也也说到，说现在是一个很好的タイミング，很好的时机去做这个事情。
对，为什么去年不是好的タイミング？为什么明年不是好的タイミング？为什么今年是最好的タイミング？哦，应该这么说吧，因为去年这个时候应该 AI 的 coding agent 还没有成熟。对吧？因为大家还是在用，就是AI辅助coding。那么，比如像Cursor这样子，那么用这个AI辅助coding的话呢，就是大部分时间你还是要写代码，然后让AI去审核、去修改、去重构啊。
但是，就是应该说，去年年底就是基本上跨过了这个。这这个这个突变点啊，然后突然之间，大家发现用让AI来做一件事情，然后人去下命令去找一些high level的一些想法，这个模式呢，其实是更有效率的啊。所以为什么现在AI coding tools，AI工具现在变得如此的那个易用，或者说如此的那个。普及啊，所以这个时间点是不一样的。
那么在这时间点过了之后呢，应该说有很大一段时间，人整个这个应该说整个软件工程行业，整个那个啊，就是科技巨头，他们都需要花时间去适应这个这个过程。那么这个过程本身应该说是小公司弯道超车的一个非常好的时机。啊，因为大公司可能需要一年是两年的时间去慢慢适应新生产力工具造那产生的变化，但是对小公司来说，特别是如果小公司非常小啊，大家都是很厉害的人，他们聚一起就很快能够
figure out 找到一个方法，能够一起合作。
那么这个过程应该说远远快于大公司这样的适应过程。那么在这种环境下，也许小公司有这个那个能力去追上大公司，会有很大的这个
upside。嗯嗯嗯，对，所以应该是这样吧。那么所以，但是如果你再过一年的话，可能就已经晚了，对吧？因为大家都适应了之后呢，你再去出来创业啊，这可能也是一个很大的一个一个问题。啊，我我觉得你说的这个 timing 非常对哈，就是也是为什么我们最近看见很多 new lab
出来，对对，很多的核心的研究员从大公司出来，以及呢，我们看到很多的 VC 的资金开始涌向了这些 new lab 了。
对，那现在看一下就是 new lab 的这个版图哈，然后能不能跟我们啊来分享一下，就是你对 new lab 是。怎么看的？因为我我我觉得大家是有很多的派别嘛。Elena她的SSI，然后杨老坤的AMI Lab，啊，然后包括David Silver，然后包括那个Thinking Machine Labs，就是能不能啊？
就是比如说这四家比较啊典型的公司吧，能不能就是？跟我们来分享一下你对他们是怎么看的？所以首先是伊利亚，嗯，对伊利亚，呃，伊利亚的那个SSR应该说非常保密嘛，对，我们现在都不知道他内部在做什么，对啊，所以啊也很难评价吧，也很难评价。我们现在不知道，那么希望他接下来又会有很大的进展，但我们现在并不知道啊，现在的内部情况怎么样。
他们之前的口号是要做 safe，就为它忍死，对对吧？就是安全的人工超人工智能。但是，呃，我们现在并不知道怎么。你觉得他会，呃，也是要做模型的，对吧？但是他可能不会做像 GPT 或者是像 Gemini 或者是 Claude 那么大规模的模型，因为他虽然融了很多钱，但是可能他的钱也不够支持他去完全做一个新的模型出来。
嗯嗯嗯，呃，这个不好说吧。就是说，比如说吧，我们发现了一些新的，就是这个模型的这个训练机制，也许能够。极大的提高这个训练的那个速度和效率啊，都这是有可能的啊，这个就是不知道的，因为因为我一直觉得，嗯，现在AI的训练过程应该说还是不是很有效率的啊，如果能发现的呢就很。有很有很大的那个 side，所以他有可能是在研究一个新的范式，有有可能是这样。
但是这个我也是在猜嘛，因为这些猜测都是基于伊利亚去年的一个访谈。他就出来做了个播客，然后又没有声音了啊！因为其实很有意思的是，就伊利亚去年的访谈跟我们之前硅谷幺零幺我们一起做那个访谈有很多东西是很接近的，比如说像做 research 要 taste，对对对，对吧？像就是他也在那个考虑，比如说就是为什么模型会泛化，对吧？
那么 generalization、 memorization 这些东西其实都是有的。哎，我很好奇啊，就是你们在跟VC聊的时候，他们对于这种呃很长期，然后也不发什么产品，然后我就闷头里研究，我我也不知道他能不能研究出来。现在VC的资金对这件事情的tolerance有多高呢？就是包括你自己在跟VC聊的时候，你怎么感觉这件事情？
我觉得其实VC很多时候还是投人嘛，对我觉得这是很重要的。就大家觉得这个人靠谱，然后或者这团队靠谱的话，那么至少这第一笔的这个融资应该还是啊，主要是看看看这些，嗯，看这些。那么之后呢，就是说如果还要想融资的话，那当然希望这团队有进展，有一些那个很很有意思的、非常让人觉得印象深刻的东西，那么才会给你更多的那个融资啊，是这样子。
所以应该说我们团队的内部进展还是比较顺利的，嗯，比较顺利，应该说是好于预期吧。对，所以我们还是很有信心的。你们这一轮这么多钱，你觉得 runway 会有多多久？其实 runway 也就一、一两年、两三年的时间吧，大概是这样子。因为毕竟大部分是呃那个计算资源还是需要那个钱。需要这个资金啊去投入的，啊，对。
那么如果我们有比较多的资金的话，那么可以有更多的那个GPU，很多计算资源，然后探索更多的事情。那这个是我们那个我们现在想做的事情。你怎么看世界模型？你觉得叶王坤的这个Am I Love能做出来吗？呃，央毕竟是我以前的那个老板，对吧？所以啊，应该是这么说吧，就说就是一个，就是说我那个央央这边他是探索一个完全不一样的方向，对吧？
那么这个不一样的方向，应该说是一个很有呃，应该说是应该说之前的人探索的那个程度不足的一个方向啊，比如说那个世界模型。啊，特别是在那个视频上的，在图像上的一些视觉模型，那么可能怎么跟 robotics 能结合啊？这个其实很有意思的问题。但因为我对我来说呢，我可能也不做视觉很多年了啊，我现在基本上都是做 language，啊，所以或者说做一些这个 symbolic 的和那个牛肉的一些结合吧。
啊，应该应该说就是那么图像这边呢，就是我可能啊不太不太熟悉。有批评说觉得 GPT 啊这些视觉模型还是太早。嗯，可能还要再找到一些新的关键图谱才可以。啊啊啊！是有一些吧。当然，我这边是有一些，也不一定这个事情是一个那个非常公正的偏见嘛。但是我这边还是有些偏见，就是说，我觉得语言跟视觉相比呢，语言还是一个更加有信号的东西。
啊，对，像对于视觉模型来说，就是视觉图像的问题在哪里呢？就是呃，图像它里面这个像素和它们像素之间的组合相对来说是固定的，对吧？你今天看到这个杯子，这个杯在那儿了。然后呢，我们就知道这杯子形状什么样子，然后你就知道这些像素组合是个杯子。但是对于语言来说，语言里面的信息有很多是可以重新定义的，嗯，还可以替定义很多新的东西。
比如说你今天说了一半，说我们先定义新概念吧，啊，这新概念什么意思？那么以后这个词可能就会指向之前的所有的新概念的那个定义。那么所以说，语言可以无限嵌套。它可以自指啊，它可以有很多的这个新的这个信息和新的这个那深的这种那个理解在里面啊，所以我觉得语言应该说它的上限可能会比图像更高一点吧啊，这个是我的一个一个观点，但是我不一定是对的啊，只是啊这是一个想法。
我看到现在有一些前沿的路线是想把 diffusion 跟 LLM 有一个组合，然后去做一些 diffusion 对 LLM 的东西，你觉得那个路线你自己看好吗？我觉得这个其实一个速度上来说肯定会变更快啊。其实我们之前应该说，在我离开 Meta 的时候也有一篇文章是做这个的啊，就是怎么样能够让 diffusion 啊叫那个 sandwich 那个 gradient 或者说 gradient。
嗯。那么这个就是说我们能不能以更快的方式来训练，比如说那个 diffusion model 啊，用强化学习来做训练啊，是有一篇文章。所以我觉得我们的我的感觉上是这样，就是呃，它加速上来说是非常好的啊，能够很快的加速，能够提高这个 decoding 的速度啊。那另外一方面呢，就是呃，它现在还是没有到这个 SOTA 的水平啊，它有很多的啊问题，还是做不到，就是像大语言模型那样那么厉害。
嗯啊，所以这个还是有一定距离。嗯，对，但是还是一个很好的方向可以去做研究的。然后你怎么看这个 David Silver 的 Inapplicable Intelligence？因为我理解他也是一个专注于 RL 相关学习，然后他目标呢也是要打造一种能够通过自身经验自主探索的学习知识的这样的一个超级学习者嘛？
你觉得他们跟你们有什么异同吗？据我所知，可能 David Siroe 他们这边可能更多的像是，呃，就是希望完全不用大模型。啊，对，这可能是跟我们的区别。对我们这边还是比较实在，就是说，呃，如果大模型很厉害，我肯定用大模型，然后找到更好的方法来训练大模型，这都是可以的。对，那么 David 他可能更想要做一个，就是纯粹是用这个强化学习，嗯，来把这个事情做起来的啊，这样的一个东西。
啊，因为DeepSeek是大家都知道的，就是AlphaGo和AlphaZero的那个主要发明人嘛，对吧？那么AlphaZero啊，其实就是完全没有人类的任何的知识啊，通过左脚踩右脚能踩上去的啊。那么他当然希望在大语言模型或者说在新一代的大模型这个范式下重现这个故事啊，我觉得这是他的一个愿景嘛。当然，我之前也做过啊，像OpenGo这样的project，其实也是就是类似于AlphaZero这样的，就是左脚踩就踩上去。
啊，但我觉得围棋毕竟还是一个，或者象国际象国际象棋其实还是一个，呃，比较那个局限的一个领域。然后这个领域里面，这个它的，啊，它的这个。呃，evolution的方式，或者说这个胜负的这个评分啊，应该说都是啊定义的非常清楚的啊，所以可以做到这一点。但是在做一个就是比较开放式的方向呢，其实很难做到这一点。
嗯啊，所以可能需要大量的算力啊，这个算力现在可能呃可能很难很难满足吧。我看到行业里面有一种说法是 pre-training 的上限其实是决定了 RL 强化学习的上限，对，你同意这样的说法？对，这个确实我是同意的。对我们确实也发现了，就是强化学习后训练它的目的，它的它的那个很大的功用呢，就是说你把原来你排在比如说第两百个的答案把它。
放到第一个去了，那么这个方式呢，可以让模型啊做一些问题做得比较好啊，是这样。但这个条件是这个这个问题一开始答案呢，至少有一个是对的。嗯，比如说你让它踹个，比如说一千次、一万次，对吧？就是也许大部分答案是是是错的，但是也许有一到两个答案呢是可以的。有这个种子之后呢，强化学习可以通过这个种子把它慢慢提到最高，啊，通过这个方式呢来提高这个水平。
那么最终如果种子都没有的话，那强化学习再做还是再做还是没有用的啊。这是为什么？就是说强化学习产生的效果是因为在大语言模型已经变得比较成功之后。才会有这样子。如果你做强只做强化学习的话，你其实它没办法去生成一些比较深的东西。所以其实我这边是觉得，就是大语言模型的最关键地方呢，还是它的预训练。它预训练，它在训练之后呢，它里面的各种各样的这个。
那个表示呢，啊，就是涌现出来了。涌现出来之后呢，啊，这些表示呢，其实能够一定程度上来说，就是能够解释那个数据上的一些结构，啊，然后一定程度上能发现或者说能够学习数学中或者数据中的一些有意思的这样的一个推理模式。嗯，那么这推理模式在强化学习中慢慢的被放大。然后最终得到一个答案啊，是这样的方式。那么如果前面部分的推理模式没有学习的特别好的话，那么后面强化学习再做是没有用的。
嗯，对，就是它再就是光是，呃，来压住强化学习这件事情，对，还是上现实。对，这这是也是我的观点嘛，对吧？所以呃，有可能是错的。对，嗯，你觉得数据还能对怎么样发展吗？因为现在其实大家这个模型的这个这个参数情况哈，已经是穷尽了所有互联网的数据了。对对对。那接下来大家就是看啊更多的这种这种scientific data，对吧？
然后这个这个数据还能够怎么样更好？怎么怎么样从数据上去优化模型的结果呢？嗯，对，我觉得数据上来说是还是很重要的，就是说现在数据应该说很多的大量的那个用户数据，到了那个人类数据都已经被用上了，嗯，对吧？那么接下来一个问题说，我们能不能啊制造一些新的数据啊？就是其实应该说就是最近这模型一波的大的进展，很多时候的原因是因为我们把推理模型的数据放回了以前的细训练或者说中训练的过程中。
那么通过这方式，这个模型变得更强，然后呢，就达到了一些一个自我进化的一个初步的目的吧，应该这么说吧，对吧？那么以后你可以想象，如果我新的模型更强了之后，让它生成很多数据，然后把一些数据放回预训练或者中训练，那什么模型会更强？这也是一种可能性，对吧？当然，这个过程本身比较慢，啊，就是需要花大量计算资源来做这事儿。
那么接下来怎么办呢？就是有人就会提出来叫连续学习，叫continuous learning，持续学习。那么持续学习就是说我希望新数据放进来之后呢，能够学得很深，但是同时呢，不用花那么多代价，啊，那所以就是为什么大家会提出概念啊这样的原因。但是我觉得，就是最终的目的呢，还是就是现在可能数据上，数据是一个非常重要的一个点，能够很快能能够让这个模型变得很强啊。
但是模型最终变得跟人类一样强，或者达到人类这样的效率呢，可能还是需要看有没有好的算法，有没有好的这个新的这个范式啊，去训练这个模型。嗯啊，所以这个肯定是最大的问题。当然了，就是目前如果按照现在的范式走的话呢，数据还是很重要的。嗯，对，因为如果数据的范式不改变，那么数据越多，确实效果会更好。啊，Thinking Machines Lab。
呃，怎么说呢？应该说就是啊，我对他们也没有特别了解啊。应该说是有一些那个，我看他们最近是发了一个，就是就是 human computer interaction 的 interactive model，对吧？那个这模型效果也还是不错的啊。有很多的，你可以跟他一直在说话，然后不用打断他，他会一直在倾听你的话。
对吧？那么通过这个方式，你可以获得可以跟那个模型产生一个独立交互的啊这样的一个一个一个效果，啊就是持续交互嘛，不需要是这个 turn by turn，而不是持续的交互，啊这个应该说是挺有意思的。那么之后就是它会不会就是走比如说跟那 Human End 这个公司一样的路线啊？这个我就不清楚。那那这可能是更多侧重于人和 AI 如何交互啊，这样的一个一个一个方向。
其实我们刚才就是聊了一些，就是 Neolabs 大家在押注的路线嘛。对。然后，如果我们从一个更加宏观的一个角度去看现在的 Neolabs 的一个发展的话，你觉得啊，Neolabs 大家护城河到底在哪里？然后以及大家最主要面对的挑战是什么？嗯，我觉得其实最终还是挑战。我应该一个一个，我觉得重要的一个点是。
呃，如何在就是这样一个 Neolabs 的这样的一个环境下，啊，能产生类似的結果？啊，能产生那个很快产生一个 progress，这是重要的，因为很多 Neolabs 的那些成员以前都是，比如说大厂来的，或者说是资源丰富的地方来的啊。他们说，啊，我们做个实验嘛，我们就花很多钱把实验做了，可能这个实验花了几个几百个命令，甚至一个 billion。
但是这都是公司付的钱，对吧？对，所以对于应该说对于这样的就是新成立的这样的一个小公司来说，就是像我们这样的这样的lab来说，或者说呃需要融资的这样的一个一个实体来说，就是我们非常重要的想法是说，我们怎么能让让这个学习过程变得更有效率啊？我们希望整个迭代过程啊，然后整个流程啊，发现更更加有有意义，然后同时能发现新的新的东西。
啊，这个其实是一个很大的挑战，我觉得是这样子。所以其实你说我们是不是还会用传统的scaling law来做这事情？啊，这个其实是需要考虑的啊。对，就比如说我们以前有些朋友，比如说他们在大厂里面，在一些资源丰富的地方。那么对他们来说，资源可以是无限的啊，或者说是相当啊相当充裕的。那么可以用可以做各种各样的方式，找到一个很好的这个 skin low，把事情做成啊。
但是对于我们来说，我们可能需要思考就是成本啊，思考各种各样的那个巧妙的方法啊，去绕开就是大量的计算资源的这个这个堆叠，然后获得更好的结果。啊，可能这是一个很大的挑战。嗯，很大挑战。对，如果一个人只有 Skinlog 这个思想的话，可能不太容易成功。你还是需要在 Skinlog 之外，还有什么其他的一些新的对问题更深的理解，那么就能成功。
就是要看 research taste 了啊，是的，是的，这是要学的，学的。对，嗯，因为你刚才也说，呃，小的 lab 肯定会比这个大公司跑得更快嘛。对，而且就是小的公司，他们可能压住的技术路线，可能目前也是大公司他们现在还没有时间去搞的，他们可能现在卷 head 啊，然后卷上 tier model。
那你觉得啊，就是你们在亚洲的这些路线跟OpenAI啊，然后或者是Google Anthropic，他们在亚洲的路线一定是一个平行发展的一个关系嘛？它会不会还是有一天会有竞争？然后，如果是的话，这个竞争会发生在什么样的地方呢？对，我觉得首先还是一个平行发展的一个关系吧，对吧？因为对于那些大公司来说，其实我也跟大公司很多人聊过啊，我觉得一个问题是大公司。
呃，一般现在是有一个趋势是大家趋同化，嗯，啊，原因是因为就是大公司很多的那个方向和方案呢都是让CEO或者说让高层定的，但对高层的人来说，他们可能会觉得，因为他们要去追热点，他们会觉得啊，这个是我们想要做，是因为别人也做了，或者说别人做的很好了，啊，那么这样就会导致就是因为自上而下这个结构，这样就会导致大公司之间就是相互之间同质化比较严重。
然后大家做的东西都差不多，就比如说 Codegen 这阵子火了之后，然后大家都做 Codegen，对，因为所有人都觉得，哎呀，我要让 AI 写代码，AI
写代码，对吧？所以就就算是你在大公司里面，你想做些不一样的事情，你会被这个这个环境和压力。所所所逼迫，然后去做这个跟大公司公司方向有关系的东西，嗯啊，所以这个事情其实应该说是一个很大的一个趋势，啊，所以最终大公司可能会产生这样的结果，就是大公司里面那些人，他们没有这个能力，呃，不是不是没有能力，是有能力，但是没有这个时间，没有这个精力去做啊一些就是跟大方向不一致的东西，啊，这非常难了。
那所以其实自然而然，小公司啊，它为了能够产生一个很快产生一个效益，很快产生一个结果，它自然会选择一些跟大公司不一样的方向，所以他们是相对来说是平行的。啊，对吧？那么只有等到以后，就比如说小公司，它公司业务做得很好了，然后这个方向开始变成一个新的，或者说变成一个那个大家关注的一个新方向的时候呢，可能会有竞争了。
嗯啊，但这个是另外一回事。这件事情你应该说在历史上已经出现很多很多次了。嗯嗯啊，对吧？你像S Traffic一开始做的是代码啊，它做Coding的时候，其实应该说关注人很少。我还记得，应该说去年或者说前年的时候，大家都在刷什么刷Math。啊，我们把那个 A I M T
提得很高啊，但是呢，那个当时我记得 Trovick 就他就在每次宣布的时候说啊，我们这边不刷这个东西，嗯啊，他们的他们的模型放出来的时候没有 mask 的 performance number，他们就就刷这个 coding，啊，他们就把这个 coding
刷上去，那么最后发现大家发现哎，这东西确实能赚钱，它是一个很好的商业模式，啊，突然之间所有人都涌过来了。
啊，所以这个其实是应该说是以后会发生的一个常态吧。所以说，这要求小公司的成员就是有这个耐心和有这个眼光，做一些方向大公司现在。但怎么能确保说，哎，大公司看到这个机会之后，小公司不会被大公司，对这么多的资源、无限的资金，然后给盖住？其实也很难。应该说，首先第一个就是你不会觉得大公司真的有那么有效率啊，你想。
那个，你像谷歌现在也在追追赶coding嘛，对吧？但是谷歌除了那个 anti gravity 啊，对，那谷歌的 coding 其实应该说还没有做的特别好吧，对吧？还是有一些啊，有有一些问题，大公司大公司毛病啊，这个都是会发生的。而且其实应该在说，在这种事情发生的时候呢，应该说这这小公司如果真的成功了。
那么他已经花了花了很多的钱，花了很多的那个资金去去投入，所以那个时候呢，小公司也有很大的一个 leverage。你觉得就是现在你们面临的挑战，包括招人吗？啊，你觉得就是现在大大家抢人这件事情抢的厉害吗？应该说这样我们这么说吧，就是说，首先一个就是我们公司确实还是比较那个受欢迎的啊，有很多的人愿意投递简历给我们啊，所以，呃，我们也挺挺惊讶的。
就是因另外就是大公司招的人，小公司招的人可能不是应该说是在不同的方向上招的人。对于大公司，比如说你说TBD他们花很多钱招人，那么那么吸引的人可能跟小公司吸引的人不一样，啊，对吧？大公司吸引的人可能是那些，就是说，啊，我有很强的技术能力，啊，对吧？但是我觉得这个技术能力呢，对大公司有用的，但这能力本身可能不是那么新的，这样的一些人，对小公司来说，可能有些人他们他们是选愿意看我们的这个愿景。
啊，我们这个方向是不是在将来会产生一个很大的影响？所以这两边的应该说的这个 mindset 和思路是不同的啊，所以不能不能说两边想相互抢吧？你们喜欢招什么样的人？嗯，我觉得现在的我就感觉上是这样，就是首先一个是他有一定经验嘛，经验比较丰富的，因为现在 AI 领域的天赋非常强了，对，所以那个很多时候经验和那个品味和方向是更重要的。
那另外呢，就是说我们希望这些人还是比较 Hands on 的，所以就说又有经验，同时呢又愿意自己把事情做成的人，这两个合起来，嗯啊是比较重要的。所以你们不考虑毕业生？呃，这个也 case by case 吧。对，你觉得现在毕业生还能找到工作吗？就因为很多 junior 的工作，其实我理解说你们都可以让 agent 去做了，对吧？
嗯嗯，对，但是要看嘛，就是如果毕业生本身是很厉害的，他有很好的工作啊，这工作业界知名啊，大家都觉得这个工作非常好，也是有希望。你现在跟一些年轻的那个 researcher 聊的时候，他们更想去大厂，还是更想加入 Neolabs 的这种小一点公司？呃，其实我这边有 bias 嘛，对吧？你就说跟我聊的，很多人说，哎，我们能不能来聊？
我想去 Meta。对，你想去 Meta 的话，就不会跟我聊了。呃，所以其实有一个 self selection，对，所以这是一个一个点，对吧？那么大厂也有大厂，因为大厂往往大家讨论的是，比如工资是多少啊，总包是多少啊，然后有多到多少福利呀，然后多少那个那个那个钱和股票，对吧？这样的一个，但是对小厂来说，很多更多时候谈论的可能是。
呃，比如说愿景，说方向，然后那个，然后做的工作内容，还有是不是有意思啊？这样的一些问题。要做成RSI想做什么事情啊？除了你们这个很强的八位联合创始人之外，你们还需要多少人？然后什么样的一个规模？你觉得是会比较舒服的？对我们现在是二十五个人左右吧，对吧？那之后我们希望能够，啊，比如说到四十个人吧，嗯，四十个人左右吧，对，嗯，大概是这样的一个规模啊。
但是这个也看看一个市场情况变变化而变。然后你觉得就是现在整个的就业的版图里面在发生什么样的事情？你看到的？因为我记得在上次采访里面说，你说大家迟早全部都要失业的嘛。啊，你觉得半年过去了，然后我们现在距离你说的那个场景会更近了吗？对，我觉得是更近了嘛。你看 Meta 最近又裁了一些人，对吧？就是很多地方都在裁人，对吧？
那个。Amazon年初也裁了一些人，对吧？然后之后也还有其他地方会裁人。原因是因为A镇确实是。对，我觉得一个是AI，AI确实就效率提高了啊，就是现在的AI能力，比如说相当于，嗯，以前呢就是四级或者五级的工程师嘛，啊，大概是这样的一个感觉，就是因为一般是应届毕业生刚进大厂的时候嘛，他们都叫Level Four啊，这个可能是Google和Meta的这个Level，对吧？
然后比如说 senior一点的话，变成Level Five。啊，是这样子。那么四和五的这个呃这些工程师，啊，他们他们的能力就是AI很多事情其实可以做，可以做的了。对，因为有这样的，而且四和五应该说是在大厂里面比较多的。对，所以确实很，就是AI A站在来了之后呢，确实有很多的影响。对，就是我觉得以后可能会越来越多吧。
那说到这里呢，我们接下来来说一说啊，现在主流的这些 Frontier Lab 啊，然后也特别的想听一下你对他们的一些观察哈。啊，那首先呢，我们先来聊一聊这个 Anthropic 吧。啊，你怎么看这个 Andre Kapavi 加入 Anthropic
这件事情的圈内人？大家怎么看？我觉得一个是说明就是 self improvements, auto research 非常重要，啊，这个我觉得我们我们也很开心看到这个有意思的这个进展，对吧？
因为之前就是 Kavasi 在那个呃在那个 Twitter 上直播了自己这个做这个 auto research 这个过程，对吧？然后把这个图像啊和把这个这个 repository 都开源了，然后那段时间应该说很多人对这非常有兴趣。然后也有很多人就是跟随着这个收费的路线，然后发现这条主色这个路线可以做很多的优化。
啊，所以应该说他在这个方面他的这个影响力很大啊。然后呢，他也明确的跟大家说了，就是他去 S Traffic 是做预训练啊，是做这个 Auto Research 啊。所以应该说，就是这个就让大家觉得，就是确实 Self Improvements。啊，或者说这个 self learning 啊，这个方向应该说是主流了，或者说大家去承认这个事情是对的，啊，我觉得这个是很好的。
然后 AndroBic，我觉得今年的这个叙事哈，然后这个趋势都非常猛，对啊，一部分也是因为它要上市了嘛，一部分也也是因为它的商业化确实做的非常，增长的非常非常。快？你觉得它的这个优势能一直延续下去吗？因为我们看到 OpenAI 它其实最近的 Codex 也追得很快。对，我们刚才说到谷歌也出了 Anti Gravity，那你觉得就是整个 Coding 这一块的格局会延续着现在的这样的一个排位吗？
还是说有机会会出现一些变数的？嗯，我觉得很难讲嘛，因为其实说实在，并没有用下来就并没有觉得谁比谁厉害很多很多。嗯，嗯，对吧？就比如说 Claude Claude X 五点五，其实我用了之后觉得挺好的。对，我觉得就是 Claude Claude 我也在用嘛，对吧？都都挺好的，但是各有各的问题，对吧？就比如说 Claude Claude 有些时候会给你 hallucinate，对吧？
我说哎，这个答案是啥呀？就是你给我总结一下，给说一大堆话，我说这有问题，不错。啊，然后他说，哦，是的，是的，是的，I'm so sorry。对，就是承认错误都是。对，就是很快，但是为什么我在没讲之前，他就是他就没说出来呢？对，所以有很多地方还是还是问题不少，问题不少。对，而且其实应该说，那个 Neolabs 它并没有差，我觉得并没有差那个 Claude 差太多。
对，只要 OpenAI 想追，就是能力上面还有产品能力上面是能够追上去的。对，我觉得是可以追上去，就看它的执行上的速度多快。啊，对，所以其实我觉得像谷歌，你说想追也是可以追的嘛。你像谷歌最近，啊，他们成立一个 strike team 啊，他们成立一个 team，我们就要追 coding，嗯，对吧？然后好像是。
那个塞塞给亲自挂帅啊，对，所以我觉得就是因为如果一个方向上特别火，大家都知道它的商业价值，嗯，那所有人都会去做它，嗯，那慢慢慢就会产生就是各种不同的方案啊，嗯嗯，对，所以而且还有很多开源的，比如说像 DeepSeek，DeepSeek V4 我也用了嘛，对我觉得还挺好的，当然它有一个问题是，就是它可能一开始就是你必须让它预热一下。
比如预热一万个 token，然后它变聪明一点。对，一开始就有点奇怪，但是过预热一段时间之后呢，它就突然之间就变聪明了，然后就可以做很多事儿。嗯，对，所以有当然有些问题，但是只是说，但这些东西应该说都是，啊，都是可以解决的吧。就是我觉得这个市场那么大，肯定会有很多人愿意进来，哎，大家会知道会 figure out 出来到底怎么把它做很好。
啊，所以接下来，呃，这个份额怎么分其实很难讲。啊，其实我这边一直有个就是一个consent，就是说，因为对于用户来说，用户并不需要非常强的模型。他就他希望这个模型能力有上限，就是说他希望这个模型够用就行了。就是这这这是一条边，对吧？超过这个上限之后，对用户来说他也并不无所谓。他就用他现在觉得用舒服的模型就可以了。
所以如果大家都导致到上线，嗯，也许大家市场是完全是看那个价格了。OK，啊，就可能会变这样。嗯，所以你觉得Coding它的先发优势没有那么的重要？它其实可能最后还是会有一个打战价格战的这样。可能会有这个，肯定有有这个问题。当然，一一个counter argument是说，OK，我们也许能看到就是数据飞轮的效应，对吧？
先发的人获得很多数据，然后训练很好，这也是一种可能性啊。对，那另外一方面就是说，也许大部分写的代码都不怎么样，就是重要的代码还是那些大神们写出来的啊。所以这个，这个飞轮能转起来吗？也不是很清楚。这个 Anthropic 的 Mythos 这个模型哈，然后他们自己说太强了，所以不敢发布，就真的有这么强吗？
啊，这个我也不做不做 comment 吧，因为确实从数据来说很很很很好，对吧？是很强。对，当然了，也网上你看，网上也有很多人在说，其实不怎么样啊，其实不强啊。对，所以现在也不知道，这个就等到发布之后再再讲吧。所以你觉得 Anthropic
模型它强的原因是什么？就除了刚才我们说的，它可能是用了一个不一样的 Vision Transformer 的架构，然后有可能它的这个数据上面有些数据给弄到 Pre-training 上面去重新训了，就是主要是这两个点嘛。
呃，这你说后者呢？其实大家都在用，不是说每个人在用，对吧？所以就后者就是说我训练的时候，我把推理链的那个那个结构放到前面那个预训练或者重训练里面去。这个大家都在做，嗯，对，这个我不觉得是一个很大的一个一个一个量创新点，所以有可能是模型上面有些创新了啊，有可能是模型或者训练优化器啊，或者说模型的那个recipe啊，这个这个不知道，对，因为这部分的信息现在是很少的。
所以你觉得，就接下来如果大家还要再继续卷搜塔模型能力上面的话，呃，可能。真的是要拼这个模型上面的创新了，是，呃，对我觉得应该是的，就是说，一个当然是你有更多的卡，有更多的那个计算资源，你可以做，对吧？对，但是另外就是说，那个我觉得现在再往上，就是你只要纯着拼scaling的话，横轴它是一个指数的，这个指数到一定程度之后，大家都受不了，对吧？
你要再十倍的电力，再十倍的资源，不可能，所以最终一定会撞到一个地方，就是希望大家突然回过头来看一下，有没有更好的方式来解决问题。嗯，对。所以这个一定会发生，所以为什么现在 Neolabs 大家愿意去投资嘛，也是个原因嘛。嗯嗯，是你现在的模式不可持续嘛。然后 Coding 之后的下一个 The next big thing 是什么？
最近很多人问我这个问题，你觉得会是什么？我觉得是 AI research。AI research。对，就是我们我觉得我们现在做的能不能让 AI 嗯变得更强，然后 AI 做一些 research 做的事情，对吧？因为 Coding 为什么那么火嘛？我觉得是因为主要因为还是在于。呃，就是写 code
的人，或者说写 code 这个 ROI 很高，我这个模型很强啊，然后能够做一些本来需要高薪才能聘请的人的工作，拥有这个，所以所以他才会 revenue，他才会有收入。
那么下一波，你看，就是因为现在大模型的人才也是非常贵的。而且可能比写 code 的人更贵很多很多，对吧？那那么当然就是能够能够让这个事情自动化，那当然是有很大的 ROI 的。那你觉得 AI research 上面的商业化回报会跟 coding 一样是有这么大的市场吗？这个要看，就是你最终的那个 AI research 你发现什么知识，对吧？
比如说你发现了一个 AI for science，发现一个新药，那你回报多少？对对吧？你发现一个新材料，或者增长多少？对吧？你发现新方法训练模型回报有多少？这个都是天文数字。嗯，当然这些东西就是高风险高回报的事情。然后 OpenAI 和 Rubik 的一个比拼，你会觉得是什么样的一个结果？短期跟长期来看，你都可以说。
我觉得很难，现在很难说吧？因为 OpenAI 之前有些问题是有很多的方向，它都在做，不是不太 focus。现在现在看着很 focus，你就很难说，两边谁比较好，谁比较对吧？这个又是这个就是问题。所以这个我也很难评论嘛，就是我们看大家，其实对用户来说，这个是好事儿，因为通过这方式，你有很多就可以用，而且价格会打下来，啊，所以不是坏事。
那就接下来就是决定他们胜负手的关键因素是什么？谁能够找到更新的范式？我觉得这倒不是，因为代码本身已经很赚钱了。接下来的问题就是说，谁能够让用户愿意去用他们吧？我觉得这可能是重要的。所以还是产品方面的，对对竞争，对吧？因为他们两家都已经在，特别是Traffick嘛，就是说他们这现最终他们主要的Focus Revenue嘛，这Revenue很高，也在往上走。
啊，原文有，一旦有了之后呢，其实资本上有一个问题，就是一旦你开始有原文有了，我希望有更多原文。嗯，是。所以这个其实是一个一个很有意思的一个一个一个现象，对吧？对，那其实那如果是这样的话，那他们两边就会有这样的一个可能，比如说哦，说不定有原文有，说不定说不定马上就赚钱了。那么对万来说，你怎么还没赚钱呢？
对你赚很你有很多 revenue，但是你还是资本，你这个你靠财很高。对对，怎么办？嗯，那么会不会有这个问题？哎，他们都要上市了嘛？你要不然就是削减你的 cost，为什么把 server 关了，对吧？啊是是，所以要不然你就再多挣点钱。他一旦进入这个叙事了之后，那么这个逻辑我看以前的一个 research lab 的逻辑不一样了。
research lab 的逻辑说我要证明自己很厉害。对我做出个新东西出来，你看没人做过吧，很厉害啊，超级 impressive。但是，一旦它掉进了这个资本上的一个，就是上市啊，要做资本叙事，要做这个 revenue 啊，要做资产负债表的时候呢，你就会回到了这之前的就是商业模式，就说 OK，我希望我的公司是有有 revenue 的，cost 又低的，能够稳定赚钱的公司。
对对，所以其实可能赛道就不一样了。你们有一天也会遇到这个问题。这个我们还早吧。然后我们来说一下谷歌哈。然后谷歌这次的 I O 发布似乎不太理想啊。你觉得谷歌还能够追上来吗？然后机会在哪里？这个我就不做评论了吧。对我觉得还是我觉得谷歌还是很厉害的，还有很多人非常厉害在里面，然后愿意做很很很厉害的事情。
嗯，对，所以只要领领导层有这个重视的话，一定一定还是不错的。你想，谷歌之前从当时 Gemini 二、Gemini 二点五、Gemini 二的时候，其实大家一直在说它不行啊。那 Gemini 三就很。Gemini 三就很好。对，所以接下来应该还是。那另外确实，我们一个公司也是 Google Ventures 投的嘛。
哦，好的好的，理解理解理解的。嗯，好啊，然后来说说 Meta。嗯，Meta 在你，在你离开之后呢，是经历过数次的重组哈。然后他们之前是推了这个 Muse Park 出来。对，你怎么评价 Muse Park？那其实还不错的，就是我也用了一下，我觉得应该说，咱们第一个有利相关就是我也有很多，我还是很难买它股票，嗯，对吧？
所以我也感谢披露，对我很难买股票，所以我也没有办法讲说啊，那个可能说实话也不是很客观。我觉得Meta的那个那个Vaspa还是不错的，还是有很多的，特别是比如多模态，对吧？然后还还挺好，它的Understanding，呃，还有一些回答也比较比较好啊，都还不错。当然了，就是总的来说，应该说还是。可能比 Gemini 三还是要差一点。
然后我看到有评论说，这个 Muse Park 它是一个为 Meta 自身产品场景高度定制的这样的一个模型，啊，而不是说一个非常强大的一个通用前沿模型。那这是不是意味着 Meta 其实在 AI 的策略上就完全转向了？就是说，哎，我完全就不拼这种最强大的 general 模型了？呃，我倒不觉得是这样，我觉得它还是一个专属的模组。
对对，至少他从从他内部的这个这个工作模式来说，还是还是兼容不走。肯定先训练一个更兼容的模型。然后再就是说，fine tune for the specific use case，这个是这个是更好的。就是说，他们其实还是没有放弃说我要去那个争夺最强模型的这件事情。对啊，对啊，不然的话就是，嗯，就埋汰就没有必要花很多钱做这个事儿。
你觉得他们还有机会吗？机会还是有很多吧，我觉得应该还有很多的，因为毕竟大家还在往前走，而且其实大模型一旦有一个人训练出来之后，不出几个月就会被另外一个超过。大模型里面没有没有永远赢家，应该是这么说，对吧？现在大家都是犬牙交错的往前走，啊，所以很难说。所以需要的是什么？需要有一个人灵光一现，那也不是，这个还是需要一个团队作战嘛，对吧？
有很多的人，大家把事情做好。拼在一起就可以，对，就是大模型很多时候，这点上我是我是挺同意那个姚淑雨的观点嘛，就是我觉得大模型特别是做这种那个工业级别的，然后那个大厂做大模型，很多时候是每个人都在各自岗位上兢兢业业把它做完，然后拍拍烂通了之后就跑起来就行。但如果就每个大厂都这样的话，嗯。那它差异点在哪里呢？
那就是看你做多细，做多细，然后你的工作做的多努力，然后事情做的多多好，一些小东西，有些人注意到了，有些人没注意到，注意到的人可能就获得一些提升，没注意到的人就没没获得这个提升，就是这样子。所以你觉得 T B T B T Lab 还是有机会的？我觉得还是有的吧，对，但是也要看他们内部怎么样 operate。
啊，Meta 最近有点争议哈，他最近就是宣布，一方面是裁了七千八百人。还要同时发生的一件很有争议的事情呢，就是他们要强制征留员工这个事情，嗯，然后说要利用员工的工作数据去训练内部的AI模型，这样的话，他的AI模型就可以通过观察内部员工完成任务的过程来学习，说呢，他现在的能力已经是要好于外包人员了。对我看，蛮多人挺生气这件事情的，你怎么看？
这个事情呢，确实是，应该说感觉上说的比较赤裸裸吧，所以，呃，大家都会有一些意见是这样子，因为如果你觉得你知道你自己在将来一段时间之内就会被蒸馏、吸金大法、顷刻炼化炼好了之后，然后你就被你就被踢出去的话，大家都会开心的。对，这个其实应该说在行在做事情上来说，应该比较。就是说不太顾及员工感受吧，啊，这个其实是一个一个问题。
对，应该说裁员本身的过程中，应该说我也会觉得是有这个问题一直在一直有，一直存在嘛，一直存在嘛。对，啊，但不管怎么样，它是个大公司嘛，对吧？对，大家来了之后，就遇要是那个愿者上钩，对，那你来了之后，他们有这个条款，你就得遵守这个条款嘛。但是甄留员工这个事情，感觉是个大趋势了。我觉得有一个人开始做，大家都会做啊，嗯，所以这个没有什么对和错的事情，对吧？
说公司觉得为了公司的利益，我要把这个事情就希望把公司的所有数据都拿到手啊，然后把这个事情做成，这个是无可厚非的嘛，对吧？因为对公司来说，这是我雇佣条款之一，你来的话就得遵守这个条件。但是但是呢，我觉得以后可能大家会发现，就这个蒸馏有没有有多大的用处，可能是一个问题啊。可能大部分人会因为有这个条件，导致这些人不愿意工作的特别好。
啊，不愿意把自己最重要的事情给啊，我懂了，或者故意在里面埋雷啊，或者说埋一些奇怪的东西啊，让你训练变搞坏掉，对吧？制造一些就是在你偷多什么这个，所以就很难去判断吧。啊，所以其实我也不是很希望就是员工跟公司有这样的对立，嗯，对。现在大家都在往一个方向上走，但是感觉在非常 high level 的角度去看这个事情的时候，话对，就还是不可避免的嘛。
肯定越来越多的东西，对对对，公司希望是 AI 来做，可能以后会发展的一个情况就是，我公司确实不需要这么多人了。是的，是的，这个是客观事实。就是说，就是其实我最近也写了一篇 blog 嘛，对吧？我也在说，就是 web coding 的一些或者说 AI 工具的一些体会嘛，对。确实，我会觉得那个是用的用的人会越来越少，嗯，是这样子。
所以，我去年今年年初我写了一篇blog，我说。啊，以后可能大家都是创业者，大家都是靠方的啊。嗯，我觉得以后是会发生的，因为最终大家就是大厂不需要那么多人了，所以大家都得找到自己的意义，嗯，对吧？以前可能是哦，你被教育出来，出来教育了，比如说四年本科、两年硕士、五年博士，最终你希望呢，就是你的目的成为一个螺丝钉，或成为一个某个大机器的一个零件，嗯嗯。
啊，但是现在已经不一样了，大机器不需要你的零件了，就是你得自己去寻找自己的意义。对吧？就变成另外一种，就是可能成为一种新的文艺复兴吧。一种，你可能回到了以前古希腊的，或者说以前的那些状态。就是说，OK，我们每个人都需要找到自己的，自己的想要做的事情。嗯，那么这个过程其实应该说是一个，应该说比较痛苦的过程吧。
对，但是，呃，就最终可能会不可避免的发生。对，这一天。还有多远？你觉得？我觉得现在就已经在发生了，已经在发生了。对，就是之后，呃，大家能找到的啊，那就会找到自己的方向，然后可能找到自己的新的模式，然后做的挺开心的，那就会变成新时代的一个一个一个样本，就是一个一个状态，对。就找不到的话，就就比较难，嗯，对，但是这个就比较难的地方是，这整个过程应该说很快发生了，可能在将来的比如三年到五年内，嗯，就会有很多很多人去面临这样的选择，嗯，对吧？
你会发现，你去跳到大厂，从第一大厂被裁了，你跳另外大厂，过两天又被裁了，再另外台又被裁了，嗯，到最后因为就是啊，就是它就相当于就是在一一条鱼在水坑里面跳，但是水就在干，对吧？嗯嗯，对吧？你夏天有句话嘛，就说有人把水弄干了。把水弄干的鱼不在这里面，对啊，对吧？所以这个在这故事当中是用来形容什么？四维四维的生物，那个把事情把整个视宇宙变成三维这样的一个一个尾数打击的这样一个过程。
但是呢，这个同样的故事呢，也可以用来讲这个现在这个现在的事情，对吧？对吧？有些有些鱼把水弄干了，弄干之后呢，那些其他的就得不停的在跳，但是。不停在跳的时候呢，你会发现水总的来说是越来越少的，所以你永远找不到，你最终一定要变成一个四维生物，你才能活下来。对，所以你这条鱼要进化成鸟，长出翅膀来才能够生存下去。
是的，是的，是的，是这样子，所以大趋势是这样子。我们再来聊聊 XAI 哈，嗯，你觉得 XAI 发生了什么？就是如果我们按照刚才的这个思路来说，我有一个团体，我有资源、有钱、有人才，对对对，对吧？就是我应该能做出来还不错的东西。但是，就 XAI 发生了什么？呃，我反正听说是这样的，就是说确实也跟 Lambda Four 当时情况是比较像的，老板还是希望事情很快能能能发生，嗯，对。
但是呢，就是说这个压力比较大。啊，所以就会导致很多问题。嗯，啊，导致问题之后呢，你就发现拉出来的模型可能不达预期啊，或者说不是很满意啊，那就会有一些一些问题，就是都是这样子。就是之前我也说了很多次，就是一个组织如果这个组织里面的人他没有这个能力去 push back，或者说去反驳，嗯，上面对他要求。
那么这个呢？这组织的人就只能通过某种方式来顺从这个上面压力。但这个一开始这个顺从是可以的，但是时间长了之后呢，总有一天你会这个上面的人会发现，这个组织的delivery跟的promise是不一样的。那么就会产生问题，嗯，产生问题之后呢，那你就会有一个一个 shock，就是很大的一个震地震嘛，对吧？这个地震会产生很多很多很多结果就。
比如说，就其实应该说，Llama 4跟XAI的结果很像，很像，嗯，对吧？就是就是，老板会觉得啊，你们这些人不能相，我不相信你们，我们得外面再拉一个人过来，嗯，然后去去做这个事情。那么原来这组织里面人可能就会会比较就就就经营就比较惨。像听下来的话，就是这种前沿大模型之争，其实最后变成了一个组织架构之争。
是的，很多应该说组织架构在这次的这个。技术进展中有很有很大的一个角色，嗯，对，应该说本质上来说是先进生产力，就是和落后生产关系之间的一个一个矛盾吧，对吧？可以可以可以可以这么说，可以这么说。但是你落后生产关系不可能一下子就就消失嘛，而且我们现在都不知道什么是先进的生产关系，嗯嗯。所以，因为落落生产关系在那儿了，所以就会产生很多很多矛盾。
虽然大家说 scaling 了，到头说了很久了，对，但是目前呢，其实那前几个大的 lab 还在继续卷 scale scaling 这件事情嘛？对对对，你觉得我们还能卷多久啊？还是会卷对吧？至少大厂里面还是会卷的，有惯性。嗯，对，然后大厂也有资源嘛，对吧？然后也愿意出钱出力出人，嗯，所以还是会卷。然后大家思维惯性还是要我们要scaling up，嗯，啊，就是所以还是会卷一阵子，还卷一阵子。
对，我觉得这个是小厂是有有有有优势的，嗯，因为小厂一个是人少，然后特别是有一些人他们有自己的这个belief，嗯，拼起来之后他会有更新的想法去贯彻下去。啊，所以小厂可能会比大厂有更多有希望的地方，但 scale 也会卷，没卷到最后，大家卷不动了，那就会有其他的方式做出来。然后最后能不能给我们讲一下你现在的工作状态是什么样子的？
然后你刚刚跟我说，啊，公司因为刚开始嘛，大家充满了干劲，对吧？然后公司的这个企业文化大概是什么样子的？企业文化应该说还是比较啊，一个是比较就是相对来说说话就比较直吧，对吧？大家都比较 direct，然后愿意很快的给 feedback，嗯，啊，很快的给大家那个反馈啊，然后那个比较 technical，嗯，对，大家都是啊，都是就是干活的，就是大家愿意坐下来埋头的把事情做好。
啊，做好之后，然后你看，这是我的结果，嗯，然后这是我现在的那个效果，然后大家有什么经验和建议什么的，对，然后相对来说也有比较实在嘛，也不会不会说什么太花哨的东西，嗯，对对，有什么事情我们可以，呃，有话直说吧，就是有话大家就可以把东西摊在桌子上，然后大家讨论。能不能跟我分享一个你最近觉得哎还挺开心的时刻呢？
有钱也有不少，嗯，对，但是我现在暂时不说吧。嗯嗯，有没有能说的比较开心的时刻？呃，应该说公司的 launch 比较顺利吧。嗯，对，这个是很很开心的。对，对，之前我们准备了也有一阵子了，对吧？然后融资也很顺利啊，我觉得这个是很很很不错。然后我们在那个发布之后呢，应该感觉上就是，应该正面的这个回复还是很多的。
啊，大家也很很很有那个很支持吧？对，这个对公司来说是很很很很好的一个第一步。嗯，啊，大家都会就是不是，特别是外界的反响，应该说还是比较正面。我觉得刚才在采访当中，你有一句话挺触动我的。你说，反正你去跳到不同的大厂，你发现你水已经没有了。对，反正你都找不到工作。那这个接下来呢，就是怎么去找到人生的意义这件事情，其实是非常重要的。
是的，是的，是的。对，对于你来说，你怎么去找到你人生意义的？这个其实我觉得，在 GPT 四刚出来的时候，我就写过一篇 blog，我说以后就是大家就独一无二。嗯，就你们能做一件事情，别人做不了的，但只有你能做。我说只有你愿意去探索的。这个是最重要的，嗯，对吧？然后你在读AI上越走越远，你们讲你找到的你是你获得的所有的数据，嗯。
都是新的，嗯，都可以给别人分享。这个这样的话，就是你相当于是一个行走的数据源，对吧？然后你获得所有东西，你都可以给大家分享的话，你对这个世界是有价值的。当然，就这个只是一个非常个人的体验嘛，对吧？因为每个人其实是不一样的。现在还有时间写小说吗？呃，最最前一段时间比较忙，嗯，就比较忙，但之后也我会考虑一下。
最近AI的一些进展，你自己的一些思考，你觉得对写科幻小说是不是有了新的一些？我觉得我有点紧紧紧紧迫感吧。如果再不写的话，我的idea就没了，因为就就已经变成现实了，是吗？对对，现在我感觉上写小说可能还来，就是写的慢的话，可能就跟不上现在AI的进展，已经到这样的程度。可以让 AI 帮你写，是啊，可以帮我写，那 AI 有自己的 AI 味嘛，对吧？
所以有没办法能够把 AI 味去掉，然后能找到自己的想要做的、想要写的东西，那写的比较好。那感谢元动，然后也期待你们接下来的可以宣布的一些新的进展，然后到时候可以再聊聊。好的，嗯，好，感谢陈谦，谢谢，谢谢，好。好，欢迎来到 Recursive Super Intelligence。哦，谢谢。所以你们什么时候搬进来的？
这个新办公室两个多月前吧，啊，两个多月前搬进来。我发现很多的新那个实验室都是在CT在那个旧金山城里面了，对对对，嗯，为什么呀？大家大家都喜欢在城里面，不喜欢在南湾。啊，我觉得这边因为是人才密度比较高吧，啊，对，有很多人，有很多的初创公司在这里面，啊，然后交流起来也比较方便。OK，对，有很多很有意思的事情在发生。
对，现在咱们那个团队有多少人啊？现在还能有二十五人吗？所以大家都是可以有可以remote的工作的吗？还是必须要？呃，我们现在正好就是有三分之二的人在San Francisco，啊，还有三分之一的人在那个啊，在伦敦。啊，那今天是周二下午，就是，嗯嗯，啊。中午没有什么人了，大家住在哪儿啊？啊，周二下午我觉得其实应该还有不少人，其实在家里工作嘛。
但是我们一般一个礼拜我们可能还是可以
remote。对，我们可以一个礼拜来个三天吧。嗯嗯，三天左右。对，我觉得你们采光还是挺好的，这个大玻璃窗。嗯，对。你的工位在哪里？啊，就在那边。嗯，那个叫什么？你看，OK，对，这就是一个就是很随机的一个地方，对吧？我们没有什么特别，说有一个地方老板要坐，刘江，嗯，有个地方员工要坐，就这样，我们都坐一起，啊，对，然后这样的话交流起来会比较方便，OK，所以没有单独的办公室，是，因为大家都坐在外面这样，对对对，嗯，你们开会多吗？
嗯，不太多。嗯，对我们的目的当然是不希望开会啊，我们希望大家坐下来把事情做成。觉得就是跟大厂区别还是挺大的，还是挺大的，那应该说很大的区别。嗯，我们这边还是希望有事情就是大家坐下来，快沟通沟通，沟通完了之后。把事情都做成就好。我在跟 Andrew 在聊的时候，他说，那个有个研究员强烈的要求他们在办公室里面放一个桑拿桑拿的一个小房，因为大家喜欢。
这边有乒乓球桌，然后做些桑拿，然后需要思考一下。这个应该还没有没有那么高级。你现在有乒乓球桌？对你打乒乓球吗？会打。你会打？啊，那么可以打两下。对。First blood.我看已经有 double kill 机器人可以打乒乓球了。哎，是是，索尼最近有个机器人，乒乓球打的不错。triple kill。
那我就先先这样，那先这样吧。对，嗯，啊，感谢大家过来。好，好，那以上就是我和田渊栋对谈的所有内容，以及 RSI 的 Office Tour 啦。那我们也会密切的关注，包括 RSI 在内的 Neolabs 的动向，以及呢，硅谷核心 AI 研究员的视频播客系列还会继续。大家不要忘了关注我们的账号，你们的留言、点赞和转发是支持我们硅谷幺零幺做好深度科技和商业内容的最佳动力。
我是陈倩，那我们就下期视频再见啦，拜。