这个时候，我觉得，就是说，也许五年之后我就被取代了。那么这个时间可能已经快到了。那么在这种情况下，与其自己被取代，不如我就开公司。就 S I 非常需要 coding 和 agentic 的能力。然后这两个能力本身其实对这些前沿的模型公司来说，它已经是它的主项。呃，我觉得 S I 比 coding agent 要大得多。
然后它的难度，然后它的那个可能的路径，比现在 coding agent 要要要大大很多。所以你觉得，就光有这个支点，其实不见得你就能做好 RSI。你觉得有生之灵会看到图灵奖颁给一个系统吗？我觉得如果到那个时候，可能图奖也不是很重要。我可能少数派吧，就是因为大部分人可能已经觉得绝望了，但是我觉得不是这样子。
我觉得一定是有一个有一个好的 principle。能够让这个模型运转起来，就是我觉得它以后终将变成科学。欢迎收听晚点聊，我是曼奇。在一百七十一期节目二季度 AI 季报中，我们重点聊了 RSI 递归自进化。那之后不久的六月底，我采访了从去年开始就在这个方向探索的创业者之一田渊栋。他参与创立的
Recursive Super Intelligence 的缩写也是 RSI，这家公司的估值目前已超过四十六亿美元。
这期节目录制时还没有发生一些后续的事件，比如 OpenAI 一举解决了十个数学难题。TML 的联创之一翁立重新回到 OpenAI。据报道，他将探索的方向就是 RSI。关于 RSI，有一个极有诱惑力也十分危险的假设，就是率先达到这个状态的公司会把其他人越甩越远。这个推演成立吗？我们接着进入本期节目吧。
这个时候，我觉得就是说，也许五年之后我就被取代了。那么，这个时间可能已经快到了。那么，在这种情况下，与其自己被取代，不如我就开公司。就 S I 非常需要 coding 和 ethical 的能力，然后这两个能力本身其实对这些前沿的模型公司来说，它已经是它的主项。呃，我觉得 S I 比 coding
ethical 要大得多，然后它的难度，然后它的那个可能路径比现在 coding ethical 要要要要大很多。
所以你觉得，就光有这个支点，其实不见得你就能做好 RSI。你觉得有生之灵会看到图灵奖颁给一个系统吗？我觉得如果到那个时候，可能图奖也不是图灵。我可能少数派吧，就是因为大部分人可能已经觉得绝望了。但是我觉得不是这样子，我觉得一定是有一个有一个好的 principle 能够让这个模型运转起来。就是我觉得它以后终将变成科学。
欢迎收看晚点聊，我是曼奇。今天的嘉宾是 Recursive Superintelligence 的联创田渊栋。这家公司在经过四个月的隐身研发之后，刚刚于六月初官宣 A 轮融资六点五亿美元，估值来到四十六点五亿美元。他们做的事儿和公司的名字缩写一样，RSI Recursive Self Improvement（递归自进化）。
这是一个去年还相对小众，而到今年二季度被硅谷频繁讨论的热门前瞻方向。Anthropic 刚在六月初发布了文章 When AI Builds Itself。副标题就是我们在 RSI 方向上的进展和探索。OpenAI 也再次明确了时间表，说在今年九月要做出 AI 研究实习生，在二八年三月之前要实现真正自动化的 AI 研究员。
我们和田渊栋一起聊了 RSI 是什么，为什么这个领域在现在变得火热，以及他们在六月中旬刚刚释放的第一阶段的具体成果，还有那个关于 RSI 的有诱惑力也十分危险的假设。率先达到这一状态的公司会把其他人甩得越来越远，这个逻辑成立吗？我们正式进入本期节目吧。终于见到听老师了。之前我们都是在线上聊的。嗯，对对对。
嗯，然后上次采访是去年五月嘛，当时我们聊的是你的科幻小说《破晓之中》。对。然后这一次再聊，我觉得是科幻已经照进现实，因为这期间有一个比较大的变化，就是您和很多其他的顶尖研究员一起创立了 Recursive Superintelligence 这家公司。然后你们在做的一些事儿也跟你当时的科幻设想，我觉得有一些契合的地方。
你可以先和我们的观众简单的用几句话介绍一下。就是这家新的公司是做什么的？对，这家公司呢叫 Recursive Superintelligence 啊，它的目的呢就是说能不能。啊，找到用 AI 来自我进化、自我迭代的方法，然后找到新的模式、新的那个范式啊、新的模型、新的训练的这个这个逻辑，然后得到更好的那个 AI，啊，是这样的一个逻辑。
对，因为你们的名字 Recursive 就递归的这个意思，然后它的缩写 Superintelligent 就是就是 RSI 嘛，那和现在硅谷讨论特别多的一个概念，它也叫 RSI 是一样的，那个是 Recursive Self Improvement。就是递归自进化，对对，嗯，其实我们这
recursive subintelligence 意思也就是 recursive 那个 self improvement。
对，所以说意思上来说是非常接近的啊，因为这个概念应该说从今年的四月五月份开始，慢慢变得比较火啊。就是我们在成立公司的时候呢，应该说大部分人还没有想过啊这个概念，但是随着就是大家的就是这种意识啊和那个和那个和思考，就慢慢慢慢成为一个，应该说慢慢成为共识吧。对，大家发现这个模型已经比较厉害了。那个模型能够发现一些就是模型自己的一些问题。
那通过这个方式呢，其实可以存在一种可能性，就是用 AI 找到对 AI 自己的模型的问题，然后让 AI 带领这模型变得越来越强。我觉得正好也可以讲讲这个背景啊，RSI也是我想和您深入讨论的一个话题。也就像您说的，最近这一段时间，我觉得它在这儿越来越成为一个相对共识性的趋势。然后另一方面就是。RSI其实这个想法本身并不是那么新，他之前也一直都有。
对对对，就为什么最近这段时间，呃，发生了什么变化，或者有什么因素导致大家在讨论？我觉得主要一个还是因为就是coding agent变强了，另外一个呢就是说模型本身的能力也在提升啊。模型能力提升到一定程度之后。就是模型对 AI 自己的这个模型的认知啊，它有一些比较强的这个突破了之后呢，就是你可以用模型来充当研究员，模型充当研究员，让它来找到这个模型的现在模型的弱点啊，然后去做更好的优化。
那么这样的话呢，这个闭环就会产生。嗯，有产生闭环之后呢，那么下一次这个模型变得更强，对吧？所以递归就是这个循环往前推进的意思啊！对对对对对对，但是这个要求条件是这个模型本身已经够足够强了。如果模型不够行，本身不足够足够强的话呢，那这个很难。其实去年五月我们聊的时候，我们当时就是顺着这个科幻小说是延展讨论的一个话题，AI会不会取代顶尖的AI研究员？
对，当时你觉得这个短期内是比较难的，因为AI研究员他可以从少量的数据里面就获得一些精准而。细节的练习，对对，但是大模型至少当时的大模型，它还是要学很多大量复杂的数据，然后通过统计得到一种表达。那到后来年底的时候，因为十一月我们当时也就是在呃聊了一下嘛，那会儿就已经在筹备这个新的公司了，嗯哼，所以这个过程中间是。
你本身自己的思路是有有一些什么变化吗？首先，第一点，我还是现在还是认为，就是大模型还是替代不了顶尖研究员，还是目前还是不行。嗯啊，只是说是那个模型的能力已经到一定程度之后呢，你就觉得它确实可以用啊，就是我们确实可以用模型。来做一些就是啊研究的工作啊，我觉得这个是重要的，而且确实存在一种可能性，就是模型会变得越来越强，然后最终啊产生更好的、能更强的那个能力啊，这个是可能的啊。
其中一个契机呢，就是说那个应该说在五月份之后啊，大约在八月份的时候呢，我用当时 GPT 五嘛，对吧？我跟 GPT 五合作啊，做了一篇文章，对，就是最近的一篇就是 Groking 的一些文章，对，那篇文章呢。就是说，我会意识到，就是我在做完之后，我其实意识到这一点，就是模型的能力呢，已经基本上强到让我觉得我可以不用招实习生的水平。
哦啊，对，因为有很多的想法和思路啊，完全可以通过我跟模型对话来实现。那么通过这个方式呢，就是我可以给模型一些具体的那个细节，一一些比较细的这个方向，让它去找到新的想法、新的思路，证明新的定理。那么然后我这边可以啊写代码呀，可以做一些那个实验，然后把东西做出来。那么现在写代码都不用人了，对吧？写代码都可以让 AI 来做，所以应该说就是这个 loop 就开始有转起来的趋势。
这个时候，我觉得就是说，也许五年之后我就被取代了。那么，这个时间可能已经快到了。那么，在这种情况下，与其自己被取代，不如我就开公司。啊，我去做这个事情去。所以去年八月你看到这个迹象之后，呃，首先我想知道，就当时对这种想法有多少人有啊？因为你说四五到今年四五月越来越多人讨论嘛。对。那在去年可能差不多大半年前是什么样的一个情况？
以及后来你怎么找到一些跟你想法比较相似的人一起来做这个公司？嗯，我觉得是这样，就是这个事情呢，你不亲手实践、亲身去体验呢，你是感觉不到的，对吧？就是如果你不并把这个模型当成一个实习生，或者把模型就当成一个。聊天对象的话，你是感觉不到这个这个变化的啊，所以要等到就是你把模型真的把它当成一个就是聊天当成一个对象，然后可以啊可以跟他去合作，可以跟他去啊做一篇文章的时候呢，把马拉松任务做完了，你会觉得哦这个模型确实能力已经比我想象的要高很多。
就你的意思是，可能倒回到那个时间，对这么做的人不见得很多。就现在我们也见到这样的一个情况嘛，就是说有一些人，就比如说特别是，啊那些比较啊 C 级的人啊，他们一般来说不会去思考太细节的东西，啊对吧？就是他们可能会考虑一些比较 high level 的、比较高层次的一些想法和建议，对吧？不会真正把模型拿过来就做一个非常具体的项目。
但另外一方面呢，就是一些啊比较啊刚刚从学校毕业的那些学生，可能把模型呢作为一些就是执行上的工具啊，不会去做一些比较难的问题，啊，所以这样两边其实是有一个 gap 在里面的。这个也 cue 到了我们上次聊的一个话题，对，因为当时我们聊到了你有连这两年有在写年终总结嘛？有一年我记得应该是。二三年的时候，那种总结好像说的一些，就你觉得怎么带团队的一些经验。
那到了后面一年，其实你就变了。你说的就是你想更含藏，因为其实大模型阶段有一段时间之内，就是你会发现你不含藏的话，你就没有办法去真的知道这个模型内部发生了什么。然后那个整个系统发生了什么啊？你不知道这些东西的时候呢，你指挥的方向就会出现出现偏差。那么这个偏差的方向呢，其实很难获得反馈，因为在传统的这个研究过程中嘛啊，一般来说是一个比较 senior 的导师啊，可能跟学生们说啊，我们要做一个方向。
然后呢，这个导师本身呢，可能不会真的去碰代码，不会真的碰数据，但是呢，这个让这个让学生们真的去做这事情。让学生把这事情做完之后呢，然后反馈给导师，说啊这个事情是对的还是不对的？很多时候呢，学生跟老师说啊这个事情没做好，我这个事情呢不 work，啊为什么不 work
呢？是因为有幺三四五这种困难，导师会说我这idea一定是对的啊，然后去让学生继续去去挖掘啊，嗯，总有两种可能，一种可能就是说学生发现了导师说的是对的，然后呢把事情做成了。
还有一种可能是呢，是导师的想法其实并不对啊，但是学生呢证明这件事情是不对的，然后呢找到下一个方向就去做啊。一般来说，这个逻辑本身是，嗯，应该说至少要有几个月的时间。啊，就是这个是也是一般的一个科研项目的一个周期，这也是一个 loop，这是 loop。但这个 loop 的问题是，学导师不直接跟那个具体的实验打交道。
嗯，那么这样的话呢，导师从跟学生啊讨论，然后啊给学生一些指导，然后学生啊把这指导呢做出来，啊，然后得到反馈之后跟老师汇报，这个过程呢一般来说你至少需要几天的时间。有一个有个数字，就意味着就是大家是以天为周期啊进行这个啊这个问题的这个科研探索，就是说你可能需要几周甚至几个月啊才能把事情做成啊。但是现在有 AI 之后呢，应该说特别是有非常强的 AI 之后，这个时间被压缩到呃几分钟。
啊，甚至更短的时间，你就说验证一次的循环，对对对，验证一次，比如说几小时到几分钟时间，就是特别是对一些比较简单的项目来说，啊，就是很多时候你有个想法之后，你再告诉AI，AI很快的把代码写出来，然后跑完之后告诉你这个结果，很多时候就是也许你写完之后，我出去喝个口水，喝茶，然后跟别人聊两句，或者开个会，开完会之后，结果已经有了。
结果有了之后，那你就，呃，可以看到自己的问题在哪里，然后可以有下一步的循环啊。就是你在描述你最开始看到 RSI 的这个方向和前进的时候，对，就让我想到就是稍微岔开一点的一个问题了，就是什么样的人他能最早的去看到这个信号？其实你描述的是又有比较多的经验，他对什么问题是难的、是重要的有判断，同时在那个时间点他又是非常一手的在做一些事情。
嗯，是的，是是。这样的人是很容易敏感地感觉到就是当前风险的变化。哎，所以这个人有可能也不是特别年轻，是吗？他和现在就是 AI
市场里面，因为现在会有一种观念，会觉得就说你你特别年轻，你来什么东西你都可以很快地学起来。然后以前的一些经验可能是负经验，是没有那么有用的，还不太一样。对，可能不太一样，因为我觉得以前是因为，嗯，就是说在 coding agent 还没有普普及之前，或者还没有达到这个人类能力之前，嗯，就年轻人很有。
市场的一个原因呢，主要是还是因为年轻人他的冲劲比较足，然后呢，这个啊决策这个执行能力很快，啊，很多时候其实不要想太多嘛，就是说OK，我上来就就该干，对，干就完了，干就完了嘛，对吧？基本上我应该觉得过去的三年里面都是这样子。对，就是从大语言模型出来之后，基本上年轻人很多时候是有这样的优势的，因为并不需要想太多，我们就
scale up， scale， scale， scale， scale，然后想就就完了啊，这是非常简单的事情。
嗯，所以通过这个方式呢，其实就应该说大语言模型得以快速发展啊。所以你觉得 RSI
这个风潮来了之后，反而是可以让以往的一些经验积累？包括你沉淀的各种直觉判断，或者说技术品味有更好的发挥的，对的，我觉得是的。那天平又会摆到就是怎么说更有经验、更年长的一群研究员这个对，有可能是这样子，就可能是这样。当然了，就是说这这个也是呃有很多的争议的啊，这个只是我的一个观点啊，因为确实现在那Quant
AI来了之后呢。
有很多的就是以前从来不写过代码的，就是或者说已经当了比如说十年的就是经理或者总监的人，突然开始写代码了啊，他们就觉得这个爷的青春又回来了，对，嗯嗯，所以就是有很多的那个人会有这种感觉，因为可能以前有想法，但是没有时间去实现，嗯，然后团队也没有这个时间和精力呢去完成，就是就是上面的人的这个每个想法和思路啊。
那这样的话呢，其实这些人的经验呢，其实很难被发挥出来，啊，但是现在有 AI agent 之后呢，应该说这个变化发生，就是对比发生变化，对吧？以前可能需要人去执行，那么现在呢，就执行的那个重任，现在扔的落落在了 AI 身上。然后人更多的是判断啊，然后逻辑上的一个指导，还有这个大方向的一个把握啊，还有研究的这个品味啊，这些东西重要的。
那回到就是 RSI 这个主题啊，嗯，其实像十年前 Google 做的一个工作 Auto ML，它也有一个类似的想法，就是它也是在用 AI 去对优化 AI。对，你觉得现在的 RSI 和小十年前的像 Auto ML 这种类似的尝试它的区别是什么？呃，我觉得区别其实很大了，因为我们上一波也是做过了，对吧？
我有很多文章也是做那个啊，就是 architecture search 啊，架构搜索，还有文章呢，比如说做那个 AI guided optimization，AI guided design，AI 辅助这个设计啊这些方向。所以我觉得就是上一波的问题就主要在于就是我们没有一个模型能够建模人类的高层的知识。
高层的这个思路啊，这个是没有的，就是上一代的时候是很多时候是让研究员来定义这个搜索空间的大小，搜索空间的那个那个行为啊，然后呢让 AI 啊写成做做成一个算法。去找到更好的那个那个那个解啊，那么但是现在呢，就是因为这一波大语言模型来了之后呢，然后它能达到这个程度，就让这个这个模型本身对这个 AI
或对这个 AI 本身或者对这个架构本身是有理解的，那么这个理解呢，可以部分代替人类的一些那个定义问题的工作，嗯，那么这样的话呢，其实让这解空间变得非常大。
而且应该说比较智能，啊，不像以前就是你需要人去定义这些空间。那它的一个区别是在于人参与了多少的变变化吗？呃，是的，是的，就是说以前可能说就是人需要深度参与的解空间的每一个细节，啊，然后 AI 比较笨啊，只会在这空间里面去搜索。但是现在呢，更大的问题是怎么样最大限度上发挥。这个 AI
的能力，能让它自己找到这个解空间的那个结构，自己找到这个解空间的一个比较好的一个那个方法去去解它，啊，这个是可能更重要的一个事情。
嗯哦，就是您说到这个也涉及到就对 RSI 的理解和定义啊。对，因为很多时候大家提起 RSI，你说 OpenAI 也会说他们自己要做 AI intern，然后说到二八年三月要实现真正的自动化的 AI 研究员，对，它都是和自动化联系在一起的，它好像都是指向说把人从这个 loop 里给解放出来。呃，但是另一方面就是递归自进化，就它递归的这一部分。
我理解它就是有一个循环上升的这个意思，所以就是你觉得这两个东西，就是递归和人不在这个路里面，嗯，它是一件事儿是一起发生的，还是它会有一点区别？我觉得完全自动化呢不一定很快会发生啊，就是说，我觉得自动化的。程度呢，很多时候是因为看就是人在上面会做什么样的工作，而且，就做的工作它的层级是什么什么程度啊，这个是最重要的。
对，因为就比如说吧，你现在有 AI 了之后，有这个大语言模型之后呢，有些程度的工作其实不需要人去做了，但是呢，更高一级的工作还是需要人去做，而且在更对更高一级的工作要求更高了，啊，所以这个时候呢，其实某种程度来说，人是减少了他的时间。但是呢，人可能需要更多脑力去做一些就是更高层次的工作，所以人还在这个 loop 里面，只是这个这个 loop 的 level 更高一点。
所以你觉得递归是有可能会先发生的？啊，我觉得递归会先发生，就是完全自动，我觉得现在还看不到。就是跟我以前的 AI 代替不了顶尖人类研究员的观点是一致的。那你觉得递归和自动化这两件事哪个更重要？我觉得这个事情不存在重要不重要的问题，就是说一定是按照就是模型能力会慢慢慢的发展，对吧？你可能会发现完全自动是不行的，还是需要人的一些指导，那么这个时候自然而然就有递归的一个结构。
对，因为讨论到这个问题也是就是在最近确实和很多人在聊聊这个概念嘛。然后有一种观点就是觉得递归这个事儿更重要，是因为你一旦这个循环跑到一定程度之后，掌握这些循环的组织或者人或者团队，嗯哼，他就有可能进入一个加速度，加速越来越快的阶段。然后他就会可能把别人就甩得越来越远，对吧？比如 S R P 和 Open I，也许就有这种可能性，嗯。
嗯，对，是有这种可能性。对，因为就是模型可能会让自己变得越来越强，变得越来越强之后呢，这个模型能理解更深的东西，然后接下来就会有更强的那个 AI agent，AI 那个 scientist。那么有这之后呢，他会能发现自己更大的问题，然后就可以迭代上去。但这个讲的更多是就是这个范式的一个转变，对吧？跟人在不在这个 loop 里面其实关系不大。
嗯，所以你也是觉得这个循环的加速本身是啊，这个是可能的，这是可能的啊，对。但是呢，它在什么程度上可能？然后我们需要做到什么程度，让 AI 变得很强才可能？啊，这个事情呢还是需要做探索。最近就是这个方向很热闹。嗯哼。除了刚才我说到 OpenAI，他们有一个时间表，关于我怎么去产生真正自动的 AI 研究员。
但是他那个说的比较笼统。然后 SRI 在今年六月，他们发了一个长文，叫 When AI Builds Itself，就是当 AI 来建造自己。以及这篇文章副标题就是我们在 RSI 方向上的进展和实践。不知道你们看了这篇文章没有？里面有一些我大概看了一下，看了一下，嗯，其实就是应该说还是刚才我们聊的那个差不多的一个想法，嗯，就是 AI 能够让 AI 自我进化、自我迭代，然后越做越好。
它里面讲了一些他们内部具体的一些进展啊，比如说他说四月的时候，Cloud 的 AI agent 端到端的独立完成了一个开放式的 AI 安全研究，对对对，说它累计工作了八百个小时，对，然后把一个 weak to strong 的性能差距缩小了百分之九十七，如果是人来干的话，是一周可以缩小百分之二十三，这好像更多是一个奇效。
嗯，这到了我们刚才说的递归自进化的程度吗？应该还没有吧。就是我其实看了一下这个这个博客啊，就是说基本上还是呃体校，就是说你看它的具体的解法嘛，就是说找到一些各种各样的方案，让这个 strong 就是 weak to strong 的 generalization 能够能够做得更好。对，然后还有很多一个，它有指标嘛，通过这种方式把这指标提上去，对吧？
那么里面的这种方法呢，应该说，比如说把里面 representation 拿出来，然后做一些分析，然后呢想办法把它那个把这个模型做得更强啊，大概是这样的一个逻辑。但这些算法本身呢，应该说还是比较常规的，它经常把很多很多常规的想法和思路放在一起。然后放在一起之后呢，然后最后它分数能能往上往上提，因为有分数之后呢，你才能做自我进化，对吧？
因为现在除了分数之外，你没有其他办法能够那个能衡量这个模型现在能力有多强。就或者说这个这个这个这个 self improvement 最后它的效果好不好？所以一定还是要靠那个分数。所以分数一般是会具体体现为提效，或者说提高速度，或者减少 latency 这样的一个指标啊。所以这个应该说是就是说自进化的一个第一层吧。
就你觉得在第一阶段它确实就是这样展现的？啊，拆成子任务，然后看子任务上 AI 自己。是不是越来越好啊？是是是是是，这个是一般，这一般会这样子。你觉得 Anthropic 和 OpenAI 他们理解的递归自进化和你们有什么相同和区别？应该说大的方向上都是差不多的，我不觉得有什么特别大的一个区别。就是可能有一些不一样的地方是，你像 Ansarovic 那个那个文章对吧？
就是他这么写的话呢，基本上感觉上是，就是说特别是在代码上。有自动化这个能力，但是呢，我觉得更难的地方呢是研究上的问题，就是说 AI research 这个方向应该说跟代码之间还是有差距的。你看 Trovek 之前的一些一些工作，其实他们都是展示出来，就是说如果对一个已有的项目，我们能不能让它自动化自动做好啊？
比如说从头开始写一个 Linux，或者从头开始写一个 C 加加编译器，那么这个东西都是说应该说是有路径的。对吧？那么我们都知道怎么写，只是说这个工作太繁杂、太繁重、太累了，然后很难去让人或让团队去把它写出来啊。但是这个问题本身是有章可循的。但是呢，就是说很多就比较难的 AI research problem 呢，其实应该说人都不知道怎么做。
有很多的这个很难的一些一些比较要要要有突破性的进展或者突破性的发现的东西，那么这东西呢，其实应该说是应该说现在 AI 还是很难做，嗯。除了两家最受关注的 Frontier Lab，就是 OpenAI 和 Anthropic
之外，这个领域现在又有些新的公司的尝试，就你们之外的，对，有一个是六月二十五日才刚刚官宣的，叫呃 Mirandil，然后他们是种子轮融了两亿美元，对对对，其实团队应该是来自 DeepMind 和 Anthropic，另外就是之前更早成立的。
Sakala AI，他们也是在六月刚刚成立了一个RSI的新的team，对对对，在东京。这些更多的尝试，一个是就是你觉得可能反映了行业的什么变化，一个是你从他们的一些表达里面看到了什么有意思的东西？我觉得他们基本上还是高层次来说还是一样的，就是做这个递归自我进化嘛。嗯，这个方向上总的是应该说是比较比较接近的。
应该说就是像那个 Montreal 那那那边就是像 Transformer 那个那个。那个创始人嘛，应该说之前也跟我聊过。哦，对，你说的是更早之前在筹备创意的时候。对对对，也没有说找我，只是说是当时问我要不要来，或者说就是说要不要去。那不就是找你吗？对，当时他还在 Enso Trophy
的时候。哦，就是那会儿你从 Meta 就要可能要出来的时候，对对，Saropic 也有一个邀约，相当于对对，就聊聊吧。
当时也聊过一次，也聊过一次，嗯，对。后来就很有意思的是，后来他就走了，对。所以我之前也跟大家说，我说跟我聊过的那些人都跑路了，包括 Saropic 就是他啊。所以相当于你们看到了相同的方向之后，你们都觉得出来做就重新有一个 live 来做这个事儿可能是更好的。对，我觉得是有可能会有这样这种情况，因为一个是就是说，现在 OpenAI 和 Shopify 其实已经算大公司了，有很多人在里面，对吧？
所以现在没有 OpenAI 多，对吧？啊，肯定没有 OpenAI 多，两三千人吧，差不多。对，还是还但是还是应该说，呃，讲另外一方面就是说，像这两家公司应该说现在都要冲这个 I P U。对吧？那对他们来说，最重要的是要把手上的业务做好。嗯，手上业务是什么？Conagent，对吧？如果Conagent上能够赚很多钱，能够让这个事情做得比较好的话呢，那他们可能会没有优先把这个事情先做好，对吧？
那么，所以有可能他看到了这一点，所以觉得你还是自己出来比较好，因为 RSI 这个方向毕竟来说是比较远的，没有那么近。你说还有其他公司的人找你也出来了，他们出来之后新做的公司现在是已经浮出水面了，还是有些仍然在水里？哦，没有没有没有，我当时说的是，就是说有些人是作为大厂的一个高管来找我问一下呢，我要调个跳槽跳那边去，所以很多时候他们都走了，就很多人就是像苹果有有走了，对吧？
M掌的人也走了。有些人也是出来创业的，像 Amazon 那边的那个有一个哎，那个 San Francisco Lab 的头 David 他也他也出来了，嗯，对。但是现在他们出来怎么做什么，我现在不知道。那你当时也和大公司其实也聊了，你想就是继续做的 RSI 的这个方向。呃，大公司时候基本上你跟大公司聊的时候，你很难去决定你你能做什么方向。
很多时候就是跟大公司聊，大公司会说啊，我们想要做这个。对他们当时会有自己的一个想法，他们希望我加入之后呢，能够给他们提供助力啊。所以去年秋天的时候，就是你和这些公司交流啊，确实在当时没有很多人会提到说想做这个，是吧？对，当时 RSI 还不是一个大众的认可，当然 RSI
还是一个小众方向。嗯，我觉得现在至少在一些宣称和表态上，我觉得它看起来是变成一些公司的重点了，就是 OpenAI 和 Azure 两个都是有这个呃现象的，而且我就是跟一些。
这是 lab 的人聊嘛？我觉得他们自己确实就里面的人啊，他们也很关注这个方向。嗯嗯嗯。所以你觉得像 OpenAI 和 Anthropic 他们对这个事儿有多重视，有多认真啊？这个我不好说吧，对吧？至少现在大家在说这事儿，只是就是怎么样能够让这个事儿最终能成呢？其实应该说是更难的问题，对吧？现在可能大家讲的还是一个概念。
一个是就是怎么样把这事情做成，呃，怎么样那个觉得这件事情有多重要，然后它是不是将来的方向？至于怎么把事情做成，或者说什么是具体的一个 metric，现在大家讲讲的不多。你觉得这有可能会成为他们 G coding agent
之后的下一个主线吗？这个我不知道，这个要看，我也要问他们。因为有这样一种推论的逻辑啊，就是他们会认为说这个东西就 RSI 非常需要 coding 和 agentic 的能力，然后这两个能力本身其实对这些前沿的模型公司来说，它已经是它的主线了。
所以 RSI 可能就是在这个主线往下延伸的下一个方向上，就从这个逻辑来推论了，它有可能是它的主线。不知道你怎么看这种想法？呃，我觉得 RSI 比 coding agentic 要大得多，要大得多。对对，我不觉得就 coding agent 它只是一个执行者嘛。你的意思是说，他的呃，他需要解决的问题，他的问题，问题，他的问题，然后他的难度，然后他的那个可能的路径，比现在空间生成要要要大大很多。
所以你不是指的市场规模，还是也包括那一部分？我觉得不是，市场规模当然是一部分，还一部分就是包括就是研研究上的一些可能的方向和逻辑。所以你觉得就光有这个支点，其实不见得你就能做好 RSI。是的，我觉得是这样子，因为其实很简单，因为对 Quant 端来说，一个是大家已经有可以用的 Quant 端。对吧？
就是大家都用，比如 Claude、 Codex，然后最近的一些开源模型效果也很好。这个方向就是在做一些基本功能的情况下，它也都已经做得还挺不错的了。那么也就是说，而且因为有开源模型的存在，所以就是说这件事情变成所有人都有了这个能力。那你觉得开源模型的能力和 S R P 还有 Open I 的能力还是比肩的吗？
比如说像 G M 五点二，嗯，像 T M 二点七这些，我觉得肯定还是有差距的啊，差距还是有一些啊，但是应该在接近中。你记得体感是越来越轻了。我这几天就是，当然就是至少跟 OPPO 4.7 相比啊，你觉得就是 GM 5.2 还是挺不错的了？那和 4.6 比了？四点六四点七差不多吧，四点六四点七差不多，因为有一种，呃，体感是会觉得四点七还不如四点六好用。
我没有那么大的感觉，但是我感觉上是四点六、四点七、四点八没有太大区别，没有太大区别，对，只有版版本号的区别。嗯，可能唯一的区别就是说四点八它的康泰温变长了，嗯，啊，所以这样的话用起来更舒服一点。因为像四点六你在用的时候，用到一半突然跟你说啊，我要 compact 这个 his history，然后就等等半天。
聊半天之后，他重新 reset 了之后，之后你再去问他以前的一些事情，他就不记得了啊。这个是他一个表达的问题啊。四点八，现在来说没有这个限制的话呢，用起来会更舒服一点。所以在你自己现在的实际使用中，像 GLM 五点二这样的模型，你觉得是已经很够用了。我应该说还可以吧，应该说，呃，我也用过了。我其实也就是最近刚刚从从那个国内回来，紧急用了一下，紧急用了一下，因为大家都觉得它好嘛，对我肯定要试一试。
一个是这样，就是它还是比较擅长做一些比较执行上的一些工作，嗯，对，而且这样的工作能做的不错啊。有一些事情，它经过一些思考可以做的还不可以。啊，那有些时候呢，它可能会陷入死循环，或者说有一些各种各样的这种毛刺吧。但是总的来说，应该说还是挺好的。你刚才提到就是 RSI，它整个要比 coding 要大得多嘛？
嗯哼。你觉得它除了 coding 之外，可能它还需要一些什么样的能力啊？我觉得一个很重要的能力嘛，就是说你要做 AI scientist，你要做人的这个能力的话。就是人类那个研究员的这个品味啊，对吧？他的方向的这个感觉和和和理解，还有就是说对一些问题的一个抽象能力，这些东西应该说现在模型都不太有。这个东西它如果总结下的话，它在模型里是属于什么能力呢？
属于推理？属于reason的吗？对，这当然是推理能力，但是应该说很难去形容这种东西。就也不是说reason就能包含的，你觉得？对对对，它比reason更大。在人的。呃，能力里面它属于哪一种？因为推理那天有很多种嘛，推理这个字非常广泛。不是说你说你想要的那种能力，在人的能力中可能属于哪种？这在人的能力中，就是说大部分人也并不是有的，就是有一些很强的这个研究员，他有这个能力，这是创造力吗？
对，应该说创造力，应该这么说，就是说可以把一些概念从一些纷繁复杂的这个。表象中抽取出来，并且加以总结、加以思考，然后继续在应用于新的问题上，这样的能力，其实就是你之前说到的，从少量的样本你就可以看到精准。而细节的联系，对对对对对，但这个能力应该说现在的模型还很难很难具备。其实这是对人来说真正的 groking 的。
对的，这是应该说是人跟大模型相比，人比较大的就是一个优势。嗯，就是因为大模型现在能力很强，还是因为有大量数据嘛，对吧？所以对于那些，嗯，非常。常见的数据，然后说是重复的领域工作啊，这些工作来说，大模型有无穷无尽的数据，所以它可以学会。但是对那些就是数据量很少的，就是或者说像科学家这样开创性的这个领域，就是问题应该说是层出不穷的。
然后你每次做实验，然后每次探索都会发现新的问题。那么这个时候呢，这些问题的这个理解呢，就是它的相关数据很少。那么这样的话，你要让 AI 去做，恐怕是比较难。你觉得就是计算机科学或者具体到 AI 这个领域，它本身在学科特性上，相比于其他一些自然科学，会不会它本身就数据更富集，更不需要你说的那种能力，它也能往前推？
计算机科学，你看嘛，计算机科学也也很大，嗯，它也有是工程的上面很多能力呢，其实应该说是大家已经反复实践过了。对，那么这些能力其实应该说 AI 已经有了。对，就可能不太需要你刚才说的这种灵光乍现的东西，它也能往前走。对的，对的，对的，对的，对的。那还有一些能力，比如说像应用研究的能力，就是比如说你把你按照这个某个固定的这个逻辑，或者某固定的那个计算方案，或者说是个思维方式。
解决一些问题的能力，这个能力 AI 现在已经也是有的。就比如说你让 AI 去呃解一道数学题，对吧？那么对于数学题来说，这道数学题肯定就相似题目已经出现很多次了。那么 A I 就能够学会这个里面的这个模式，然后找到更好的解。但是有很多问题啊，你就很难去找到固定的模式，然后或者这个模式应该说是以前未曾出现过的这些问题，就是 A I 就很难去找到到答案。
对，因为我想问的就是，至少在第一个阶段啊，就不说 AI for 其他的自然科学，对，就在 AI for AI 的这个阶段，AI 学科里面，实际上它有很多这种情况的问题吗？就是我需要在很少的样本里，我就找到一些可能没有固定模式的新的。是啊，就是一个非常明显的这个例子嘛，就是说，比如说像 Groking，像就是怎么样理解模型本身的那些问题。
那么模型本身有学习能力，然后它怎么从数据中学到这个那个模式，然后怎么把这个模式拓展到其他方向？那么这个问题本身，一个它没有现有数据集。因为，如果有数据数据集的话，这个问题就解决了。没有数据集，然后对这个问题的这个理解的方式都不一样。其实应该说，就是怎么样去理解 AI，怎么怎么能够就是认识世界，怎么能够发现这个新的 pattern，怎么产生涌现呢？
应该说有很多很多人做了很多尝试。我们比如说，二零一三年、一四年开始，啊，就是大模型或者说深度学习一开始的时候，就很多很多那个做理论的人。他们采用各种方式去解释它，啊，比如说物理上，比如说做那个重整化群，嗯，对吧？然后物理上还有像那个什么那个 spin glass 啊，就是什么。那个自旋玻璃，他们有人用过，对。
还有比如说数学上的一些方法，比如说之前有过很火的啊，像那个 neural kernel 啊，就是什么神经正切核，对吧？这些方法就是他们有很多不同的观点，还有贝叶斯的方法来解决，对吧？还有像高斯过程的方法来解决。那么有很多很多方式去去研究这个这这个模型是怎么样产生这个涌现呢？怎么样学习东西的？那么这些角度应该说是都尝试过啊，但是都没有特别满意的结果。
如果你要真的找到一个新的对于AI的这个理解，那么这个理解可能是跟其他的方向都不一样，所以这个时候你要让那个 AI 去找，让 AI 去发现，这个时候呢你就很难，就是通过照搬已有的这个逻辑套在 AI 上来完成。这里我的一个问题就是，您看从一三年到一四年这么多尝试，它都没有去很好的能解释 AI，但好像另一方面，这也不影响 AI 在突飞猛进的发展。
对的，对的，我没有说这件事情会影响 AI 的突飞猛进发展，我只是说，就是作为一个 AI scientist 这个工作来说，是，对吧？如果比如说举个例子，我让 AI scientist 去研究去理解这个 AI 是怎么运作的，那么这个问题本身就是难问题。因为过去的人都试过，而且那个用的 pattern 都是不一样的。
对，因为我是在想，就是回到你们公司的目标或者 RSI 的这个目标嘛。对，就这个目标，他说让 AI 自进化或者说 AI 帮助 AI 进化的更快这件事情上，对，是不是我不用处理一些特别深的理论问题，我可能也能实现这个目标？是的，这就是 AI RSI 好的地方，因为对 RSI 来说呢，就是它不是那种像无人车那样，要么是零，要么是一百。
嗯啊，而是这个非常有很多阶梯的，因为你 RSI
处理阶段就能够做很多事情。就比如说，你跟他说那个优化各种那个算法，然后提高性能这个部分，RSI能做了，但是它本身也有效果，也有一些实际用处。所以说，你它的第一级台阶本身就有很多实用的价值。等到它的第二级台阶的时候呢，它可能有更深的东西能挖出来。那么可能生产力会更大，嗯啊，那么最终呢，可能我们会有一个非常难的、非常高的一个目标，比如说我们希望
A I 成为像爱因斯坦或者牛顿这样的这样的大脑，那么这样大脑可以通过很少样本获得很深的知识。
那么，如果这件事情成了，那么应该说，那个 AI 就非常非常厉害了，啊！但这件事情呢，就是是个非常难的问题啊。就算我们没有做出来的话呢，本身这个东西的应用呢，也是很多的。那回到就是我们刚才这一轮话题的起点是说，在抠顶之外，R3还需要什么能力？你刚说有一个就是类似于groking的这种人，其实对可以产生某种灵感和联想的这种能力。
对，还还有什么？你觉得？对，我觉得这个是重要的。但还有就是说一些就是agentic的behavior嘛，对吧？这个也是要的。就是说你AI怎么用动用工具啊？怎么动用各种各样的那个已有的知识，然后获取新知识，然后获取啊各种那个。把这些事情放在一起啊，完成任务这样的能力，对吧？那这个能力其实某种程度上可以说是核心的公司已经已经有了，对，已经在探索，已经在探索了。
对对对对。所以对新公司来说，我觉得好的一面是你们有很多能力是可以直接用。是的。然后可能会有压力的一面，就是因为他们也有这些能力嘛，对，所以他们可能也会往往这个方向推。对，但是这样能力应该说很多开源模型，或者说很多那个已有的那个解决方案已经在那了，对吧？所以就这些能力，它有多大程度会左右最后的 RSI 的结果啊？
其实他们应该说个每个人想法是不一样的。对，还有一些能力，当然说你怎么去收集信息，然后把从信息中找到一个最重要的那个那个信号。那么这个部分应该说，就之前做 deep research 这些方向上也已经就有很多有很多工作。我的一个感受就是，最近这段时间硅谷非常热衷的讨论 RSI，嗯嗯，它有一个假设，就是谁最先达到这个状态，就会把其他人甩得越来越远，而且这件事儿是有一个窗口的。
就可能你过了一个时间，你还达不到的话，嗯，你就无缘这个决赛圈了。你觉得这个逻辑它有什么漏洞吗？这个逻辑呢，应该说还是比较正确的啊。但是呢，应该说有这种可能性，就是说对于 AI 来说，如果它没有突破性进展的话呢，所有人 AI 都差不多，嗯，对吧？就是说它不是那种渐进式的这种一点点往上走的，它可能是种突破式的往上走的啊，这种这种路径。
比如说，所有人在没有达到某个 level 的这个模型之前，大家都差不多，都还是不错的。但是，也许有一两个人产生突破了。那么，突破了之后呢，它会达到下一个下个层次，那个层次上的 AI 它能力呢是远远高于前面层次的 AI 的。那么这样这种情况下呢，就是说那个，那么整个 level 会提的更更更更快一点，对，所以它可能不是渐进式的。
它的一个推论就是说，其实，也许还是有一定空间给初创公司的，因为如果是渐进式的，如果你觉得现在这个 scaling log 这条路线就一定能通向这个 RSI。那么初创公司是没有什么机会的，为什么呢？因为现在 OpenAI 和 Shopify 都已经做得很好了。那么他们如果加入 RSI，他们是不是一直往前走？
然后他们永远比别人走得更快？我理解你说的意思，它其实就是一个加速度，你可以一直往前冲。或者我们可以举这样的例子嘛，就是说，比如说嘛，一个 RSI 这个系统，对吧？这个系统肯定会让效果变变越来越越来越好，对吧？就说你看啊，从从这个系统开始出发，它会有个 S 形曲线，一开始长得很快，然后呢，因为有些瓶颈会停下来，就会到平台期，直到下一个突破出现。
然后再出现 S 型曲线再上去，这样的一个一个过程，对，一这样就是 S 型之后平台，然后 S 型之后再平台，再是再平台这样，嗯，所以你每个平台应该都都对应一个突破。所以，如果你没有达到这个突破的话呢，那大家做的再好的话，就可能在这个平就就是无限的，就是逼近那个之前那个效果的上界。你对他接下来的这个发展是直接这样往上的，还是它是渐进式的？
有平台的，我觉得是有平台的，有不是？你发现了新的东西、新的想法，那么你这个用这想法产生的模型会变得更强。然后变得更强之后呢，你才会更好的想法去做。那么就是它是一个阶段式跳跃的。你觉得这个想法现在？呃，它主流吗？现在应该还不是很主流吧。对，但是我觉得这当然是完全取决于就是大家对 Skin Law 有多大的信任感。
如果大家觉得 Skin Law 百分之百是对的，那么就说其实并不存在这样的平台期。就是我只要大家堆算力、堆计算资源、堆那个各种东西，我们的能力就会越来越强。那么这样的话，这个啊，这个递归自我进化这件事情，就一定是一个非常平滑的一个过程。我比你快一点，我就一定比你快更多，你快更多，然后就会上去，对吧？
那么这样的话呢，任何一个初创公司不可能追上 OpenAI 或者是 Shofic，因为他们永远在更前面，然后他追也更快，对吧？但是我觉得就是。不是这样，就是 C N Log 可能不是全部吧，就它可能是对的，只是说它需要，嗯，百分之一百，需要很多很多样本，它的横轴是指数级的。所以就是说，你需要十倍的计算资源、十倍的数据、十倍的这个各种东西，然后最终能够达到就是线性的增长啊。
那么这样十倍的这个资源，其实应该说现在已经开始有瓶颈了。所以，哪怕这个理论它是对的，但是它也有一些别的现实上的限制。对这个限制，应该说是很大的限制，就是说你不可能让全世界啊整个地球的电力都供应给你一个人做这个自我进化，是不可能的。啊，肯定会有博弈，肯定会有一些限制，啊，所以应该有更好的、更有效的方法去做这事情。
这个也是你之前反复有讲到过的。你曾经说过，如果 scaling law 就是未来的话，你觉得那是一个比较悲哀的未来。那也很也非常无聊，对吧？非常无聊，对，没有新的知识上的突破。哎，是的，我相信是会有知识上的突破。有知识突破的话，就是这个 RSI 这个 loop 本身是一个元叙事上的这个 loop，因为不管你是什么模型，都能做这事情。
但是具体的，就是支撑这个叙事的这个底层的架构啊，和底层的这个数学啊，和一些这个模型的一些结构，应该说是会有突变。对，就刚才我们说，是否达到 RSI 这个状态之后，强者愈强，领先者越来越领先？你说有一个变量是，它接下来的走势是渐进式的，还是有 S 型的平台的？啊，是是。还有一个我觉得有可能的变量，就是说这个智能未来的空间它有多大？
空间是很大的。你觉得我们刚刚开始。我们现在还是就像我那本书一样的，叫破晓之中嘛。嗯，就是我们刚刚看，我刚刚才看到那个一点点的星光，就太阳还没露头呢。我觉得应该是这样的状态。嗯，只是你觉得它的前途是光明的，但道路是曲折。对对对对，因为我们毕竟是生活在地球上的一些非常可怜的猴子变来的那个生物吧，对吧？嗯，就是说一直以来看的那些东西呢，都比较粗浅，或者说比较简单。
对吧？那这这这上面应该有很多很多东西可以做，啊，只是我们看到的东西非常少，所以我们只能看到这些，我们不能看到非常非常远的未来。那这个想象往后是什么了？我们最开始是猴子变来的生物，可怜的生物看到粗浅的东西，再往后了。对，再往后就是说是如果真的是有就是 RSI 普及了，然后全所有人都有超越我们以前智能百分智能很多很多层次智能的时候，那么整个世界会完全不一样。
你可以稍微讲讲，你觉得会怎么不一样吗？就是说，以后我们之前所有的世俗上的那些东西，可能都能够满足。啊，因为所有的那个欲望或者所有的要求都能够被 AI 所满足，就是就进入了修仙社会嘛，就是说演出法随什么演出法随，我说了句话之后一定会真的。嗯，比如我今天晚上要弄大房子，马上就给你大房子；我今天说我要去海边旅游，马上旁边就是海。
对我说我今天要那个改变整个世界，把它变成我想要的样子，它马上变成我想要的样子。你可以回去当皇帝，你也可以去任何地方做你想做任何事情。但是在你自己写的科幻小说里面，它后来虚拟世界里还是加了一层限制的，就本来那儿是想要房子就有房子，后来也有了房价系统。对的，那是因为就是如果是这样的话呢，对于这个世界来说，就是大家可能失去了一个动力。
对失去动力的话呢，就会有一个新的问题。一旦失去动力之后，那么人类社会怎么发展啊？这个是一个很大的问题。在小说里面呢，其实应该说迭代两次嘛，就第一次迭代的时候发现这个事情不是很成功。那么推翻重来之后，再迭代一次的时候呢，就是作为这个，作为这个叙事的管理者啊，可能会思考一下，怎么能让人类在享受这些，那个非常便利的方，那个技术进步之之后，同时能保持向前的动力。
嗯，啊，这个其实是很大的问题。你说这个未来里至少有一件事儿，我觉得是很美好的，就是一些现在很难克服的病痛，是可以消失的。对对，我相信是这样子。这是你自己的一个个人的愿景，还是你们就因为你们新的公司其实也是以这个尔赛为一个共同的方向嘛？对，你们合伙人之间也会去讨论这种事情，也会有相同的愿景。那些什么休闲社、休闲社会之类的东西，那肯定是我自己愿景。
对对，那个是更像是偏偏小说的，更偏那个类似于科幻的这样的一个一个想法。嗯，对对对，就是至于公司来说，我们还是希望把这个事情做成，因为这是一个实现上或者说是一个具体的执行层面上的一个一个工作。而且 A I 或 A I 只是你们的第一个大阶段，你们后面还要。进入别的科学领域，对，比如说你对 A F A
I 能做的比较好的话，我们如果能够找到新的方式，就是说产生新的架构或者新的这个理论或者新的这个模型的优化算法的话，那你就认为的就是这个系统本身啊，对一个问题的理解深入很深啊。
那么这样的话，我们是不是可以用这系统做别的东西？那我们接下来来聊一聊你们最近的一些具体的进展，嗯哼，因为你们在六月初正式官宣之后，到六月十一号是释放了第一个成果。当时你们发了一篇技术博客，First steps toward automated AI research，通往 AI 自动化研究的第一步，可以讲讲这是一个什么样的进展吗？
对，这是一个初步的进展嘛，就是说证明我们的系统还是可以做一些事情。啊，比如说我们啊，用它来那个优化那个 Nano Chat 啊，五分钟的那个训练能够让它那个 BPP 这个数字呢降得比较低啊，比如说比 Community 的数字还要低啊，比如说我们可以用它来做那 Nano Nano Chat 的那个 Speed Run，对吧？
让这个速度变得更快啊。最后呢，就是算子优化这部分呢，就是我们找到了一个新的。那个算子啊，这个算子也是通过我们的系统来优化的。用完之后呢，这算子的效果应该说比现在这个最好的这个缩大啊还要好不少。就这些成果，你们都是开源了的啊？对的，嗯。这一次的这个进展发布之后，有什么有意思的反馈吗？总的来说，有很多的那个比较
positive feedback 啊，大家都会觉得这个结果还是不错的啊，比较比较 impressive。
那么我特别，我个人特别觉得就是，特别是第三部分嘛，就是那关于算子优化这部分，对吧？因为这部分。应该说是一开始是我一个人搭加个AI做到SOTA了，一个人加个AI就SOTA，然后然后你可以说一下是加的哪个AI吗？你说加的多些？那当然我就我就不能说了，因为这也是我们自己做的，对吧？哦，你们自己就是你们自己的这个系统？
对对对对对，不是，并不是说是外面的那个那个系统。然后再往上的话呢，就是大家都很有很兴奋嘛，因为一开始大家都觉得它挺难的，对。后来做到SOTA之后呢，就很兴奋，就有很多人一起来做。啊，那最后达到更好的结果啊？为什么要去做这件事儿？就是你怎么看到 S O L E 在 Bench 这个 Benchmark 的？
这 Benchmark 应该说一开始是那个英伟达的那个最近才发布的 Benchmark，应该说比较新嘛，对吧？然后另外就是说，算子优化本身也是很重要的一个一个一个工作，因为算子变快了之后，它能够对于这个 A I 这个那个 Model Training 和 Serving 都产生影响。那英伟达它去做这样一个 Benchmark。
他也是为了去服务耳塞的推进吗？不是，因为对英伟达来说，做这benchmark应该说是它最多是就是看一下，就是我们因为对AI来说，AI算得变快，对英伟达来说是好事啊。所以，他无所谓你是人来做的，他并不，他无所谓，还是还是系统做到的。对对对对，嗯，对他来说，就是对为他的微硬件配备更好的算子，能够让这个速度变快，效率变高啊，对他来说总是好事。
然后，你们这次做的这三个测试是用同一个系统去跑的吗？还是说它需要针对不同的测试和任务做一些修改了？啊，它同一个系统去跑，同一个系统去跑，所以是个通用的东西，对，是通用的，嗯。我觉得你们选的这三个 benchmark 还挺有意思的，一个刚好是我算力是限定的，我去看性能，对吧？然后另一个是我是看它的 efficiency 的，对，就我是看效率的，对。
然后最后一个算子优化是可以作用在 infra
上的，对对，也涉及到就模型其实几个比较主要的不同的环节。嗯，是的，是是。你们当时是怎么计划和思考去做这样一个成果的？很多是也是一个是机缘巧合吧。对你刚才说最后那个算子优化是有些机缘巧合。对，机缘巧合是一个，然后还有就是说也有很多的这个看那个什么东西确实对我们来说是相对来说是比较容易的第一步，我们一定会先去做它啊，就是这样的话有一个很好的一个一开始的那个结果，通过这方式也可以让毛毛熊做的更好。
你们是把你们做这个东西称作系统，为什么不把它叫做个 agent？呃，因为我们还是希望细节不是呃比较比较保密吧。称为系统来说了，就是说这样的话，就是你可以保留各种可能。那如果说系统本身你觉得不方便展开聊的话，你可以讲讲就是你们现在就选的这三个单单曲马尔克，它分别是在测试什么能力？如果再往后，它有没有一些比如说组合起来的更大的空间？
这个就是说，其实应该说是主要还是测试，比如说它的预训练上有什能不能找到更好的那个想法，更好的思路，对吧？然后它算子上能够找到更好的那个算子。所以他们的共共同特点就是说，他们的这个反馈比较快嘛，对吧？就是很快能够获得一个反馈，然后这个系统能很快的跑起来。因为你们把这个成果叫做 first steps 吗？
对，那更总结来说，你们是怎么设定递归自进化的第一阶段的目标的？呃，第一阶段目标当然是希望这系统能跑起来，然后有一些初步的结果，对吧？所以我们现在是达到这个目标。那你们这个系统接下来是你们自己继续用之外，因为其实之前你也说过，你们一开始就有考虑一些商业化的事情嘛，就是你们有了这个初步的成果之后。它在商业化上是马上会有一些动作吗？
还是一个什么样的？呃，我们当然会继续去优化这个系统，然后让它做更更好一点啊。商业化呢，我们也在思考中啊，在思考中。当然了，就是说我们还是希望这系统做的比较一般化，不就是解决通用的问题。那么这样的话呢，我们不会说因为一两个具体这个 vertical 啊，让这系统变得非常特殊化啊，这样的话可能就失去了这个一般化的意义。
然后回到这次具体的成果，你们在这三个 benchmark 上都取得了 SOTA，但如果只看这些数字的话，直观的感觉是它一些改进好像是非常小的。其实不是这样，其实应该说这些数字还是比较让人印象深刻的。比如说拿算力优化来说吧，对，因为这个方向，那个一开始是我这边来带起来的啊。我觉得一个是重要的事，就是说你你看就是。
呃，我们当时战胜第二名，有第二名有个公司叫 Double AI，Double AI 这个公司呢是，嗯，是以色列的那些人做的啊。那么他们那那他们那边的那个 CEO 是 Sasha，他是应该说是以前 Mobileye 的 CEO，Mobileye 呢是应该说是一个非常久远的公司啊，他一直做非常强的这个就是端侧的或者说在 chip 上的一个处理，对他以前。
做过，呃，特斯拉的供应商，对对对对对，车上的芯片，对，所以它是一个半导体的专业的公司，对，而且他们这次开了一个新公司叫 Double AI，那么他们里面那些人都是专业的做那个 GPU
的。啊，这样的一些工程师啊，他们当时也是提交了一个那个版本啊，但是我们的效果比他们要高百分之十，相当于他们是专家。对，但是应该说，对于我们来说，我们其实组里面没有什么人是GPU的专家，但是呢，我们系统比较比较比较高效啊，也比较有效率。
那么，就是说，你可以这么说，你可以说，所以最最最懂这个算子优化的那个是我。很有意思的就是我其实其实应该说你要去看我以前的简历以前的那个故事我没有真的做过算法优化，嗯，对，所以那个我只能说我做过一些就是大模型的 efficiency 大模型的那个效率啊提升的这样的一些一些工作啊，所以就算是这样的一个就是非专业的团队啊，但是呢我们有这个 RSI 的一个通用的这个思考。
和这个逻辑呢，然后通过的方式来做做这个大系统呢，能够达到更好的效果。嗯，就能够达到业界顶尖专家团队的效果。对，比他们更好一点。所以你你自己对这个还是比较满意的。对的，对的，对的。这应该说是一个比较好的一个一个结果啊。像那个南都差的五分钟啊，就是像南差 Speed Run 的这个东西，应该说是 Community 做了两年了。
对，那么这个数字啊，也是很难再往上提啊。但是我们在这上面又提高了两秒钟左右，就数字看起来绝对数字不不大啊，但是其实应该说是对那些已经做过这个方向的人来说呢，这个数字还是比较大的。对，我就是想请你解释一下，因为很多。不是做这些事儿的人，他可能看的就是你从七十九秒到七十七秒，就感觉好像哎，那也只缩减了一点点。
嗯，但你要知道，七十九秒是过去整个 community 做了两年在缩打。嗯，对，那就接下来就很难再往上提了。就相当于也是技术社区里面专门主攻这个效率这个方向的人的努力的结果。是的，是的，是的。还有一个问题就是，你们现在测的这个 Nano Chat 和 Nano GPT，它都是比较小规模的测试。嗯，比如说 Nano Chat 的话。
它是训一个 GPT 二级别的模型，对它和现在主流的大模型的参数其实差了很多。那你们目前的这些成果，如果要迁移到更大的模型上、更大规模的架构上，它会难吗？它中间会有比较大的 gap？应该说还是会有一些 gap 的。这个我们也在继续继续做啊，那有可能之后我们就能看到相关的成果。呃，具体的东西我就不透露了。
再往下的话，你们会着手去做一些什么事儿啊？比如说 first step 是现在我们看到的这个，那比如第二步是什么？那我们会继续优化这个系统嘛？就是继续优化这个系统，让它变得更强。那边更有效率，然后那边更好啊，对。然后呢，就看就是这个系统本身能不能优化更多、更更广泛的那么那个方向，对吧？比如说预训练、后训练这些东西都会做，嗯。
哦，预训练、后训练，嗯。你们现在有类似之前我跟 I 总结的 A I 的那几个阶段的这种 Road Map 吗？呃，这个目前还没有，对。这个你觉得是要就再探索一段时间，有更清晰的思路的时候，可能会有对。毕竟我们公司刚成立嘛。欧本也有这个罗曼app，也是在他们成立十年之后了。对，对，很久之后了。对，一五年底就成立了他们，差不多是二三年、二四年左右首提的。
对啊，你只要有八到九年的时间吧。嗯，当然了，就是现在这个时间会缩短，因为大家的热情很高涨，然后整个那个过程是变很快了啊。但是应该还不至于快到只要需要半年的程度。你觉得这个领域现在急缺什么呀？你说 RSI 吗？对 RSI，比如说一般来说你要做一个 AI，肯定是要看它的数据是否充裕，对吧？那像做 RSI 的话，它的什么数据是可以用上吗？
这个问题应该说现在还没有定论吧？啊，现在有很多很多方法方法可以做数据，比如说这些数据的这个具体的那个做法，然后它的逻辑，然后它的那个准则啊，它的那个思路啊，现在都不是很清楚，有各种各样的方法可以做，应该说现在还是探索期。可以分享一些大致业界的数据的思路吗？呃，这个我们暂时也不太方便说。所以其实也没有很多人知道怎么做，对对，都是在团队内探索的状态。
现在都在探索吧，不说就具体它是什么类型的数据。我想知道，比如它成本高吗？获得难吗？就目前大家想到的几种方法里面。有难的也有有不难的吧，嗯，但是难的跟不难的之间呢，就是问题在于就是它到底效果怎么样，就是吹到可能难的就是效果好，对对，不难的就是效果不好，对对对。除了数据之外，你觉得还可能缺什么？算力肯定是一部分嘛，就是因为比较重要的是你怎么样能够
I S I 本身就需要一些算力去探索的、去研究的啊，所以，嗯，在这上面其实应该是花不少时间去去怎么样减少算力的消耗，但同时获得更多的成果。
其实你们首轮的融资是很多的，融了六点五亿美元，对这个。在第一阶段，就因为你刚刚说算力也是个问题啊，在第一阶段它对你们来说充足？呃，应该说还可以，对这个数字还是不错的，对可以做一些事情做事情。当然，你要达到像那个御三家的这个级别啊，达到大厂级别，你还有一定距离。你觉得就是？实现你说的那个二赛，就更往下来说，它之后是不是也需要一些 scaling law 之外的新的创新？
我觉得是，因为如果是完全拼 scaling law 的话呢，像小公司是拼不过大厂的，就跟我是跟我们跟人家说的是一样的，对吧？就关于 scaling law 之外有什么方向？你现在有什么想法可以投入吗？现在还不太好说，就是你你就想到了一些，但是要验证，是吗？对，我觉得就是一个大的方向就是可解释性嘛，就是我觉得可解释性很重要。
对对，它能够发现很多的那个 insights，然后这 insights 可以加快这个速度啊，然后同时让这个模型变得更加 safe，但具体是什么呢，我就不好说。其实像 Groking 就是一个可解释性方向的研究，解释了就人们眼中的那种涌现是怎么来的。对，你们之前公司的愿景里特别强调了，你们要在安全的条件下来追求 RSI。
如果摊开来说说一下的话，你觉得 RSI 实现之后，它可能还会有什么风险？风险呢，其实还是挺多的，因为很多人可能问我说啊，如果 AI
能够自我进化了之后，那他们会不会变得很疯狂？你说的很多人是什么类型的人？是从业者，还是有些可能不是这个领域的？其实很有意思的就是说，越越是就是领域之外的人。其实其实问题会越来问的越多，对领域之内的人其实倒没有那么多问题啊，就是说他们不会觉得这个问题太严重，嗯，因为这可能不是一天就到来了，嗯，对，其实现在
AI 还有很多的问题啊，这个问题应该说非常难解决啊，现在还是很大很大的挑战值，但是领域之外的人可能会问这个问题，那 AI 自我进化了之后会不会有一天超过人类控制？
或者说那个达到一些那个一些方向，让 AI 让人类无法无法无法去理解，啊，这个其实是应该说是比较大的问题。嗯，那你一般会怎么回答这个问题了？首先一个就是我们在训练 AI 的时候呢，我们把它当成就是我们当成狗一样的训练，就是说我们在训练这个就它的这个 signal 是相当于我们当年训练狗这样的训练方式，就训练 AI 使得 AI 能够很快很好的服务于人。
能够很好的这个帮助人解决问题。那么在这样的进化压力下，就是 AI 是没办法进化出跟人一样的，就是某些自我意识和这个就是自我认知的这样的一个概念的。啊，我觉得这个是一个很大的一个很大的区别。你觉得，如果要达到你所设想的更终极的 RSI 那种能产生新的创造力和一些灵感的状态？他需要有意识吗？意识和这个事儿我不觉得他需要就这样，不是一回事儿，不是一回事儿。
对，这样不是一回事儿。我不觉得这个东西是一定一定必备的。你其实可以想一想，就是比如说有很多天才的那个，就是说数学家和物理学家，对吧？他们在各自领域上可以做得非常天才，但是另一方面呢，就是说他们也与世无争，他们并不是想要权力，并不想要各种东西，所以就是说这两个部分的这个。就是能力和他的欲求是完全可以分开的，这是第一点。
然后第二点就是说，我觉得以后可解释性是很重要的，因为通过解释性，你可以真正知道模型在干什么，到底什么地方是对起作用的。对的，什么地方是模型系统，什么地方模型利用什么样的能力获得什么样的知识，得到什么样的结果。就是这样的话呢，你就可以消弭人们对这种黑箱的这种恐惧。是不是从业者里也分两派？有的人认为这个东西一定是可以解释的，是可知的。
我可能是少数派吧，就是因为大部分人可能已经觉得绝望了，就是说大模型那么复杂，应该是没没没没希望再了解里面在干什么。对，我就说可能有另一派是觉得就是可知这件事儿，也许是很难追求到的。嗯，是的，很多人是这么想，但是我觉得不是这样子。我觉得一定是有一个有一个好的 principle。能够让这个模型运转起来。
那么这个方面，如果你真的能够找到这个 principle 的话，一方面就是能够让这模型变得更强；，另外一方面呢，就是说能够让模型变得更安全。你的这种少数的相信是来自什么？这个应该说是我根据我过去的那些经验和我过去的一些做的工作。如果展开来讲是什么？什么东西会给你这种？对我，我一直在做一些，比如说关于就是神经网络的这个训练算法的这个理解，对吧？
神经网络是怎么学会各种知识、各种各种模式的？啊，神经网络是怎么学会的？然后，比如说你训练的时候，你做那个梯度下降，那么就是梯度下降会给神经网络动力产生什么样影响？啊，神经网络里面那个权重是怎么生成的？然后它怎么学会一些
pattern？这部各这部分的那个分析，应该说我已经做了很多很多年。你之前也提到，其实，在这一轮 AI 热潮的起点，就是一二年前后，就有很多理论的研究想去解释机制，有从物理里借鉴的，有从数学里借鉴的，对。
但成果都其实比较少。对。这不会影响你的信心吗？我不会影响我的信心。我会觉得，也许我会有，我会是那个少数派，会把它做出来那个人。这还是个挺大的，我觉得知识上和学术上的一个对抱负和追求。你可以试一下，就是如果你没这想法的话呢，你也可能就是随大流。对吧？但是如果你有这个想法的话，那可能就会有这想法往以前一直走，对吧？
你你什么时候开始有比较明确的这个想法了？我应该说是应该说是从二零二零年、二零二一年之后啊，就慢慢慢对这个问题理解更深入了之后呢，我会觉得也许我在一条正确路线上走。那个前后有什么整个技术环境的变化，让你的这种想法？呃，更明确吗？呃，我会觉得是这样，就是至少因为对于我来说，我对于 AI
的一些分析啊和一些工作，那这些工作本身啊，让我我觉得因为这个方向本身我做了很多年了，应该说就一开始呢不是很顺利啊，有很多东西我做的不好啊，但是从那个二零一二一年之后呢，我会觉得这个东西的分析呢和理解呢，我会觉得越来越深入啊，有很多问题的本来想不通，现在突然想通。
所以，因为有这个过程，你会觉得就是我也许在这条正确的路径上再往前走。现在还在追求这个事情的人，你的同行人有哪些？应该说不多。对，因为很多人可能都放弃了。其实有很多人，就包括这次那个满洲友他的那个 Andrew Shawy 那个人嘛。对，叫 Benham。Benham 其实应该说很早以前我就知道他了，因为他以前是做也是做理论的，就是对于模型的分析和理解，他也出发了很多文章。
哎，很多文章还不错的啊，他也是之前是跟很多，比如像那跟普林斯顿那个三九二二经常会合作的，但是很多人就是在这一波。AI热潮之后呢，就放弃了之前的工作，然后直接说“OK”，我们就skin了，skin，skin all all the time。那么他们就他们做别的东西去了。所以有些东西就是，大部分人是可能很多做理论人后来也就放弃了，他们就说他们怎么加入Open AI或者加入其他地方。
他们就就说OK，加入这个scaling up大军嘛，然后把事情做成，就打不过就加入加入。对对对对对，因为像今年年初就有理论计算机的理论科学家加入对对对AI，是的是的是，很多人是这样子。那么加入其实有很多种可能性嘛，一种是当然是说啊，我是有自己的追求的，但是我现在用AI来做这事儿。那么这时候呢，你加入大公司用他们的模型做这事情是很正常的，这是一种。
还有一种说OK，我已经放弃我现在手上做的东西。我就觉得 A I 就是一切，那么他们将来会成为 A I 的研究员，对。还有一种就是说想进去看一下，然后过两年再回学术界，这也是有可能的。我之前采访过的人里面，我觉得马毅老师比较追求这个。嗯嗯，对对对对，是的，他比较追求可解释性，还有百合大模型的一些研究。
嗯嗯嗯嗯嗯，对。但我觉得就是说，一样就是我希望就是以后人类还是有一些多样性的啊，不可能说所有人都追求一个东西。嗯，对。如果所有人都相信啊，我 Skynet
就是一切了，那世界很会很无聊。你觉得乐坤他做的阿米是在追求这个吗？他的追求东西应该说是不一样嘛，就是一个是基于视觉的。然后呢，世界模型，然后在隐空间上做一些推理啊推导，那做一些那个预测，在在这三个点上抓住了之后，他觉得这个方向是正确的，他往这方向走。
嗯，对，这样就算这个方向跟大模型是不一致的，啊，但是他也希望这方向能往前走。但是它的重点不一定是解释性，对吧？对，它重点可能说，他认为这个新的范式啊，能够解决一些现有大模型做不了的事情。它可能更多是工程上的一一个一个方向。其实我觉得你在追求的是，就是你希望把这个东西变成一个真正的科学。对，这个可能是我一个追目标。
因为现在它可能很难说是一个科学，因为有些原理确实搞不清楚。是的，是的，是的，就是我觉得它以后终将变成科学，因为这个应该说是历史一定会出现一个，就是不会重复吧，但是历史会。呃，会某种程度上是会跟以前的那个啊东西相互、相互一些呼应的。AI终将变成科学，是跟以前历史上的什么过程呼应？就跟以前呢，比如说炼金术变成化学。
或者说，从开普勒的这个天文观测，对吧？地谷的天文观测到开普勒的一个总结经验，然后最后到牛顿的一个地心原理，嗯，这个过程一定会发生。科学革命的结构就是从地谷，从地谷到开普勒，从开普勒到牛顿，啊，永远是这样子的。当然了，就是你在牛顿没有出现之前，大家同时会觉得这事情不可解释，太难，你会这样子。那么等到牛顿出现了之后，会觉得啊，这个事情觉得还还挺简单的。
对，你觉得下一个出现的牛顿还是人类吗？不一定，可能是 A I，对吧？可能是 A I，可能是人类加 A I，对，有可能是这样子。所以为什么要做 RSI？就是原因，因为你如果想做这件事情的话，你一定要用世界上所有的那个计算资源和所有的最强的那个、那个、那个大脑，包括人类大脑和 A I 的大脑。把这事情做成，你觉得有生之年会看到图灵奖颁给一个系统吗？
我觉得如果到那个时候，可能图奖也不是很重要了。如果这个系统很强的话，那它可能会在很快的速度获取很多的知识，然后得到很多的结果，就它变成了一个就是 knowledge discovery system。那你可能每隔每隔一个月、每隔两个月产生新的东西，东西非常牛逼。到了那个状态，你觉得人类研究员的乐趣是什么？
比如说你自己的乐趣是什么？你会在做什么？我觉得首先第一个就是，如果能理解 AI 到底是怎么工作的，我会很开心。然后另外呢，就是说如果真的什么是已经不太需要人类去介入的话，AI 能自动发现新的东西的话，那时候呢，你去一个是当然是欣赏它的美了。有很多东西你来不及去做，但是你能至少能看一下。能够感觉一下这个美感，这种有意思的东西可以可以可以被发现。
啊，我现在写还有这种习惯，就是我经常去看一些，比如说数学证明，看一些有意思的这个问题怎么怎么怎么发现的。那么这个发现里面的一些有意思的东西，你发现哦是这么做的，这种豁然开朗的感觉。这个和你日常工作其实不直接相关，是吗？对，这不是相关。但是这本身是一个很有意思的一个过程。这对你是一种享受精神的精神享受活动，对，这种乐趣嘛。
就或者说发现这个这个系统是怎么work的，或者怎么样能够能够理解这里面在干啥。这很有意思的事情。其实最近，AI 系统也就是圈圈有一些证明，有些数学上的突破，这些你去看了吗？有你没有？你觉得比较优美的东西吗？嗯，比如说呢？你有什么东西？你觉得你觉得我愿意去看的？去年的 Google 的 Alpha Evolve， OK，它是应该是有一种矩阵乘法，它减少了一次的次数，对吧？
从多少次多少次缩小到了多少次啊？对对对，是的，嗯，这个当然是就是说就是他把矩阵乘法就换了一些顺序，然后比如说可以少一次加法或少一次乘法，通过这方式呢就减少这个代价。对吧？你真正去看的时候，觉得它还是挺有意思，就是它通过某种方式变换之后，它少一次乘法，嗯，让它那个能够效率更高。哎，那你刚才问就是有什么值得看的？
你的意思就是说，其实可能真的 A I 做出来的东西，目前来说也还没有那么。优美的，你觉得能有享受感的东西，对，就是说很多时候还是要看人做的东西，对吧？因为现在 A I 做东西，很多时候是处于这个树上的那个 level，没到道上的那个
level。就说术和道是不一样的，术是指就是具体的那个细节，嗯，就比如说我们把这个矩阵乘法的那个次数少了一次，那么你当然可以看到，就是通过某种很巧妙的变化，你把东西先加起来，然后再乘。
那么这样的话呢，你可以减少一次乘法的次数，加因为你加完之后再乘呢，那其实是就是说你同时相当于同时把很多都乘起来了，对吧？你同一一次一一次乘法可以乘，相当于乘四个数字。那通过这方式呢，可以算出一个比较强的数字。那么这个相当于说是，应该说是在高空中做个穷举，然后找到一个穷举的一个好的结果。但是道呢，可能另外一种，就是说你发现一个新的理论，或者发现新的这个逻辑或者新的链条啊，这个东西呢，它本身是美的，但这种美的你以前没有见过。
啊，是不一样的东西。那最后这部分想聊聊，就是你过去的一些经历和你现在做的事儿之间有什么关联？嗯，包括你过去的哪些选择和学习，让你走到了今天这种探索的状态？就是我看你过往的经历，我我觉得比较重要的转折是你之前在 Google X 的时候，其实做的是无人驾驶的工程师嘛？嗯嗯嗯，那个我理解是更偏工程的。对。
然后后面你去 Meta 最开始去 Fire，他就又回到了一个更研究的状态。当时为什么要主主动有意识做这个选择？对，因为一个是当时工程表不了，对，当时应该说恰逢，就是深度学习的一个变革期嘛。是一三一四年的时候，一三一四年的时候，对吧？因为一三年的时候我加入谷歌无人车，当时一开始呢，应该说是比较兴奋的，对，因为一个是这个方向本身是一个。
比较大的视野，嗯，对，大家会觉得哇，无人车这个方向以后肯定会很火，而且那也很早期，无人车很早期的时候，对吧？但是呢，就是当时我也有想法，因为当时我也知道深度学习已经开始起来了啊。当时我其实非常希望能够在无人车内部做深度学习这个工作，比如说你用深度学习这个算法来训练一些无人车的一些分类器啊什么的。但是很可惜，在那个时候，一个是我没有这个时，没有这个资源做这个事情，因为当时资源很有限啊，当时
GPU 很少，有限的时候这些资源都会分给一些比如说比较幸运的人。
对他们先去用它，啊，那个像我们这样的人呢，就相对来说就只能做些打杂的工作。这打杂工作可能我能我能看到他没有，对我来说没有什么职业的发展一个一个一个前途。所以一三一四年你入行的那会儿，它和现在不一样的一个氛围是说，那个时候那个时候年轻人没有那么受追捧，是吗？因为还是一个比较论资排辈的过程嘛，对吧？因为谷歌内部还是有很很很很清楚一个级别上的一个一个分界，就是说级别很高，比如说当时说啊，我们当时组里面有个级别七的人。
那么级别七的人，他就能获得一些比较好的这个自由度，他能够可以用，比如说做深度学习，用深度学习来训练一些模模型。但我刚刚进去的时候，级别是四。那么，对四的级别的人来说，他只能做一些打杂的工作。你觉得在那个技术阶段，就是当时的环境下，级别高的人他和级别低的人，谁更了解正在变化的深度学习的浪潮？实际上。其实那个时候应该说，就是年轻人还是比较容易接受的。
但是很多时候不是说是学习上的那个一个区别，而是概念上的区别。就是很多高级别的人或者很多就是很老的那比较老的人，他们拒绝学习技术学习，为什么呢？是有他们下意识觉得这东西不行。或者这东西效果不好，或者说这东西有很多猫腻啊，有这样的一个一个想法。那么要等到就是两三年之后，慢慢慢慢人他们大家会开始一个意识到这东西是个变革。
那么然后今这次大模型出来之后呢，一个数量上不一样也还是还是存在的。对，还有一个另外维度呢，就是说年轻人动作很快，年轻人愿意熬夜，年轻人愿意把事情做成，对吧？很多时候也不问任何的想法，我就说我干就干就完了。那么那大模型确实需要很多很脏的人。因为没有横向的能力的话呢，你就没有办法知道大模型很多问题。那回到就是当时你说在 Google 做无人驾驶的工程师，你觉得有点无聊了啊？
对对对对，就是一开始新鲜劲过去之后，你会觉得就是工作做的东西可能对我职业发展没有什么太大太大有利的地方。哎，我当时是要做一些就是紧急车辆的检测吧，对这样的一个问题，因为这个问题本身一个是它是小样本问题。样本非常少，然后少到就是说你连个分裂器都预都都都训练不出来，你肯定需要就是手工写写规则，嗯啊那样的话，我觉得做下去是没有没有没有没有什么前途。
确实，这个行业后面有很长时间就是很多东西就是就是手动写的，如被啊是的是是对，就是当时我对这个行业的判断也是也是对是对的，因为这个行业一个问题是他要不就是成功，要不就是完全不成功，他没有没有中间状态。就是如果这个在车上在路上是有风险的话，大家就不会用它。那么你就必须得一直做，就做做到最后，就是产生这个无风险，就是比人更强，才能产大规模上路啊。
所以这个其实是很大的问题。所以一三四年的时候，你就看到说它其实可能很晚才会落地，是吗？对，因为我已经感觉到了，就是它有很多 corner case 要修。然后 Control Case 的修法呢，应该说是一个非常漫长的过程。那在一五一六年的时候，就比如说你看到马斯克，包括当时 Google
后来成立的 Waymo 的一些 leader，其实啊，我其实就在 Waymo，对，Google X 后来就是在 Waymo
嘛，对，就是其实他们都有一些很乐观的宣言啊，嗯哼，就比如说什么一六年这个车就可以上路的，嗯，这个我已经当时我已经已经已经应该说已经免疫了吧，因为他们每次都这么说，嗯，永远是还五年，就是特别是当时二零一一年。
听说这个事儿的时候，就说有五年，然后等到我进去二零一三年时候还有五年，然后现在可能还是要需要五年。现在在旧金山，在 L A 已经在路上跑了啊！对对对，嗯。那你后来去 Meta 费尔，因为你之前在 Google X 的那个经历是更偏工程嘛？嗯。你去费尔是更偏研究，这一步跨的难吗？其实应该说不难，应该说是，其实我在费尔的前几年还是偏工程的。
对我们当时做围棋嘛，对围棋的时候，我很多时候也是我自己搭工程项目，就从头到尾搭一些，比如搭这个蒙特卡洛斯 tr 那个 research，对吧？搭这个系统，嗯，分布式的啊 reinforcement learning 系统，这都是我自己搭的，所以这个很工程。就当时也是被人，就是说，当时我记得就是当时给我评价还是说，就是你觉得这个人太工程了。
不像一个研究员，别人开打开电脑全是那个文章，我打开电脑全是代码。嗯啊，当时有这样的一个评价。那么当然后来我在二零那个一八年一九年做了我们的那个就Open Go之后啊，就是那个是当时战胜韩国的一个专业棋手啊，对，当时打他们个二十比零嘛啊，所以做上这之后呢，其实后来就更更偏研究一点。当时慢慢就应该说从二零一九年开始到二零。
嗯，二零二二年慢慢形成了自己的一些 taste 吧，对，就是我有感觉上我知道怎么做这事情。这个事情是不是你之前就是比较工程化，然后写很多代码的经验也是有帮助的？就后面的一些 taste。对，当时看起来帮助不是很大，嗯，因为是不一样的，就是你会明显感觉到就是那个写代码和你这个做这个研究，它其实完全是不一样的东西。
那现在。现在现在再回头看，现在还是不一样。现在还是不一样，因为就我们最开始聊的时候，你不是提到说，在去年八九月的时候，秋天的时候，因为你一边又很旱燥嘛，然后你又有做研究，其实你有些问题意识，对，所以其实让你能更快的感受到，就是这个加速的研究的循环在到来的。对对对。是的，你觉得这和你当年就是有比较多的一手的写代码的经验有关系吗？
啊，对，其实应该说，就是就算在二零二二零一九年之后，我还是会很多写一手代码。就是说，你会发现我每年还是有一至少一篇的一作的文章。当然，很就很多这样的文章，很多还是偏理论的。但是呢，就是至少还是会有一个一手的感觉。啊，这问题怎么做？那问题怎么做？啊，就是说不会说是就是泛泛而谈，因为如果很多人，如果有一个研究员，他一直是做最后一座或者做那种就是高层的这个思考的这样角色呢，他很多问题就是他会慢慢的把所有的精力都花在高层思考上，他不会去想这件事情怎么完成。
那么这样的话呢，他就会把很多的难的问题和比较难的问题和非常难的问题混在一起。就他没有一个特别清清楚的思路，说这些问题怎么做，这个是一个表达的问题。为什么不做实现，不做完成，就会把你刚刚说的不同难度等级的问题混在一起？我因为就是说，如果你不做实现，不做完成的话，那你就会不记得去思考这个问题本身要怎么做。
因为更多的问题是，因为有两类研究员，有一类研究员说，OK，我只看方向，啊，这个方向我很重要啊，我就我就只方向。但但是，走完这方向之后呢，他被我想太多，这个方向是怎么做出来的？啊，这个问题可能会交给下面的人去做。那么对研究员来说，他只要把方向指出来就可以了，对吧？所以这个逻辑是不一样的。比较接地气的人来，研究员对他们来说呢是，他就指方向，然后同时给大家指出来，就是这个方向为达这个目的，你必须走一二三四五。
然后把这些东西拼起来之后，推到这个方向，对吧？你觉得这两类研究员里面都有非常好的研究员，还是你觉得对非常好的研究员都有？对对，可以分别举举例子吗？比如说你比较 respect 或者你比较欣赏的两类的研究员都有哪些？你比如说前面那一类吧，比如说像像一样吧，对吧？乐坤，乐坤这样的，乐坤是就是说 OK，比如他他说他想要做的是 CF super 能力。
所以，未来伦理就是说，就是自监督学习。那么，自监督学习有很多细节，对吧？你很多东西要要去尝试。但看到有个点很重要，就是数据的那个样本，是它的是不是有监督的样本是很少的。非常少，那么，所以他当时不是画了一个就是一个经典的蛋糕嘛，嗯，就说，所以就是当时他把 reinforcement 放在最上面，
put it on the on top，因为 reinforcement 他他他的眼睛里面呢，他觉得 reinforcement 它那个它的反馈非常非常少，嗯，强化学习，非常少，所以他不觉得东西有前途，啊，他觉得有前途的是自监督学习，为什么呢？
因为自监督学习的反馈非常非常多，啊，这个本身是有道理的，但他不会去想，就是这件事情这个监督和反馈究竟是怎么样让这个模型学出来的。啊，这个问题他会去想，就是说，建多多建多少，建多少一定比建多多要差啊。建多多的话，这个模型学得更快。他抓抓住这一点不放，他就会他坚持到底的话呢，他就会他就会让大家觉得，嗯，这个东西有道理，然后他别人就会做它。
那么确实，自动学习在那个在之后是有很大的那个用处，啊，甚至你可以说 GPT 的整个训练过程。也是自学习的一部分，对，因为它预测下一个词嘛，就是自监督嘛。所以就说，就说方向上，就说它指的好的话，那确实有很多人可以follow它做。所以就是第一类研究员的优秀的典型是，他能去提一个问题，提个好的问题，提好的问题，然后抓住好的点，开一个好的坑，对吧？
对好的坑，对那个方向是是可以做的。那么提出这样的一个思路，就是就是可以的。还比如说，就是像我们这边以前投的那Coconut。嗯，对，这个东西其实应该说也是一个一类问题，一个点，一一个一个一个一个范式吧。就是说，可能很多人在反过来说啊，这个东西并不怎么 work，或者说那个又很需要很多技术去去解决啊。
但是至少至少指出了一个方向，说我们是不是可以用那个隐空间的那个图谱来学习，对 latent reason，而不是说是用语言来学习。那么这个本身的提法能够让大家觉得这个方向可以做。那么具体怎么做的？那么很多文章在做。那么这也是一种第一类研究员的这种这种视角。那么第二类研究员的视角就是说，我不仅要知道做什么，知道怎么做。
那么这就是就是我的很多工作是这样子，就是我们要去把机制解挖出来。找到他的这个路径，在路径上能够把事情做成。你觉得像伊利亚和 W 他们属于哪一种？伊利亚、W 应该都属于第一类的，都属于第一类。对他们就是说，特别是伊利亚，他对于 Skill 有一种就是应该说是执念吧，或者说有非常非常宗教般的信仰。他让大家觉得就是你别想太多了，你就是 Skill，Skill，Skill，Skill。
然后你有时间把工程问题做好，然后把事情做成了，然后我们就把数据放进去，然后训练出来。我看他去年底接受采访的时候，他倒是有说过，他觉得房间里的所有。对，有点类似吧？他就说，房间里所有的空气都被 scaling 给吸走了。嗯嗯，对对，他觉得应该去研究点别的啊。对对对，这当然是这个也是也是我我我会我非常同意，对吧？
非常同意这一点。对，因为他之前的 skill skill，他这波红利已经差不多吃完了嘛，对吧？因为不管怎么样，任何一个研究方向，它都是有底的，就不是说是你可以一直 scale 下去的。他当时在正确时间是正确正确的那个地方，提出正确的一个一个一个一个想法。并且让很多人去执行它，然后成功了，又本来成功了，对吧？
非常非常成功的一个一个一个方向，但不可能他这一辈子都是吃这个方向的。这应该说这跟以前不一样了，因为以前可能一个物理学家一个方向可以吃到他那个退休。那么现在这个进展是非常快的，可能很快就大家把事情做成了，那么他就必须想别的东西。所以你要说这个红利就吃到了，是指作为研究来说，可能已经就已经不在研究的阶段了啊，这是一个实现就啊不是应该说不仅是研究，而且实现他都已经吃到了呀，对吧？
然后接下来就是说你可以继续吃嘛，但是他作为他作为一个 startup 的那个 CEO，对吧？他也没办法再去 sell 这个事情，为什么呢？因为对 startup 来说，你继续 sell 不是他长项。对吧？如果就现在你看，Google 都已经 scale，然后甚至 OpenAI 都快 scale
了，那么在这种情况下，你的 startup 就方 form something different，或者说反过来说，是你确实看到了什么事儿。
不一样的事儿，你才应该去做一个啊，是的，是是，你才应该去创业。对对对，否则就是你要说，如果你非常相信scaling law，那你在你就应该在大厂，对你去solving the problem in
AI。对对对对对，是的，就是其实，在Meta的最后阶段，因为那个整个公司也有比较多的动荡嘛，然后整个AI组织也有比较多的变化，Meta自己的模型也经历了Llama开源本身开始口碑比较好，然后后面又出现问题的这个过程。
这个过程你有一些什么？组织层面，或者说怎么做好研究的总结吗？我觉得其实应该说是不是这样，就是大公司，因为现在这一波 AI 都是反大厂的。什么叫反大厂？就大厂里面所有的 incentive，所有的这个职级，然后所有的就是人和人之间的关系，或者说所有的那些那些岗位的调配和这个设计，都是跟现在 AI 的这个方向背道而驰的，应该这么说。
所以你会发现，一个一个一个组织越来越臃肿，越来越大，那么它对应的这个 AI 的进展会越来越慢。为什么呢？就是刚才我说了，就 AI 非常需要，或者现在大模型非常需要人去很脏。就是知道，就是我真的去用它，真正去感受它，真正去就是发现它的问题，你就你会很好的指导它应该怎么去跟我们的这个概念那个不一样的地方，然后然后很快的把这事情做成。
一旦就是产生了这个经理和执行者两二级架构之后呢，这个速度就变慢了，就跟我说刚才说是一样的，就是导师和学生，一旦有这样二级关系，整个的这个进展的速度就会变慢。因为导师没有办法就去了解学生百分之一百做的东西，然后学生也无法不一定理解百分之一百导师的那个想法。连接掉的速度永远是最慢的，对不对？所以就是这样的。
那么大厂有这个问题，而且大厂很多时候就是，特别是中层管理，他们的那个目标不是为了让项目做成，很多时候目标是为了让能自己能够过得更好。那大厂你的小团队能独善其身吗？比如说新组建的TBD Meta的TBD，它人数其实相对少，没有那么多人，其实可以，但是就是也要看嘛，就是但是一个一旦这个组一旦变大了。一旦有很多一开始还是有知己有中层管理的时候，又开始有问题。
你觉得多大算大？就是你看，就是以前 Llama 4 和 XL 都是超过一百五十人之后，就开始不行了。超过一百五十人就不行。嗯，对，所以一百五十个人，就是说从那个人类组织学上来说，一百五十人是一个临界点。就是再往上的话，人和人之间的关系就不一样了。就以前是比如说你一个三十人、四十人小团队，每个人都认识每个人。
那么人和人之间关系是非常简非常简单的，但一旦人变多了之后呢，就会有问题，就是因为人和人之间不再相互认识。啊，这个时候一般是通过就是组织架构，然后用组织架构去获取这些知识，然后汇报于上面。就它可以核的那部分保持在你说的这个量级，对吧？其实像 Arpit 和 OpenAI 人都挺多了，OpenAI 有七千多人了。
啊，对对对，但是就是 OpenAI 做模型的人其实也不是很。就是最重要的是这个做模型的人，对吧？有没有很小的团队？就像 Clara Code 这间团队很小，就它核心的那一部分是收缩的，是精炼的。啊，对的，对的。那你们接下来肯定也是在一定时间里是会比较精炼的一个团队。对，我们不会不会招太多人。最近会有人在 Frontier Lab 和你们之间选择你们吗？
其实有一些人还是从 Frontier Lab 对我们有兴趣的，就你们在聊，或者有的已经加入了。对对，但是你们创始人里面很多是是本来就是的。是是。如果总结下话，就你过去的这么多经历啊，给你带来的直觉判断，还有技术上的品味是什么呀？你的偏好是什么？偏好我还是喜欢美的东西嘛，对吧？我喜欢就是我觉得我本质上来说应该说是一个喜欢喜欢数学的人。
喜欢数学。对，就是我喜欢各种精巧的结构，讲到美的东西应该是这样子一个。但是同时呢。另外一方面呢，就是也是意识到这种偏好的一个局限性，这样的一个人，就是一方面我可能是个工程师，我会做很多工程上的东西；，另外一方面呢，我本质上来说我追求美的一个人，对吧？但是追求美，但同时也知道美的局限。这个局限展开来说是什么呀？
你做工程师是你认知到这种局限之后，你试图去弥补这个局限的一种方式吗？对，就是说，应该这么说，就是理想和现实之间的碰撞嘛。就是对理想来说，我们希望很找很美的东西，但是世界不是这样子的，所以你要不停提醒自己，就是说，很多时候你不能陷到美的这个幻觉里面去。你要做一些事情，就是可能对大家都有用，然后对世界都有用，或者说对公司都有用。
不是很美的，但是同时在这个条件下，还是要去追求美。你觉得像 RSI 这个方法，它第一步是在 AI，然后后面是自然科学，这是大家能看到的。那再往下，它能进入你说的这种更复杂的世界吗？比如说，它有可能？去怎么改良社会科学的一些理解和认知吗？我觉得这是有可能的吧，但是应该说我对社社会科学的认知也不是很多，所以我很难给任何建议。
因为社会科学，反正至少在以前的学科分类里，它也是把它算成了science的一种，比如像经济学里面其实有很多统计的东西，有很多数据的东西。是的，是的，是因为这里面就是说，这跟自然科学的很大不同的地方是，自然科学本身是默认这个信息是完全透明的，但经济科经济很多时候是有反身性的。就是我把这句话说出来，这句话就不灵了，对吧？
所以这个事情也很难讲啊。所以我觉得，嗯，我们这个问题还是很大的问题。你刚才也提到，就是以前的一些科学家，比如说物理学家，他一个领域可能会研究一辈子。然后现在因为整个技术变化的很快，很多事情你不是能一直做到头的。你能预见到，说自己在这个旅程之后，你。接下来想探索的东西是什么？一个是说 RSI 什么时候可能到你设想的比较成熟状态，一个是你往再往后你想探索什么？
我觉得现在我们还是先把 RSI 做好吧，对我们不会考虑其他问题。那今天非常感谢田园栋做客晚点聊，分享了 RSI 这个在去年下半年你们开始组建公司的时候还没有那么多人讨论，但到了今年的四五月已经成为硅谷的一个相对共识性的热门话题的领域。然后我们也回顾了说从十年前就有一些相似的尝试，到现在 RSI 有了什么变化，以及各个主要的公司的进展，尤其是你们刚刚在六月初发布的你们的第一阶段的成果。
嗯嗯，那今天节目就到这，拜拜。嗯，谢谢。本期点点呈现，讲一讲最近几期节目里关于 RSI 的一些共同讨论。这段时间，AI 研究自动化和自进化这个方向，让我想到李白的一句诗：“脚著谢公屐，身登青云梯。”正是穿着谢公屐，李白在梦中忽然就来到了天界，看到仙之人稀列如麻。这双谢公屐，无疑就是模型的 coding 能力。
在一百七十一期和亨瑞聊二季度 AI 报时，那期的标题就是“从 coding 到 RSI，强者愈强的未来？”问号。另一期较多展开 RSI 的就是上一期节目。一百七十七期详解 Kimi K3，K3 的技术报告里就提到，Kimi 用 K3 的早期 checkpoint，就是他们早期的大模型版本，已经能做 kernel 的优化，也就是这期里田园栋提到的算子优化。
RSI 这家公司今年六月发的第一批成果里面，有一个就是在英伟达今年刚推出的 SOL Exact Bench 上取得了 SOTA 结果。这个 bench 就是用来测试算子优化能力的。在 K3 那期节目里，我们还聊到了田渊栋所在的 RSI 这家公司去测的另一个 bench，就是 GPT Speed Run。
这是 Beyond 这个优化器的开发者 Jordan Keller 两年多前发起的一个项目。之前主要是人在做，而现在越来越多是变成 AI 和大模型来做。我们当时也讨论了一个小小的畅想，其实 AI
也非常适合来自动化的优化优化器本身。这三期节目里的一些共同观察都指向一个事实。就是在一些具体的模型训练任务上，RSI 已经发生，而这主要是因为模型的 coding 能力大幅提升，这自然带来了一个推演，就是目前掌握最强 coding 能力公司的 Anthropic 和 OpenAI 是不是会更快的进入
RSI，也更快的进入一个加速度越来越快的状态，而把其他对手越甩越远。
田渊栋在这些节目里讨论的另一种可能性，那就是智能提升的曲线是会有台阶的，会有阶段性的平台期，而不一定是渐进式的。也就是说，曲线不一定是平滑向上的。如果是后者的话，那确实绝大部分机会都会在现在已经最强的公司的这一边。但如果 scaling law 再往前推进，不管是在技术和理论上，还是在一些其他现实限制上，比如能源和算力上会有束缚，那么就可能需要新方法的加入。
而原创性的想法现在还不是靠越来越强的 coding 就能马上解决的，它至少是一个变量。你会更相信哪种未来呢？本期节目就到这里，欢迎收听。如果你对今天聊的话题有观察、好奇或疑问，欢迎在评论区分享想法，这也会成为我们节目的一部分，让整个讨论更完整。你也可以把我们的节目分享给对这个话题感兴趣的朋友，欢迎推荐更多你想听的主题和嘉宾。
你可以从小宇宙、苹果 Podcast 等渠道关注晚点聊 Late Talk，也欢迎关注我们的公众号晚点 Late Post。下期再见。