如果开源模型一直在进步，那这波创业公司有机会。如果你要说开源模型不进步了，我觉得这波创业公司就只能回到研究时代。所以 OpenAI 在做的事情，算上 RSI，有一部分的边界是在这个 RSI 里，但它是完完全全是 AI for AI 的。RSI 真的会比我们想象的更快到来。像 Sam 奥特曼，其实，在我眼里是比 Dario 更加 care about 人类的一个人。对，但是小渣又是比 Sam 更 care about 人类的人。啊。所以他的一个观点就是，他可能深知日本的这个资源是有限的，然后他会觉得说，我肯定没办法去拼算力，去拼 scale。
大家好，欢迎收听今天的飞镖玩家，我是雨桐。今天我们要聊一个当下硅谷最最最火的一个词，叫 RSI，递归自我改进。一句话概括就是让 AI 学会自我改进自己，并且让下一代 AI 比上一代更会改进 AI。这听起来还比较遥远啊，但是不管是 OpenAI 还是 Sopik 还是等等等等大厂，他们都已经把 AI 用进自己的研发流程了。与此同时呢，今年国内也已经冒出了一批 RSI 的创业公司，VC 的钱已经比我们的讨论更早到达 RSI 了。
所以呢，这一期我找到了一位已经把国内 RSI 项目基本聊过一遍的投资机构的行业总监。我们想把这件事情彻底聊明白，RSI 到底是什么？为什么偏偏在今年火了？那中国和硅谷说的 RSI 到底是不是同一个 RSI？OpenAI、Anthropic、Google 包括斯卡纳在内的这些公司，他们分别走到了哪里呢？以及如果大厂自己就在做，为什么还有这么多创业公司能拿到钱？
如果未来 AI 真的可以参与下一代研发，那么 AI 的进步还会继续按照今天的速度发生吗？今天我请到了沈老师来跟我们一起聊一下最近硅谷特别特别火，然后国内。我相信马上就要特别火的 RSI 的概念了。Hello，大家好，我是沈晓，我目前是在星联负责行研，然后也做一些团队孵化的工作。
我说的所有话都不代表机构立场，然后我讲的这个有失偏颇的地方，也欢迎听众朋友们帮我来纠正，帮我也自进化一下子。当然也不是自进化了，可能就是跨进化，监督学习。对，帮助我更好的学习。我觉得也不能说中国没有人关注，只是说我觉得在目前的社交媒体上，大家讨论相对来说是比较少的。但其实亚兰跟我说过，说你们已经扫过一圈，其实，在 VC 这个风已经吹过了，是吧？
可能不能完全说它吹过了，但就是今年上半年确实出来了蛮多团队来讲这个 RSI 这件事情。现在也有一些新的团队吧，包括应该还有一些团队在出现，也在融资。嗯，但是本质上其实我们上半年已经出手了好几笔了。对，我昨天刷小红书还看到两家新成立的 RSI 的公司，它会不会有点像世界模型这个概念？就是最开始的那一小撮成立的时候。
当然，我觉我觉得世界模型为什么会我会用世界模型类比，就最开始的时候刚刚 Q 到世界模型这个概念时候，确实是都是在认真做世界模型的公司。可能像你们机构也当时扫了一遍，但后面确实出现了越来越多跟风的事件模型的公司。所以我在想说，现在 RSI 会不会在这样的一个阶段，就是马上要有比较多的跟风的人出来了？因为现在硅谷确实 RSI 这个概念，我觉得是最火的吧。
其实老实讲，我觉得硅谷吹这波 RSI 的风，应该从去年就开始了。这也是为什么，就是今年我们看到年初的时候就有国内的团队出来讲这个事儿，然后包括到年终的时候，可能更密集的有很多团队出来讲。可能从他们出来讲，到往前倒，就是他打算创业开始，这个里面还是有一定的时间的延迟的。但是你要说是不是到了一个大家开始就像世界模型那么疯狂的程度，我觉得目前从我自己的观察来看，应该是没有的。
反正你帮大家厘清一下，就是 RSI 到底是一个什么概念啊？首先，我自己在查一些资料的时候，会发现它本身它就囊括的内容，或者说它是分层的嘛，以及确实它一个概念火了之后，它就会出现很多来，你不能说是蹭这个概念，它可能就是是实现了其中的某一阶段啊。比如说什么 self improvement，然后 AI for AI，然后 AI scientist 这种的。所以你可以大概讲一下，就是你心中的这个 R S I 应该是什么样？
我觉得 R S I 本身其实能够从它的这个概念，就是谜底在谜面儿上吧。这件事儿，首先如果要拆开两个词儿的话，就是一个是 recursive，一个是 self improvement。本质上，比如 self improvement 自进化这件事儿，其实就是它很明白的一点，就是 A I 要学会自己成长嘛。比如说，他可能要能给自己设定目标，然后能去按照目标去实现学习、执行学习，然后他能有结果的评价，然后来看他的学习成果怎么样。
然后完了复盘，再进入下一轮的这个学习的 loop。让自己改进，然后 recursive 为什么也其实是一个很关键的点呢？就是你如果说这个系统只是一遍一遍重复这个单一的学习的循环，其实它的复利挺少的。就是相当于他自己是需要他的改进循环本身也要有改进，这就要求他可能学的越来越快，这是其中一个维度吧。就学的越来越快，无论是效率高还是说他可能未来学的水平一样，但成本更少，就这些维度都还蛮多的。
但核心就是他要递归嘛，递归自进化，就是说他要一轮比一轮学的更好。所以它要分成两个层面来看，本质上其实最粗暴的理解就是说，AI 自己改善自己，然后一代比一代强，而且在这个变强的路上的话，它可能改进自己的手段也越来越强。它会分几个阶段吗？当然，我们提到有自动驾驶，其实它也有 L1、L3、L1 到 L4 的这个概念吧？你觉得 RSI 也有吗？
我觉得这个其实会回到可能你怎么去看 RSI 这件事儿。就比如说我们刚刚其实就已经提到了，它可能是有比如说一遍的改进，然后也包括它这个改进手段本身的改进。所以如果你要分他改进的，因为我们平时看 RSI，其实其实很多现有文献说的也蛮清楚的。比如说二五年的数据有两篇文献嘛，就讲这个 self improvement。包括大语言模型的 self improvement，怎么去划分维度，怎么去分类？
其实就有三个很显著的维度，就是 what 问号，就是比如说你 what 就是你进化的东西到底是什么？这个就像我们刚刚讲到，就是你问我的那个事情。还有就问就是什么时候发生进化？然后这一会儿我们也可以提一提。最后一个就是 how，就是你通过什么样的机制来进化？你比如说 what 这个点，就是像你刚刚提到它会不会分阶段？
其实从我自己直观的感受来讲，比如说在研究侧，它其实没有分阶段的，就很多的这个方向上都有不同的团队在去探索，啊。包括创业上，创业团队可能也在做同样的探索，所以一定程度上它是并行的。但是有可能阶段性的区别是，就比如说它越闭环，那这件事儿可能越难。越难的话，它就意味着它实现的周期会更长。我们先讲 what 吧，就是它进化到底是什么。
就如果说我们按照现在比较常见的一个分类方式，就是把一个 agent 系统或者一个 AI 系统分成 harness 和 model 两个层面来讲，就是它有 harness 层面的进化，然后它有 model 层面的进化。那 Hanes 层面进化，它其实有分，因为 Hanes 我们讲它可能，比如说像这个模型之外的一些脚手架呀。或者是 Scale啊，像这个各种东西吧，它就有这种组件，或者说还有这种外部的记忆呀。
像这一系列的东西，它本身这些不同的独立的组件都是可以自进化 的。最开始，反正大家聊的最多的可能就是 scale 层面的自营化，就是我用户在跟这个 agent 不断的互动过程当中，agent 能不断的学习用户的一些上下文。比如说这个用户的平时的工作的偏好呀，或者是一些其他的跟这个任务本身有关的上下文。他学进来之后，他可能就会去跨会话去总结一些 scale，就沉淀下来。
就是用户下一次在执行同类的任务的时候，他就会自己主动去调这个 scale。这个可以理解为 scale 层面的一个自进化。然后像这种组件还有很多，另外就是除了这个组件的资金化之外呢，像 Honey 层面，它本身比如说前段时间可能也有蛮多 work 出来，就是讲这个 Meta Honey。就是说，这个 Harnes 本身，它整个的这个 Harnes，它 Harnes 框架，它也可以自进化。
比如说，像决定一些组件什么时候该变，然后怎么变，就是相当于是更高维度的吧。但这个 Harnes 层面，它本质上就是不太涉及到模型参数的更新。就是我不会拿去更新模型本身的参数，我可能还是稍微会停留在这种 agent 执行层面的一些进化，让它更可靠，或者是任务做的这个效果更好。然后，像模型层面的更新的话，其实又还是会分一些这个程度吧。
就比如说，可能大家现在听到有一些团队会拿去做这个 Lora 的微调，相当于你可能我收集了你这个就是真实环境啊。真实的这个任务场景里面这样的数据。可能去做这一方面的微调的工作，但这个其实也是还没有走到更进一步，就是因为它最后的那个基模，就它使用的这个 base model，其实它的参数是没有变化的。所以从这个层面来看，你 scale 的进化其实很简单。但是如果你要做 meta harness，你可能涉及到的很多。
因为这个里面我们讲就是你是根据什么样的进化，你可能有 data，然后有有 loop，还有 verifier。可能每个阶段它涉及的难点都不一样。所以有的就是你可验证性比较强的，像这种 scale，然后给 ground truth 这种反馈又很直接的。然后反馈周期又很短的，像这种东西它就会很容易实现。你刚刚说的，比如说像 scale data，它们不同阶段的难点不一样，就实际上它们会有哪些不太一样的难点？
比如说，就你的进化目标很明确，然后你这个验证起来又很简单，它就会很容易。你比如说，你这个 scale 你这一次执行了，你发现它失败了，那你总结就 AI 它可以自己总结这个失败的原因是什么，然后它可能反馈到它的 memory 层。或者是直接返回更改这个 scale，它就会直接实现，就是下一次你再用这个任务的时候，我的 scale 就已经调好了。
因为它反馈路径又很短，然后又可以验证，因为你这个东西就是说你的任务到底一次任务有没有执行成功，它是个很显著的一个验证的闭环。但如果说你要更高层面上去看，你比如说我要做 meta analysis 上面的工作。那你这个考验呢，就是说你整个这个 Harness 这个框架，它本身给你带来的收益是不是越来越高的？那你这个可能甚至都还没有一个很明确的对很明确的这个标准去衡量这件事儿。
在你看到的，就是国内有在做哪些方向的创业公司吗？有明确的区别吗？你自己可以给它归一下类。有一些吧，就是可能大家想要实现的终局一样，切入点不同。因为终局大家肯定都想做这个实现 RSI，然后无论是大家所谓的什么叫下一代模型，还是叫做实现什么持续学习的梦想。还是说各种其他方向，比如说做一个完全自主的 AI scientist。
我觉得最终大家想达到的那个目的肯定是超智能，就是 AGI 之后的超智能。嗯，但你说切入点不一样，切入点不一样，对。有的团队可能就从 AI for AI 开始，你比如说海外有的团队就是 AI for 芯片设计，嗯。国内现在也有。从这个角度去切入，那这个不叫 AI for Science 吗？它确实也能归到 AI for Science 这个类别里面。对，就看最近哪个概念比较好融资，我们就叫什么名字。
这个可能从讲故事侧是这样来说的，但是确实一个新概念的诞生到它真的成为一个内涵边界很明确的时候，可能需要长时间。嗯，你比如说 World Model，其实本质上它就是一个大包大揽的概念。只是因为大家对这件事情的这个认知越来越多，或者了解越来越多，发现哎，好像好多的概念都能包进去。你是说事件模型？对。
然后这个其实也一样，就是它可能概念跟概念之间的区别也不是很明确，然后内涵边界也没有那么明确。可能只需要抓住那个核心的重点，就是只要你满足这个概念目前所，就比如充要条件嘛。就是这个必要条件你得先满足了，嗯，你才能说这件事儿。所以 RSI 本身也是这样，但是要满足条件，可能就是首先 recursive 你得做到，然后 self improvement 你也做到。
对，就我觉得确实，因为现在毕竟也都还没有实现 RSI，所以大家都是以这个终局为目标。那我们也不能正真或者正位，就是说它到底是不是最后能实现 RSI，这个还是路上还是有很多可能会发生的事情的。你刚才说到的一个方向是 AI for AI，还有什么别的切入口啊？嗯，别的切入口。
比如说拿这个小模型去预测我 base model 怎么样进化，朝某个方向上进化的效果是怎么样的？嗯。这个其实因为我自己对那个项目呃了解不是很多，但大概它是这么一个思想，就相当于用小模型去更好的做这种大模型进化的这个预测。然后从这个方向切入的，然后还有一些，它更多其实讲的可能是持续学习的概念。
它切入的点，比如说像这个从 R L 环境的构建，然后包括这种长程任务轨迹的数据的这种构造，嗯。或者是处理这个角度去切入的。哎，我昨天刷小红书，刷到就是有人吐槽说某 R S I 公司实际上是 RL。其实是在做 RL 怎么怎么回事儿的，但是我确实觉得，你说他们俩之间的界限到底有这么明显吗？就 RSI 对。
就像我们刚才聊到，它是一个终极的目标。你觉得，比如说像这种以 RL 这种切入的，这怎么说？这个其实会回到说，我之前讲过，就是 self improvement 这件事儿不新鲜。然后包括其实 RSI 或者乃至 AGI，呃。还是说超智能，其实它都不是一个新鲜的概念。嗯，我自己其实最开始了解这个 AI 的时候，当时我找到一张表，大概是，我得回顾一下。
嗯，对，这个表回头我们会贴到 show notes 里啊。就是它其实 self-improving AI，其实本质上它是跟大家所谓的这个超智能也好。或者说跟人类同等水平、超过人类水平的这个智能，它是一脉相承的。比如说，我自己在梳理这个领域的时候，提取这个概念，就 self-improving 这个概念。至少可以回溯到八十年前。对，它就是这么一件事儿。
然后包括后来的这个古德曼机器啊，就是这种一系列的东西。它其实，比如零三零六年的时候，古德曼机器就讲的就是说，感觉大家会把它定义成一个经典的 RSI 的一个开端确定吧。这里呢，沈老师提到的古德曼机都是指戈德尔机，他表示是口误，大家大概理解一下。就是说，你系统可以自己修改任意部分，那你自己去判断，你修改哪个部分能让自己变得更强嘛？
然后，等你刚刚问我那个 R L 这件事情，为什么有人从 R L 切入也说自己是做 R S I 的？因为在 self improving 这个概念里面，其实像 R L 领域，它有几种 Alpha Go。里面有个 self play。就自博弈这件事儿，本质上就是 AI 通过跟自己对，然后去实现一个 improvement，所以它其实还是在这个主线里面的。只是说你能不能叫 recursive self improvement？
那可能就是你得满足那几个必要条件，满足那个 recursive 那那呃 recursive 那部分。对对对对对，它其实就是可能某一个环节里面，至少现在看来的一些手段里面，它是不可或缺的一部分。嗯，对你比如说我们刚刚讲到这个 verifier，就有一部分就是比如说像一些可验证的领域。它就是有确定性结果的。他就能自己知道这个东西你做做没做到，有是非答案的，对是吧？
对。然后那有的这种开放性的领域，你没有这种是非答案，那有可能大家采用的就是用一个呃 natural language model。然后去做这个 verifier。其实很多思想是共通的。就是看你怎么说，嗯。然后还有一个方向，其实也是大家目前讨论的比较多的方向，就是 Auto Research。就是我直接去做一个 AI scientist。对你直接去做一个 AI scientist。
但是这个 AI for scientist 的区别是什么？区别就是，如果说 A I for A I。就我们很明确，A I 是用来改进 A I 自己的，呃。无论是它这个模型参去探索更好的这个模型架构，还是说改什么一些这个算法设计什么的。包括合成数据用来 A I 训练，就是这个其实 AI for AI。那你 AI 就是我们刚刚讲的那个，如果是垂类领域的。
就是你能够应用到垂类领域的 A I scientist，但我们现在其实也不怎么这么叫。对，一会儿再跟大家呃，可以厘清一下，就是这种 AI scientist，它可以 for 很多的行业。除了可能芯片，某种程度上还是 AI 领域的一部分嘛。那你有可能你 AI for engineering，就是不同的 engineering。然后这个为什么我说大家现在其实不太讲垂直领域的 AI scientists？
因为它更偏上一代 AI for
science的概念。你说垂直更偏上一代的是吧？就如果大家要强调这个的话，通常情况下就是上一代。比如说您刚刚说的生物医药这方面，对，现在也有一些bate，但我觉得还是比较开放性的问题：到底是用一个通用的基座模型，然后通过不同领域的数据去做后训练或者做一些其他工作，让它应用到不同的垂直领域去当这种AI researcher？还是说我一开始就按以前DeepMind那个AlphaFold那种方式去走？我觉得大家还在Beta中，也就是还在Argue中。所以还没有一个定论。
然后我们现在讲的这个Auto Research或者AI Scientist，现在有很多团队其实它更多的是：我怎么样让AI能自己去做研究？然后可能到提出新的Idea这一步是一个方式上的研究。最直观的理解是，现在很多团队讲的故事是：我怎么样像一个人类研究员一样去提出我的猜想、提出我的假设，然后去收集证据、去做实验，然后再来检验我的假设。
相当于其实你可以理解为他需要写一篇Paper。现在大家宣传点嘛，就是这个AI做的某个Paper通过了人类评审员的审稿。这个其实就是模拟人类研究员在做研究的整个过程。但目前大家就是说可能能做的，像后面的这种实验执行呀、写论文啊这些，其实应该都还不错了。但你怎么样提出新的Idea这一部分，是大家目前比较开放的一个问题吧？
所以目前听起来有几个问题：上面说到的就是你怎么去Verify这是一个问题，然后怎么提出也是一个问题。发现的工作确实挺难的。我觉得现在就是在AI Scientist领域，就是大家目前可能受关注的是AI Finance。像今年密集的OpenAI也好、Anthropic也好，他们都做了一些开放数学问题的解答。
就相当于去做无论是证明还是做一些其他的这种探索，或者是蛮证明一些猜想。就这个AI Finance也算是RSI中间的一个环节嘛，它算是Auto Research的一部分。如果你要从这个领域切入的话，比如说从Auto Research这个领域切入的话，如果它能够实现说我自己能提出新的猜想、完成这个研究的闭环。
某种程度上确实是嗯……它现在在数学领域已经实现了嘛，提出自己的猜想、完整这个闭环。猜想应该还没有吧？但是他能证明，就是他在猜想的证明上是OK的。呃，我说的这个没有，有可能是因为他即便提出了一堆猜想，现在也还没有进一步的去证明他这个猜想到底是不是一个有意义的。
明白对，有可能这些大厂其实前沿的模拟实验室我觉得应该也都在做了。你包括很多Research他其实也在做AI到底能不能在现阶段提出一些创新的这种Idea嘛？所以本质上他肯定是已经在做很多实验了，只是说So Far可能还没有一个比较值得被拿来讲的一些成果。
对，你觉得现在中国和美国讨论的这个RSI有什么区别？我觉得没太大区别其实是差不多的。对而且某种程度上确实最开始美国的一些Utilizer也不先出来说这个事儿嗯然后先拿到融资。你觉得就是为什么这个RSI这个概念会在二五年、二六年，就主要还是二六年吧变得这么火？
因为其实像刚才你提到的最早有这个概念时候其实是一九五九年的。然后那其实像那个相关的一些论文什么二零一九年都在发布，然后那个什么Sakana二零二三年也就成立了。其实大模型公司这几年也都在探索RSI，为什么是到了二六年的时候才变得就是说大家算是被主流认可吧？
就是被越来越多的人认识到它的重要性。你觉得是什么发生了变化？是因为基础模型某种程度上已经进化到了……就是已经进化不动，那也不是。就基础模型发展已经到了一定的阶段了，就是说它可能确实我觉得老生常谈就是大家说啊这个边际收益递减了啊或者怎么样。
就核心是大家发现基础模型它能打斗的能力可能已经挺高了，那你未来要实现在真实环境当中的部署、要把它用起来你核心是需要去适应环境。你需要在这个真实环境里面去学会迭代自己，学会成长。这个我感觉可能是大家一方面来关注这个概念的原因之一。
另一方面确实就是说的那个老生常谈的问题，就是说这一代模型已经到了一定的阶段了那可能下一代模型怎么去做？我觉得可能这个是大家觉得说Transformer它本身可能不太适合这种持续学习，然后可能要去探索新的模型架构。你像英伟达它就是做Test Time Computing部分的一些工作，它其实也在解决持续学习的这件事儿。
太就是我觉得你说的是一个本质原因。你觉得有什么直接的原因吗？直接动力？直接原因就是前沿模型实验室的那些聪明的Researcher他自己想出来做事了，他是经济嗯嗯然后要成立一个新公司去圈钱的话可能RSI是一个比较好的方向。倒也不能说圈钱，他可能确实是有技术理想的。
嗯他觉得他自己觉得有财富理想和想去圈钱它并不是两件事情，就是它并不是是反方向的事情，它可以是同一件事情。对对对你比如说没卡没钱买算力你也没办法做实验。然后你比如说你在大厂里面如果你觉得这个方向非常的Promising但是你的Leader So Far不这么觉得那你也只能出来创办一个公司然后自己融资、自己买卡、自己做实验探索。
实际上我们投了超研。超研就是它的创始人陈永超之前在Google就有一段做Auto Research的经历。这件事情既然都顶到风口了或者说回国就是你你会合理的发现这件事儿首先数据很重要哦对吧？然后支持也很重要。那你如果在一个大公司里做这件事当然可以但是很明显我们知道年初已经到了资本关注这个赛道的一个点了。
那为什么不自己出来？就是资本也缺好标的啊对所以那就出来作为。而且海外那一波公司除了田园洞之外其实还有很多就是大家都陆续出来了那你既然看到是一个很Promising的机会嗯你肯定想出来试一把。那你如果还在那个Google那个环境里面去做的话可能你的话语权啊什么都不太高。
刚才我们聊到的就是其实中美对于RSI这件事情的概念你觉得其实是没什么区别的那你觉得所在的阶段会有什么区别吗？因为我们总是会觉得说好像美国的技术是要比中国领先一些些的那具体到RSI这个领域的话你觉得它大概是领先多少？就是该怎么去形容一下还是说你觉得就是在这个领域我们没有被抄太多？
首先我觉得这个没有抄太多嗯就是在Auto Research上如果说超过太多或者是超过一定的阶段我会认为就不再派说了已经不能这么说。就比如说前沿模型大厂就是OpenAI、Sopic然后Google其实他们本质上因为我们把AFAI这件事儿先搬到台面上来说就是像OpenAI的AF Infra探索他最近不是发了一个那个报告吗？
对九月六号还是五号？对发那报告你可以看到他其实年初开始用Codex去做这种AF Infra的探索就已经蛮多了。就是他之前发那个Research Acceleration那文章里面其实他就讲到了呃AFAI的很多的这个工作主要是用Codex去可能赋能他们内部的一些研究。
其实AF Infra的探索比如说Kernel优化呀或者是做一些这种基础设施的排障包括写一些Infrastructure相关的这种Code他们从年初开始就有很多探索然后一直也是一个主导的这样的Coding Agent比较大的一个使用的领域吧。所以如果从这个程度上来看我们看今年年初国内的一些模型厂商它肯定是因为在基模方面有很多工作要做所以有可能在这一方面的探索会稍微滞后一点。
但因为我确实也没有真正的跟这些厂商聊得太多所以我也不太敢打保票但我可能直观感受上在这种FAI的探索上确实会落后一些。这个其实很好讲就是OpenAI发那小辣椒的芯片它这芯片就是用AI跟人类的专家一起来做的花了九个月然后把这个芯片做出来了。那你从这个角度上看你肯定是引领领先AI for Infra其实反正国内的厂商跟的也挺快的所以我觉得本质上其实还是规模的竞争。
就最开始的这个阶段肯定还是规模的竞争。另外就是核心瓶颈是算力卡，是有更多的这个卡的资源你才能去做这个探索。你比如说那个OpenAI去解决一个千禧年的那个难题不是说花了接近一百万美元的算力吧？那这个事情就是说你有卡你就能去做探索。这也是我比较担心的一件事儿。
当然也有一些担心的事儿是什么？就是国内卡比……就是哎我担心AI for AI的这个阶段，我担心AI for AI是一个算力的竞争。那这个事儿有可能它就是拉开的差距就它实际上已经有这样的趋势了是吗？核心是你卡越多你肯定能做的实验探索就越多。
但这件事情因为之前我们在讲这个模型预训练的时候也会说因为国内缺卡所以国内会做一些这种算法呀或者架构的创新。那有可能你回到这个AF AI也好或者ICI也好这个领域来讲那有可能团队也因为这个算力资源的紧缺它可能会去做更多的这种高效的探索也是有可能的。反正我觉得这个事情卡很重要但是也不能被卡真的卡住。
你觉得目前实际上其实美国现在都还没有实现RSI，都还在探索。你觉得他们会比中国更接近RSI的状态吗？嗯会这肯定的。你是怎么判断的？这个其实就是看他们现在AI for Math的进展，然后你觉得AI for Math是很重要的一个指标。
Maths这个领域本身就是一个就是体现人类智能智慧结晶你知道没有？它因为它可验证所以这件事情它是第一阶段先落地的嘛。然后AIo芯片也是一个可验证的领域当然它这个人类专家在里面发挥的角色还是很多的包括AIoMaths也一样还是比较依赖人类专家在里面去做一些方向性的指导包括去做这种验证但它比其他的这个领域要好多了。
就其他的这种下游的应用领域对然后我们可以分别聊一下OpenAI、Anthropic、Google，然后Recursive、Sakana。沈老师你也可以再说一下就是国内你看到的一些明星公司他们的路线和这几家相比会有什么区别啊？主要是我我对国内的还没有特别了解吧就我觉得大部分大家还比较集中在水下。
然后我们可以先点评一下OpenAI啊，就刚才我们已经聊到了它九月六号的时候刚发了一个文章就是说公开了内部AI加速研究的进展。然后有一个在人类监督下工作的Automated AI Researcher可以推进Deep Learning和呃对齐，并且他们已经完成了此前设定的这个什么反正就是做一个Researcher Intern的这个目标啊。
你可以大概讲一下你看到的OpenAI做RSI的一些呃进展和成果。首先其实AI for AI它本身其实是一个比RSI更包容的概念。这个更包容的概念是指什么？就是比如说它包揽的东西更多。比如说这是一个球这是它的球更大RSI是在这个球里吗？嗯嗯哦对对并不是RSI包着AI而是AI for AI包着RSI。
所以OpenAI在做的事情算上RSI和有一部分的边界是在这个RSI里但它是完完全全AIFAI的。当然你它内部可能有一些其他的专门做RSI的进展包括那个LilyWong他回到OpenAI也是去这个组里就做RSI的工作嗯但我们现在能看到的OpenAI的报告还是更多集中在AIFAI的这个工作上。
嗯我觉得它整个模型训练的管线应该都在用AI来去做这样的因为他毕竟叫做所谓的研究实习生有时候他跟内部的专家去合作来加速他的研发的探索这个层面它其实有很多探索我们其实可以从它那个报告里面就能看出来。我们可以把那报告打开，它报告里面就是还蛮有意思的我觉得其实有很多可以拆开看的东西。
一个是他目前来讲这个人就是Researcher本身在整个研究里面所扮演的角色还是非常关键的AI更多发挥的这个领域还是说比如说像我们刚刚可能也提到过的Infrastructure Code就是各个环节上可能编写代码的这个工作嗯然后包括一些运行实验的这个工作它是通过AI来去做了极大的加速的这个领域我们可以看到。
所以其实除了刚刚提到的它其实分了几类就是它采用的是那个APEC AI的一个分类的方法去把它整个AI研发的这个过程分解成了六个主要的阶段。第一个阶段是决策就是我决定说研究方向是什么然后持续投入的项目有哪些然后资源怎么去分配。第二个是设计就比如说我怎么去提我的研究构思包括一些工程的规范。
第三个是构建这个里面就涉及到比如说我写代码呀去构建代码、构建数据集还有一个就是运行包括了这个训练和评估的实验的运行。包括一些硬件和推理服务然后还有第五个点就是分析就是我做完实验之后我怎么去做实验的分析怎么去做这个模型部署还有一些外部的工作。最后一个是沟通就是怎么样去给反馈然后提发现然后包括去Check它的状态做下一步的这种决策。
嗯对他把整个研发的过程分解成了这六个主要的阶段然后根据他这个报告里面显示的就是可能从一月份开始就是今年年初他主导的这个类别是研究和Infra的代码。然后这个类别其实到目前为止应该也是主导的类别但其他的一些类别也是在不断的增长的比如说它有提到说这个内部研究在这个Infra故障方面的解决包括有类似的这种技术的支持和运行的监控这一类也发展的蛮快的。
然后另外的话其实在一些高层级的这种规划上目前来讲还是人类在占主导比如说我就刚刚提到那六个阶段我怎么样去做决策就是判定研究的方向、分配资源然后以及怎么样去做这种沟通还是人在做。就是在分析层面上比如说这种实验结果的分析其实还是比较靠人类的对就是Decide和Analyze这个部分还是很依靠人类然后包括说Design就怎么样去做这项实验设计目前看来也是比较依靠人类的。
就是这个AI在里面发挥的作用还没有那么显所以AI主要还是在做一些Dirty Work吗？哎你可以这么理解，哎确实是Intern啊嗯对确实是英特尔哇英特尔真的好惨！但是他已经可能能打败很多人的研究员了。他能给这个叫做顶尖研究员打工的水平我觉得这个是没问题的这也是为什么他加入实习生嘛是是是而且他们效率更高吧？对效率更高。
是那也就是说本来其实我们可能要读到博士才能去这种顶尖实验室去给顶尖人类大牛打工。现在AI二零后嘛啊今天还有一个AI Math的那个工作就说好像是一个博后带着两个非常年轻的人可能就是啊拿过奥赛金牌啥的就带着两个年轻人然后带着一群Agents就搞定了一个特别复杂的数学证明。嗯我试试啥之后可以分享给你。
嗯嗯后来沈老师把这个事件分享给我了这件事具体是说今年九月份一位数学博士后带着两名高中生借助AI工具解决了菲尔茨奖得主许俊尔提出的一个前沿组合数学问题。我看到他们这个报告里面还提到一个啊作为一个就是不太懂技术的人看的报告和你看就不一样啊看到他说他们有两个明确时间点一个就是说到今年九月的时候就是他们发报告这个时间是说希望AI可以成为一个Intern的这样的一个角色。
那可能希望他们到二零二八年的时候可以成为一个真正的AI Researcher。你觉得按照他们现在的这个进化速度来说这个时间点是会提前还是会延后？我是大差不差再给他们一年半的时间。嗯我觉得这个进展是飞速的而且它有复利然后包括它的斜率呃就它有复利的情况下你底层的支持给到位了你上层的探索会非常非常快。
就是他不是那首席科学家还分享了一个叫做An Alien Mind就是这里面就讲了说他觉得这个RSI应该要就是说已经达到了一个他自己认为说比较关键的节点了。他其实是在呼吁大家去做更多的这种安全和对齐的工作嗯这个可能也是源于他们内部观察到的一些RSI的进展然后它里面着重强调要Pacing RSI就是要调控RSI的进度。
它这里面其实就提到说如果AI进步继续下去那RSI将成为未来科学发现的核心。然后他说与扩展制就与Scale相似就是啊OpenAI的研究重点转向RISI是因为他们相信未来保持AI研究前沿地位的唯一途径嗯就是RISI。其实也就是实现AI的Auto Research所以这个东西就是说它可能内部确实有一些信号吧但它为什么Pacing就是要提出？
包括Dario也说对吧我们要管控这个进展要做安全的对齐它可能有自己不同的这种利益的诉求但核心肯定是RSI真的会比我们想象的更快到来。你说白了这件事儿就是越来越快就核心卡点其实真的我觉得Open
A还说大实话了，就核心卡点还是那些暂时很复杂的一些任务，还是极端的依赖于人的test和判断。这个是一点，就是人类的注意力是有限的。你觉得这件事情有可能是不可被解决的吗？我觉得人也挺多的，你找到顶尖的researcher，总能找到那么一波人。然后顶尖researcher带一波这个agent，他还是总能解决的。你是说解决就是解决他的依赖人的这个问题是吧？对，而且随着底层模型能力的进步的提升，它可能这件事儿又能缓解很多。
然后我们再来说Anthropic啊，他们最近也是发表了一篇文章，哎，他们最近挺愿意说这事儿，确实挺火的啊。就是那个文章是When AI Abuse Itself. Our progress toward recursive self-improvement，其实就是我们的关于这个RSI的这个进展嘛。然后他们公布不少内部数据啊，就比如说什么他们的这个什么代码量，然后已经是五年前的这个八倍了。他们自己也在让这个cloud的这个power的agent去独立研究一个AI safety的问题。
当然，就是他们研究的问题也是人选的，最后这个结论的这个验证肯定也就是人来验证的。我觉得可能也是目前来说，他们Anthropic自己比较诚实的，就是说we are not there yet。你可以来讲一下你看到的，就是Anthropic现在在做RSI的一些呃情况啊？我感觉他们核心大差不差，只是说发表的这个进展没有OpenAI快。对他往外说的没那么多。
就比如说，人家做了这个芯片，Anthropic之前也有一些小道消息说，他要么就是想收购芯片公司，要么自己确实也想做这个AI能自己的这个芯片的设计。嗯，但这个确实没有发表成果嘛？然后，所以OpenAI它展露的成果是更多的。嗯，然后Google DeepMind，你可以讲一下你看到的他们的一个情况啊？
嗯，就是Alpha Involve其实就是发现就AI去做自己呃新算法的探索嘛，搜索嘛。嗯嗯嗯，然后Google DeepMind其实按理来讲，Google是在Self Improving上有很多可以值得期待的点的，因为它毕竟是这个AlphaGo的这个的父对之父。对，但是它现在确实这个我们可能不成熟的一个观点，从侧面来看，它这个模型的发版。
比如说Flash版本的发布，然后节奏是比以前要快的。他自己也有一些paper在发，就有关这无论是AI for Science还是说呃self improve的这种paper。然后另外是确实他新的那个Gemini三点八Flash发布的时候，应该是姚顺宇他发了一个这个Twitter嘛。说呃是Google的一小步，但RSI的一大步。
所以其实从这个侧面，我们也能印证Google内部肯定也是在做这个方向的探索的。相对于其他的头部公司来说，他们会更重视RSI，他们更重视AI for Science。嗯，这个是很明确的。嗯，这和他们过去就重视AI for Science是有关系的。对，他们做RSI的目的应该也还是为了AI for Science。
就相辅相成的，就是你有了这个AI auto research的能力的话，你其实要做很多这种其他方向的探索。然后实现超智能或者做到这个RSI，其实还是更快、更方便的。Google他们就是这个Alpha Evolve，它和我们刚才一直提到的Automated AI Researcher的这个路线是不太一样的，对吧？
至少可能从目前来看，它既有的积淀上，AlphaFold那一些就是比较从过往的这个AlphaFold三S的探索。看起来是跟大家不一样的。比如说，目前我们能看到Anthropic或者是OpenAI它在AI sense方面探索，更多是类似于有点像还是Copilot。就是我给这个researcher scientist一个可以帮他去做这种研究探索的工具。
当然，也不排除也有其他的人在做其他的事情。至少从目前的公开信息展示是这样的。然后你像Google的话，它本质上就是历史积淀，确实有在这种生物科学领域啊、生命科学领域，包括这种生物医药领域有一些既定的这个探索。包括Jif Ding之前可能出来做这个所谓的Discover Loop，其实有可能应该也是在这一方面有关系的。
哦，对，他就是从DeepMind出来的，是吧？嗯，是的。你觉得Meta要聊吗？Meta在RSI里面算是什么呀？就是最最近他倒是也发了一个这个工作，就是说他那个。是啥来着？我来看一下。
说他打了个竞赛，然后其实Meta也有挺多有意思的工作的。我觉得这个领域就是说你做出有意思的工作还是蛮简单的。为什么？就是有太多值得探索的点了。突然想到了，就是它是一个大圆，然后你站在这个周场上边场上，你往外突破一个点就OK。对，它就是有很多可以突破的点位，是吗？
对。就他最近有一个动态，就是说，今年六月，他们把这个下一代自主AI研究系统叫做AI R A three投入了由英伟达举办的一场实时看够竞赛。嗯，目的呢是微调一个三十B的Neural Chart的模型。挑战在于说要教会模型更好的推理。所有的参赛者都获取相同的信息，并且在一个私有的数据集上，就测试集上去接受外部的评分。
然后他说，他们这个在四千多支队伍里面排名第八，赢得金牌。所以他们自己肯定还是在做，也是在做AI这种自主AI研究这个系统的。因为你看他这个看果比赛，本质上就是拿AI去微调一个Neural Chart的模型。所以还是F AI。但他现在就是大家对他的讨论的这个身位，它是并不算非常头部前沿嘛？
其实我有自己不同的看法。我觉得他们获取资源的能力其实都挺强。你说这头几家是吧？对，头几家海外这几家获取资源能力很强。我之前发了个朋友圈，是我半年的感悟吧。当时我说，其实在这个大变局的时代，无论是投资还是研究，认知是很重要的。就唐老师之前有一句话，就是AI时代，认知大于格局，大于技术，大于管理。
嗯，我当时半年感悟就是说，呃，认知是很重要的，但其实价值观跟这个政治的敏感度也非常的关键，因为它是个大变局时代。就AI其实本质上它是能左右人类的命运的。所以，我当时站在我自己的角度，我会觉得有的时候，就比如说从我自己的这个角色定位来看，我会觉得学的杂对我来讲是一个很重要的事情。
嗯，就无论是技术，还是人，还是组织，还是社会，以及说宇宙和智能的本源。其实缺少一个视角，有可能都能在这个阶段去放大一些理解的偏差。我觉得这件事情就会回到说一件事是，我觉得价值观很重要。技术其实是要服务于人，它才有源源不断的活力的。
首先，第一点是这里面讲这个价值观，我会觉得说技术是要服务于人的。就除了技术之外，当然也有研究了。就无论是研究还是技术，它只有真的能解决人类社会的重大问题，它才能有源源不断的生命力。那这个就回到来说，如果你控制的是这个技术。价值观是件很重要的事儿，就是你会创造什么样的技术，可能取决于你的价值观是什么样子的。
然后你研发出来的AI它是什么样，也能深刻的体现出来你的价值观是什么样子。所以我有时候去看海外的这些不同的大厂的未来发展，其实我会去看创始人本身对人类社会的理解。或者他自己输出的这个价值观到底长什么样子？
我会觉得Dario某种程度上是比较偏激的一类人。他当然也有一些比较独特的点，无论是从模型研究层面的一些观点，还是说他可能有一些其他的主张。就是从他最开始发那个Anthropic那个那个宪章就能看出来一些嘛。像Sam Altman，其实，在我眼里是比Dario更加care about 人类的一个人。对，但是小扎又是比Sam更care about人类的人。
对，回到这儿了啊。对，所以，所以我会觉得，但凡你有充足的资源能够调动，你能把资源攒起来，把人人才的密度堆起来。这件事其实就是你自己的心有多正，你可能未来发展就有多长远。因为AI太重要了，AI跟互联网技术可不太一样，AI太能左右人类的命运了。它某种程度上是人类文明进步的一个非常重要的档口。
那我觉得这个时候遵从历史规律，就是顺我者昌的话，如果人类这个物种要一直存续的话。那肯定是最care保的人类这个物种的人，他但凡有能力去调动资源，有能力去持续不断的进化和研究。那他有可能能走到最后。那至于其他人怎么样？可能也能实现一定的抱负，但可能随着时间的这个大浪淘沙，最终留下来一定是那一群秉承着科技向善的那个人的心理。
在那个公司他会走得更远。嗯，这是我比较那什么的点，对你说服我了啊？嗯，哦，谢谢你说服我了啊。是的啊。所以就刚才你对我说，就是觉得Meta并没有在非常头部的这个大家的关注注意力里面提出了一个不同的想法。
另外一个视角，就是你觉得如果是以这个视角去看的话，我们不可以忽视Meta的这个对，是吧？就比如说，假设有一天所有的公司都像Consumer发出一个邀请，说有没有人愿意贡献自己的数据？你会贡献给谁？我觉得这个事情就很重要了。就是因为我们现在讲有多少，就是这个数据才是智能的本质。
对，这个很老早一个话题了，就是说百分之八十可能都靠数据，剩下的才是其他的什么算法啊、什么架构这种这种贡献。对。你如果说真的有一天需要人类去选择给谁贡献数据，那我肯定是选择一个你更信任的人。对，更信任的人，嗯。国内这家大模型公司，他们做RSI，你可以大概点评一下都在什么阶段吧？
我们说头部的这几家大模型公司，我们不说RSI的创业公司。头部的这几家大模型公司，我觉得还是很差异化的。像MiniMax现在声浪主要集中在H3嘛，它的那个视频生成类模型。智谱呢，它还是会去挑战智能上界的基础上呢，它会去做很多新的一些突破方向的探索。
包括它，GLM五点三，它其实是没改模型架构，也没改参数规模。它做了更多的后训练的一些工作。那它在这个后训练的工作的探索里面，它就其实也提到了说会去构造一些RL的环境。然后构造一些数据，也会做这种AFAI的探索。包括说，可能有一些infra方面的一些探索，应该大差不差，我觉得都会跟上。
就是海外的进展肯定是都会跟上的。然后像其他家的话，比如说Mini Max啊、Kimi，他们内部肯定也在做很多FA的工作。其实可以从这个Take Report里面就能看出来。比如K3的Report里面，它其实自己也提出来了，无论是code优化还是说这种其他方面上。
其实都会在探索。至于说内部探索的进度和实现的效果，我觉得这个确实我不是内部人，我很难去评价。以及他们到底是放了多少人在做这件事情，其实也还挺挺重要的。但我们没有办法获取这些消息啊？对，字节和阿里呢？嗯，没了。腾讯吗？
啊，没了，那就没了。腾讯，腾讯。好，可以。对，呃，他们几家其实也是一样，无论是千问啊，还是说自己？字节最近在这个paper发表上还是蛮活跃的。对对对。然后包括腾讯其实也有一些RSI的工作，像他们发那个paper H开头那个叫啥来着？我忘了。嗯，对。
然后回头可以看一下，反正研究工作都是在做的。但具体分配多少资源在这个团队上？然后想要打出什么样的效果？我觉得目前还是没有不像海外那几家一样打明牌，对吧？没那么明牌。其实Mini Max最开始发那个M三 M三的时候，其实也聊二点七的时候就聊了嘛。
就是他AFAI的工作嘛？所以其实大家都在跟进，只是说确实不太能清楚他们内部到底进展到什么样的情况。然后重要性如何？对，就是他们没有出来说很多，但其实我们可能能够从他们的这些成果上看到他们都在做。然后还有两家海外的公司，我选的是那个Recursive，还有那个啊Sakaana。
你觉得要聊这两家公司吗？还是海外的话，你想？反正海外，我觉得Sakaana他做的工作是很扎实的。怎么评价它是扎实？就是你“扎实”这个词的得出的思维链推导逻辑是，它是日本公司对吧？嗯。我当时看到这个公司，我之前第一次看到时候，我说怎么感觉像是哦？
你知道我第一次听到这个公司是是我在英国玩的时候。然后我被一个老外拦下来，我以为他要跟我搭讪，结果他在跟我聊AI。然后就跟我说你要去关注一下这个斯卡纳这家公司？我说什么东西，日本公司我还要关注吗？哦，果然回来一查，果然很火。
哦，他们工作很扎实。点是，他们其实在这个方向上的探索有蛮多的。因为今年再次被大家关注，是因为他在AI scientist方向的有一个比较显著的结果。是他那个AI scientist好像有一个相关的研究是发了一个Nature？除了这个之外，其实他们一直在做很多方向的工作。
包括他们之前做了一个DJM，DJM是什么？就之前我们讲古德曼机器。他是做了一个达尔文古德曼机器，就是以前讲那个古德曼机器是个比较古早的概念。然后他的意思就是说机器可以自己决定它要修改的一些环节？哦，对他这个其实相当于就是已经固定了一个修改环节啊。
去做这个机器自进化的一个事情？我关注Cycle其实更早啊。其实现在海外蛮多公司的，然后我这儿还写了这个表呢？嗯，就比如说你刚刚讲的Alpha Involv，其实就是说它是一个演化。呃，就是Evolutionary Q Learning Agent？
其实就是通过大语言模型去生成一些候选的算法，然后再有自动评估器去验证、筛选和迭代嘛？嗯，啊。这个它主要是用来做比如算法的发现呀、计算系统的优化。像Jimmy他自己也在做这种AI的Co Scientist，其实就是帮这个Scientist去生成呀、去辩论。
去演化一些这个科学假设？嗯，另外，我们为什么讲这个塞克拉耶他做的工作非常的扎实呢？首先，他是第一个在比如说今年六月六号。他不是把他所有的几个方向上的成果汇总，然后去成立了一个RSI Lab嘛？其实成果里面。
比如说有个DGM，DGM这个在researcher的圈子里，其实大家还是比较认可他们这个工作。他们是当时比较早去做这个self-improving coding agent的这样的一个工作吧？就是它可以AI自己修改自身的代码。然后再通过一些这个Swi Bench，然后这种编程的任务去评测？
然后保留那些有效的改进。这首先是一个点。然后另外，它还有很多。就是我们刚刚也提到了，就是它有一个就是AI scientist生成的一个论文吧？就是通过了ICLR二零二五的那个一个workshop盲审的人类同行评审。其实也就意味着说，AI它生成的这个研究已经能够去达到一个人类研究员的这个水平了？
嗯，对。然后他当时的这个相关研究也发表在了这个Nature上。另外的话，其实他之前还有跟牛津、剑桥合作过一个就是work吧？是让单元模型去发明更优的这种训练的方法。像这一系列的工作，其实就让他显得比较扎实？
你觉得为什么一一家日本公司会这么激进的压？其实可以看看它的这个发展理念。就是我这个人每次看一个新的公司，我先看价值观，对，先看它的belief？嗯，对你。你虽然说它的belief可以造假。但是我觉得你去验证一下，就知道它造不造假了？
对吧？其实你敢把它写成你的belief。你一定是在内部经过打磨、经过思考的。嗯嗯嗯，你很难说在这个愿景层面上去相差太多，造假？对对对。所以他的一个观点就是，他可能深知日本的这个资源是有限的。然后他会觉得说，我肯定没办法去拼算力？
去拼scale？那我就可以去。就比如说基于一些开源的model，然后去做一些微调也好，或者是其他续训练的工作也好。就是能让我能够也获益于AI的发展？那这个里面就会回到我们之前讲过的，就是AI部署下去之后。它需要在环境里面去自我进化？
这个是它的一个逻辑基点，所以它做了很多这个方向的工作。AI怎么能够实现自动化的工作？我可以再给你说一个，就是我还挺喜欢另一个有一个海外的公司的。就是叫Vicor？你讲一下为什么喜欢他？
我觉得他做工作蛮有意思的，就是他有个工作叫AID E平方。AI什么？AIDEDE，嗯是什么意思？就是他那个工作的那个名字，你可以介绍一下？我没搜到啊。拉倒吧！其实这个公司本身也有一些这个RSI的评估框架？
就分成了四个层级。他评价这个层级的标尺是去衡量说单位固定资源下AI自我改进的效率是不是高于人类改进同一系统，所以他区分了四个层级。然后层级零就是系统它能够完成这个研究闭环，但效率是比人工更低的。第二个层级是在单位固定资源下自我改进的效率是高于人类改进同一系统的。然后第三个层级呢，就是系统改进后的 agent 也能成为更强的下一代改进者。这个就有一点二阶改进的那个概念了。对，最后一个就是说，在固定预算下，改进速度不再放缓，而开始加速，其实就是改的越来越快。
所以它前一个层级就是说，你改进完这个agent之后，agent本身能成为更强的下一代的改进者。它那个AI DE平方的那个工作呢，它是设计了一个双层的这种自动化研究的系统，它分为内外循环。这个其实也跟大家经常讲到这个内循环、外循环有点相关。它的内循环是去解决具体的研发任务。它外循环其实是负责去修改类循环本身的这个 agent 的那个代码呀、搜索策略、prompt 的上下文管理等等这一系列的东西。它相当于是有这种内外搭配的一个过程。
然后现在确实自动化很多 work，它也会强调说它是一个快更新和慢更新。最近有一篇工作，有一篇新的 RSI 相关的这个综述论文，我觉得它也提出了一个比较好的这个分类的方法。之后也可以把这个分享给你，你可以贴在那个 show notes 上。可以，可以，可以。Vicor 当时的工作是已经证明了，就是他在他那个实验里面证明了 AI 自我改进的效率是高于人类去改进这个系统的。嗯，对，相当于是有了一个实验的验证。
他那个工作应该是今年七月份的工作。之前反正就是还有一个Harness层面的那个资金化的工作，就Lilion发的那个，它相当于也是一个大的文献综述，就领域的发展脉络，那个也挺值得看一看。就是因为感觉今年做RSI的创业公司还是蛮火的，其实像你说的，二五年之后成立的还挺多。RSI的创业公司，我之前看了一个研究报告，里面说他们统计到了三十九家相关的创业公司。
其中二十家成立于二零二五年以后嘛。总计的披露总融资额可能是五十三亿美元，其中百分之四十七发生在二零二六年。这个是美国的那个情况啊。但我觉得这确实可以体现出资本现在对它的关注度是非常高的。那我自然而然产生的一个想法就是说，如果 RSI 真的代表未来的话，为什么它会是创业公司的机会？不只是海外的那两三家，其实国内的大厂也有非常多强大的资源。
并且他们内部会有更广袤的场景可以试验。就像刚才你也提到了，就是说他们可能在内部可以去有不同的方式可以去探索，也也有不同的课题。你觉得为什么会是创业公司的机会？创业公司如果是有机会的话，机会在哪？我觉得这个有点像目标函数，你每个组织也好，就是你AI景况也好，你可能都有个目标函数。只能代表我自己的观点。
创业机会公司在于说我，比如说前沿模型大厂，它更多还是做A F A I的工作，但是你很难说通。先说这个A F AI的工作，就是它的目标是怎么样把它的模型能力再往上提升？什么意思？就提升基模的能力。就是A I for A AI怎么提升基模的能力？对啊，它核心目标还是先提升基模的能力。明白，就是它做A I for A AI也是有别的目的的，但是它的目的并不是AI。
没有，它最核心的目标是要提升基础模型本身的能力。嗯，就去比如说从GPT五点六到Ultra GPT六。所以，他其他的资源，就无论是做AI还是做其他事儿，至少有大量的资源是在服务这个目标的。那就意味着，你比如说，你AI，AI这里面你是要用AI去探索新的算法，去做Kernel的优化，然后去做很多这个围绕这个训练目标去做事情。
但如果说一个创业公司的话，我今天我就要做这个auto research，嗯，或者我今天我就要去服务一个垂直的领域，比如说我要做AI for芯片设计。或者说AI或者其他的一些领域，首先起步的话，那就意味着你的生态的建设和你资源的投入可能都要往这个方向去砸。然后这里面就会意味着，就是说你要进去获得，其实核心还是数据。
你要获得数据，你就要需要时间的积累，因为这个领域里面，首先你要满足，比如说真实的这个生产环境，然后同时又是专家involve，同时又有ground truth的feedback。就这个数据其实它的积累，首先真实数据的积累是需要时间的。你即便通过一些，比如说我们讲的这个 R L 环境的构建啊，去做这种合成数据这种事情。
但你还是需要先到这个真实环境里面去做这样的事情。先有一个冷启动嘛，大概，所以它其实机会会在于说，我的目标不一样，所以我资源堆叠的方向和速度，人才积累的方向，然后我采取的策略不一样。比如说，我现在要是真觉得这个开源模型已经到了一定的，就是它能力确实已经不错了，那我可能很多的工作我就不会去迭代基模。
我会去收集我后面这些不同领域的一些真实的数据。去做很多这种后端的一些工作。我有这些数据之后，我其实在很多领域我就可以拿这个A F I的这个AF这个领域的成果，比如说这些数据去做一些呃去训练的工作，然后它就能用起来，然后它能形成一个数据闭环。数据飞轮，至于之后的事情，那就是大家公平竞争。
相当于你迭代了一部分，所以这个事情的节点会回到：如果开源模型一直在进步，那这波创业公司有机会；如果你要说开源模型不进步了，我觉得这波创业公司就只能回到研究时代，就它得从研究入手。他先得做一些模型新架构的探索，哦，就是去找下一个新的拐点，他不能在别人的延长线上再去做工作了。
所以这个是有几点。如果开源模型突然间不行了，或者说他自己不具备这种顶尖的研究水平和研究能力，我觉得这个事情就可能行不通。你说的是两点嘛？一个是开源模型的这个持续进化，对，一个就是它本身的这个能力或者是认知吧。你觉得还有什么点呢？就是可能会决定创业公司继续往下走吧？
为什么我刚刚讲 AI for infra 这个事情？我其实还想单独提一下，就是因为 AI for infra 它其实是一切的基点，就是你的基建建的好不好，它本质上是一个可以杠杆和复利的东西。你的 infra 建得足够好，你的探索就会足够快。你可以把这个地方再延展讲一下。啊，就是完整讲一下为什么就是，比如说你作为一个顶尖的researcher。
你想到了一个巨好的架构，但你底层的infra不支持你去跑实验，无论是硬件还是说呃系统层面对。它不支持你，所以核心是你底层的infra。所以为什么也要去做这样的工作？你基建做好了，你就能大量的去探索。这个其实也蛮有意思。就是其实我之前一直喜欢Open I一点是Open I，确实它在infrastructure上面的工作做的还蛮扎实的。
其实质谱某种程度上也是在很多这种数据的 pipeline 啊，一些 infra 上面的，反正工程化这个这上面还是花了一些心思的。另外是像这个，你像Meta重新要重振雄风，也是先去做了Infra的整个系统的重构吧。所以Infra这件事还是很重要的。你没有一个基础设施的打底，你很难去保证你自己的这个迭代速度。
因为其实讲斜率的问题，因为无论是认知的斜率还是说能力的斜率，其实核心就是你这个斜率，就是你得就有点像我们那个自进化那个概念，就是你得。越来越强，就是你改进的方法还越来越强，所以它的那个斜率是它讲的是一个斜率，它要看你是不是学得越来越快。Infra本质上就是让你探索得越来越快，越来越好的一件事情。
那我觉得听起来好像那还是大公司更容易做成这件事情，因为他们本身就会有更好的、更强的Infra的基础。如果你要说 A F O I 这件事的话，我目前是这个判断，就是它可能在这个 A F O I 的事情上，它进展的会更快，但不代表说它就一定能走向 R S I。它假设 RSI，我们就 base 说它需要新的模型架构。
那这件事儿它就有机会点。你说是它是指谁？它就有机会点，它是是创业公司，嗯。因为你大公司调转船头还是有难度的。为什么你觉得这个反而是他就是创业公司有机？就我的意思是，如果真的需要新一代模型架构，你是说 transformer 之外的新模型架构？对，确实这个现在也是大家讨论比较多的话题啊。
对，你觉得有可能 RSI 的发展会改变模型行业的身位吗？怎么理解？比如说像上一轮，因为有 scale 这件事情，嗯，然后 AI 其实现在就变成了一个资本密集型的行业嘛，就是你必须要有足够多的资本才能去玩这个游戏。那RSI有没有可能去重新改一下这个游戏规则？比如说，我们要更重视研究效率，或者是算法之类的哦。
嗯，你刚刚说那个点，本质上是因为这个 transformer 这个模型，它本质上，比如说它经历了 GPT three 那个时刻的时候，它已经进入到了一个可工程化扩展的阶段，嗯，所以它变成了资本的游戏。那从这个角度上来看，我觉得 RSI 目前还处在前面那个阶段，就是它对研究效率的要求还是很高的。
当然，现在又回到那个基点，就说你以前 OpenAI 做这件事儿的时候，它对卡的需求很高，所以它跟微软啊什么的有些合作。那个时候卡还没有那么贵，嗯，你现在因为你要做探索也需要卡，但是你需要的卡可能没那么多，因为你还没有到那个需要工程化大规模去 scale 的那个时候。
所以你的需求其实是没有那么大的，所以它还没有那么明确的非常的资本密集。但因为现在卡比较贵嘛，然后又是稀缺资源，所以它可能还是需要资本的助力。嗯，但核心是研究，在这个阶段还是很重要的。所以我有的时候会觉得，有一些这个无论是教授的团队啊，或者什么团队，如果他本校或者是在这个领域里面。
他能够说支撑他去做这种新方向的探索，无论是新的模型架构还是说一些其他方向探索的话，我觉得他也不用急着出来融钱吧。因为你如果出来融钱，就意味着你需要担负一些责任压力，然后你可能需要做很多你主线之外的一些工作。那有可能这件事，你要去说服投资人给你投钱啊，然后你要去给投资人交答卷。
嗯，就是你有你有可能就是为了让你这个估值能够支撑下去，你得不断的发一些paper。但是你知道发paper这件事情，就是说你是发什么样的paper？如果你就为了满足你的一个日常曝光度，你当然有一些这种小paper也可以发。但如果说你回到你再做这个纯粹的做研究的这个阶段，再去发paper。
你可能重视的事情就不一样了。你有的东西也不会发出来，你发的东西你可能更希望它是一个更好的，或者是反正就是你你你手上有太多的其他的因素要考虑了。你觉得现在RSI还是一个比较科研的一个事情吗？是不是还没有办法商业化？也不能算。有的时候就是边走边看，当下的阶段吧。
我们不说太远了，我们就说当下阶段啊。比如说当下阶段，其实你就可以做一些PUC啊。你像A F芯片设计，嗯，对，你可以做一些P U C这种事情，还是得走进产业里的，嗯。对你肯定是不能在实验室里做的，芯片是这样的。但是，然后比如说你做 Auto Research，你如果要做这种 AI scientist，让他自己能做研究。
那你肯定要去做自己的这个 researcher 生态，就是你得说服不同领域的这个 researcher 要用你的这个工具。就类似于这种 coding agent 这种产品。同时，他也要同意他把他的数据能够脱敏之后，你能使用，因为这样你才能迭代你的模型。那他们的客户会是谁呢？就比如说 researcher，就如果我要做 AI analyst。
那我肯定是让 researcher 来用我的工具。嗯，可能在这个里面就有一些他这个怎么样去提出猜想，怎么样去提假设，然后怎么样修正假设的一些过程数据。
然后我自己其实第一个接触的国内的团队，可能还没太多出现在大家视野里啊。他其实是很早，奇迹投了积点陶艺，嗯，这个 founder 是我好朋友啊。就是可能也有 bias，但是我觉得我还挺喜欢他的，因为他当时其实，在奇迹第一个项目是做多模态大模型。因为他是自动化系嘛，所以他一直做这个强化学习。
然后他一开始做AI台球那个项目，就是他做AI台球，是因为当时确实是想是做应用。是想说当时的创业方法论之一嘛，就是你得从自己熟悉的领域去做，所以他就熟悉台球啊。对，因为台球它涉及到这种策略啊，涉及到一些，就是其实它跟那个围棋还是比较像的。对下围棋比较像，所以他觉得很适合 AI，然后还有去做这个方向。
但后来他自己反正就在探索这个项目的过程当中，他就发现设计一个 AI 环境，就他自己手工写的，他总觉得差点意思。然后那个时候 Cloud Code 不是还挺火的，他说那我要不是 Cloud Code 给我写个 AI 环境。他发现写的比自己好。然后他就意识到，说这家伙应该不太能，就是人来设定一些目标，然后去做这件事儿。
他当时就有了新的项目的想法，就是要做这个资金化。你觉得目前他现在？有到了什么阶段了？就还蛮期待它的产品的。我为什么喜欢这个项目？原因之一是因为它的切入点就是去做人机协作。因为我们讲这个进化的闭环里面，人到底承担什么样的责任？人的责任可能是越往上抽象的。
就最后可能它就是去做这个整体的管理，或者说去做最后的那个责任人，然后按照他的品味去做一些事情。对。就他自己比较白鹰的一个观点，就是我要从人机进化的角度去做这个自动化。因为人和AI本身是共同进化的，他的那个产品的切入点也是这个。嗯，你觉得现在RSI的这个最大的瓶颈会是在什么地方？
其实我们刚才也大概提到了一些啊，就比如说你像刚刚他说他自己没有办法verify。比如说还有你提到的就是他就是算力嘛，嗯，你可以大概讲一下有哪些，然后你觉得最重要的是什么？验证这件事儿。就是说，比如说我们现在讲的这个RL算法，有叫IRVR，就是Verifiable Reward，就是AI它能够通过这个Verifiable Reward去做这种self play或者去做这种进化。
嗯。那这就意味着可验证领域我是有这样的奖励目标的，嗯，那不可验证的领域我怎么去构造我的 rubric？怎么去构造我的奖励目标？他说不准的。所以回到你对AI来讲，那他怎么能衡量自己的这改进结果好和坏呢？嗯，所以这个验证是指的这个，就是说他怎么能知道自己哎这一轮跑的比上轮好。
然后下一轮能更好？这个事情是很重要的，这是一个卡点。嗯嗯，这是最重要的吗？目前来看是挺重要的。嗯嗯，它的不能解决会导致什么问题？就是，或者说什么能力不能进步，他不知道往哪进化。那他进化个啥呢？所以这是一切本源啊，一切进化的本源。对，所以有一些就是说，可能人类还是得参与其中。
就就对。然后，但有一些开放性的领域，你比如说大家经常讲到的一个领域，就是我怎么样去衡量一个创意写作。就是我创意写作，你有啥评判标准呢？你很难想象。你怎么样说它更好？因为这本来就千人千面，那这件事就很难说。那你可能在这个方面，如果你不能解决这个验证的这件事情，那它可能就是乌托苍蝇一样。
但是创意写作它没打分的，就是学校里的创意写作课，他们也是有分数的。A学校和B学校那分数那也不一样啊。就是因为呃，我发现有一些巨深公司也在提RSI，或者说有一些从巨深出来创业的人也在做RSI的创业。包括你刚才提到的，就是我们提到就是RL那个方向的时候，其实什么什么长城任务什么。
这是现在巨深提的最火的一些概念。所以想问问你，你是什么看法？就是首先我自己一个天然的问题就是说，巨深的RSI和大模型领域的这个RSI，它到底是不是一个RSI？巨声想要用RSI去实现他们的什么目的？可能就是我自己听到这个消息会最天然好奇的两件事情。
我觉得本质上从概念上肯定没有什么区别，最核心的那个recursive和self-improvement肯定都是一样的。只是说它环境变了，RSI本身你可以是数字世界，也可以是物理世界。所以那这个回答是说，巨深的RSI它本质上是？可以是物理世界啊？怎么变成物理世界了？你说RSI现在在巨深领域是急需被突破的技术吗？
还没有那么急需吧？嗯，我觉得这个确实。你回到回到那个，其实现在就前段时间那个in-context learning这件事情，我觉得本质上，他还没有到聊那个事儿的时候。那有可能有的东西，他可能讲的还是基模的能力，以及 in context learning 的能力。就我基模scale到一定程度之后，我自然有这个从错误中恢复也好。
或者说就是基模进化到一定程度，就类似于 GPT 三那个时刻，就是我其实是能够有推理能力的。但是我怎么把推理能力激发出来？嗯，那你落到巨身上，就是我其实有这个执行任务的能力，但是我需要去激发出来。对，那我可能模型需要 scale 到一定的程度。然后我具备这种能力之后。
你像现在能够通过一些 interactive learning 来学出来，比如说可能人类给他做一次示范，他又会了。那这个其实我觉得没有到说 RSI
的那个程度。嗯，就它本质上我自己其实没看太多，我觉得有可能其实指的就是说我部署下去之后，我怎么能让它可靠的确实能完成这个任务，而且它一遍能比一遍完成的更好。比如说，上市第二天，那个王兴兴在那个世界机器人大会上就演讲，他们现在正在推进物理AI机器人四进化的方向，AI大模型自主检索论文，自动编写控制代码，仿真验证，部署到实体机器人检测，模型与人工共同评分反馈，形成闭环。
嗯，我觉得很多时候物理世界的东西来的都比数字世界慢。你研究这个方向当然是可以的，而且也是promising的，但是它的进展肯定是要慢一些的。你觉得会有哪些挑战吧？比如说我自己现在能想到。就是物理世界到这呸，现实世界，呸，哎，数字数学到物理世界的这个gap。
嗯，还有就是数字世界它的这个试错成本是比较低的嘛，就是你做错了其实也没关系，但是现实世界你做错了是有可能造成一些后果的。嗯，就我自己目前能想到的挑战啊，就是阻碍他们资金化发展的一个挑战。
我的意见就是说，你基模都没做好呢，你对我就刚才在问，就这件事情对他们技术来说是一个紧迫的吗？我觉得还没到那个，还没到紧迫的程度，就是你们还有更多别的要解决的事情，是吧？嗯嗯。