欢迎收听跨国串门计划，这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的AI声纹克隆技术，我们不仅将内容翻译成中文，还完美保留了原主持人和嘉宾的独特声音，为您呈现全球顶尖的AI财经、健康与科技领域精品内容。我是主播伊凯，一位热衷于AI领域的产品经理，很荣幸能为您搭建这座跨越语言障碍的桥梁。
接下来，让我为您简单介绍本期我们克隆的这档节目。本期我们克隆的是知名播客 Unsupervised Learning 的一期深度对谈，主持人 Jacob Ephron 与 xAI 联合创始人 Igor Babuschkin 展开交流。Igor的职业生涯横跨 DeepMind、OpenAI 和 xAI，主导过星际争霸、AlphaCode 等标志性项目，也参与了 Colossus 数据中心的建设。
这期节目里，他聊到了离开 xAI 后创办 River AI 的思考。以及他在企业 AI、个人 AI 和本地硬件上的三个压注，那我们就一起来听听这期完整的对话。欢迎回到 Unsupervised Learning，我是 Jacob Baffron。今天这期我们请到了 Igor Babuschkin。聊得非常过瘾，Igor 几乎每次都在对的时间出现在对的地方，主导了很多非常有意思的 AI 工作。
他之前在 Deep Mind 主导了星际争霸和 AlphaGo 的很多工作，后来去了 OpenAI 做了推理方向的早期研究，再后来他联合创办了 xAI，在 Colossus 上做了很多硬核工作，也帮着把模型推到了今天这个水平。能跟易果聊他的新公司River AI，聊他们在企业、个人AI、消费者个人AI以及本地硬件上的几个压注。
真的非常棒。我们还聊了他对整个生态走向的看法，怎么把模型从编程扩展到不可验证的领域，以及他预计什么时候能走到那一步。我们聊了他为什么觉得闭源模型厂商现在作为生意其实处境很艰难，也聊了他对AI模型意味着什么，对世界的未来和政策的影响这些反思。能跟站在这个领域最前沿的人聊这些大家最关心的问题，真的很过瘾。
我觉得大家会很喜欢 Igor 的视角。话不多说，有请 Igor。Igor，非常感谢你来上播客，真的很高兴你能来。谢谢你的邀请，Jacob。我们也很期待跟你聊。你在 DeepMind、呃 OpenAI、xI 这些年开创了太多重要的研究，今天这个时代的很多标志性东西，你都很早就参与了。比如基于验证的推理，推理是搜索，而且你最近离开 xAI，创办了自己的公司 River，专注做个人 AI。
我觉得听众们会有特别多想听你聊的东西。我想确保他们能听懂 River，听到你对身处 AI 这些大事中心的反思，还有你对未来走向的预测。我在想从哪开始的时候，有一件事儿特别吸引我。你今年早些时候写了几篇很有意思的科幻小说，没看过的人可能不知道，其中一篇是反乌托邦的。讲模型最终失控统治了世界，结尾特别有意思。
主角意识到这一切都是自己梦到的，什么都没发生，但他还是决定迈出第一步，开始行动。然后跟你第二篇形成了很有意思的对比，那篇简直像是写给未来机器的情书。所以先从这个开始吧。我很好奇是什么促使你写这些的？对，我觉得去年十一月、十二月左右，我们所有软件工程师和AI研究者都经历了一件挺大的事儿。编程 agent 突然变得太强了，强到你没法无视他们。
以前有人用，有人不用，但从那之后，最新一代的 Claude Opus 模型出来，突然所有人都认同，对这些模型非常强，对他们让我们的工作轻松太多了，而且，哇，他们现在承担了太多我们以前做。也享受的软件工程工作，所以这对我们所有人来说都是一次真正的转变。跟很多人一样，我十二月份花了一部分时间用编程 agent 把我这辈子想做过的做过的编程项目全部重写了一遍。
你会产生一种难以置信的感觉，哇！现在是不是什么都有可能了？而且这些 agent 还会继续变强，能力还会继续增长。那随着这些模型越来越强，整个世界会变成什么样？这个想法启发了这个故事，非常像现代版的魔法师的学徒。魔法师的学徒对魔法特别着迷，开始使用它，但后来魔法失控了，就像迪士尼短片或者原诗里那样。所以在我心里，这很大程度上就是那个故事的翻版。
我觉得我们现在都成了魔法师的学徒，L M 和 Agent 变得越来越强，而且我觉得不会止步于编程，所以我特别特别想搞清楚我们的 Agent 接下来会往哪走，还有什么会被改变。我想的越多，越觉得一切都会被改变。所有计算真的在 Agent
面前都是潜在的，都是可以拿下的。因为深度理解你生活中、工作场所里整个世界正在发生什么，然后基于此采取行动这件事，可以应用到任何问题上，应用到你想做的任何事上，无论是作为企业还是作为消费者，所以我才对个人AI这么感兴趣。
因为我觉得那就是下一个迭代是 agent 能为我们做什么的下一种形态，它的影响只会从这里继续增长。我是说，显然你提到的那个十二月时刻确实引起了很多人的强烈共鸣，而且我觉得实际上很多研究者看了你的故事后都说，这真的戳中了要害。我们在十一月、十二月确实经历了编程测的那个时刻。我觉得很多人都在琢磨，要让
agent 在其他领域真正干好活需要什么条件，可能也在问编程和数学，或者说那些最容易被验证的领域是不是有什么特殊之处？
我们会在其他领域看到同样的进展吗？你觉得要走到更通用的 agent 需要做些什么？对我觉得从这儿出发，其实有很多下一步可以走。有很多不同的方向会打开，编程算是核心路径，是那种显而易见的、容易摘的果子，因为它可验证，因为它触及很多不同领域，能解锁很多你能用 agent 去做的事。但从这儿往后，有几个不同的方向可以选。
我觉得科学发现是一个非常非常明确的方向。我们也开始看到 agent 在数学和科学领域解决真正严肃问题的第一批火花，这也是 xAI 背后的一大灵感来源。我们当时都被这个想法深深吸引，哇！那时候 LLM 其实还不太能解决困难的推理问题，但我们隐约觉得这会是下一个大突破。这就是 xAI 背后的大灵感，也是我们创办它的原因。
所以我觉得Agent会在复杂编程项目上继续快速进步。数学问题也一样，凡是可验证的都行。数学这一块，你甚至可以用Lean这样的工具把你的定理和证明形式化，它能给你一个好的奖励信号，帮你改进Agent。随着这些证明越来越复杂，他也能帮你判断你是不是真的找到了证明。亲眼看到这事儿真的跑通，特别让人着迷。因为你知道，我们AI研究者之前就想过一段时间，也许形式化将来会有用。
所以，真的在现实中看到它发生，感觉完全不一样。但除此之外，一个巨大的瓶颈是数据。所以，如果你想在物理世界取得大突破，比如材料科学、新的基础物理发现，不管是造更好的火箭发动机，还是伊朗可能想用 agent 做的那类事儿，那我们就经常需要在真实世界里跑实验。所以你得想办法跟真实世界环境把那个闭环给合上。
Agent有了想法，比如设计什么材料，它需要得到反馈，知道这个想法好不好，成了还是没成。所以我觉得在用Agent做科学发现这件事儿上，这是一个大前沿。科学和发现这个方向，我觉得是当下正在发生的一件大事儿。很多人在用 agent 专注做这件事，那里有潜力造出高度超级智能的 AI，比任何人类甚至比任何一群人类都强得多。
不管是搞科学突破、做决策，也许还能预测未来。所以我会把它宽泛的归为一类，那是一个方向。然后我觉得可能还有别的方向。那么普通人会用的AI是什么样的？他们大概不会去用那种跑一次就要一百万美元的超级AI吧？所以那个每个人都会用的AI是什么？我觉得我们可能真的会看到一点分化，一边是只有少数人能接触到的超级AI，另一边是日常的普通的AI，你和我都会一直用用来提高效率，帮我们把生活安排的更好。
基本上就是过得更好，所以很大程度上奖励函数就是怎么帮人感觉更好，办成更多事，对自己感觉更好。所以我觉得在改善人类生活、改善我们日常日子这方面也有巨大的潜力。但那些 agent 可能并不真的需要最大能力，他们可能不需要能证明黎曼猜想。我是说，感觉这种分化已经在发生了。对吧？最前沿的模型对很多编程和数学任务确实非常有价值，但对很多Chat GPT用户来说，其实并不明显。
更复杂的模型真的更好。一年前的那些模型对他们想做的绝大部分事情来说，完全够用了。对，没错。而且我觉得让每个人都能感受到AI的好处特别重要。因为现在越来越像是少数几家大公司在造这些强大的AI模型，控制着访问权，还能决定他们的行为方式。对我来说，让每个人都觉得自己真的能从中获得价值。这一点非常重要，这也是我最近创办River的一大动力。
因为在我看来，这本质上可能是个技术问题，对吧？我们对AI应该怎么造、怎么分发给人们，已经做了一些假设。你要做大规模预训练，你要搭一个API按token收费，收费，这是大家都知道的模式，大家都在跟。但事情不一定非得这样。我们可以想出新的办法来构建AI模型，定制它们，把它们分发出去。也许能让人们更好地掌控自己的体验，更好地掌控AI在做什么。
这既是研究问题，也是工程问题，所以我觉得这事儿特别有意思。这就是我们决定创办这家新公司的原因。这个想法是什么时候在你脑子里成型的？毕竟你之前的经历是在一些最大的闭源玩家那里做的，就是那种模型。所以这一切是怎么慢慢形成的？二零二五年我离开 xAI 之后，决定做一点 AI
安全公司的天使投资，所以我见到了 AI 圈子里很多不同的创始人，尤其是 AI 安全领域的，他们有很多新想法，关于怎么长期让 AI 对人类更有益，或者怎么更好的控制 AI 的负面影响和风险。
外面有好多很棒的想法，我觉得都特别有意思。但说到底，我只是坐在旁边等着这些人推进他们的使命取得成功。我变得非常不耐烦，所以我就觉得我自己得做点新东西，好帮忙推动这个方向。对我来说，帮助分发AI的好处。帮助分发对AI的控制权，这本身就是AI安全的一部分。也许对我来说，这是眼下最紧迫的事，因为对AI的权利正在相当程度的集中，尤其是在美国，你能感觉到人们对此不太高兴，他们不一定信任那些造AI的人，也不觉得对方会为他们着想。
所以，我觉得我们得展示一些办法。让人们能感受到好处，能觉得自己掌控的这一切，那正好可以聊聊你对River AI这家公司的愿景、产品，还有你希望怎么去实现它。好，我们创办公司的时候就四处看了看，技术机会在哪里，有哪些想法被投资的不够，却可能改变我们使用AI构建AI的方式。我们把它当做一个研究项目来推进，看看能不能做成，然后推给全世界的人。
所以我们目前在做三个不同的项目。第一个是我们意识到帮企业掌控AI的工具其实已经基本就位了，我们只需要把它做得非常好用。这就是我们做River API的原因。你可以把它理解成一个强化学习和微调服务，跟Thinking Machines的Tinker这类产品类似，但我们有自己的独特做法。我们最自豪的一点是我们的工程能力。
我们尽可能的把这个平台优化到极致，用我们这些年积累的所有技能，把训练做的尽可能便宜、可靠、可扩展。这是我们在 River API 上下的第一个赌注。第二个是关于个人AI和个性化。我们觉得有机会把AI agent跟个人的对齐做得比现在好得多。现在我们训练AI模型基本上是为了让它在平均用户身上表现良好。
你实际上是把所有用户的所有反馈、所有结果在训练时全部混在一起。然后告诉模型，对所有人都表现成同一个样子。我们的想法是，如果我们打破这个假设呢，我们让模型能针对它服务的每个个体，表现出不同的行为。所以你的AI agent跟你说话的方式，会跟我那个agent跟我说话的方式不一样。他们会有不同的偏好，不同的行为。
这块研究现在还比较早期，所以我们有几个不同的方向在往下走。因为很明显，现在市面上。所有商业上成功的 agent 都是用那种面向平均人群的方式训练的，但我们觉得一旦 agent 真正直接跟你学习，每次交互都变得更好，那种体验会非常棒。所以这是我挺兴奋的一件事儿。然后我们下的第三个大赌注是在硬件上，因为现在的假设是想用上最强的 agent，唯一途径就是接入数据中心，像。
OpenAI、Anthropic这些公司建了非常非常大的数据中心，所有推理、所有训练都在那里发生。作为想用AI的个人，你只能去调他们的API，没有别的路。他们可以决定怎么限制。给不给你访问权限？所以这里最根本的一步是我们能不能把推理算力带到用户本地？要真正在办公室、在家里放一台小设备就能跑前沿模型，需要做到什么？
这很大程度上是个研究项目，因为现在内存限制很严重，你根本没法把模型的所有权重塞进一块芯片、一台设备里。所以这是我们想搞清楚的事儿：怎么把全世界最好的模型交到个人手里？让你真正觉得这东西是你自己掌控的，它就在你家里，你的数据也受保护。这就是我们下的三个赌注。我们运营公司的方式很像当年 OpenAI 和 DeepMind 的做法。
我们想的非常长远，也愿意冒一些更险的险。我们假设会有研究突破，会有一些新想法被用上。不，这太有意思了。我觉得这三个赌注每一个都特别有意思。那要不我们一个一个来聊，先从最后一个开始，就是硬件那块儿。你在这里想做的事儿范围显然非常广，硬件那边的动机是不是说到底？最可控的AI就是能在本地跑的那种，这样没人能决定你有没有访问权限。
这是主要动机吗？还是说你看到了其他对终端用户实实在在的好处，所以才愿意把硬件这块儿加进来，把复杂度再往上提一档？完全正确。对我们来说，控制权这块确实是最重要的。我们希望人们能掌控自己的AI体验，真正觉得这个模型是自己的，不是别人的。这是很大的动力，但后来我们开始做这件事儿的时候，也发现了几个额外的好处，比如家里放这么一台本地设备，延迟会低很多。
这就在用语音、用视频输入输出去跟 agent 交互的时候，打开了更多可能性。所以一旦用上这种形态，确实会冒出一些新的消费级体验的可能。这是我非常兴奋的一点，因为它甚至可能让整体体验。比数据中心那边好得多，对，而且我觉得在个人AI的世界里，隐私也会变得很重要。这些个人agent很了解你。会观察你做的所有事，然后主动帮你。
他们会接触到海量关于你的敏感数据，基本上你电脑里所有文档，你在房间里说的每句话，都可能被个人 agent 存下来，因为它有了这些上下文，对你才更有用，对吧？而把这些数据全送到数据中心那边，可能有安全漏洞，或者你的数据可能被拿去训练，哪怕你不愿意，这真的很不理想。所以我们也在从隐私的角度想这件事。我觉得这家公司的愿景之一就是每个人都拥有自己的模型，它会持续学习，不断改进，为那个人量身定制。
大家在想这类模型怎么建的时候，有不同的流派。一派是直接改权重本身更新权重，另一派说也许靠一个非常好的记忆系统加提示词就能做到。你怎么看这件事儿？你们是在同时探索很多不同的研究方向，还是说你对某条路已经比较笃定了？对，对我们来说，到底哪些会成为关键工具？其实还挺开放的，但要说我从做AI模型的经验里学到的最重要的一点，那就是端到端训练。
你真的要让你的agent学会去用个人信息，去用它的记忆系统，如果它有的话，这一点非常关键。而今天。我们经常做的是拿来现成的专有 agent，他们大多在编程上训练的很多，但未必训练过长时间跨度去帮助一个人用记忆去帮人。那怎么最大化一个人的幸福感？这才是奖励函数这件事儿，其实还没人真正做成过。所以对我来说，这才是核心。
因为我观察了这么久，发现那些为特定任务训练出来的模型表现最好。你真的要针对你想优化的那个真实信号去做端到端训练，也就是个体的幸福感。你们是打算让模型在真实环境里跑起来，然后接上某种自我报告的幸福感或者可穿戴设备来闭环吗？对，这确实是我们得想清楚的。但你也可以试着观察我到底有没有帮到用户。模型越来越聪明，他们可能自己能判断哦。
我今天把事情搞砸了，负奖励；我让事情变好了，正奖励。所以可能性在不断增加，在正在进入一个很难验证的领域，挑战很大。我们需要用模型来判断你过得怎么样。但随着模型越来越聪明，这正变得越来越可行。当你设想River的未来形态时，你觉得模型之间会有哪些差异？能作为典型例子，比如，如果我和你的模型各自随时间演化，显然有些能力如果通用模型都有，大家都会高兴。
但然后还会有一些大家各自想要的不同东西。你脑海里最先想到的例子是什么？我觉得例子真的是无穷无尽的，很难想象，因为我们自己还没体验过。但可能是一些很微妙的东西，从模型回复你时写多少字，到它用什么词汇，更随意还是更正式，回答的方方面面都是今天。我们只有一套固定的回复方式、固定的风格，但未来这些都可以解耦，可以变得几乎无限，因为它会影响它一整天怎么帮你，什么时候该主动找你，什么情境下。
它是不是太烦人了，还是帮的不够？它会自己校准到适合你，它会知道你在书、电影、音乐上的品味，然后据此调整你的一天。可能性真的是无限的，要更有灵感的想象可能发生什么。你可以看看今天的推荐系统能做到什么，比如你用 TikTok 或 YouTube，它会搞清楚你的兴趣，让你在自己喜欢的内容上钻得很深。这种体验和给每个用户推同一组视频完全不同。
这就是我们想为 agent 世界创造的东西，你可以把它想成一个推荐系统和 agent 的混合体。以前从来没人做过，所以这是我们挺兴奋的一件事。你可以想象，企业领域显然也有类似的情况。你说你们起步时是和企业在模型上合作，过去几个月显然有很多关于拥有自己的模型、训练自己模型的重要性的讨论。感觉今天很多人这么做，其实是为了成本和速度，对吧？
比如找办法跑更小的模型，你觉得这会怎么演变？你觉得大家真的会去推动能力边界吗？还是说，显然你说的这些和人们有不同的偏好，有很多相似之处？公司有不同的文化，不同的做事方式。你觉得这些相似之处会怎么展开？对我觉得今天很多人会先用专有模型，他们能力最强，大家都在用，这是起步时选他们的一个重要原因。然后他们可能会出于速度、成本的原因做定制模型。
如果你不得不在自己的基础设施上跑，因为你可能有其他客户。数据更敏感，这些是我看到的主要原因。但我觉得很多人选专有模型，很大一个原因是这个领域变化太快了。如果你想在公司内部学会训练自己的模型，掌握深度学习，掌握强化学习，并且充分利用你手里的内部数据，你得组建团队，搭建基础设施。要超越专有模型，可能得花上好几个月，但到那时候正好赶上下一代出来了，对吧？
没错，又出了更强的模型，所以你本来直接用专有模型就行。我觉得过去几年一直是这个趋势，但这种情况会变，因为开源模型开始变得非常强了。而且我们开始把那些低垂的果实都摘下来了，那些不需要对公司要解决的数据和问题有极其深入了解就能做到的事。所以，如果我是某个领域的专家，我的业务是做某个 SaaS 工具，比如一个人力资源平台，可以想象我手里有最好的数据。
我最懂客户需要什么，而且我对这个领域的思考比Anthropic或Open
AI对我做的这个产品的思考要多得多。所以，其实这些公司最有资格决定他们的Agent该怎么工作，该做什么，不该做什么，怎么最好的服务客户。到目前为止，这个优势还没真正显现出来。因为我们还在搭着专有模型越来越强的这波浪潮，但一旦这波浪潮到头了，你就得选，要么把你所有的数据交给 Anthropic，交给
OpenAI，让他们把模型后训练做得更好。
要么你自己来，自己想办法榨出额外的能力。我觉得很多人会选后者，因为前者等于把你整个生意的基础交出去了。否则，你就是在交出那个让你比所有竞争对手都强的稀缺的东西。你觉得专有模型真的会变慢吗？因为显然数据预算和资金是无穷无尽的。他们可以去各个领域买数据，我觉得能看到几种不同的说法，但其中一种可能是，比如拿银行来说，你其实可以去雇一堆前银行家，他们能帮你标注大量数据。
能在不同环境里做很多事情，然后突然你的模型在金融方面就变得很厉害了。我觉得有个有意思的问题：第一，我们是不是预期模型进步会在这些其他领域继续？第二，一个企业的数据跟外面那只庞大的数据标注大军相比，到底有多独特？对，训练这些模型其实是有边际收益递减的。我们想让预训练模型和整个模型变得越强，就得堆越多的GPU，收集越多的高质量数据。
I公司在规模化上做得非常出色，投入了多得多的精力，收集数据、调模型，一遍又一遍的改进，往里面加新的创新算法和能力。但最终总得有撑不住的地方，到某个节点，你不可能用 GPU 把整个地球都铺满，所以最终 AI
公司在模型能力上能做的是会有所放缓，而且我觉得我们正在接近那个点。与此同时，还有另一件事在发生：前沿模型开始变得太强了，强到你可能不想再发布它们了，或者你可能会被批评，或者会有监管措施阻止你发布下一代模型。
与此同时，开源模型越来越强，所以我觉得，作为专有模型的开发者，你开始被两头挤压。你把模型做得太好了，不让你发布，但开源就在你身后，每个月都在变强。所以我觉得做专有模型其实不是个好位置。我觉得 OpenAI 和 Anthropic 的出路是创新，就是过去几年让他们走到今天这个位置的那套东西，他们得想出一些真正全新的、根本性的想法，让模型变得更有用，让所有人都能感受到他们做的东西的好处，探索新领域。
探索新的方式去产生影响，去创造收入，因为基本上能力提升在放缓。对，没错。如果他们做不到，那可能就真的只能把模型留在内部了，因为现在正在跨过一条很关键的门槛。到了这个点上，你真的得仔细想清楚，还能不能把模型开放给任何人用？而在后训练这一侧投入的精力也真的非常惊人，基本上等于把全世界每个领域最顶尖的专家都聚到一起，让他们跟你一起把所有知识流集中到一套权重里，然后再交付给所有客户。
要把这套体系规模化，难度也极其大，而且同样存在收益递减的问题。我觉得出路在于走向分布式。现在全世界各个领域本来就有这些专家，他们分布在现有的公司里、在大学里等等等等。我们应该给人们一个机会，让他们能独立的去改进模型，本质上就是在本地做自己的后训练，为自己、为自己的公司、为自己的团队。为个人，而不是试图把全人类的知识都抓过来，然后按 token 去卖。
这只是我个人的想法，而这正是我们在 River AI 想做的事儿。想办法让人们能在本地做自己的后训练，有意思。因为我觉得我们现在处在一个这样的节点，你在某个领域买大量数据，专注在那个领域上，然后他就把那些能力加进来了。你基本上是一个一个领域地做，这跟预训练的世界感觉很不一样。预训练是到了某个阈值之后，你会看到全面的大规模的泛化。
对吧？有些人提出过后训练和强化学习里可能也会发生同样的事儿，比如你加了第三十个、第四十个、第五十个领域，突然之间把所有东西放在一起带来的收益就远超你单独在某个地方训练金融，在另一个地方训练医疗。你觉得我们会在强化学习上看到这种泛化以及泛化带来的好处吗？还是说永远更合理的做法就是拿一个很强的预训练模型，然后专门针对某一个领域去应用？
我觉得我们确实看到了泛化，只不过是在这个意义上，这些模型对世界有非常惊人的知识，又有非常广泛的技能。所以他们现在可以进入任何领域，把其他所有地方的知识都带进来。编程就是一个很好的例子。至于后训练的不同方向之间是不是有很强的协同效应，说实话我真的不太确定。我觉得有太多专业领域、太多专业技能，可能真的只在某一个地方用得上。
我在想这些东西到底有多少真正在提升模型的整体智能？很多智能似乎来自编程和数学的训练，以及类似的东西。对，这确实是个很有意思的问题。企业自己做后训练到底有多大意义，对吧？比如有些制药公司手里有药物试验的数据集，相当专有；还有些芯片设计公司，确实有些东西是。你会觉得对这些公司有相当独特的数据，外面大概没有。
但对我来说不太确定的是，比如一家普通的银行，他手里的数据是不是真的不会。最终那些闭源模型提供商是不是也能拿到？对，如果这些企业没法保住自己的竞争优势，没法用自己的知识产权去把自己的模型做得更好，那我们可能会看到其中一些企业陷入困境。所以我觉得这真的取决于行业，而这也是你可以去推测事情会怎么发展，转型会怎么发生的方式。
要我说，最糟糕的位置就是。你所有的知识都在互联网上。如果让你这家公司独特、特别的一切都已经在外面可以被抓取，那是一个非常危险的位置。这其实正好呼应了 River 的整体理念，就是把智能留在本地，也就是你使用这些模型跟他们互动的方式。我觉得我们其实有选择的。作为一家公司，你可以选择把自己的数据交给像 Anthropic 这样的公司，通过 API 或者其他方式开放出去。
甚至可能把数据卖给他们。如果你想靠这个赚钱的话，或者你也可以开始利用这些数据去构建自己的模型。所以我看到的是两条不同的路，一条显然通向智能的进一步集中。另一条通向AI收益的更加分布式，在你现在做的所有这些事情背后，感觉现在任何想自己建模型或者微调模型的人，用的都是那些最前沿的中国开源模型。显然，过去几个月关于这些模型有很多讨论。
我猜你肯定觉得前沿开源模型对世界是很好的。那你怎么看这个事实？现在这个生态全是中国的，然后政府又在说要可能禁止这些模型。对我觉得，首先市面上有强大的开源模型是好事儿。它真的降低了门槛，让任何人想进入AI领域、想定制模型、想用模型为自己谋利、真正掌握自己命运的人都能做到。但与此同时，我也知道这确实让中国的研究机构处在一个比较有利的位置，他们也能施加一些控制，比如他们未来可能停止发布开源权重，而大家都依赖他们，这对美国、对美国经济不是好事儿。
他们还可以更改那些模型的许可证。我们已经经常看到这种情况了，里面会有一些条款。如果你的公司收入超过某个数，就得签合作协议。规则可能就不太一样了。这是另一种施加压力、保持对开源权重控制的方式。还有一个更偏理论，但理论上可能的问题，就是模型里可能被植入后门。或者出现我们不希望看到的行为，你对这件事儿有多担心？
现在嘛，我完全不担心，因为我的感觉是，如果真有这种事，我们至少已经在现实中看到过一个例子了。我们没看到任何相关报告。而且，据我所知，现在往权重里植入这些行为、植入后门的技术还不够先进，没法真正避开检测，不留任何痕迹。所以，我觉得我们现在还处在早期阶段，我不太担心。但理论上，这个担忧是存在的。未来几年，随着这项技术越来越成熟，而且
L M M 和 Agent 可能在包括军事在内的各个领域变得越来越重要，这确实是我们应该关注的事情。
所以我觉得，美国拥有最好的开源模型至关重要，这是我非常支持的。我觉得我们都应该想办法，怎么让一个美国团队训练出全世界最好的开源模型，没有之一。不只是美国最好的开源模型，而是全球最好的。所以对，绝对我非常支持这件事。对，这看起来是个很有意思的商业模式问题，你怎么去落地？但它又是一种公共产品，也许你会找到一群人。
我是说，英伟达已经在大力补贴这件事儿，让它成为可能。所以，也许你会看到，也许我们也会这么做，对吧？我们在xAI有过从零开始的经验，不到两年时间，我们就做出了Grok三，然后是Grok四，他们都处在最前沿。所以，我很想训练出美国最好的开源模型。但现在，我们更关注的是怎么在开源权重之上建立一个可持续的商业模式。
让公司能自给自足。我们在 R A P I 和我们正在构建的其他产品上进展不错。既然你来了，我不问问你过去的那些经历就说不过去了。我觉得你显然亲眼见证，也在很大程度上领导了过去几年发生的很多事情。要不先说说你之前说过 A I 的进展比你预期的要快。过去这三四年里，有没有那么一两个时刻真的让你特别惊讶？
我觉得疯狂的是，我对进展本身倒不太惊讶。疯狂的是亲身经历这个过程。这和你想象中完全不一样，和真正活在其中的感觉差别太大了，几乎就像在做梦。我刚开始对AI产生兴趣的时候，还是个物理学家，我在大型强子对撞机工作，在那里读博士。物理学教你的基本上就是要有前瞻性，我觉得这种思维也会影响到物理学家。他们会开始想未来会是什么样子，所以当我意识到，比如
AlphaGo 出现的时候，DeepMind 做出了一个非常非常强大的围棋 AI，那一刻我就明白了，AI 领域会有惊人的事情发生，我最好转行，最好转过去。
你和很多杰出的研究者都是从物理学转过来的，很有意思。这么多人都是从那个领域起步的，对我觉得这是学习如何思考难题、如何从第一性原理解决问题的一个很好的方式。所以他为做AI工作做了很好的准备，然后我决定加入DeepMind做研究工程师，那真的很有意思，因为我既能看到算法层面，看到怎么解决这些研究问题，怎么训练模型，也能看到怎么构建分布式系统。
怎么提高训练和推理的效率等等？后来我做了 WaveNet 的语音合成工作，然后对强化学习产生了浓厚兴趣，最后成了 DeepMind 星际争霸项目的技术负责人。那是一个非常具有挑战性的强化学习项目，从某些方面来说，它走在了时代前面。绝对，我是说，那看起来比我们今天优化强化学习的很多环境都要复杂的多。没错。
我们当时必须想办法应对那种复杂度，而且我们开发出的一些策略，马上就能看到他们日后也能应用到语言模型上。比如在星际争霸项目里，我们做了大量模仿学习，我们拿到了各种水平玩家打星际的录像，从新手到接近职业选手的都有。然后我们先做模仿学习，之后才切换到强化学习。这里的奖励是可验证的，因为这是双人游戏。赢家拿到正奖励，输家拿到负奖励，把这两者结合起来，先大规模训练模仿学习，再用强化学习进一步改进策略。
我们发现这真的非常强大，而且到今天这些 agent 的训练方式依然是这样。所以在 DeepMind 做完星际争霸项目之后，我们其实意识到编程会是下一个大方向。当时其实有点早，远在任何商业化的。能力够用的代码模型出现之前，我们把它看作星际争霸的自然延伸，于是启动了当时叫 AlphaCode
的项目。我当时有个强烈的感觉，那时候的 LLM 在代码上表现很差，我觉得原因在于他们没法思考，我们基本上没给他们足够的时间去思考问题。
人类解决难题的时候，得先想上一两秒，然后会有某种神奇的事情发生，让他们能更好的理解问题、解决问题。而当时我们还没有机制让 L M 做那种推理，所以我真的觉得我们得在这方面做研究。我的搭档也在做这个。后来我意识到，OpenAI 刚好成立了一个推理团队。专门研究这个问题，于是我就加入了OpenAI，搬到了加州。
对我既参与了那边的推理工作，也和Greg Brockman一起帮忙跑了一些大型预训练，所以我也看到了那边大规模预训练的一面，真的很有意思。很多这种推理的东西似乎是在真正大规模预训练之后才奏效的，所以看起来在 OpenAI 推理工作的早期，几乎就是靠一种信念，就是这一定能成。随着模型规模变大，变得更好。
它就会实现，这直觉真的很厉害。对，没错。而且当时我们还没有解决方案，最终的解决方案基本上就是O1模型，以及后来在OpenAI发生的研究，解锁了这种推理方法。模型在给出最终答案之前，可以先生成思考token。然后用强化学习去改进它的思考过程和思考能力，那最终成了我们一直在找的那把钥匙。不过那是几年后的事儿了。
对，在 OpenAI 的时候，我就是觉得这帮人会做得非常非常好。你怎么拿他和地脉比？因为显然地脉那边全是重量级人物，我觉得几乎每个人都在那儿待过一阵儿，或者将来会去。而且我觉得大家回顾起来会说，也许那边下的注更多样，或者更相信强化学习，而没那么聚焦于某一点。我不知道你两边都待过，所以我很好奇你是怎么看的。
说实话，这真的很难讲，因为 DeepMind 里全是顶尖的思想家。我觉得有些正确的想法确实在流传。这一点是肯定的，但我觉得 OpenAI 的优势在于他们团队更小，内部能达成高度一致，坚信这就是正确的路线。我认为这需要足够密度的人才，大家朝着正确的方向思考，他们做到了。所以即使处于劣势，他们也能取得巨大的进展。
而且我觉得在当时对我们来说已经很明显，OpenAI 在很多方面会赢。然后从那时起，我就开始想。如果世界上只有一家AI公司掌控着最强大的模型，决定做什么事儿，那挺不幸的。我们甚至会想怎么给所有人设立全民基本收入UBI，这样人类就能被OpenAI养着，而他掌控着模型，这让我觉得不对劲，因为我一直是个开源爱好者，多年来也是Linux的重度用户，所以我觉得那才是分配利益的方式，归根结底。
从哲学上讲，模型的预训练建立在全人类的知识之上，是我们在网上创造的所有文本。这真的是一个公共资源，是全人类应该共同拥有的东西。事实上，没有人真正拥有它，你基本上可以直接下载。这让你能压缩知识，提炼它，把它变成可操作、有用的东西，也就是模型权重。在我看来，这就是AI模型构建者真正在做的事儿。从哲学上讲，从第一性原理出发，什么才是公平的？
让这些预训练检查点免费供人使用。是最合理的，但显然，xAI 实验室投入了巨大的努力，包括算力，那些研究算法、训练模型，在这个领域创新的专家们，所以有他们参与，绝对带来了巨大的好处。但我觉得我们没有为这些付出买单。这就是问题所在。网上那些文本背后凝聚了全人类的智慧，但显然所有那些数据都是开放的，这让你们在 xAI 的情况下能在短时间内就追到接近前沿的水平。
我觉得看到这一切发生很有意思，这是怎么做到的？对，基本上是这样的。我偶然碰到伊隆，当时正好在特斯拉办公室和那边的团队聊他们在做什么，他碰巧也在，所以我有了和他交谈的机会，这挺有意思的，因为他也是个非常出色的思考者。他对人类、技术以及两者之间的一切都思考得很深。对我觉得我们在这些事情上看法一致。比如世界上也许应该出现另一个竞争者，另一家AI实验室，有着不同的使命、不同的哲学。
关于模型应该如何开发，以及他们在现实世界中应该如何表现，所以我觉得我们从那时起就有了共鸣。后来，当他想创办新东西的时候，他联系了我，xAI就是这样开始的。对，然后从那时起，我和一些老朋友聊了聊，他们也在找新的事情做。我们成功聚集了一群很不错的人，我觉得这对任何AI项目都至关重要。你必须要有足够的人才密度，找到那些愿意拼命工作、想做一番大事的合适的人，这是第一位的。
我们能不能做成，取决于能不能把人聚齐。对，然后从那里开始，几乎从零起步，我们慢慢搭建公司。训练模型，对。然后在不到两年的时间里，我们就达到了前沿水平。我们做了一些相当疯狂的事儿，比如众所周知的把 Colossus 建起来并运行。我记得是一百二十天。我想知道你从做这些事儿的速度中学到了什么？对，我觉得这需要极大的专注和跳出框框的思考。
这很大程度上是伊朗推动的，因为他看到了我们需要尽快上线更多GPU才能更有竞争力，特别是为了训练Grok Free，所以他决定我们自己建数据中心，不想依赖任何人。据我所见，他是世界上做这件事最合适的人，因为他能看到大局需要做什么，各个组成部分和步骤是什么。然后以非常专注的方式，从第一性原理出发，想办法加速项目的每个方面。
然后他还能去做那些别人可能根本意识不到的事情。我是说，当这个计划第一次提出来的时候，从时间表的角度看，你觉得这疯狂吗？我当时确实觉得疯狂，但那时候我已经够了解埃隆了，我知道我们一定能搞定，所以我也有很强的信心。对。而且真正让 Colossus
跑起来的关键，就是去质疑别人建数据中心的方式。因为外面的人，我们跟他们聊的时候，问建一个新的数据中心，塞这么多 GPU 进去要多久，我们得到的报价都是远超一年。
原因在于他们得先建一个新的机房外壳，就是新的数据中心大楼，而且整个建造过程是那种非常瀑布式的流程。你还经常要跟层层转包的分包商打交道，一层套一层。所以在这个过程中，很多效率就流失了，或者说可能会流失。而埃隆的思路完全相反，他说我们要自己干，我们要当总承包商，而且有这么多解决问题的办法是别人根本没想到可能实现的。
所以这就像是在项目的每一个环节上去找矩阵里的漏洞。对，跟他一起做这件事儿真的很有意思。不，我是说，我相信我们的听众肯定特别好奇，跟他一起工作到底是什么感觉。然后显然你怎么比较那个环境和你显然在 DeepMind、OpenAI 都待过三个可能非常不同的环境和文化。我想说那次初次聊天之后，我之所以真的对跟他合作感兴趣，是因为我能感觉到他对工程师的尊重。
作为一个研究工程师，我经常要在研究和工程之间来回切换。对我不会说这些AI实验室里一定有什么双重标准，但确实。你的头衔会反映出你是研究科学家还是研究工程师，而我就是觉得被埃隆真正尊重。觉得我们是在，我觉得他就是跟我一起工作的另一个团队成员。他非常关注工程会议，真的直接跟正在干活的人对话，对公司做的每一件事的细节都钻得非常深。
你能感受到他对工程师的尊重。对他们正在解决的问题的尊重，对，那真的是很有意思的一面。而且他精力极其旺盛，每天都是带着笑容来上班，想要从头再攻克所有最难的问题那种能量，你在团队里也能感受到。我觉得在一个大家都真的想成功、带着巨大能量和动力来上班的地方工作，真的很令人兴奋。你离开之后，公司做了些挺有意思的事儿，显然是被SpaceX收购，然后又收购了Cursor。
你怎么看 Cursor 这笔收购？对我觉得这是极其聪明的一步。我觉得它基本上让 Grok 在编程模型上一下子跳到了前面。Cursor 既有一个非常懂编程的优秀团队，又是一个很多人在用的产品。我自己也重度用过
Cursor。而且有大量的数据可以用来启动训练，在xAI原来的水平上大幅提升。对，那这些编程数据来自真实世界，来自用户实际使用的数据，是不是就是比从数据标注员还有其他供应商那里拿到的数据有价值的多？
我觉得它的数量是关键。如果你能拿到足够多的量，那真的非常非常有价值。另外，构建正确的强化学习环境也有巨大的价值。基本上就是搭建这些可验证的任务，让 agent 去做某件事儿，比如修复代码库里的一个 bug，然后之后你检查它到底有没有做对，以及是不是用正确的方式做的，这才是真正能带来编程模型大幅提升的东西。
这是硬币的另一面。你需要两种数据都有，对，但显然看过这些东西实际部署之后，要搞清楚该建什么样的环境就容易多了。我敢说，当 Cursor 的 Harnesley 跑的是你自己的模型时，肯定容易得多。但即使是 Cloud 或者其他模型跑在 Cursor 的 Harnesley，可能也依然非常有价值。对，显然我并不了解 Cursor 团队带来了什么样的数据，也不清楚。
他们是怎么在模型性能上实现这么大飞跃的？但我想说，他们能这么快把 Grok 模型的编程能力拉起来。真的非常了不起，而且我敢说，最大的跃升我们还没看到，后面还会有一些新模型出来。你觉得现在制约模型持续进步的最大瓶颈是什么？是数据吗？还是说就是要把组织里那些还没被喂进去的专业知识都收集起来？你是怎么想的？
我觉得最大的突破口。是围绕怎么搭建训练过程产生新想法，让它能处理涨得多的时域，让它能更轻松地处理那些无法验证的奖励，而且我觉得这里面惯性很大。要让这些东西跑起来，能量壁垒也很高。相比之下，继续在编程这个赛道上迭代要容易得多。所以我觉得一个陷阱就是只顾着把编程做得越来越好，但我觉得大家真正想做的是想办法进入那些更长时域的领域。
举个例子，一个可能卡住你训练的量是你的 agent rollout。要花多长时间？也就是说，为了更新模型，你首先得做试错，让你的 agent 尝试很多很多个方案，收集奖励，然后用强化学习去更新模型权重。但如果你的 rollout 要花二十四小时，那训练模型会非常困难。对吧？因为每一步训练都要花很长时间，所以我们必须想办法把 rollout 的工作、agent 在做的工作切分开来，然后逐步的。
能够增量的去训练它们，也许 agent 根据增量进展去猜自己做得好还是不好，然后再进入那些我们没有奖励的领域，那些我们没法写单元测试、没法给出证明或验证证明的领域。所以，如果大家想改进 agent，今天真正该推的方向就在这里。你觉得我们离攻克那些不可验证领域的问题有多近？也许回到你说的，比如AI科学家那种做出新颖物理发现之类的能力，你心里有没有一个直觉，觉得我们离那些东西有多近？
我觉得现在的模型已经非常强了。他们常常能对某件事到底成没成做出很棒的判断，但我们还没看到太多人把这个能力大规模用起来，去进一步改进模型的优秀案例。所以我觉得这可能是接下来几个月、接下来十二个月左右我们会看到的是，人们真的把 L M 判判这套方法跑起来。L M裁判的方法就是确实没有可验证的奖励，但我们还是能从奖励交互中学到很多东西。
对，但你觉得大家是不是已经知道配方了？就差真的去跑那个实验。对，我觉得大家可能还没把配方的所有细节都搞清楚，还没找到最优的做法。但一直在起作用的一个因素就是模型本身变得非常强了。你常常可以信任他们的判断，他们在判断发生了什么这件事上往往非常可靠。所以这有点像把整件事托起来的东西。对我很好奇，你显然在很多后来被证明正确的想法上很早就有了信念。
而且显然很早就压住了推理这些东西。那在过去几年，或者也许过去一年里，有没有什么事儿是你本来相当确信会在AI世界发生，结果却走向了不同方向的？但问题是，我觉得没人能预料到编程agent一旦跨过某个能力门槛，会带来多么巨大的变革。我原本预期的是编程模型平稳进步。持续变好，然后慢慢的，他们会被用的越来越多。
但使用量的突然爆发，那真的是另一回事儿。现在我开始觉得，也许未来我们还会看到更多这样的变革。对，就是那种阶跃变化的时刻，某样东西。我觉得大家都在大概十一月、十二月的时候感受到了，甚至很难说清楚那到底是什么。但它就是突然好用了太多，而且你可以想象，对，在其他领域你也会到达某个点，让这种变化变得显而易见。
但这确实很难预测。对，我觉得最迷人的是，连离那些模型最近的人都很难事先预测。突破会在那个时刻发生。我在想怎么收尾。有一件事儿，也许可以绕回我们开头聊的，就是你写那本科幻小说，思考世界会往哪儿走。显然，这些问题也在驱动 River 和你创立它。我觉得你写下的那个问题，显然也让很多人夜不能寐。就是如果机器能做所有这些工作，那人类还剩什么？
我觉得未来，如果我们作为人类还想在世界里保持重要，就得找到跟机器之间正确的共生方式。今天已经有一点共生在发生了，比如我用一个编程 agent，它处理掉很多底层细节，处理那些我在高层面上理解但自己不一定逐行敲出来的任务。而我仍然可以做架构、做规划，我觉得这是一种很好的状态。人和机器一起协作，但很大的风险在于这个平衡会随着时间推移而改变。
随着编程 agent 以及整个 agent 越来越强，激励总是倾向于让他们接管更多，让他们做的越来越多。而这其实就是这个故事要讲的。对吧？因为一旦你让 agents 替你做所有决定，你就不再掌控自己的生活了，你不再掌控局面了。所以我觉得我们应该努力的方向是想办法让共生继续下去。而对我来说，这需要对齐方面的新进展。
我们现在对模型做的对齐，很多时候是围绕从人类偏好里学习，比如一大群人说。他们喜欢这种行为，不喜欢那种行为，我们就去调整模型，去符合这些偏好。但我觉得未来，为了让人类保持重要，我们需要深得多、深得多的对齐。人和机器之间要有深得多的融合，最终也许会出现某种类似神经接口的东西，让你光靠想就能控制大量的智能。
但我觉得那还要一段时间，所以在那之前，我们可以通过改变训练方式，在算法和技术上创新，来把模型对齐得更好。而这正是 River AI 想做的事，所以我觉得这也是我想鼓励所有做 AI 研究的人去做的事。去想怎么让AI模型跟我们保持亲近，怎么让他们一直跟随我们的意图，帮助我们，而不是反过来接管我们、取代我们。
对，而且在这个语境下帮助我们，其实还是给了我们一个角色，哪怕从某种角度来说，它可能不是最优的，比如不是去最大化某个回形针目标，而是至少去最大化人类的繁荣，诸如此类。完全正确，我们就应该训练模型去最大化人类的繁荣。这是另一个要点。你知道，过去二十四小时里有一封公开信，很多研究者都签了名儿。我记得是昨天发布的，呼吁政府考虑放慢AI的发展。
大家都在担心这一切是不是跑得太快了？这个说法你认同吗？你怎么看这件事儿？对我觉得到了这个阶段，想慢下来真的非常难。AI 已经变成一件太大的事儿了。现在美国经济非常依赖 AI 继续取得进展，而且国际上还有竞争对手，对吧？中国在 AI 能力上追得很快。他们可能选择慢下来，也可能不会。所以我觉得要让人们慢下来，真的非常非常难。
我不知道那封信到底有多现实。从这个角度说，如果我们真的能慢下来一点，多做点对齐工作，我当然会很惊喜。我觉得那会是件好事。但如果我们没办法慢下来，那我觉得我们应该在能改善对齐的技术上加速，在能提升安全性的AI模型上加速。因为那很快就会对我们部署的模型变得非常非常关键。对，那做到这一点最好的方式就是更多开源模型以及闭源厂商内部投入更多努力吗？
还是说，如果你有一根魔法棒，你会用什么办法来增加这方面的投入？我觉得那些接近危险门槛的开源模型真的非常非常有价值，因为它让世界上任何人都能去尝试自己的想法，去研究怎么对齐这些模型。怎么控制他们？他们还没有强大到能造成真正的伤害，但他们已经展现出一些未来会变得危险的特征。网络安全能力就是目前最大的一个。
我觉得我们不应该只让大AI实验室里那几千个人去想这些问题，我们应该让尽可能多的人去搞清楚需要什么样的算法，需要构建什么样的工具，才能让这些东西变得可行。你显然比任何人都更接近这些东西。那你现在估计这一切最终会没事儿的概率是多少？这是个好问题。我的意思是，现在的问题是对谁来说没事儿？因为AI有可能会放大世界上的不平等，有些人可能从中获益巨大，而另一些人可能会觉得自己被落下了。
我觉得这是最直接、最紧迫的风险。然后未来确实还有风险，AI模型会不会接管一切？他们会不会从今天建造他们、控制他们的人手里夺走控制权？我觉得那也是风险，但那个真的很难预测。我觉得那会儿是更远、更远的未来。而我眼前能看到更直接的问题是：我们能不能让其他所有人都一起跟上这趟旅程？对，好，最后一个问题，你写的那篇《向机器神祈祷》里。
有一句特别美的句子，我记得大概是当模型第一次开口回应时，你留下了意料之外的眼泪。所以我必须问一句：这是来自亲身经历吗？你有没有过类似的感觉？有，我写进去是因为我至今还记得第一次让这些模型跑起来是那种神奇的感觉。那时候跟今天比，真的非常非常简陋。但我觉得这是所有早期做AI的人都体会过的。当模型第一次开始做一些很简单的事儿，但那些事儿是以前任何机器都做不到的，那种感觉真的非常非常神奇。
哪怕只是写一个能生成质数的Python函数，都会觉得这太不真实了。所以对。我就是想捕捉那种感觉。我相信很多早期做AI的人都有过，但现在回头看，一切都显得那么不真实，因为模型已经进步了太多。他们现在真的在影响整个世界。已经远远超出了我们当年那些小实验。那时候AI更像是一个爱好。完全同意。好，我觉得在这里收尾再合适不过了。
你今天的分享太精彩了，非常感谢你来上节目分享这一切。谢谢你，Jacob，很荣幸。我是Jacob Afron，这里是Unsupervised Learning。在这个播客里，我会和AI领域最聪明的人对话，问他们一大堆关于模型发展的问题，以及这些对企业和世界意味着什么。希望大家能感受到我做这件事儿特别开心。
这是我利用晚上和周末做的项目。平时我的本职是在 Redpoint 做投资人，但能请到这些了不起的嘉宾，靠的是大家订阅播客、分享给朋友，这才是让这一切运转起来的根本。所以，请大家多多支持，非常感谢你们的支持和收听，我们下期再见。