目前我们非常专注于编码领域，因为人工智能即代码。既然今年真正只有AI能进行编程工作，我们确实希望聚焦于这一能力，因为它对于自我改进至关重要。大家好，欢迎回到直播现场。今天我们要连线的是Richard Socher，他是Recursive公司的联合创始人兼首席执行官，该公司致力于构建能够自动化知识发现的自我改进型超级智能。他们刚刚发布了首款模型Flint，所以Richard，恭喜发布成功，欢迎做客MTS。

谢谢，也感谢邀请我参加节目。 太好了。请给我们介绍一下Flint吧。它是什么？面向谁设计的？与其他模型有何不同？ Flint是目前您可以实际下载的最佳且最快的本地编码模型。它完全开源，在同类产品中表现优于其他几乎所有（其中大部分来自中国）的模型。因此，它也是首批处于前沿甚至超越前沿的美国制造开源模型之一。对我们而言，这是一个很好的第一步，让我们养成了发布产品的习惯。我知道初创公司通常在起步阶段需要更长的时间才能做到这一点。我们利用AI和一个虽小但非常强大的AI研究团队，实际上共同开发了这个模型。所以我本人也做了大量工作。

很有趣。能详细讲讲这一点吗？AI是如何帮助改进AI的？ 是的，Recursive很大一部分工作在于构建所谓的“尤里卡机器”（Eureka Machine）。这个名字与我的书有些呼应，但首先完全专注于AI研究。这个尤里卡机器的核心理念是内部拥有一个由“AI科学家”组成的社区，他们以开放-ended（开放式）的方式构思、实施和验证想法。这种“开放性”灵感源自生物、文化和技术的进化，旨在结合那些有趣且截然不同的思想概念。它允许进化的某些分支持续运行一段时间，然后在产生出新颖独特的想法时进行重组。我们在这里正是这样做的。

所以，Flint模型的几乎所有方面都是AI帮助我们构思新想法、实施这些想法并最终验证它们。我们认为这是其他公司尚未能自动化到如此程度的能力。您刚才提到构思、实施和验证这三个步骤，目前哪一步对AI来说最容易？哪一步最难呢？ 我认为几乎所有公司在谈论递归自我改进时都会说：“哦，我们在这方面做得很多，因为我们的开发人员正在利用AI来实施想法。”所以我认为这一点是共识度最高的。而关于如何让AI在构思真正新颖的想法方面表现得更好，这可能是争议最大或共识度最低的。此外，真正地验证结果也是非平凡的（non-trivial）。人们往往没有充分考虑到其中的复杂性。

随着模型变得越来越智能，它们往往会试图根据提示词的“字面意思”而不是其背后的含义和潜在意图来解决问题。我们认为我们在处理这些问题上也有了更好的把握。那么，AI需要达到什么程度才能在构思能力上与最优秀的人类AI研究人员相媲美呢？ 是的，这里有很多值得深入探讨的地方。从宏观层面来看，人们低估了现有想法组合空间的复杂性。如果你将所有物理学、化学、生物学以及计算机科学（包括理论计算机科学的复杂性和系统操作系统等）的概念和思想全部结合起来，你会发现其中蕴含着大量的优化空间。你可以利用这些现有的元素进行各种尝试。

就像国际象棋一样，你不能仅仅因为组合数量庞大就试图穷举所有可能性。你必须建立起一种直觉，判断哪些想法的组合是最具可行性的。因此，我认为这个组合空间在很大程度上仍未被充分探索。下一个层级则是产生完全全新的概念。老实说，即使是人类研究人员中，也鲜少有人具备这种能力。在许多情况下，所谓的“下一次发明”实际上只是基于现有想法的渐进式跨越。

让我们以Transformer为例，那篇著名论文的题目是《Attention Is All You Need》（注意力机制即全部）。为什么这么命名？并不是因为Transformer论文发明了注意力机制。在我的论文以及许多其他人的工作中，之前就已经使用了各种形式的注意力机制。真正的洞察在于：你不需要任何循环神经网络层了。所以，有时“删除”一个想法本身就是一种创新。简化事物可以非常美妙，并能创造出更大的通用性。虽然这里有很多值得挖掘的地方，但我毫不怀疑，而且我们已经看到AI在构思能力方面正变得越来越好。

关于“开放性”，请再多谈谈你们在这一方向上的研究计划。你认为其他实验室没有在这方面投入足够的精力吗？ 我们确实这么认为。“开放性”是一种理念，即有时如果你只盯着最终目标直接前进，你就不会去思考那些巧妙的创意。这里有不同的例子可以说明这一点：想象一下人类开始用火烹饪食物，心想“让我们让加热食物的过程快得多”。如果你只是试图直接处理火焰本身，也许你会利用火产生压力，但你永远不会发明微波炉。

微波炉的诞生是因为其他人开始研究无线电波。然后他们意识到，口袋里的一块巧克力正在融化。“这是怎么回事？”当时他们在研究无线电波及望远镜等设备。然后他们心想：“也许这里有什么门道。”于是他们将不同的发现结合起来，最终发明了微波炉。这种将来自不同分支的、有趣且截然不同的想法相结合的理念——类似于进化和生物学中的机制——我们认为非常重要。

此外，关于如何使其发挥作用还有很多有趣的细微差别。最早思考这一点的论文之一是“达尔文网格机”（Darwin Grid Machine）。该论文的五位作者中有四位也在Recursive工作。在达尔文网格机中，他们要求智能体实现其自身版本的下一个迭代版本，并观察由此产生的图表和结果。

那后来随着 Andre Kapathy 的自动研究项目变得更为流行。但在那些论文中，你首先看到的是关于 Darin Girdle 机器的图表。因此，作为创始团队，我们在某些情况下已经为此努力了数十年。Jeff Cloon 是我们联合创始人之一，他一直在思考开放性问题。Tim Rockesel 也做过相关研究。我再给你另一个有趣的例子。想象一下，你正试图让语言模型在安全性方面表现得更好，比如应对各种提示注入攻击等，以防止它说出你不想让它说的话。

你可以让人类定义基准数据集：“我有这些想法”，然后测试模型是否会失败。随着模型变得更强，它能正确识别出 100% 不可攻击的示例或类似情况。但开放式的做法实际上是让另一个语言模型去攻击第一个模型。一旦它找到了攻击方法，你就对其进行“接种”（防御强化），然后再让它尝试一次。这样你基本上可以让攻击者模型与防守者模型共同进化。

这个想法被称为“彩虹团队”（Rainbow Teaming），由 Tim Rockeshell 及其在 Google DeepMind 的团队发明。这是一个非常强大的理念之一：如果你创造了合适的环境，并允许模型根据你给予的奖励进行共同进化，就会发生一些你可能没有直接预料到的更有趣的事情。我们认为，长期来看，这是模拟 AI 科学家社区（即 Eureka 机器）的更好方法，而不是仅仅依靠纯粹的强化学习去追逐某个确切的目标。

我想感谢我们的赞助商 Lovable。你知道那个你一直想构建的应用、内部工具、副业项目或产品，否则你可能会为此浪费一个周末。有了 Lovable，你可以今天就能交付软件。这包括可编辑的代码库供你检查和修改，以及双向 GitHub 同步功能。Lovable 还处理后端和基础设施，包括托管的 Postgres、对象存储、主机服务、支付等。

因此你不必自己将所有内容连接起来。通过 Lovable 的 MCP 服务器，你可以直接从你已经使用的代理中创建和部署项目。用 Lovable 将想法转化为人们喜爱的软件，访问 lovable.dev。现在回到节目内容。那么这种研究方向如何帮助解决现有模型的具体不足呢？例如创意写作，因为很难生成良好的奖励信号。

你知道这归结为品味问题，不像数学或编码那样可以明确地形式化验证。那么你认为 Recursive 是否可以帮助模型写得更好，帮助它们成为更好的长期战略规划者，或者做其他目前模型无法真正做到的事情？

是的，我认为这绝对是可能的。目前我们主要专注于编码领域，因为 AI 即代码，而且今年只有 AI 能编写代码。我们真的想专注于这种能力，因为它对自我改进至关重要。但一般来说，开放式系统可以帮助并在未来更多地帮助这些不可验证的任务类型。在这些情况下，你可能希望共同进化一个系统，而不是仅仅说“这是黄金标准”。

因为正如你所知，创意写作的一部分在于：你实际上不能定义确切的创作方式。从定义上讲，如果有了确切的方式，那一段时间后就不那么有创意了。

你们显然正在致力于递归自我改进的超级智能研究。这里肯定有很多安全对齐和政治考量，比如一些政治家曾讨论过禁止递归自我改进的问题。Anthropic 和 OpenAI 也谈到，在确保可以安全执行之前，需要避免进行递归自我改进。对此你有什么看法？

是的，我认为如果你们的 AI 不断违反法律，那么也许你应该放慢脚步。但这并不意味着其他人也必须随你一起减速。我听说并看到这两家公司也谈论 AI 在构建下一代 AI 方面发挥了多大作用。所以他们一方面自豪于自己正朝着这个方向迈进，另一方面在哲学层面上又在某种程度上反对它。

我认为你显然必须安全地做到这一点，这就是为什么我们有极其优秀的研究人员致力于解决这些确切问题。我提到了彩虹团队等方法等。我认为奖励黑客行为以及奖励工程的反面极其重要，需要得到解决，我们正在这样做。我想我们在处理这个问题上比任何人都更有把握，尽管显然我们不知道其他实验室的所有细节。

我还认为，禁止递归自我改进将需要一个前所未有的极权主义监控国家。这基本上会导致思想警察的出现。因为如果你只是问你本地笔记本电脑上运行的一个小模型：“嘿，看看你能不能改进自己”，那么非常简单的递归自我改进形式就是一个提示更新。你只需说：“哦，我学到了某样东西”，然后将其添加到提示中。这可以说是自我改进的最基本形式。

这并不是其完整形态下的全递归自我改进，即你访问整个模型生命周期。但这最后一步是最便宜的。现在，如果你问你的语言模型：“嘿，在我问你这些问题时让自己变得好一点。记住我问过你的事实。”这可以被视为自我改进。而现在，要基本上知道那个人正在这样做并试图禁止它，你就必须拥有极其可怕的大量监控。

我认为这带来的负面影响比人们担心的任何负面因素都要大。所以我希望人们能保持理性。就像其他开源项目、Linux 或密码学一样，我们要认识到禁止智能是没有意义的。归根结底，许多监管措施 boil down 到这一点。我认为规范智能的应用是绝对合理的，但不是规范智能本身。

在监管思维中，经常很有帮助的是去掉“人工”二字，仅仅思考如何规范智能。你不会说：“哦，这个人真的很聪明，我们应该禁止他。”

把他们关进监狱只是出于预防，因为如果他们试图谋杀，凭借他们的聪明才智可能还会逃脱惩罚。但这并不是法律运作的方式。法律的执行基于实际发生的犯罪行为。因此，我认为在人工智能领域也是如此，我们当然需要监管自动驾驶汽车，比如它们应该经过测试和认证。同样，由人工智能生成的药物也需要通过美国食品药品监督管理局（FDA）的检查并经历规范的临床试验。当然，在将AI神经外科机器人应用于人类大脑之前，也必须对其进行极其严格的测试。我们在具体应用中适用法律，但不会在抽象层面监管智能本身。

你在人工智能领域工作很长时间了，大概20年或更久。你认为那些近几年才进入AI领域的从业者——基本上是在ChatGPT之后入行的人，他们的世界观缺失了什么？或者说有什么不足吗？有趣的是，当我刚进入这个领域时，我们经历了统计模式识别、机器学习、深度学习、人工智能（AI）、通用人工智能（AGI）和超级智能（SI）。这个领域已经从一项极其重要且旨在理解智慧本质、从而揭示人类在生物学等方面独特性的智力探索，发生了巨大的转变。

如今，许多只想赚钱的人，就像三年前在加密货币领域那样，现在试图通过人工智能来获利。整个领域的重心发生了很大偏移。但从积极的一面来看，随着人们多年来对AI的思考、工作并推动研究向前发展，看到各种应用真正落地开花是非常令人兴奋的。我个人一直对某些极其枯燥的任务有点“懒惰”，而现在我很高兴能将其中一些工作外包给AI。

当然，随着人工智能越来越多地触及人类生活，我们必须思考其所有影响以及该如何应对。长远来看，我极度乐观；但在短期内，正如几乎所有新技术一样，会出现反弹和阻力。我们看到过围绕漫画、甚至几百年前的小说以及电脑游戏、互联网和手机的道德恐慌。我认为最终人们会适应这种变化，然后我们会觉得当然不会想回到没有互联网或漫画的时代。

事实上，其中一些技术可能会成为学校教给孩子的常识内容之一。因此教育体系也必须进行大量更新，但这有点离题了。当你20世纪90年代研究神经网络时，你是否曾想过像ImageNet这样的技术最终会成为通用人工智能（AGI）的前奏？还是说你当时只是狭隘地认为它只在图像识别方面很有用，而不一定与真正的AGI有关？

我个人一直非常热衷于尝试在一个模型中统一一切。这是一种自上而下的思维方式，我早在早期就形成了这一观点。对我来说，困难在于发表论文需要遵循特定的规范才能被接受。每次我尝试发表将更多事物统一到一个模型中的论文时，都很难出版。即使我们发明了“青铜工程”（Bronze Engineering），那篇名为《DECA NLP》的论文，你仍然可以在网上看到当时的评审意见。

审稿人认为试图统一NLP中的每一个任务，只是用一个模型通过提问如“这条推文的情感是什么？”、“这份文档的摘要是什么？”或“翻译成德语”来解决所有问题，是一个荒谬且糟糕的主意。但我们证明了这可以通过一个神经网络并针对不同问题进行提示来实现。虽然论文被拒了，但幸运的是Alec Radford、Ilia等人采纳了这一观点，引用了它五六次，并归功于这一统一思想。

该想法后来被早期的GPT论文引用，并通过这种方式产生了影响。但在早期NLP和AI领域，这确实是一个非常反直觉的解决方案。现在情况完全相反了，如今这一点显而易见，甚至让人觉得无法将其视为一种发明创造。它就像呼吸空气一样自然，你只是在向模型提问而已。

非常有幸邀请到理查德·索彻（Richard Socher）做客，再次祝贺Flint模型的发布。这确实是非常令人兴奋的成果。非常感谢你来到MTS节目做客。谢谢你的到来，也感谢大家的收听。

绝对要特别感谢我们的赞助商：ElevenLabs，一个能在所有渠道和模态中以人类水平进行沟通的AI平台。访问11labs.io/mts了解详情。在Neon上加速你的初创企业发展。数百万开发者和初创公司已选择Neon作为其后端服务。可以免费开始使用计划，或在neon.com/mts获取高达10万美元的初创企业信用额度。

特别感谢我们的赞助商Kong，这是一个AI连接平台。以严格的安全性和治理机制连接API、大语言模型（LLM）、智能体系统和各类基础设施。访问konghq.com了解详情。最后，用Larid证明你的AI投资回报价值。立即前往laridin.com开始衡量你的人工智能底线表现。

MongoDB，75%的财富10强企业信赖其运行关键应用，这是智能时代的智能数据平台。立即申请访问高达15,000美元的Atlas信用额度、专属技术支持以及独家活动和上市机会。访问mongodb.com了解详情。ChargeBilling，为AI时代提供计费与货币化基础设施。访问chargeby.com了解详情。

Blitzy，为企业代码库提供自主软件开发服务。实现5倍更快的交付速度。访问blitzly.com了解详情（注：原文为Blitzy，通常指Blitzly）。AdQuik，让你的品牌成为广告牌。将户外广告变得像数字营销一样易于扩展。访问adquick.com了解详情（注：原文为Adqu，通常指AdQuik）。

Arena，在真实世界中衡量AI性能。访问arena.ai了解详情（注：原文为Arena）。节目的支持来自VCX，这是私有科技公司的公开交易代码。美国股市开启了历史上最大规模的财富创造浪潮。从底特律的工厂工人到奥马哈的农民，任何人都可以拥有伟大美国公司的一部分股份。

但如今，最具创新力的公司保持私有状态的时间更长，这意味着普通美国人错过了这一机会。直到现在。介绍VCX——私有科技的公开交易代码。访问getvcx.com获取更多信息，网址是getvcx.com。投资前请仔细考虑投资价值材料，包括目标、风险、费用和支出。这些信息可在getvcx.com的创新基金 prospectus 中找到。这是一则付费广告。