我认为未来会有两种工作模式：在CRM系统中修改一个字段，简直如同神迹降临。你可以把整个地球想象成一台巨大的计算机。也许我的数据管道构建成本会比大语言模型的账单还要高。（笑声）否则，那就是“LLM之地”了：你的应用内部会运行着一个迷你版的Hugging Face。没错，最终模型们学会了如何沟通，结构也更优了。模拟量子物理最高效的方法就是进行真正的量子物理实验，对吧？AI已经发现了许多药物，但大多数都有毒性问题。训练人类比升级机器人容易得多。
早上好，哈梅德。早上好，距离我们上一期节目已经过了很久。（笑声）我遇到很多人一直说你们缺席了播客，所以你得回来。很高兴再次回归。是啊，欢迎回来。最近怎么样？旅行了吗？夏天过得如何？夏天还不错。我没怎么旅行，不过我过了50岁生日，很多好友也到了这个年纪，所以我们在纽约市搞了个派对。除此之外，主要是工作。“L”代表爱（Loss）。是啊。（笑声）
但我想这几个月里会发生很多事情。是的，也许我们可以多谈谈最近的新闻和舆论周期，以及你的观点是什么？我一直对递归自我改进的讨论越来越感兴趣。显然，许多优秀的公司正围绕这一领域成立。很多有趣的人也在投身其中。记忆技术变得非常引人注目，相关的开发和改进层出不穷。“为整个企业打造单一AI大脑”的理念也很有趣。还有关于安全以及Hugging Face的话题，如果能融入群体智能（swarms）中会很有意思。此外，还有那些数学难题和由10,000个智能体协同工作的新闻也很有趣。你对JEV模型怎么看？
这基本上体现了我们在工程中经常看到的现象：小有时是美的。是的，他们有着聚焦的问题陈述，并且清楚自己的优势所在。大量三级任务本质上是分类问题。没错。所以真正使用一种速度更快的……是的，并且消耗更少的Token。是啊，这也说明了公司构建方面的一些道理：针对高频、高量的任务……是的，使用专用引擎而非通用引擎。是啊，这说明选择正确的工作重点非常重要。
对我来说最有趣的是，人们似乎有一种无奈感：前沿技术移动得太快，需要巨大的资本投入（包括算力和数据）。那些从事学术研究或试图提出新想法的人，很难在这些地方带来原创性成果。这与此形成了鲜明的对比。是的，绝对如此。回顾过去，很多人说这不过是当年我们在BERT模型上尝试的一些想法而已。然后所有的注意力都被……这是一个很棒的观察，你能从4年前的BERT模型解析到JEV吗？是的。对于这里的听众，也许我们可以稍微区分一下。好的，多说一点吧。
我相信所有听众多都知道JEV是什么了。但JEV背后的关键思想是：如果你愿意将输出Token限制为某种分类器或概率估计，那么它的推理能力几乎可以与前沿模型媲美，但成本和延迟却降低了100到400倍。但是……退一步说，很多BERT模型不就是这样的吗？是的，5年前的分类器就是这样。所以过去五年的巨大差异（delta）是什么？
BERT模型衍生品的关键在于，基础模型本质上是将输入转换为某种嵌入空间。然后你可以通过在生成的向量之上训练专门构建的分类器来建立新的分类功能。你说五年前深层神经网络的输出层就已经内置了概率？是的，假设你有一个模型。假设你需要一个分类器来查看客户投诉并告诉你严重程度。你不能直接用BERT做到这一点，对吧？你必须收集一些训练数据，然后训练一个小型神经网络来坐在BERT嵌入层之上以提供分类。
指令遵循和上下文学习在BERT时代尚未被发现。随着我们从BERT转向GPT，我们发现了指令微调（instruction tuning）和上下文学习。但随后所有的注意力大多都吸入了文本生成中，我们忘记了分类问题。所以这些人做的是：保持输入端不变，但将输出端改为纯分类。现在你有了某种东西，不需要收集数据并训练其他模型来获取输出，但计算预算仍然……
是的，事实上，每个人都会觉得口水直流：你可以通过不将其发送到前沿模型本身来节省大量成本。显然，在接下来的三年里会有许多这样的案例。路由和知道该将什么路由到……是的，可能会成为一种策略引擎，也会成为一个语义问题。是啊。那么OpenRouter会如何改变呢？因为某处会变成查找表，说“好的，这是我有的任务类型”。是的。它会像现在这样硬编码吗？所以你会想到一堆用于不同任务的模型。
就像一个市场一样。是的，你的应用内部会运行着一个迷你版的Hugging Face。运行时，这种路由器将如何工作？因为我可能会有10个更多版本的JEV发布出来。今天我们已经有很多前沿实验室模型和开放权重模型等东西了。是的，是的。它将如何演变以及路由到何种类型的模型？所以这里有一个有趣的设计问题：用于路由到正确模型的所需知识的一部分存在于用户端。因为我知道任务有多难，是否可转化为分类器，延迟的重要性等。另一部分知识更适合存在于提供商端：哪个模型有多大的能力以及成本是多少。
延迟权衡，以及是否存在某种专业化：这个模型在代码生成方面更优，那个在创意写作上更强，诸如此类。>> 但像 OpenRouter 这样的…… >> 对。 >> 路由机制。 >> 是的。>> 它是否需要在某个时刻变得具有语义性，比如通过一堆提示词来实现？ >> 是的。没错。所以我的意思是，这两部分信息必须以某种方式结合起来。目前的情况是，作为这些模型的用户，我必须在大脑中保持状态：知道 Opus 擅长这个，Astra 擅长那个，Gem以此类推。然后我将这些信息融入我的路由逻辑中，以便向 OpenRouter 做出硬编码的决策。但确实有人集中收集关于最新最强模型及其擅长领域的所有信息，这具有很大价值。
那么如何与这些信息交互呢？你需要某种 API。它可以只是一个提示词，或者是一种表达方式，说明我给你的任务需要创意写作技能或……说到这个，我知道我们必须讨论递归自我改进，但我一直对这个发现和路由的想法着迷。>> 是的。 >> 中间曾有过关于 A2A（Agent-to-Agent）的热议，但在搜索方面 MCP（Model Context Protocol）尚未完全成熟。我必须把整个内容发送给上下文，然后它才知道该选择哪个 API 等等。我们解决了吗？我们会先用 RAG（检索增强生成）和搜索减少上下文，然后再发送给 LLM 说“好的，选哪个 API”吗？
这个问题在多智能体协作时变得更加复杂。你需要知道是哪个代理，而且每个部门或服务提供商可能都有自己的代理。那么我们要如何解决这个发现和路由问题？这是否类似于 30 年前我们在网络中引入 IP 地址时的情景？每个代理都拥有自己的身份。我们需要路由和交换。是的，那么我们在解决这个问题上接近了吗？ >> 我不这么认为。MCP 肯定很流行。但这里的 A2AI（Agent-to-Agent Interface）则少得多。随着时间推移，至少这种形式似乎没有太大进展，对吧？但这种发现和代理间通信的想法非常有趣。
事实上，更有趣的版本是……我听了这样一个播客：现在有 10,000 个代理并行运行，试图处理它们的基础设施。他说起初这些平行代理之间的沟通并不好。经过一些工程化努力，将通信结构化，类似于人类组织工作的方式：经理管理经理之类的信息路由。但最终模型们学会了如何沟通，且结构越少越好。最终变成了谁需要与谁通信就直接在队列中发送消息，该代理自行决定何时从队列中提取内容并执行。 >> 我笑了，因为在60年代……
是的。 >> 我们有一种称为 Aloha 的协议。 >> 对。 >> [笑声] >> 被称为 CSMA（载波侦听多路访问）。然后加上 CD，即冲突检测。 >> 是的。 >> 这就变成了整体的以太网协议。>> 对。我想知道这些事物……对我来说，网络与路由是非常迷人的领域，已有60年历史了。 >> 是的。>> 我感觉我们又陷入了同样的混乱中，必须弄清楚如何沟通以及它们将如何进行通信等。所以这是一个迷人的领域。我自己也花了很多时间思考路由和发现……
是的。 >> 我们不能抛弃过去50年在网络、交换、路由、身份识别……>> 是的。 >> VLAN（虚拟局域网）、LAN（局域网）等所学到的经验教训。所以我们可能会专门做一期节目，因为情况正变得混乱不堪。 >> 确实有相似之处。但我感觉这与人类之间的协作比机器之间有更多的平行性，因为现在的问题是你试图解决一个难题。我试图解决一个难题。我有一个有希望的方法。你有一些其他方法。在什么情况下我应该放弃我的方法，开始从你那里接管一些工作并开始从事你认为进展更多的事物？这是平行代理需要做出的那种决策。 >> 是的。
这不仅仅是关于避免冲突和使用通信信道，更多的是关于我们在空间探索中资源应流向何处达成分布式共识。 >> 所以显然在推理阶段，是的，我没有改进自己，对吧？基本上我是一个专家或协调员，我知道我应该执行一项任务。让我完成它。 >> 是的。>> 所以即使是来自旧数据仓库时代的并行查询想法，也有一个协调员和多个工作者。他们应该完成一项工作。所有数据流都流向查询树，发生各种事情。所以我不认为在推理阶段这些事物实际上能扩展规模。让我看看另一个代理。重要的是工作分工和关注点分离。 >> 是的。
将这些事物作为团队或分布式工作者进行隔离变得很重要，即使是 MapReduce 中的协调器与映射器和归约器等。 >> 我谈论的是稍微不同的东西。假设作为计算机科学家群体，我们有两种赌注：RISC 架构与 CISC 架构。一群人相信 RISC，另一群人相信 CISC。他们去探索，创造很多东西。在某一点上，有人说：“你知道吗？CISC 比 RISC 好得多。英特尔赢了，我们走吧。”于是世界上的大量资源被导向 CISC、分支预测等方面。而在这里，“视频”（指代某项技术或观点）出现并说：“这不完全是 RISC，但这里有一种更接近 RISC 的新架构，而且更好。”然后需要大量的探索和分布式决策来说：“现在我们将把所有资源投入这种架构。”
如果你想象人类在此类工作中的情况，会发生很多转变：人们会说基于其他人的工作，这个方向看起来更有希望。现在我要将我的研究、时间和精力导向这里。所以肯定存在这种人类协作的平行性。
还有智能体（Agents）。是的。但首先涉及的是团队问题，即如何组建团队？是否实行职责分离？因为如果不这样做，出于治理、可见性、安全等各种原因，你也必须这么做。就像今天的企业中那样，设有专门负责人力资源运营、IT运维、法律事务、财务运营和客户运营的部门。因此，这种在人类组织中存在的职责分离机制，可能也需要在这个领域得以保留。
但这或许是一个很好的过渡话题，引出你提到的自我改进——你说你会借鉴其他智能体的学习成果来优化自身。让我们将AI栈分解为三个支柱：首先是模型，它需要具备递归自我改进的能力；其次是智能体框架（Agent Harness），包括其技能、工具、工作流和提示词，我们需要改进这些部分；最后是记忆模块，同样需要提升。这涉及数据清洗、去重、聚合、对齐和增强等各种处理工作。
为了向观众解释清楚，请说明“递归自我改进”的含义，并分别阐述这三个支柱。你所说的“递归”和“自我改进”具体指什么？在过去30年的软件工程领域，是否有与之平行的案例或借鉴之处？
是的。我认为递归自我改进的核心理念在于，我们正在构建越来越聪明的模型，而这些模型的应用之一便是开发下一代模型。想象一下这样一个世界：如今在模型开发的各个环节中，前代模型的协助已是不争的事实。如果没有这种辅助，开发工作将耗费长得多的时间。在过去五年中，人类一直参与其中（Human in the loop）。
如果你观察从一代突破性模型到下一代、再至下下一代的迭代间隔，你会发现这一时间正在缩短。从大约一年半缩减到了四到五个月左右。试想一下，如果这项工作被进一步自动化，以至于几乎不需要人类参与，90%甚至99%的工作都由机器完成。投入的资源越多，速度就越快。这就形成了一个自我改进的闭环：
这意味着模型变得越强大，它们就能更有效地致力于制造出更好的模型。那么在过去三年中，请谈谈在哪些环节人类必须介入才能使模型得到改进？因为涉及的方面可能包括代码、数据或权重等。是的，在最顶层是设定目标、提出假设，然后执行这些计划。
比如有人决定重点聚焦于编码任务。如果我们专注于此，我们将尽可能获取大量的代码作为训练数据；若存在缺口，甚至雇佣人类编写不同类型的代码以补充训练集。因此，这里涉及高层面的构想、目标设定和规划。接着是执行阶段：有人发现训练数据中包含大量低质量输入，如社交媒体上的随机垃圾信息需要清理。
于是有人编写代码来清洗这些数据；还有人指出训练任务必须不间断运行，一旦出错会浪费大量时间。因此需要改进这一循环流程，这需要复杂的分布式系统思维和纠错代码技术。此外还有验证、确认以及确定训练参数调整方向的任务。起初这些大多由人类完成，但现在几乎没人再手动编写代码了。
特别是在那些实验室里，过去需要人类花费一周时间编写的代码，现在可能只需一小时即可完成。显然，代码生成技术得到了广泛利用。但人类也曾作为护栏（Guardrails），引导这一过程收敛至正确方向。那么，我们是否已经到达不需要人类作为护栏的阶段？
是否存在另一种模型（如教师模型或监护模型）实际上在帮助某些事物收敛，例如前代模型协助构建下一代模型？如果你回顾一下，GFS 1曾被用来引导（Bootstrap）GFS 2。那么这里是否也在发生类似的事情？肯定如此，而且这不仅仅是为了加快速度。
当规模达到一定程度后，问题的复杂性超出了人类大脑的处理能力，此时借助模型来执行任务将带来巨大益处。想象一下，你不再只追踪一个目标函数，而是需要追踪10,000个不同的任务特定训练环境下的目标函数。模型需要在不出现Linux命令回退（Regression）方面表现出色，同时也需擅长编写Python和C++代码。
还要能胜任会计任务等特定场景。如果简单地将所有这些准确率数值相加并追踪，可能会出现严重回退的情况——即在某个领域大幅倒退而在另一领域取得进步。此时很难凭直觉判断究竟发生了什么，而这正是模型发挥作用的地方：前代版本是否像教师或干预者一样帮助下一代变得更好？
我会说，目前模型仍更像生产力工具，而非系统的监督者。那么人类之前所扮演的介入角色——无论是处理糟糕的代码、粗糙的代码，还是流水线中的错误、这里的Bug或那里的失败——在递归自我改进循环中是谁在观察这一切？
至少梦想是这部分仍然必要，但它不断缩小直至某个版本必须有人介入。是的，并塑造漏斗（Funnel），确保周围有护栏并提供反馈等。这是前代模型还是其他模型在做这件事？目前是人加上前一代模型的组合。
明白了。人与前代模型之间的劳动分工必须随着我们接近目标而不断向模型倾斜。这里是否存在一条渐近曲线？是的，因为……
目前生成的数据量巨大，但高带宽内存仍然昂贵。我们该如何以简洁的方式处理这些问题？是在对递归自我改进（RSI）采取极端的暴力手段，还是存在某种更清晰的抽象思路——即我们无需通过注入海量数据来让模型变得更好。关于自我改进的工程逻辑，应当是比单纯堆砌更多数据更具还原性吗？
有一句名言说：任何实质性的成果都是10%的灵感加上90%的苦力。现在的想法是，能否将这90%的工作量缩减十倍？从而让模型承担更多工作，使那10%的灵感在人类工作中占据更大比例。例如，模型生成一百万个数据点。以往需要仔细分析这些数据以发现相关性模式或改进空间，而现在这些工作可以交给模型去做。虽然它偶尔会犯错，但这正是人类介入检查的意义所在，且错误率正逐渐降低至与人类相当的水平。
我们多次提到“循环”这一概念。你曾在Google和微软Bing工作，当时产生了大量数据。你们是否通过循环工程来优化广告质量和搜索结果？从这些经历中，有哪些经验教训可以应用到当前解决Token的问题上？当然还有CI/CD循环也值得探讨，毕竟我们尚未完全解决CI/CD的问题。虽然代码生成已得到改善，但瓶颈仍在机器端，且人们仍运行大量暴力测试。
关于AdSense和Bing的经验以及数据循环的理念，其实未必是复杂的事情，可能是一些看似平凡的小事。我观察到从微软转到Google后，最大的不同在于对测量和分析的巨大投入，这产生了深远影响。虽然这些是二十年前的情况，但当时在微软运行一个搜索排名实验需要一个月半的时间来构思、推送代码、收集数据并分析结果；而在Google，这一流程被优化至仅需一天即可获得反馈。
这得益于GFS、Bigtable等良好的大规模数据结构，以及他们在网络架构和MapReduce等方面的突破。基础设施固然重要，但Google在统计学方面也有深厚积累，拥有设计早期实验流程、同时运行数百个实验并获取有意义统计输出的统计学博士。这种从GFS（平面文件）向Bigtable的转变，正是为了应对实验和循环中对结构化数据的需求。
我认为它们是共存的：非结构化数据仍保留在GFS的平面文件中；而Bigtable等结构化工具则用于预计算，以便未来需要时能立即调用。这种预先工作（如字典或索引）不仅节省了时间，还通过分摊不同任务的计算成本提高了效率。当工作负载具有可利用共享预计算的特定结构时，这种模式便显得尤为合理。
那么递归自我改进（RSI）是否也适用此逻辑？这引出了关于“记忆”的话题。记忆的自我改进意味着什么？当客户抱怨Salesforce数据混乱，需要从七个不同来源整合并链接时，我们需要进行数据清洗、去重和聚合。这些工作在我看来就是记忆的改进过程。未来的重大突破将不仅仅是以更好、更清洁的方式重复旧有做法，而是从根本上改变范式。
在某种程度上，Salesforce或CRM就是系统的记忆；SAS也是系统的一部分内存。我曾听到许多成年男性因在CRM中更改一个字段而抓狂，这简直像是一场神迹。这在早期的Oracle数据库中也是如此：数据库由单人管理，随着共享程度提高变得官僚化，从而催生了SAS，允许用户通过HTML浏览器添加自定义属性列，而非依赖数据库管理员。如今看来，SAS似乎正面临同样的命运。
当时还没有智能到可以说：“好的，在这个语境下这说得通，但在另一个语境下那也合理，我可以把这两者结合起来而不会导致一种无人能理解的混乱配置。”人类显然有不同的部门，对数据模型的不同定制化水平有需求。他们不断介入，并随着时间的推移添加自己的内容。看来需要大量工作来保持记忆的结构化。
不仅如此。我们在内存方面工作的一个典型例子是：假设你去见客户，另一端有五个人，四个人代表业务方，一个人代表工程或IT部门。而来自IT的那个人在会议中一言不发。这是否应该成为CRM中的一个字段，表明“技术买家未参与”？这取决于它是否具有预测性。如果有预测价值，你可能希望将其包含在内。你仍然可以保留它，但它会被忽略。
我回到结构化与非结构化的问题。有些内容你宁愿通过将此通话记录发送给LLM稍后推导出来，前提是你有一个知道如何提取该信息的标准。现在，“标准”是一种结构。你说：“让我通过过滤器看看会出现什么结论。”所以，如果我有足够的时间，我会说：“好的，我注意到通话中发生了一些有趣的事情。让我看看这是否是一个模式。”
让我去查看100个销售周期，看这种现象发生了多少次，它对结果的预测性如何。是的。所以字段存在的唯一原因就是为了确保下次不重新计算它。因为你需要一个地方来记住它。SQL作业在做这件事，Salesforce的作业也在做这件事，说：“嘿，让我们过一遍看看我们是否能记住技术买家从未说话这一事实。”
否则就是LLM的世界，你必须每次都发送这个通话记录。所以记忆方面有一些东西基本上是人们说的：“如果你已经做过一次工作，就将其纪念化到一个字段中，人们可以回去查看。”或者类似的东西。所以AI堆栈的第三条腿是“Harness”和智能体（Agent）。关于智能体和Harness的自我改进呢？技能。哦，我需要构建新技能。
是的。也许它甚至回到发现和路由等所有东西上。你怎么看待自我改进的智能体？归根结底，如果你看看什么是Harness或智能体，它只是一段代码和一些提示词。对吧？LLM在编写代码、改进代码方面相当不错，如果你能告诉它问题出在哪里，它们也能改进提示词。所以这成为应用自我改进的自然场所。但是，你需要来自某处的判断力。
有时这种判断可以来自于你生成的数据以及存在的问题，但有时候你需要更多。但这不正是需要指标的地方吗？就像你提到的Google AdSense一样，你有更好的指标并会改进这些指标。我们运行循环，指标得到了改善。所以我们需要给指标、日志和追踪提供结构。
是的。我们该如何思考这个问题？因为你说微软在Cosmos或他们当时做的其他事情上不如Google做得好。那件大事是什么？回到甚至世界指标，这可能是一个值得吸取的教训：我们必须改进Harness。我要给它什么？我如何需要结构化事物？是的，或者保持一切非结构化？因为我在尝试优化某样东西。
你谈论过评估（evals）吗，并从中提取出来？但如果人们还没有想清楚我在优化什么、在评估什么，那么如果我要为所有这些去数据日志中查找，也许我的数据日志账单会比LLM账单还要大。[笑声] 是的。那LangChain之类的东西怎么样了？所以我们解决了什么，还需要做什么才能使智能体自我改进呢？
我认为诀窍在于能够从极度滞后的指标转变为更接近领先指标的指标。几乎任何人都可以给你滞后指标，比如最终……[笑声] 这与我和销售人员的生活一样。就像我说的：“别跟我谈交易。” [笑声] “谈谈漏斗顶部的东西。” 是的，是的。但继续说下去。
比如，假设我正在构建一个客户支持智能体。我可以优化CSAT（客户满意度），但这没用。也许我的智能体犯的错误是，即使用户带着四个不同的请求而来，它仍然试图在每个任务上验证用户身份。它有硬编码的东西，每次从告诉我余额到从这个账户转账到那个账户时，它又会重新开始说：“请告诉我你的名字、社保号码或任何账号。”
这是它在犯的错误。在某种程度上，它看起来完全合理，但必须有人介入说这是一种糟糕的行为，这会让客户感到厌烦。这种反馈来自哪里？它可以来自CSAT，但你能带来一些更接近发生地点的东西并立即给予反馈吗？所以指标会是什么？指标将是：“哦，你有上下文”或者“你花费时间收集上下文”。
是的。对吧？所以必须有一个围绕它的指标，对吗？是的，是的，是的。然后问题是：对于我描述的通话可能出错的成千上万种方式中的一种，人类需要定义这些像一千个不同的东西在标准中吗？或者模型足够聪明，可以查看这次对话说：“这件事看起来不对劲。让我围绕它创建一个标准。”
你说这意味着不需要输入或标准？是的，因为我看的是会议指标的标准。试图给它一个标准并说：“我们可以改进它吗？”是的，是的。但在商业中发生的事情与模型和智能体以及指标之间发生的事情之间，可能需要在人类希望事物成为什么样和模型认为它需要成为什么样之间进行某种塑造。
是的，是的。人类与模型之间的这种塑造是一种共享上下文，基本上就是指标、标准和事物……
是的，直到我们进入一个无需干预的世界。它无所不知。没错。但问题在于，它是否有足够的硬件、内存和存储来独立处理一切？是的。或者我们需要给它一些准则，比如“既然你了解世界运作的所有细节，能否专注于改进这些方面？”回到JEV模型。是的，有一个小模型实际上可以说“不”，只关注特定事项。那么，在业务人员思考客户支持模式与模型无所不知、无需干预之间，是否存在这种准则？
我认为这里的细微差别很重要。以我之前的例子为例，准则包括不要反复向用户询问已获取的信息，也不要索取他们不需要的东西。这是通用智能的体现，适用于任何客户支持场景。是的。但我面临流失率问题。我的增长率仅为2%。我最大的十个客户是我需要确保支持服务做到极致的地方，这是机构智能的体现。
这种智能只能来自记忆，而非模型声称的全知全能。是的。那么准则将置于何处？因为我的业务中有些内容是机构智能，甚至不在模型内部，除非我专门训练新模型。这里有一些关键点：模型被设计取悦用户并轻信其表面价值，但这可能适得其反。
例如代表银行时，若来电者试图欺诈取款，你不能一味同意；但若其诉求合理，又需尊重。模型“取悦用户”的特性反而阻碍任务完成。在区分对待与坚持原则之间划清界限很难，比如拒绝不当退款请求时，模型难以把握分寸。
是的，这也涉及机构智能。没错。说完你的想法：模型公司正通过招聘垂直领域专家来内化这些知识，比如石油、医疗或物流行业的运作方式。是的。麦肯锡文件或Palantir本体论中深埋的理解，如今已公开在API调用中。
记忆之所以独立存在，是因为人们承认需要它（约一年前才达成共识）。你无法通过提示词实现这一点。我认为随之而来的推论是：机构智能将归属于企业自身，这也是当前争议的焦点——它们是否在利用这些数据训练模型？
微软等公司对此强烈反对。这涉及隐私和机密性问题，类似Cookie追踪机制。推理时存储数据用于后续训练是否会出现？企业级DPA合同至关重要，要求零数据保留。若未谈判成功则责任自负，但极少有人能做到。
人们怀疑执行力度，但因员工流动和举报风险，违规成本极高。相比之下，消费者（如20美元订阅）的数据更可能被使用。有趣的是，有些公司专门高价收购垂直领域知识数据。这或许会催生一种兼职经济现象，令人着迷。
我们需关注这些方面，并从RSI中汲取经验应用于代理、框架和记忆本身。展望未来3到12个月，除了消除繁琐工作外，还有另一类重要工作：灵感。RSI主要解决90%的汗水部分，将其缩减十倍，这是人类耗时费力但代理能消除的部分。
那么灵感呢？模型能否像人类一样产生新颖的长尾创意？我们是否希望如此数学家解题的乐趣在于攻克难题，模型会剥夺这种体验吗？还是说这让我们拥有了更强大的工具……
甚至能攻击更大的问题。从这个角度来看，我认为现在是一个非常令人困惑的时期。>> 在什么时候它会变得像一个图书馆，里面包含每一页、每一段的内容？想象一下我有一个百万本书的图书馆。>> 是的。>> 在什么时候它会变得像是一页纸，但我需要去检索它因为我必须使用它。但这关乎于想法的问题>> 是的。>> 也就是在那一刻内容变成了实质性的内容。什么时候它变成了一种筛选、发现和漏斗式的流程，以及我们从零阶段到一阶段该选择哪些？>> 从一阶段到二阶段又该选择哪些？>> 直到最终那些值得转化为实际产品和想法的概念。>> 是的。>> 然后概念变成了功能或产品。那么，我们该如何思考
这个漏斗，以及真正落实这些事物需要付出什么代价？会是由人类来完成吗？显然，模型不可能包办一切。>> 是的。所以，如果你看看数学证明领域正在发生的事情，这可能是其他领域的先兆。>> 但我对此持保留意见。数学不需要与原子或物理学进行互动。我是说，是的，我认为你可以做到
很多。>> 是的。>> 一旦你需要物理学，嗯，你就得弄清楚哪些是重要的。好吧，物理学的范围是有限的。>> 是的。>> 而数学的抽象性是无限的。你不需要任何数据、资源或这些东西来连接它们。那么，在数学的领域中会有什么样的事物可以解决一切问题，而在现在的领域里我们需要真正通过
漏斗来筛选。>> 是的。>> 因为我们的资源是有限的。所以，我认为这种区分非常重要。>> 但是，这种情况正从两端变得日益狭窄。一方面，探索一个证明分支并不是免费的。你投入了大量的计算资源和资金。因此，选择这十个有希望的方向中哪一个去探索的问题
先走哪条路。>> 正是模型目前正在解决的同类漏斗问题。并且试图建立一种直觉，即我真的不知道如果我沿着这十个分支走下去会发生什么。但我有一些直觉告诉我，走这条路比那更有希望。他们已经在这样做了。所以这是其中一端。另一端是人们已经正在构建
闭环实验室，让模型能够操纵物理世界。例如在药物发现领域，人们试图建立这样一种机制：模型提出合成分子的假设，然后将其连接到机器人实验室以合成该分子，进入细胞系观察结果，反馈给模型，然后再提出新的假设带回
。>> 但是，就像软件中的持续集成和持续部署（CICD）是一个交通堵塞一样。我可以生成大量的代码，但CICD仍然是一个问题。是的。存在毒性问题。我会稍微宽泛地使用“毒性”这个词。>> 是的。>> 在药物发现中，问题在于毒性。>> 是的。是的。>> 一旦新药进入我的身体，>> 是的。>> 我的免疫系统就会将其摧毁。>> 是的。>> 所以当涉及到
物理学时，嗯，问题才真正开始。>> 是的。是的。>> AI实际上推荐了大量的药物。>> 是的。>> 但它确实是在审视肿瘤细胞或蛋白质结构的物理学，这才是真正导致问题的原因。理论上我们提出了很好的想法，比如这样。但当你实际说“好吧，首先我们要如何
递送它？”时。那么什么是递送模式？这是一个物理学问题，以及免疫系统会发生什么反应，会对这种外来物质做什么？这个反馈回路正是所缺失的。>> 是的。是的。>> 而在现实中，由于免疫系统以用户所说的毒性方式做出反应，发生了太多事情。事实上，一年前《金融时报》有一篇非常好的文章
指出：“看，AI已经发现了很多药物，但大多数都存在毒性问题。”>> 是的。>> 我们今天在代码中也看到了这一点。我们的CICD基本上受制于运行哪些测试，天哪，到处都在失败。我们没有足够的集群。噪音太多了。我称之为CICD的毒性问题。>> 是的。是的。>> 所以我认为问题是，“好吧，我可以继续生成
想法，但哪些需要符合物理学的限制？”>> 是的。是的。>> 也就是有限的资源。>> 是的。>> 或者免疫系统，对我来说这就像是物理学和化学的结合体。这才是现实所在。>> 是的。所以这里有两个问题，对吧？一个是如何进行选择。这本质上是一个数据和直觉的问题。我想象模型
在某一点上能达到与人类相当甚至更好的水平，比如在哪里下注是由模型决定的。一旦我选择了赌注，在物理世界中执行它时，有些事情你可以用机器人自动化完成，有些可能非常困难，比如你不会进行临床试验。>> 是的，我的观点是当你在这个漏斗的顶部有如此多的想法时>> 是的。>> 你仍然
需要某种东西来决定选择哪些。>> 是的。>> 这就像印刷术出现时，人们像明天就要世界末日一样生成书籍或出版书籍。最终会出现一个图书馆，我必须整理事物以进行搜索、发现等所有操作。我们需要这样一个想法的图书馆，并了解这些事物如何结合在一起。>> 是的。
是的。>> 15年前我们刚刚从化学摄影转变为计算技术。一切都通过机器、iPhone等完成。我们的照片数量增加了10,000倍。问题是哪些是最有用的？>> 是的。>> 我想知道想法是否变得像照片一样。会有很多张。>> 是的。>> 但哪些真正有用可以挂在某处或与某人分享等？>> 是的。>> 那将是一个涉及标准的问题，其中人类仍然有用，物理学和化学也仍然有用吗？并且是否需要一个反馈回路？你知道的，显然在未来的100年内的某个时刻我们会说让人类去做别的事情吧。甚至在接下来的三五年里也总会有事情要做。但对于我而言，生成想法的问题归结为
选择哪些才能真正取得进展并触及原子层面？>> 是的。是的。>> 从比特到原子。你同意吗？或者>> 是的。所以我不处于任何极端立场。好吧，例如照片，对吧？我们怎么知道这张照片比那张更值得分享呢？这里有语境。有上下文，对吧？要知道与哪个WhatsApp群组
分享哪张照片
还有很多其他因素，语境至关重要。没人比你自己更了解你的处境，因此我们的生活经历显得尤为重要。但假设你是为一个与你相距甚远的人群设计产品呢？比如你是一位著名的摄影师，试图挑选一张照片发表以赢得赞誉，让许多人购买并挂在墙上。此时，这与你个人的生活经历关系不大，而更多取决于你对人群运作方式的直觉理解。
这种直觉或许可以通过模型甚至人口模拟来捕捉，从而告诉你结果如何。我会称之为“通用智能”。品味是内在于模型本身的特性。如今在计算机中就会发生这种情况，比如一个对话式应用检查PDF分页时偶尔出错，或者通过视觉检查HTML和PDF。我认为这种知道照片是否拍好的能力就是通用智能，且大部分这类工作将在机器内部完成。
这里有个有趣的实验。我一直在研究如何创造具有创造性的智能体。我的一位朋友擅长写优美的短篇小说，许多故事都回溯我们在印度共同成长的经历。他会插入我们都熟悉的场景，比如父亲骑摩托车在街角转弯的声音让你知道他要回来了，或者去电影院听到卖月光果小贩的叫卖声。
我想探究是什么促成了这种共鸣，于是创建一个智能体来采访我，挖掘高情感显著性的记忆并建立收藏。它问我：“描述一下你童年典型的夜晚是怎样的？”我描述了停电时我们坐在屋顶，父亲有时会谈论星星或科学理论。这成了我们要缅怀的一种情怀。
我收集了三四十个这样的记忆片段，然后喂给智能体说：“现在据此创作短篇小说场景。”它从中挑选并构建故事。结果真的很不错，伙计。这就是想象力所在：利用机器连接点滴，创造出全新的东西。
基于此，下一集我们可以聊聊什么？我觉得“发现与路由”是个好话题，将其转化为具体战术。我们该如何思考回归自我改进？关键在于你用什么标准来衡量和改进。这是定量的一面，以及如何使其规模化以降低成本。但更重要的是，人类在环中仍将至关重要。
你是说：“让我给你提供制度性智能，你需要它来真正改进这个过程”，而不是仅靠模型本身产生的通用智能。对此你有什么总结吗？我曾与DeepMind从事递归自我改进（RSI）的人交谈，这简直是AI乌托邦。我问：“未来是什么样？”
他说：“我认为未来只有两种工作：要么你是少数改进模型训练架构和设计的人，要么是通过你的生活经历为模型生成数据的人，除此之外别无其他。”我问他：“那第一类人怎么生存？如果模型擅长一切，为何不能擅长改进架构和训练配方？”
这意味着其他一切都只是去生活、体验并将经历反馈给为你处理一切的中心智能。但在我看来，这回到了物理学层面。地缘政治、全球资源、国家碎片化及其所有权认知、移民、稀土争夺和战争等现实因素并非理想主义，它们会阻碍这些进程。
模型不是政治生物，人类才是部落性的、碎片化的，拥有不同的激励和偏见。如果它们只存在于虚拟空间中还好说；一旦涉及需要物理、化学和生物学的领域，我们就必须深思它们如何与原子接触。这些比特必须触及物质。
这正是需要大量帮助的地方，因为我认为机器人技术尚未成熟。操作单个细胞需要极高的精度，仍需人类在环中参与。湿实验室也是如此，物理AI的发展还不够远。升级这些机器人的问题也很棘手：我们是否知道如何升级？是否有5G/6G网络解决通信和可靠性问题？
十年前工厂自动化的结论是，培训人类比升级机器人容易得多。我们从中吸取了教训。就像你提到的细胞模拟：要确切知道细胞内发生什么，需要在量子物理层面进行模拟。无论他们是否做到这一点，时间会给出答案。
最有效地模拟量子物理的方法就是进行真正的量子物理实验。因此，对于某些特定类别的问题来说……
比让量子计算机直接演算出结果，更高效地模拟它的一种方法。从某种程度上来说，我们其实就像能量在反弹一样。你可以把整个地球想象成一台巨大的计算机。
“天哪，”这说法听起来还挺富有诗意的，这是一个很好的结尾。我认为在随后的节目中，我们应该探讨一下发现式路由和优化方面的物理学原理。
我们也应该花些时间讨论记忆、自我改进以及类似的话题。这虽然具有战术性，但却是现实存在的挑战，比如数据中垃圾信息的存在，以及我们需要采取哪些措施来改善这一状况。
当然，你之前提到过数据质量、模型质量和受众质量之间的对比关系，这一点确实如此。
在此感谢大家，期待下次再见。“谢谢。”