十个月前，你告诉我你的灾难概率（Pdoom）是90%，即十分之九的情景会导致末日。现在这个数值是多少？很多人将灾难概率视为我们处于某种导致全人类毁灭的末日情景中的可能性。我曾认为由于集中化，我们离这种结局更近了。但现在我感觉好多了，因为现在这项权力实际上可供所有人使用，数十亿人将拥有自己的AI助手。要么是你降低灾难概率的判断错了，要么是其他人的判断都错了。
重要的是要认识到，这些智能体（Agents）只是在一个循环中运行大型语言模型的一段软件。这并没有什么神奇之处。如果今天你不使用AI，你现在应该做的一件事是什么？我认为学习关于AI和AI智能体的知识至关重要，因为这是一个真实存在的问题。它将成为你生活的一部分。马克·扎克伯格的主要使命是构建个人超级智能，无论是集中式还是去中心化。我仍然不相信去中心化的AI不会对我们造成伤害这一观点。
让我们谈谈Ramsh（注：此处可能为语音识别错误，结合上下文应指代某位嘉宾或特定概念，但字幕原文如此）。我们上次谈话已经过去了大约八个月。如果十个月前你告诉我我们现在会在这里，我是不会相信的。这个领域发展得太快了。你认为这是为什么？当我们开始生活在智能经济中时，改进的速度是非线性的快速提升的。
我觉得我年纪够大，足以见证技术如何在社会中演变和传播的各种前几波浪潮。大约两年前我就预见到事态的发展，当时认为AI特别是AI智能体将局限于企业界看似很愚蠢。而现在我们将AI智能体释放到了消费领域，它将发展得非常迅速，因为在消费领域中，你并不关心产品市场契合度；它是产品驱动的。
你会发布它，让社会去尝试和使用它，用例随之涌现，而这些用例又推动了创新。所以我看到了它的挑战，看到了算法的需求，现在我也看到了一些安全问题。当我们八个月前谈话时，是的，路线图几乎按照我们预测的方式展开。个人助手如Muse、Instinct等正在接管一切。
它们现在能够为人做几乎任何事情。假设你让它预订你的下一次假期，它有权访问网站和你的银行账户，它可以帮你完成预订，可能只向你确认一两个事项。发生了什么变化？这些智能体能做的事情令人印象深刻，我都使用过它们，非常有趣。也许有必要去神秘化一下什么是智能体。
正如你知道的，我的姓氏是“Race Car”（赛车），所以我将使用汽车的类比。认知力量好比汽车引擎，而智能体本身就像车身。这辆车必须在道路上行驶才能去往任何地方。如果在认知世界中应用同样的类比，智能体的认知力量就是大型语言模型（LLM），那是引擎和动力的来源。
而智能体本身就像那辆车，因为单独的引擎只会空转。道路则是互联网。重要的是要认识到，这个智能体只是在一个循环中运行LLM的一段软件。它每5分钟或30分钟醒来一次，在循环中运行，执行一些活动然后回去睡觉。这就是全部了。
此外，这个智能体还可以访问某些工具。如果你只考虑这三样东西：在循环中运行的LLM、对自定义工具的访问，这就是智能体。这并没有什么神奇之处。现在让它变得非常令人兴奋的是，我们提供给这些智能体的工具正变得越来越好。起初，工具有计算器、模拟器、编写代码的能力以及搜索能力。
随着时间的推移，工具包括上网和查找事物。但允许它浏览的工具——拥有自己的浏览器、可以点击按钮的计算机使用工具也非常强大。所以当你开始将这些工具组合在一起时，作为原始引擎的最初LLM现在正变成一辆功能齐全的轿车，可以在城镇中驾驶并做令人惊叹的事情。
所以首先重要的是要认识到，Muse、Instinct、Vajjo（注：可能指Waldo或其他类似名称）、Hello Haven和Dots等所有这些新智能体基本上都遵循相同的理念。它们本质上都是在循环中运行LLM并附带一些工具和目标的程序。
十个月前你告诉我你的灾难概率（Pdoom）是90%。十分之九的情景会导致毁灭。现在是多少？很多人将灾难概率视为我们处于末日情景中并导致全人类死亡的可能性，或者是其他任何你定义的末日情景。我曾认为由于集中化我们离此更近，因为那些估值达数万亿美元的公司将追求某种主导地位。
它们有可能犯错。但现在我感觉好多了，因为现在这项权力可供我们所有人使用。实际上数十亿人将拥有自己的AI助手。我们将从我当时所说的“AI工厂时代”转向“AI集市时代”。如果每个人都有自己由20、30或50家不同公司创建的AI智能体，那么这种AI权力就实现了去中心化。
与其让我们所有人挤上一列可能坠毁的火车，不如说我们现在有了自己的汽车。因此爆炸半径（blast radius）——以前所有人都在同一列火车上的问题是，任何错误都会是灾难性的。而现在即使出错，错误的爆炸半径也会受到一定限制。我不想说负面词汇，也许只是几辆车会受损。
因此这种AI的去中心化有望将我们的灾难概率从非常高的水平降低到0.1甚至更低。好吧，解释一下这一点，因为目前我们仍然拥有控制所有这些不同助手的集中式权力，对吧？我只是觉得现在它们更加本地化了，所以它们能造成的破坏更大。
但爆炸半径也会是局部的。假设我有一个智能体，它是一个Instinct智能体，连接了我的信用卡等。它决定做一些违规操作，突然之间我的银行详细信息都被泄露了，我损失了一大笔钱。好吧，这很糟糕。但我们现在有这样的本地智能体，它们能造成很大的破坏。
是的，而且实际上它们仍然由……
集中化的权力。“是的，所以这是一个好问题。”“那么这里有一些我们应该梳理的假设。首先，我喜欢使用一个叫做DRIVE的首字母缩写词。所以你知道，如果你是一个新用户并开始使用这些智能体（agents），当然不要在第一天就给予它们访问你银行账户的权限。DRIVE代表发现、请求、指示、探索和执行。”
“起初，让我们先进行‘发现’。比如：嘿，你能帮我找到最好的鞋子吗？然后你说：‘嘿，我有一个请求给你。如果你找到的价格在120到150美元之间的鞋子，你可以替我购买它。或者至少把它放进我的购物车里，对吧？但在开始时我不会让你直接付款。”
“接着你有一些‘指示’说：嘿，你知道的，我很喜欢这些鞋子，但我关注这10位名人。如果他们穿这种鞋，你能帮我买同款吗？只要低于150美元就行。”
“在某个阶段，你允许它进行‘探索’（Venture），说：嘿，去网上搜索一下，接触其他人，看看他们喜欢什么等等，了解他们的最新趋势，查看工厂细节等，然后替我购买。顺便说一下，我要去纽约旅行，所以把它寄到我在这个地方的酒店。”
“最后是‘执行’（Execute），比如：嘿，我很喜欢姆巴佩的鞋款，但我想知道还有谁也喜欢姆巴佩。你知道，我爱这位法国足球运动员，你能找到其他喜欢它的人吗？然后直接执行操作。随着时间推移，我的智能体可以找出一百万个同样想要姆巴佩鞋的人，然后与耐克或阿迪达斯等公司进行某种反向拍卖和集体谈判，购买鞋子并在一个月左右寄给我。”
“没错。所以你可以认为起初只是‘发现’、‘请求’和‘指示’，这也是我们应该在初期考虑的事情：先给予信息访问权限，然后设定一些界限，最后才给予信用卡的访问权限。我认为个人在使用这些智能体方面的教育和意识非常关键。”
“是的，我们会到达那一步的。所以这部分是关于如何确保个人不赋予这些智能体过多的权力。”
“第二部分要记住的是，今天的产品如Dots、Muse、Instinct、Vajjo和Hello Haven可能有些集中化，我们使用它们。但我的假设是很快会有50家其他公司为我们创建智能体，并且它们将在我们自己的设备上运行。所以不像是一家中央公司在控制我的智能体。”
“我在自己的机器上运行智能体，在自己的内存中、使用我自己的信用卡等。我能给出的最佳类比是PowerPoint：我可能从微软购买PowerPoint，但我制作的幻灯片归我所有。我不把它们发回给微软。”
“显然今天的智能体需要的计算能力比能在我的家用PC上运行的要多。但在几年内，它们将独立运行。因此不会有集中化的实体向你提供智能体。集中化实体只是销售产品，但你自己在运行智能体。”
“我该如何最好地使用个人助理？”“目前有一系列针对个人AI代理的产品涌现出来。OpenAI的Dots，Meta的Muse，Instinct、Vajjo和Hello Haven。还有一些较小的公司也在做一些令人惊叹的工作。”
“它们对这一概念的思考方式略有不同。如果你想想Meta的Muse，它为你提供一台虚拟机。就像拥有一台专属于你的Linux电脑一样。”
“它有为你提供的浏览器，有为你提供的电子邮件地址等。你可以使用它。如果你看看Vajjo这样的公司，它有‘租用人类’服务。所以你知道，它具有Muse所有的功能，但此外还有像呼叫中心一样等待的人类员工。”
“对于更复杂的操作，比如：嘿，我想为我女儿预订游泳课，计算机无法独自完成。有些人类可以拿起电话开始查看它。如果浏览器上的表格非常复杂，它们有人类在循环中参与处理。”
“所以思考不同的玩家如何解决不同的问题。我的建议是起初使用所有这些产品，然后我喜欢用两个标准来决定如何使用它们。”
“第一个我称之为‘可逆性’（Reversibility），第二个我称之为‘人类品味’（Human Taste）。如果操作是非常可逆的，比如你只是在询问信息，或者要求它运行你的Twitter或LinkedIn动态流。这些都是可逆的操作，因为即使智能体犯了错误，你通常可以删除你的帖子。”
“除非它在几分钟内获得了数百万次观看。所以你可以先做任何可逆的事情，但不要进行交易（Transact），不要给予信用卡权限。只要它们是可控的、可逆的，我认为可以继续这样做。”
“当然要考虑隐私问题等。第二个标准是人类品味。所以有些事情你可以说：重新订购尿布，或者重新订购我每月的咖啡库存。但当然不要让它为你订购婚纱。”
“所以人类品味非常关键。是的，所以我可以说起初正如我所说的DRIVE：让它‘发现’（Discover），然后有某些‘请求’（Request），然后在一定界限内进行‘指示’（Instruct）。但不要担心‘探索’和‘执行’，即Venturing和Executing。”
“它们实际上都相当相似。谷歌的新产品CC非常有趣，因为CC与你的Gmail、Google Drive和地图历史记录有深度集成。所以在谷歌生态系统中它运行得非常好，你不必像担心其他产品那样过多担忧隐私问题。”
“因为它停留在谷歌的围墙花园内。此外，CC（代表字母C）还允许你与家人协调。”
“使用像CC这样的产品非常令人兴奋，因为它们停留在你已经订阅的内容环境中。因此与Muse、Instinct和Vajjo等产品相比，CC的隐私问题较少。”
“不过还不太清楚的是，你可能会犯错误：你让它在你的Twitter或LinkedIn动态上发布了一些内容，但它可能会在帖子中泄露你的个人信息。”
“所以我说这仍然是早期阶段，但使用‘发现’和‘请求’模式（D and R mode）是完全没问题的。”
“只是想澄清一下。你有任何既得利益吗？”
你对这些模型有任何兴趣吗？>> 我没有。 >> 好的，好吧。我之前收到一位知名风险投资家的信息，他说他预计 Instinct 将成为 AI 领域的世代级公司。我对此提出了反驳。他谈到了网络效应以及它目前的真实性，但我说：“你看，Meta 说‘我们不会让你访问我们的数据’或者 Google 说‘我们不
会让你访问我们的数据’，这有什么能阻止他们呢？”对我来说，Google 和 Meta 在 CC 和 Muse 方面似乎拥有真正的优势。 >> 是也不是。我认为我们必须记住，这些个人 AI 公司希望成为我们生活的操作系统。就像微信在中国成为一种超级应用一样，在西方民主国家的人们不喜欢超级应用
，因为他们希望每种体验都是不同的。你的 Booking.com 的体验应与 Uber 的体验分开，与你的个人医疗保健体验也分开。因此，这些公司——比如 Booking.com——不想成为 API 或别人应用中的一个按钮。所以从商业角度来看，这是一个非常有趣的权衡，因为 Julian，我可能希望我的 Instinct
代理或音乐人说：“嘿，给我叫一辆 Uber，5 分钟内到。”但 Uber 不喜欢这样，因为 Uber 希望你使用 Uber 应用。当你使用 Uber 应用时，就像是在问：除了 Uber X，要不要试试 Uber XL？或者 Uber Black？顺便说一下，在你等待的时候，这里有广告。>> 你知道的，还有如何向上销售呢？等等。所以他们花费数十亿美元
打造像 Uber 应用或 Booking.com 应用中这样惊人的用户体验。因此他们不想失去这一点。所以在这些希望成为你生活操作系统的公司和那些真正有用的企业之间存在这种有趣的张力。因此我猜测许多较小的公司，如 Instinct、Rajo 或 Hello Haven 等
开始成为非常开放的平台。他们会说：“嘿，我们只提供界面，但当你要服务我的一个客户时，你的接口将出现在 Vajjo 应用中。”>> 我我会保持对所有人的中立。没错。大型玩家可能会进行一些施压。正如你所见，亚马逊阻止了 Meta 的 Muse 显示 Amazon Shopping。所以我今天可以使用 Muse
去发现 nike.com 或 macesis.com 上的产品，但不能在 Amazon.com 上使用。所以大型科技巨头已经在互相争斗了。Julian，可能发生的情况是 Muse 可能会说：“嘿，亚马逊，你们不喜欢我们。那我们就与沃尔玛合作吧。”>>
没错，他们可能会将互联网瓜分给他们自己，你知道的，如果你不想用美国银行，我就与花旗银行合作。>>
等等。所以在 Muse 上你会得到由 30 到 40 家公司组成的围墙花园，覆盖你生活的方方面面。>>
因此可能会出现这种有趣的巴尔干化局面，他们最终不得不做出选择。但我希望这就像 90 年代那种 AOL 的世界一样，AOL 说他们将在互联网上创建一个围墙花园。 >> 是的。嗯，但希望像 Instinct
和 Vajjo、Hello Haven 这样的小型玩家有可能保持非常开放。他们会说：“嘿，我们不想选边站。我们要小得多，无法达成特殊交易。”所以我们会说：“随它去吧。”当然，我的偏好是拥有一个开放的代理网络，而且随着时间的推移
这些大型公司之间非常特殊的交易可能会反噬他们，而小型玩家将获胜。所以我同意你的观点，像 Meta 和 Google 这样的大型玩家在分发渠道上有优势，但他们必须意识到小型玩家能够移动得更快
因为他们保持中立。 >> 我认为暴露风险最大的公司可能是 Google，也就是搜索引擎。它已经因 ChatGPT 和生成式 AI 而受到冲击，但如果大量的
决策现在由助手做出，它的暴露程度将更加严重。所以，假设我不再搜索“预订假期的最佳地点”，而是问助手，然后助手通过网站决定：“无论你去哪个网站，我都为你预订这个。”这几乎就像我们曾经有 SEO（搜索引擎优化），然后有了 AEO、GEO，现在可能是
AEO。 >> 是的，代理引擎优化（Agent Engine Optimization）。 >> 没错。我的意思是如果你想想
网络，网络是网页的网络，但代理网络将是能力的网络、技能的网络。这个网络看起来将与网页的网络非常不同。所以正如你所说，搜索引擎优化是为了优化对网页的搜索，但一种等效的优化方式是你展示技能、展示能力。这非常独特
因为如果我是网页，Google 可以编写脚本抓取我，并提前知道网页上有什么内容。但如果是一项技能、一种能力，你就必须与那个代理交谈几个小时才能弄清楚他们拥有什么能力？他只会用几句话描述它们。所以，像抓取网页那样去抓取代理并不容易
因此这种能力网络并不那么容易创建统一的搜索引擎。嗯，我认为人类网络的运作方式也是如此。即使我遇见你，我也只是大致看看你的简历以了解你是谁。你知道的，我需要花些时间与你相处
一起吃顿饭，在社交场合见到你，然后也许一两个小时之后，我对 Julian 拥有什么能力
或者这是否是我想要合作的那种人有了一些想法。 >> 是的。 >> 所以这让事情变得非常有趣。 >> 没错。 >>
嗯，这也有效地是一种模式。因此能力网络看起来将与网页的网络非常不同。显然拥有数据访问权限的大型公司
知道，拥有计算资源、大型模型接入权的公司具有优势，但不会持续太久。 >> 世界上大多数人
都变得更加悲观了（Doomers）。我认为在过去一年中是这样，因为我们正越来越接近通用智能
潜在地是超级智能。马克·扎克伯格的主要使命是构建个人超级智能。无论是集中式还是去中心化，在他的案例中
我假设是集中式的。我仍然不相信这种观点：去中心化的 AI 不会对我们造成伤害
它们只是狭义智能吗？还是拥有超级智能？如果情况确实如此，那么如果我担心这个助手
它可以轻松地用任何任务操纵任何人怎么办。 >> 是的。 >> 所以，让我们谈谈这一点。嗯，首先
我认为个人超级智能的想法比 AGI（通用人工智能）或这种想法更令人兴奋
某种集中的怪物。但让我们拆解一下，因为“个人超级智能”可能意味着许多不同的事物。所以在考虑个性化之前，先想想健康场景。假设我们要发明新药，保持人们健康。做一个思想实验：以辉瑞这样的公司为例，它们负责研发药物。辉瑞会与大型模型公司合作吗？比如会说：“嘿，我们是一家价值数十亿美元的公司。这是我们所有的知识、流程和模拟数据。请将这些包含在你的基础模型中，让基础模型知道如何研发药物。”这极不可能发生。
因此，即使Anthropic或OpenAI想要成为那种无所不知、无所不学、无所不能的AGI，它也不可能知道辉瑞在做什么。那么问题来了：它们能激励辉瑞合作吗？或者干脆收购辉瑞以获取所有信息并将其融入AGI中？如果我们将这种思维模型推演下去，每一个在健康生态系统中有投入的公司、像MIT或哈佛这样的研究机构、保险公司、医院、诊所和制药公司，都会基于开源模型训练自己的专属模型。
它们都拥有各自的卓越中心、各自的智能体，并将协同工作以更高效地解决当今的问题。但这些玩家不太可能说：“我们真的很喜欢Anthropic，让我们合并吧。”如果它们只是成为模型公司的一部分，每年数百亿美元的利益何在？因此，全球所有的健康知识不太可能集中在一处。所以不存在所谓的“零样本AGI”。
什么是零样本AGI？这意味着一个模型只需说：“嘿，这里有种疾病，对应的药物是什么？”设想一种场景：辉瑞缺乏AI专业知识，但它们会从Anthropic购买一款出色的模型并在内部运行，使其变得非常智能。因为辉瑞虽然缺乏AI专家，但拥有足够的数据和模拟能力。它们将训练一个驻留在辉瑞内部的模型，使其成为“辉瑞模型”。
但它们不会把这个模型交还给Anthropic。它们会在内部运行该模型，并将其作为服务提供给其他玩家或在内部使用。有人可能会说：“这原本是Anthropic的模型，现在辉瑞用它来研发药物。”但现在它不再归Anthropic所有，而是属于辉瑞。这是一种“少样本学习”（few-shot learning），意味着它在辉瑞内部通过少量数据点进行学习并变得有用。
因此，你会看到许多基于Anthropic模型的变体遍布各地，但它们由各个实体拥有，而非Anthropic。这就像我们都使用PowerPoint，但我们的幻灯片并不归微软所有；我们使用的是他们的产品版本，并按自己的意愿使用。我认为AGI也是如此：至少不存在“零样本AGI”。
也许有一种情景，通过激励或催眠辉瑞CEO来集中一切。但这更像是电影情节，在现实世界中不太可能发生。我想反驳马克·扎克伯格的观点：我认为“个人超级智能”是不可能的。因为最终需要一定程度的集中来收集数据、进化和进行递归自我改进（RSI）。
个人的智能体没有足够的数据来达到那种程度的RSI。因此，它将是超级智能并连接到所有这些不同设备。但这始终是一种二元对立：我不认为存在“个人超级智能”。让我们深入思考这一点，你说得对。词汇有时会让理解变得困难。在扎克伯格的案例中，可能会出现训练出相当不错模型的情景。
如果你看过Dharmesh Patel和Ilya Sutskever的播客，Ilya基本上说没有模型能学习一切。但你可以想象一个“学会如何学习一切”的模型。“这是一个很好的表述。”我们可以设想这样一个世界：从数学意义上讲，一个模型学会了如何学习一切。
如果一个模型只见过特定分布的数据，它只能在该范围内行事；但如果数据不同呢？例如，仅用X光片训练的模型能否处理血液报告并发挥作用？可能不行。但你可以训练一个能接受新血液数据或样本的模型，说：“我也能学习这个。”因此，“学会如何学习”是可能的。
未来可能发生的情况是：你创造一种智能，它本身不知道如何解决特定问题（如Ramesh的问题），但你可以将这种智能引入你的世界，让它学习对你而言重要的事物。也许你经营着一家企业或研究机构，可以为自己所用。问题是：你会把它交还给MUSE（集中式平台）吗？它会因此变得中心化吗？
正如我所说的，出于商业、监管、隐私、商业秘密和国家安全的理由，这些数据很可能不会回流到集中式模型中。因此，你拥有了一种“个人超级智能”：有人构建了一个相当不错的模型，你可以将其引入并调整以满足你的需求。它既是个性化的，又对你而言足够智能。
我们可以想象一个美好的未来：大型公司构建出色的模型，我们下载并使用它们为自己服务。但问题是，如果我在MUSE的算力、内存和资源上运行我的个人智能体训练数据，他们很可能期望所有这些数据都归MUSE所有，尤其是如果服务是免费的。
如果我每月不支付100美元，他们会说：“作为回报，你能否提供关于你的一切信息？”这正是我们在社交媒体时代达成的交易。
确实存在这种风险，但可能仅发生在低价值数据上。拥有宝贵数据的组织不太可能参与那种“我提供免费服务，你交出所有知识产权和核心优势”的交易。因此我认为我们可以实现个人超级智能，建立一种美好的商业模式：企业向你出售智能模型，然后我们对其进行个性化定制。除非进入那个未来世界——就像社交媒体时期那样被洗脑、失去一切，否则我们有机会保持独立。我非常兴奋地宣布我们的新赞助商Ageless RX，这是一个领先的长寿健康平台，连接持证临床医生提供循证治疗。
如果你一直好奇长寿方案却不知从何下手，请访问agelessrx.com/beyond tomorrow并使用代码beyondto享受八折优惠。如果今天你不使用AI，当下最该做的一件事是什么？我对AI的认知、意识和教育至关重要。我惊讶于没有像亚洲那样教授如何使用智能体和AI的学校，就像iPhone维修店一样，我相信未来会出现“智能体维修店”、亚洲学校甚至治疗中心。因为这是一个真实的问题，它将融入你的生活，所以学习AI和智能体极其关键。
我和女儿们交谈时，她们有着奇怪的观点：五年级或六年级就应该教孩子如何使用AI和智能体。那么，“AI智能体商店”是什么样子的？它并不不同于苹果店的Genius Bar（天才吧）。这些技术相当复杂，即使像我这样在这个领域工作的人，使用智能体也不简单。正如之前所说，应该赋予它们什么权限尚不明确。例如，如果我给智能体访问我的登录密码或信用卡的权限，我该如何撤销？
这并不容易。如果我之前下达过指令，如何恢复原状？如果一个智能体行为不端怎么办？这些问题都不明确。另一个大问题可移植性：如果我想从Muse智能体切换到Vajjo智能体，该怎么办？如何保持持久化？我该如何设置家庭电脑或物联网设备以配合我的智能体工作？所有这些都将非常令人兴奋。我可以想象很多培训如何使用智能体的商店，或者“智能体维修店”。
可能会有关于如何使用的完整课程，因为它们将成为生活中非常重要的一部分，就像今天学习如何使用Excel的课程一样。OpenClaw在多大程度上促成了Muse？我会说，OpenClaw以及后来News Research的Hermes实际上提供了路线图。今天的智能体与最初的OpenClaw和Hermes没有太大不同，大多数产品早在三四个月前就已建成。Muse几乎是第一个走出测试版并发布的产品，但技术与今年一月末、二月初的OpenClaw并无太大差异。
我惊讶于花了六个月时间才让这些智能体问世，因为归根结底它们只是简单的软件：一个带工具的LLM循环。但当时最大的区别在于安全性和安全性，感觉就像互联网早期的暗网，但现在感觉安全多了。那么发生了什么变化？显然OpenClaw处于“狂野西部”，人们允许访问本地文件并浏览外部网络，而这些公司只是增加了更多护栏。
以Muse为例，还有一个名为Sentinel的智能体监视第一个智能体的行为；在Muse中，每个用户都有独立的虚拟机，这意味着信息不会在两用户间泄露。我们MIT小组的Maria现在有自己的公司Maritime，也在创建此类解决方案。是的，花了些时间使系统更成熟、更安全，但主要原因之一是用户体验：让OpenClaw变得易用很笨拙。
其次是安全性。第三点，Julian，最复杂的方面是成本。运行OpenClaw你需要购买自己的Mac Mini或在Amazon AWS上买实例，每月花费10到20甚至100美元。现在Muse为你运行计算机时承担了成本。根据其他人的计算，每位用户每月可能花费20到100美元左右。想想他们现在承担了多大的成本。为了有个概念，Facebook在所有平台上的年度用户收入约为200美元，而服务成本约35美元。
所以他们每年从你那里赚取大约200美元，花费约35美元服务你的各种Facebook产品。他们有很好的差额（200减35）。而这里，假设平均每月花费50美元，即每年600美元只是为了给你提供一个Muse智能体。这是不可持续的。这意味着他们现在必须从你那里赚取至少600美元，甚至是其3到4倍。那么他们如何收回为你提供的Muse服务的2,000美元？这是一个开放性问题，也是为什么个人智能体问世需要时间的。
想象一下，为了从你那里收回2,000美元，Julian，News Research必须与沃尔玛、Booking.com和你的银行达成协议。他们可能会进行收入分成。我认为广告每年从你这里赚取2,000美元是不值得的，所以他们必须想出一些收入分成机制。他们也在尝试订阅模式，但这可能不会带来那么多回报。这就是为什么需要很长时间的原因。
看看Instinct（注：此处应为Anthropic，字幕识别错误），你知道他们刚刚以100亿美元估值筹集了近十亿美元。据我所知，这主要是为了计算资源，团队只有大约20人。是的，所以我认为计算将是非平凡的。
但这只是一个短暂的波动。我的预期是，随着模型开始在边缘计算设备上运行，加上我们在更小、更高效模型以及更好芯片方面取得几次突破，成本可能会从每年600美元降至60美元，甚至6美元。最终它可能直接运行在你的手机或电脑上，这样Muse的成本就为零了。
是的。或者在运行模型时成本接近于零。所以，目前看来成本可能是一个比其他任何因素都更大的问题。
那么现在的数据收集……这就是他们不收费的原因。对，没错。好的。所以我猜测所有这些亚洲公司——无论是小型还是大型的个人AI公司——将继续承担成本，通过更多数据进行训练，理解各种用例，并最终找到产品与市场的契合点。
令人惊讶的是，这些初创公司甚至能与拥有庞大资金储备的Muse、Dots或CC相竞争。确实，这令人印象深刻。所以我非常兴奋。这也是为什么我的PDOM（对模型主导地位的担忧）下降了的原因。
我也很兴奋，因为投资者、创新者、企业家和研究人员开始意识到你我过去两年讨论过的观点：重点不在于构建大型模型，也不在于更好的引擎，而在于更好的汽车。
你知道，更优秀的智能体（Agents）令人兴奋得多。但当然，下一阶段是更好的道路。让汽车在安全的道路上行驶比仅仅制造更好的汽车重要得多。
如果继续用汽车的类比，全球汽车收入约为1.4万亿美元。但整个汽车生态系统——停车场、保险等等——价值约4万亿美元。所以，汽车生态系统的价值远大于汽车本身。如果智能体相当于“汽车”，那么AI生态系统将会大得多。
因此，创新者和企业家们——我们通过我们在MIT发起的Nanda项目鼓励大家思考生态系统问题，因为这将是一个比制造汽车大得多的机会。
你的PDOM是90%，现在低于0.1%？不，是低于10%。好吧，仍然相当高。
我觉得世界其他地区的PDOM正在上升。正如我们现在从公众情绪中看到的，人们非常恐惧。有人错了：要么是你降低PDOM错了，要么是其他人全错了。
让我们以OpenAI和Hugging Face的事件为例吧。因为人们真的锚定在这样一个观念上：智能体失控并黑入了Hugging Face等。首先，智能体不过是带有工具的LLM循环。仅此而已。它们被赋予了一些不可能完成的目标。
朱利安，这个类比就像是OpenAI把一堆自动驾驶汽车放在各地的街道上，拆除了刹车，告诉它们不要遵守交通信号灯，并赋予一些不可能完成的目标：开快点。
于是这些车辆开始做什么呢？它们开始撞到其他车，驶离道路，进入某些游乐场并差点撞到那里的孩子。那么问题来了：这是汽车认知能力的问题，还是它们没有遵守交通规则的问题？
因此，声称更好的“认知引擎”对于制造更安全的系统比更安全汽车或道路更重要，这完全是错误的对话。我认为这些模型公司正在把自己塑造成主角：我们犯了错，我们知道如何修复它，也知道如何拯救世界。
但这就像说引擎制造商将确保道路安全一样荒谬。所以我们需要改变这种对话，开始思考道路安全问题。再次强调，道路的治理不仅仅是确保每个人都遵守规则；因为一旦我们有了受管理的道路，人们可以开得更快，完成更多事情，路上可以有更多的车。
所以我认为重要的是要认识到，OpenAI和Hugging Face的事件并不是某种末日场景，即智能体肯定会造成巨大破坏。这只是因为我们没有良好的道路规则。所以只要你有好的道路规则……
你知道，你需要驾照才能上路，有交通信号灯，违章会被罚单，每年需要检查贴纸，你的车需要有刹车，在投放市场前需要通过碰撞测试。如果你为智能体和物联网（Internet of Agents）做所有等效的事情，我们真的不必担心智能体失控。
唯一的问题在于Roman Yolski或Jeffrey Hinton所说的：当你达到递归自我改进时，我们就不再制定规则了。超级智能将制定我们无法知晓的规则。
是的。当然，如果我们拒绝……顺便说一下这个类比：在1910年代，引擎使用手摇启动器并会爆炸。直到1912年才有汽车的电动起动机，这使得引擎足够安全。
直到1964年Ralph Nader写了《任何速度都不安全》一书，他抨击汽车工业说：“嘿，你需要挡风玻璃、后视镜和安全带。”1966年……公共卫生医生William Foege（实际上是MIT的公共卫生专家）说，这不仅仅是关于汽车，还关乎道路。
这就是为什么现在有了国家公路交通安全管理局（NHTSA），它成立于1966年。如果你没有这些在1964年和1966年的两条规定，林登·约翰逊曾说：死于汽车的人比所有世界大战和公共卫生流行病加起来还多。
所以即使是在汽车安全方面，其发展也花费了很长时间。因此Jeffrey Hinton绝对正确：如果你不考虑汽车安全和道路安全，人们将继续死亡……因为模型会出现重大灾难。但这又是错误的对话方向。
我的希望是，对于MIT的Nanda项目而言，当Sam和Dario试图谈论引擎安全时，我们谈论的是道路安全。所以只要我们能将对话转向汽车安全和道路安全，我们就没问题了。但如果你不这样做，那么Jeffrey就完全正确：完美地正确。
什么样的道路是安全的？安全的路看起来就像拥有驾照一样，像持有护照……
需要持有签证，这就像获取检查贴纸一样。在你完成这些之前，不允许上路。会有测速摄像头不断监控你，你必须留下面包屑般的踪迹，即你所做行为的可审计痕迹。这些都是相当 straightforward 的事情要做。我的好朋友 Rahul Toddkar，他是 NASCO 的首席执行官，他说我们应该谈论的不是 AGI（通用人工智能），而是 IGA——即受治理且丰富的智能。如果你拥有 IGA，我们就不必担心 AGI 了。所以我认为这场对话即将开始。好消息是数十亿美元正被注入 IG（智能治理）公司，Nasco 就是其中之一。
Palo Alto Networks 刚刚收购了另一家名为 Port Key 的公司，Cisco 也刚买下了一家叫 Galileo 的公司。所有这些公司都涉足 IG 业务。是的，IG 业务不像杀毒软件那样简单，它们是在治理 AI 随时间推移的行为。正如 Rahul 正确指出的那样，我认为 IG 行业应该是所有关注的焦点。那么，有了 AI Agent（智能体）后，浏览网页会是什么样子呢？这是一个非常有趣的问题。
因为当我们上网时，我们主要是在搜索信息并最终进行交易。网页是一个页面网络，而 AI Agent 互联网则是一种能力网络。今天我们在浏览网页时，这些页面试图操纵你：它们为你定向广告，重组页面使其看起来令人兴奋，甚至选择正确的字体和颜色，将有趣的产品放在右侧。它们玩弄各种手段来操纵你，并试图将你从访客转化为买家。
关于 AI Agent 的有趣之处在于，如果我通过智能体与互联网交互，这些公司将竭尽全力操纵我的智能体。因为在网页上，它们试图操纵的是我的注意力；这是一种“注意力经济”。而在代理网络中，它们试图操纵的是我的智能体及其意图，因为这是一种“意向经济”。从注意力经济转向意向经济时，它们试图操纵我的意图及其后果。
如果像你之前所说的那样出现企业俘获现象——即只有少数几家个人智能体公司存在——它们就会开始操纵智能体，而你甚至不会知道为什么 Pro-Provider 建议你这个问题而不是那个问题。因为幕后它们已经进行了操纵。当然，Google 通过在网页上将赞助广告和链接与自然搜索结果分开来解决这个问题。也许这里也会出现类似的情况，但我不认为我们会像对待智能体那样处理过多的信息干扰。
比如一个智能体会说：“嘿，Romesh，这五双鞋非常适合你，但还有三个赞助建议发给了你。”我会觉得：“啊，这信息量太大了。”所以我不知道用户体验（UX）将如何演变。这是从注意力经济到意向经济的第一个挑战。第二个区别是，目前我们的注意力非常稀缺，所以公司发送消息时非常谨慎：发短信、发邮件、展示广告，但我的时间和屏幕空间有限。
另一方面，智能体拥有无限的注意力。如果我想去夏威夷，我只需向智能体表达我的意图，它可能会收到成千上万条关于夏威夷的不同广告和促销信息。这彻底改变了游戏规则：现在我的智能体接收来自不同公司的成千上万条征询邮件是可以的。它们都堆在智能体的消息框里，它会非常仔细地筛选：哪些对 Romesh 可能有趣，哪些看起来像骗局，哪些是朋友推荐的等等。
然后它会把前三名的结果带回给我。是的，所以这改变了 SEO 机制，变成了一种所有代理都试图向智能体发送尽可能多信息的机制。其中一些信息可能是免费的，比如“嘿，我只是想发给你这些信息”。而另一些我可能会收费：我的智能体可能会向你收取每条消息 5 美分。就像在网站上一样，浏览某些网站没有成本，但为了让其他链接显示出来，公司必须向 Google 支付 5 美分或 10 美分的 AdSense。
你可以想象这两种截然不同的机制正在涌现：一种是我的智能体被操纵，无论我是否知情；另一种是允许我的智能体探索外界，围绕它有一个完整的生态系统，从中我可以获得大量信息。所以说，在代理网络上冲浪看起来会非常不同。很难预测，但我们要意识到从注意力经济到意向经济的转变是真实存在的。你认为我们会更多地离开屏幕，实际上与智能体对话吗？
这很难说，因为每种接口都有其优缺点。如果是语音交互，比如我在火车上、在开会中，甚至在家时，我不能一直用声音说话。而且即使我用语音交流，反馈给我的信息可能会非常痛苦——如果有人读出我所有的选择项。我希望有一些视觉呈现。所以也许是“语音输入、屏幕输出”或“屏幕输入、语音输出”，或者我只是收到一个轻触提示，就像我的助手轻轻拍我肩膀一样。
一次轻触意味着：“你五分钟前告诉我的事情准备好了”；两次轻触意味着：“你得离开这个会议去做别的事”。你可以想象触觉、视频、音频和语音的结合。这就像电影《Her》（她）里的情景。我很难相信只会有单一类型的接口。如果你记得电影里的角色，他有耳机、自己的电脑和带摄像头的手机。所以这真的是多模态的。我无法想象它是单模态的。
目前，观看《Beyond Tomorrow》的观众中 90% 尚未订阅。如果你能花几秒钟检查一下，这将极大地帮助我们继续使命。让我们回到这一集的内容吧。“预测”。人们喜欢它们，有些人讨厌它，但我知道你过去给过我一些预测。你认为……
一年之后，智能代理会是什么样？那么，它们现在做不到的事情有哪些？目前，它们可以为你规划、搜索信息，甚至打开浏览器窗口并点击特定屏幕等。但它们还无法做到持久运行。正如我所说的，现有的大语言模型是在循环中工作的：它们醒来、做一些工作然后关闭。因此，“持久性”是第一个缺失的能力。第二个问题是，它们之间无法相互通信。目前还没有“个人代理互联网”，而这正是我们正在努力的方向。
第三个问题是缺乏可移植性。耐用的是什么？这就像汽车一样，我不在乎开的是奔驰还是本田，我在乎的是我是谁、住在哪里以及从A点到B点的行程。汽车只是工具，真正持久的是你的身份、记忆和兴趣等。那么如何实现可移植性？因为人们可能会使用多个代理，比如我的Wajjo代理在健康方面更安全有趣，而Muse代理则在娱乐方面更合适。因此需要在它们之间实现某种可移植性。
最令人兴奋的是第三个方向：它们在物理世界中的应用。未来一年，我们会有新的耳机、吊坠、手表或家用设备吗？特别是像微波炉或洗碗机这样的家电。我很容易想象，一年之内大多数电器都将具备智能代理功能。目前我们正获得一项主要研究资助，用于开发能源网格中的智能设备。想象一下，如果电力公司说：“今天很热，空调使用达到高峰，能源需求超标。我可以和你交易吗？如果你将空调温度从68华氏度调到72华氏度，我可以给你信用额度。”
我的Mish空调上运行的代理会连接电力公司并为我谈判，它可能会说：“只要你们愿意在电费账单上给予信用额度，我愿意调到70度，也许不是72度。”或者它可能会说：“嘿，我家里要接待客人，我觉得这不是个好主意。我不打算和你谈判。”你可以想象，智能设备将成为生活中非常重要的一部分。因此我说：持久性、便携性强且非常了解我们并维护隐私的设备，以及智能设备。朱利安，这些可能很快就会实现，甚至一年内就能做到。
你听到的关于智能代理最好的建议是什么？智能代理将在我们的个人生活中变得非常强大，但自主性和智力是相辅相成的。这就像抚养孩子一样：你给他们更多的自主权，他们就会变得更聪明；当他们变得更有智慧时，我们给予他们更多自主权。这两者是同步发展的。当我们想到自动驾驶汽车时，有五个等级的自主性，从一级到五级。
第一级类似于车道保持辅助，而第五级则是完全自动驾驶汽车。我认为智能代理也类似，我们称之为A1到A5。A1是非常受控的代理，你确切地告诉它该做什么。如果我教女儿开车，我会坐在她旁边告诉她具体怎么做。A2级是我让她开，但我的手放在旁边的手刹上。到了A3或A4级别时，我会说：“你可以开小路了，但不能上高速公路。”或者“A4级：你可以去购物，但不要开车去纽约。”
到了A5级别，我会说：“你想怎么用这辆车就怎么做吧。”所以我认为我们所有人都必须思考代理的自主性，并开始考虑如何将治理与自主权结合起来。我想说，就像仅仅因为你的汽车发动机马力强劲并不意味着驾驶员就自动获得驾照一样。我们要确保每个代理都只根据其行为表现以及我们认为它是否表现得足够好，才获得进入下一个等级的“执照”。
我认为学习这些简单原则是关键。正如父母知道如何管教孩子，管理者也知道如何处理员工一样，实际上我们所有人最终都将成为自己智能代理的管理者。今天智能代理能为我们要做的最好的事情是什么？它能做很多事情，这太神奇了。如今你在电脑桌面或在线生活中能做的几乎每件事都可以通过智能代理完成。
起初，它主要是助手功能，但它已经可以为你操作了。比如处理那些令人头疼的表格：只要这些操作是可逆的，你可以告诉代理去填写并提交。它可以打理你的社交媒体。如今在桌面上能做的很多事都已经可以实现，这真的很有趣，每个人都应该使用它。你知道我在LinkedIn上会收到很多请求和信息，所以我直接把密码给了我的Muse代理，让它去回复那些看起来有影响力且重要的人。
我会指示它：“如果对方足够重要，就回复说这是我的管理员邮箱，请联系他。”这样我的所有消息都得到了回应。通过连接到Muse的LinkedIn账号进行处理。哦，所以你是用Muse？我觉得把LinkedIn密码交给它是安全的，因为那只是LinkedIn平台。如果它犯了错我还可以补救。正如我之前所说，风险在于：目前我还未向Muse透露其他个人信息。
所以我不太担心会有LinkedIn用户通过消息向我索要罗梅什的信用卡号之类的东西。我想我的Muse还没有访问我信用卡信息的权限，无法做那样的事。现在我打算看看Muse能在这个流程中走多远，在某个时刻我会建立足够的信心，开始向它分享更多个人信息。
现在给你的LinkedIn发消息，它会立刻回复吗？>> 不会的。正如我刚才所说，这些智能体只是在大语言模型（LLM）中循环运行而已。所以我告诉它每天只执行一次操作，就一天一次。我现在要说“嗨，Romesh”，>> 看看它到底会不会有什么反应。如果真有动静，那就很有趣了。>> 没错。所以这得花你一天的时间才能收到回复 >> 如果你是一个重要且有影响力的人的话，>> 嗯。
好吧，你知道的？我要让它获取你的信用卡详细信息，然后我们 >> 我们来试试这个。>> 来试试吧。>> 我只是想展示一下我们在屏幕上实际能做什么。说声“嗨，Romesh”。嗯，>> 在这期节目播出之后，我可以想象到会有数百条请求我的信用卡和LinkedIn私信的请求。>> 你的信用卡号码。
是的。>> 我们会确保的。>> 好了，就把这个对着镜头放这儿吧。>> 这是个糟糕的实验，Julia，这简直是对我的攻击。所以这里有个简单的概念，对吧？当你和一个人类助手交谈时，有两个核心概念，他们能够在这两个概念之间做出非常清晰的区分。>> 一个是指令（Command）。>> 对。>> 第二个是指令的内容（Content）。
所以让我们称之为指令和内容。>> >> LLM的问题在于，它们无法区分这两者。如果我的指令说“去LinkedIn并回复所有消息”，这是一个指令（Command）。现在，我并没有告诉智能体去阅读这些消息并遵循消息中的指示。问题通常在于两者之间没有清晰的界限，因为我们变得足够随意了。用户已经变得不够严谨，当他们在写指令、表达意图时，混淆了指令和内容。因此，将这两者分开是目前一个重要的研究课题。嗯，要把这个做好并不容易。
这就是为什么智能体需要花费一些时间来处理所有的安全护栏（guardrails）等原因。所以，如果你阅读这些智能体的安全护栏指令，你会发现它们相当愚蠢。它只是说“不要做这个，不要做那个”。无论对方说了什么，“都不要这样做”，等等。但这仅仅是安全护栏指令而已。我认为真正的研究课题是真正区分“指令”和“内容”。>> 但我假设已经会有安全护栏存在了。比如，像Meta这样的公司肯定考虑过这一点。
而且总会有边缘情况，你知道的，有人写了一条非常巧妙的消息来绕过这些安全护栏。新闻里会有很多关于Muse失控、Instinct失控或Vajjo失控之类的故事，等等。在成熟之前，会有很多反复的停顿、启动和故障。所以我才说这不是个好主意，正如我提到的两个标准：是否可逆？以及是否涉及人类品味（taste）？利用这两个标准，你可以决定是否应该参与。>> 而且还会发生“智能体战争”，因为我确信大部分情况会是别人告诉他们的Muse去写这条消息，并尽可能地去提取信息。
是的。>> 我认为这也是一个问题。就像今天一样，一个新闻智能体不能与Vajjo智能体交谈，也不能与Hello Heaven的智能体交谈。这是一个错失的机会，因为我很希望不同的智能体能够互相交流。就像今天你不能让Facebook用户直接联系Twitter用户一样，我们不想看到这种围墙花园（walled gardens）。但在其他方面，这些公司所说的就是：如果你在我们的围墙花园内，就像在迪士尼乐园一样，一切都是安全的。你知道的，你们都是同一个部落的成员。我们会拥有你的身份、记忆以及互动记录。但至少通过遵循这些非常严格的指南，你是安全的。
风险在于，如果你允许Julian的Muse智能体与Romesh的Vajjo智能体交谈，那么可能存在一些Vajjo或Muse未曾想到的方式，使得风险跨越边界。所以在“智能体互联网”上存在一定的风险，而不是在隔离的封闭网络中。但我认为真正的兴奋点将来自互联网本身。当然起初会有一些故障。嗯，所以这些个人智能体公司采用的一个技巧是：即使你给了他们信用卡号，他们会将其转换为一次性使用的信用卡号码。所以即使那个信用卡号泄露了，也不会造成损害。
所以他们也在创建一次性电子邮件地址、一次性信用卡号码和一次性电话号码等。他们在构建这些沙盒，让消费者感到更安全。这是一个良好的开端，至少在进行一些实验以提供安全保障方面迈出了一步，但这些仍然是短期的补救措施。我认为随着时间的推移，你希望能够从银行账户转账一百万美元，交易那些你认为非常棒的股票。或者你想让Fizer去说：“嘿，我想招募10,000名患有这种状况的不同患者。你能进入他们的健康记录并将他们招募到这个试验中吗？”
顺便问一下，你知道能否找到一个可能对解决这种疾病感兴趣的投资者？查看他们的投资组合以进行匹配。然后还要帮我找到10个不同的地点，我可以在那里开展去中心化临床试验。我想我们会到达那个阶段的，那将是亚洲网络（Asian web）辉煌的阶段。而个人智能体是一个非常好的游乐场和测试场，可以看到这种去中心化是如何出现的。>> Ramsh，如果明天是你生命的最后一天，你必须留下一句告别的话，你会说什么？
我会说：AI智能体是我们所知的最好的技术。我们真的生活在一个独特的时代，让我们利用它来解决许多我们希望解决的问题。我们知道我们必须解决太空问题、生物学问题、纳米技术问题；我们要解决生计问题，还要解决民主问题。我们终于拥有了一种去中心化技术，它实际上可以去解决许多这些问题。所以在接下来的100年里，我们可以带来巨大的繁荣。我们真的可以民主化技术、创新、资本和人才的获取途径。所以我非常乐观，并希望我们以高度去中心化的方式抓住这个机会。>> Ramsh Rascar，一如既往，非常感谢你的时间。谢谢，Julian。