先简单介绍一下我的背景。我是 Similar 的联合创始人兼首席执行官，今年基本上是我与计算机互动的第30个年头。现在，我正致力于构建完全自主的计算机，这样我就不必再与它们进行交互了。回顾我的历史，在前10年里，我年纪尚轻时就开始了解计算机。
前十年里，我的重点是比较编程，基本上就是每天写代码。第二个十年间，我花了很多时间训练神经网络，在攻读博士学位期间以及后来在 DeepMind 工作期间发表了许多 AI 研究论文。
第三个十年始于2017年我加入 DeepMind，这标志着第三十年的开始，至今几乎已有9到10年了。当我刚加入 DeepMind 时，我们确实试图解决一个被称为 AGI（通用人工智能）的问题。
当时大家都感到困惑，即使到现在，人们对 AGI 的定义仍然众说纷纭。但总的来说，它更像是一个通用系统，类似于人类的能力——机器能够执行各种不同类型的任务。希望明年我们能解决这个问题。
我可以思考一下在第一十年里该做什么，解决什么样的问题。好的，那么我想现在正式开始我的演讲。
我之所以想介绍这些背景，是因为我在编码上花了10年，在神经网络上花了10年，在解决 AGI 问题上又花了10年。这赋予了我一种偏见，我们将这种理念注入到当前的公司中：通用 AI 系统应该是神经符号化的（Neuro-symbolic），即代码与神经网络相结合。
接下来我会快速展示为什么我们会有这种直觉。我知道这次研讨会时间紧迫，但我确实想向大家提供三样东西。首先是关于计算机使用的基本知识；我了解到在座约50%的人还是这个领域的新手。
其次是我们在基础设施方面一直在开发的工具。我们有四种不同类型的组件，相信这些会对你们未来开发计算机应用程序有所帮助。我还会展示一些其他开发者或他人正在应用的应用程序案例。
第三点也很重要，因为我们有一个名为 Sigh 的产品，目前仍处于封闭测试阶段（Closed Beta）。因此，在研讨会结束时，我想给每个人发放邀请码，让大家有机会体验这款产品。
也请随时关注我的 Twitter 并加入 Discord。如果需要更多积分，请告诉我，我肯定会提供额外的积分支持。
那么第一个问题是：什么是计算机使用代理（Computer Use Agents）？通常我在演讲时会和大家一起自拍，这次也不例外。这就是我现在每天做的事情。
实际上我是 CEO，所以我并不整天使用计算机操作界面。我在手机上运行我的代理程序。我可以给代理发短信、发送照片，并指示它将照片发布到 LinkedIn 上。然后代理就会处理这项工作。
让我们看看代理是否有回应。我想我收到了一些反馈。好的，我的消息确实在那里。代理正在回复。它收到了我的照片，并且开始向我提问了。
虽然我现在不会与代理进行交互，但我想向大家展示基本界面。“计算机使用代理”指的是拥有计算机的代理。在这个场景中，它拥有一个完整的 Windows 桌面环境。
如果我继续与这台“计算机”交互——通过鼠标和键盘，它将在该桌面上工作。稍后它会打开 LinkedIn 并返回演示文稿。我只是展示了一个代理在应用程序上工作的例子。
但实际上，你可以拥有多个这样的代理，这也是我们目前正在努力的方向。你们可以看到这里有四个不同的代理，它们有不同的名称。
QA 代理基本上是在对产品进行质量保证测试，这是一个主要的使用场景；客服代理则去 Slack 频道查看所有相关信息。
实际上这些代理的运行速度较慢，这段视频是录制了数小时的内容压缩成30秒播放的，以便大家基本理解计算机使用代理是如何工作的。
总体思路与目前我们讨论的大多数代理非常不同，大多数基于 API 的代理让你无法直观地看到它们在做什么。计算机使用代理是另一个类别，我们认为它是一个更大的范畴，能够做更多事情——即使在没有 API 的情况下，你仍然可以让代理去操作。
我想做一个小小的仪式回顾，因为我们在2013年（注：原文为2023，结合上下文GPT-3.5/4V发布时间应为近期）成立了一家公司。那是在 GPT 3.5 和 GPT-4V 发布之后不久，我想展示一个例子：两年前我们在这个问题上几乎感到绝望。
我实际上在 Twitter 上发过这条推文，让我稍作停顿。这是两年前的推文：问题在于我们能否实际使用 GPT-4V 来理解屏幕，然后点击屏幕上的 iMessage 图标。这是一个非常非常简单的问题。
我基本上利用模型建立了迭代优化的定位（grounding）。第一次尝试并不正确，第二次点击到了邮箱图标，第三次才正确地点击了 iMessage。这是我做的唯一一个成功的演示（笑声）。
我还让代理去点击 Zoom，但完全不起作用。两年前这个问题基本上是无解的，但我们有一种直觉：随着时间推移，视觉模型会变得更好，最终这个问题是可以解决的。
只是当时看来两年内不可能实现，这实际上促使我们思考解决计算机使用代理问题的总体策略。我们为这个概念起了一个名字：自主计算机（Autonomous Computer）。
因为如果计算机能做各种各样的事情，它就是“自主”的。那么问题是如何解决自主计算机的问题？当我谈论它时，只有两个词：“自主”和“计算机”。
这自然而然地引出了两个思考方向：一是自主性，二是计算机。所谓“自主”，是指我们是否拥有一个系统，能够理解计算机的环境上下文，进行推理和规划，并能从自身的错误中恢复。
它不需要人类像保姆一样时刻监护代理；第二部分则是关于“计算机”本身的处理方式。
这是关于计算机的问题，即代理可以使用什么样的计算机。这是一个核心问题，但两年前我们觉得计算机本身其实是个简单的问题，因为每个人都已经拥有电脑了。因此，我们将重点放在自主性上。当我们谈论自主性时，这要追溯到我们最初的基础原则，即神经符号主义（Neuro-symbolic）。“神经”部分也发生在自动驾驶汽车上，其基本概念对于所有不同类型的自主系统是相同的。它们都遵循同一个概念：你有一个“神经”组件，在这里是视觉语言模型（VLM）代理；第二部分则是符号部分，我们当时称之为编码代理。基本上，我们需要解决这两项技术，才能使自主性发挥作用。
我两年前展示过一个演示，当时VLM根本不起作用。因此，我们在编码层花费了大量时间，以确保我们可以更可靠地控制计算机。第二个问题是，两年前我们组建了一个研究团队来思考如何改进这种特定应用的VLM在计算机使用方面的表现。在我开始谈论我们在视觉语言模型代理上的旅程之前，我想简要谈谈信号的概念。就像自动驾驶汽车在道路上行驶时有信号灯、雷达和摄像头这三种不同的信号一样，计算机也有同样的三种信号。我经常告诉人们，我们实际上是在数字世界的计算机中从事自动驾驶汽车的工作，基本上是将方向盘替换为鼠标和键盘。
我们仍然使用三种不同的信号：一种是截图（screenshot），另一种是辅助功能树（accessibility tree）。辅助功能树非常独特，在日常生活中很少见。DOM树很流行，因为我们使用浏览器；而辅助功能树有点像DOM树，但它与每个操作系统绑定。Mac有它自己的辅助功能树格式，而Windows则有单独的协议用于辅助功能树。这是操作系统用来渲染屏幕上所有窗口和图标的基本层，因此这部分非常重要。
我们一直在努力的工作被称为“Harness”。两年前我们不叫它Harness，现在大家都这么称呼了。当时我们构建了一个名为Agents Harness的项目，基于所有基础模型而不仅仅是一个，因此你可以轻松切换模型。这是一个与模型无关的框架，旨在发挥计算机的最佳能力。第一代于2024年底完成，我们称之为Agents，因为那是起步阶段。该代理在OSWorld基准测试中取得了20%的成功率，这在当时是当时的最先进水平（SOTA），这非常有趣。
这篇论文也在ICLR 2025的Agentic AI研讨会上获得了最佳论文奖。你知道，过去一年来整个行业移动速度之快简直疯狂。我们选择Harness的原因是，我们知道视觉语言模型表现很差，无法工作。因此，我们在第一代中选择了使用辅助功能树。基本上，我们查看树结构的所有底层协议来描述当前环境，并将其传递给大型语言模型（LLM），而不是视觉语言模型。我们使用基于ID的定位，基本上将所有按钮线性化并赋予它们ID，然后询问LLM：“我需要点击哪个按钮？它的ID是什么？”这种方法行之有效，成功率为20%，这令人非常兴奋。
因为在早期（笑声）2024年，该基准测试的成功率仅为5%左右。到了2025年初，我们开始看到视觉语言模型变得更好了。因此，Agents的第二代实际上完全弃用了辅助功能树，采用了一种纯视觉的方法。有趣的是，我们的架构有多层结构，如管理器和工人，这有点像人类组织，我们展示了它确实有效。这项工作得到了许多朋友的总结性评价，他们对此感到相当兴奋。原因是这证明了如果你有两个模型，你比只有一个模型要好；如果在同一个Harness中使用两个基础模型，会比使用一个基础模型更好。
第二个基础模型是一个70亿参数的开源模型。是的，所以所有的初创公司朋友对此都非常兴奋，因为我们的旅程表明，我们可以训练一些小模型，从而比云端的或OpenAI的计算机代理好20%。到了2025年底，我们有了第三代Agents。这部分的整体思想是：我们实际上能否进行测试时扩展（test-time scaling）？这被称为推理时间扩展，即当你有一个代理时，能否让多个代理尝试攻击或解决同一个任务，从而最终获得更好的性能。演示者证明了这是可行的。
这张图显示了总资源预算的含义，即工人总数与步骤总数的乘积，用于公平比较。你可以看到，如果你有10个代理，你在成功率方面的扩展效果会更好。因此，去年十二月我们打破了OSWorld基准测试的人类表现记录。这是所有轨迹之间的比较：Agents与Anthropic和OpenAI，这两家大型实验室在今年三月也达到了相同的人类表现水平。
去年十二月是一个令人激动的时刻，我们觉得计算机用户代理终于开始变得有些用处了。但你知道这个基准测试是研究用的，并不意味着现实生活中已经100%比人类更好了。几天前，OSWorld发布了他们的第二代基准测试，称为OSWorld 2。我对这个新基准测试特别兴奋。在新的基准测试中，表现最好的模型也只有20%的得分。因此，我们进入了计算机代理的第二阶段。
我想给你看一段视频。有一个非常有趣的演示，是一位开发者使用的。该项目去年获得了Cow Hacks黑客松大奖。这是伯克利举办的最大的黑客松之一，他们基于开源的Agents构建了他们的应用程序。
我想你们可能听不到我的声音……如果你能在世界任何地方通过它来控制你的电脑，那会怎样？我们构建了一个拥有完全计算机控制权的 multimodal 代理。所以，与其打电话给你妈妈来调试你的两个内存溢出错误，你不如直接通过 FaceTime 联系 Mac。让我展示它是如何工作的。
好的，假设你在家里训练一个 AI 模型，但你已经离开了家，突然意识到出现了 CUDA 内存溢出错误。那么修复这个问题最简单的方法是什么？嗯，与其开车一路回家，你只需呼叫你的电脑并告诉它自行处理。我们可以给它发信息让它 FaceTime 我，这将在此处启动计算机使用代理，开始一个 FaceTime 通话，这样我就能告诉它我想做什么。
是的，他们做了一件非常有趣的事。让我……现在我可以看到那个东西在说什么了。我们能修复 VS Code 中的 CUDA 内存溢出错误吗？好的，任务是在 VS Code 中修复 CUDA 内存溢出错误。我将按下 Command+Space 打开 VS Code 应用程序。这些都是自动进行的吗？好的，我进入了 VS Code，正在寻找 CUDA 内存溢出错误。
看起来这个文件有 CUDA 内存溢出错误。根据注释，张量大小似乎太大了。所以我应该尝试将其减小到合理的数值。是的，我想你大概明白这个意思了。所以想法是构建一个应用程序，让你可以通过 FaceTime 控制电脑并使用它来调试 VS Code。那是去年十月发生的事情，甚至早于 Open Claw 作为一个项目启动之前。
然后我们必须思考计算机使用代理的第二阶段是什么。既然我们在基准测试中已经超越了人类表现，接下来该做什么？然后我们意识到有一个非常有趣的概念叫做“Pass-to-the-Power-of-K”。在过去，每个人都在衡量 Pass@1，这在 VIP 编码中很流行：你有一个任务，要求代理生成代码；如果代码不起作用，你就加入一些提示并再次生成。只要有一个代码成功即可，因为你不在乎过去发生了什么，只关心是否能得到一个能工作的代码。
但在计算机使用中情况截然不同。就像我们两年前开始获得客户时，所有客户都问我这个问题：我能否实际上将你的代理托管在服务器上并每天运行此工作流？我不需要一直盯着看，也不需要在那里调试。基本上每个人都告诉我关于“Pass-to-the-Power-of-K”这个指标。这意味着我让这个代理运行 K 次，每次都需要成功，而这个指标并没有被任何现有的基准测试所捕捉。
于是我们开始研究这个问题。我们选取了 OS World 中表现最好的代理，它们在三个不同类别中的性能相当不错，然后让 stem 代理运行三次。我们测量了 Pass@3 的性能。从这张图中你可以看到，所有代理的表现都下降了，成功率几乎降低了 10%，即使是表现最好的代理也是如此。第二部分涉及环境扰动，意味着我的查询每次可能略有不同，环境也可能有所不同，结果甚至更糟。
这仍然是当今计算机代理面临的问题。你可以看到 Claude 有 Codex，Claw 也有代理。没有任何一个代理能为你提供可靠、可重复的流程。这是我们两个月前发表的一篇论文，主要讨论这个问题，并提出了一些简单的技巧供未来借鉴，如果你想让你的代理更可靠的话。这个技巧基本上是让代理在你给出指令时向你提出澄清问题。
这篇论文指出，假设代理总是询问你提示中模糊部分的某些问题，那么代理的可靠性会更好。论文中有一个任何人都可以查看的提示词，其实很简单：你的目标是在保持自然的前提下最小化澄清次数。这一行非常重要。你将这个提示词放入代理中，代理的表现就会更好。
在将澄清提示词加入代理后，你可以看到整体可靠性提高了：虚线是原始性能（无澄清），实线是有澄清的情况。你可以看到 Claude 变得更好了，而 Agent S（使用 GPT-5）则取得了最大的改进。紫色线是模型无关的框架，绿色线则是大型实验室的计算机代理。
基本上，这就是我们解决 VM 代理问题的旅程，效果似乎相当不错。至今人们仍在使用这种代理框架，因为它是模型无关的，你可以插入任何开源基础模型。我也期待看到最新的大型开源模型如 GLM 5.2 tool 的结果，看看其性能如何。
第二个问题是：这并没有解决可靠性问题，对吧？这些代理似乎并不像神经网络那样稳定。只要你使用虚拟机（VM），归根结底，它就是一个概率模型。每次运行都会产生一个概率结果。所以如果你每天 24/7 运行它，它的表现不会始终如一。
于是我们不得不思考下一步该做什么：那就是符号层。我们称之为编码代理，并开源了一种语言，叫 Simulan（Simulane）。这是一种用于模拟的语言。如果你熟悉 RPA 行业，它就像他们过去所做的那样：要求工程师编写代码。但 RPA 的常见问题是整个社区没有共享单一协议供所有人使用，而我们试图在浏览器自动化中解决这个问题。
我们有 Playwright 作为标准方式，但在计算机使用中并没有真正的行业标准。这就是我们开源它的原因，希望这对所有开发者都有帮助。你可以构建自己的 Simulan 层，用于不同的工作流，确保每次都是可靠且确定性的。基本上，目标是允许你创建 Simulan 源代码并在终端中运行它，也可以在 Claw Code 中使用。我想在这里做一个快速演示。
好的，现在我处于 Cloud Code 环境中。如果你安装了……嗯，也许我应该展示一下 Simulan。是的，这是登录页面，那里有一个简单的单行安装程序 npm 安装器。一旦我们完成安装，你应该就能在自己的终端上使用它了。我是 Cloud Code 用户，所以我喜欢看到这一点，因为如今没人再写代码了，对吧？对你来说，使用 V Coding 进行这类自动化操作非常重要。所以一旦安装完成，就有一个可以与 Simulan 配合使用的技能（skill）。你可以直接使用这个技能。比如我可以说“去 AI Engineer 网站并总结其中的活动”。好的，让我们看看它是如何工作的。
现在它正在检查版本。这些是一些后勤方面的处理工作。但它确实理解接下来要使用 Simulan 来打开 AI Engineer Words Fail 网站并继续操作。你可以注意到，它试图使用 Simulant JS，这是一种 JavaScript 语言。现在 Clock（可能是指代理或系统组件）将尝试使用 Simulan 协议编写一些代码。
是的，我认为这是因为 Clock 是新引入的，所以它需要做大量的后勤工作，比如读取所有相关信息。你可以这样理解这种方法：这是一种计算机处理问题的不同思路，基本上是将计算机问题转化为编码问题。“我有我需要的东西，让我写一个脚本来打开网站、提取其中的内容。”然后你可以看到代理正在编写代码。之后，它会在你的命令行上自动打开网站。Simulan 运行在你自己的计算机上；如果你有虚拟机，也可以在那里部署虚拟机。
在 Clock 运行代码后，它识别出了一些错误，并在获取到这些错误后尝试修订代码。所以这基本上就是如果你启用了自动批准功能，这就已经是一个具有某种程度的自我改进能力的计算机代理了。我确实想看到……它目前还没有完全达到那个状态，但你可以看到 Cloud Code 决定使用可访问性快照（accessibility snapshot）而不是屏幕截图，因为你知道这是一个总结任务。好的，它来了。实际上它确实进行了总结，是的，它总结了其中所有关于 AI Engineer 的活动信息。好的，我在此暂停一下，我想向你展示完整的代码，这看起来可能很有趣。是的，这些就是完整代码。它看起来像 JavaScript，就像任何其他 JavaScript 一样，它会打开一个窗口、获取快照并写入文件。
好的，让我回到我的演示文稿中。我之前谈论了两种完全不同的方法。它们是正交的（orthogonal），不是同一种方法。但问题是，我们真的需要两个框架吗？它们似乎在互相竞争。这又回到了深度学习领域中一个非常有趣且重要的话题，因为当我在 DeepMind 工作时，我专门专注于一个叫作持续学习（continual learning）的问题。这就是为什么我们在那里做了很多关于 AI 系统的研究，但最终我们要认识到：没有银弹（silver bullet）。无论你有什么技术，你仍然需要解决这两个问题作为权衡。任何学习系统都需要学会新事物，同时任何学习系统还需要确保你能反复完成那些你已经成功完成的旧任务。这被称为稳定性与可塑性困境（stability and plasticity dilemma）。
你希望学习系统是稳定的，但同时你也希望它具备适应新环境的能力。不可能存在一种情况是它在两方面都同样出色，这就是结论：总是需要权衡。那么我们可以思考的问题是，如何在两者之间取得平衡？如果你看看我刚才演示的两个系统——编码代理（coding agent）和 VM 代理（VM agents），它们基本上代表了这种学习系统的两个极端。编码引擎生成代码，并且始终具有确定性（deterministic），但它有点固执；如果你每天都运行同一段代码，一旦环境发生变化，代码就会出错，这就是问题所在。而 VM 引擎则是自适应的（adaptive），但问题是你不能依赖 VM 代理来重复整个过程。
核心问题在于：我们能否在两者之间找到中间地带？因为我们的“北极星”（目标）基本上是最佳的适应性和最佳的可靠性。我们能否称这条曲线为帕累托前沿（Pareto front），并找到那里的最佳平衡点？这成为了我们公司目前特别关注的方向，基本上试图找到一个统一的框架，将这两者结合到一个单一的原则中，我们称之为神经符号（neuro-symbolic）。既然有神经网络和符号逻辑，是否有一种方法可以将这两种技术融合到一个单一的框架中？使其在需要时变得稳健可靠，而在环境变化时具备适应性。
我不说我们已经解决了这个问题，但我说我们正处于朝着这个方向迈进的初始阶段，因为有一个清晰的范式我们现在就可以执行。因为我们拥有一个在小规模基准测试中优于人类的 VM 代理，并且我们拥有编码协议，可以使用编码代理编写代码，该协议可以在其中产生确定性的工作流。这是我们进行这项新实验的一种简单方式。基本上，我们让 VM 代理在环境中运行，而代理不断将代码写入文件；一旦这个工作流成功，你就拥有了一段成功的代码。下次你运行代理时，你可以先运行这段代码，而不是直接运行 VM 代理；如果它不起作用（比如环境发生变化导致出错），正如我刚才演示的那样，你可以利用编码代理进行修复循环。
这变得非常有趣……是的，我加了这一页幻灯片。所以基本上另一个有趣的故事是：今年的 Cow Hacks Sam 黑客松（hackathon）第一名也使用了我们的代理，但这次他们不是用代理来构建产品，而是实际使用代理来测试产品。这是另一个值得每个人关注的有趣类别，因为我们都开发者，我们编写代码，并且知道如今越来越多的 PR（拉取请求）和代码出现。那么谁来做测试呢？计算机使用代理（computer use agency）就是解决方案。基本上，这是一个可以在仪表板上移动鼠标、点击并进行测试的代理。我不确定我是否有时间演示这部分，如果我有时间，我真的想展示关于测试部分的演示，但我可以试试……
让我试着展示一下产品中现有的循环流程。这是一个初步的努力，在很多情况下都能运作良好，但有时仍会出现一些小插曲。因此，我非常期待大家测试该产品并提供反馈。好的，让我看看……我不确定这个是否在工作？哦，是这个。好吧，这是价值虚拟机（Value VM）。代理是……
你看，我这里有很多虚拟机，我给它们起了不同的名字。让我试试这个。为了启用神经符号模式（Neuro-symbolic mode），你需要进入仪表板，点击“代理”。这里有很多特殊的算法，比如人性化控制、轨迹不同以及循环集成等。所以你需要查看模拟流程代码回放（Sim flow code replay）。这是我们目前正在进行的特定实验，基本思路是我刚才展示的图表：如果你启用该功能，我们可以尝试一些新事物。让我确保桌面设置正确。好的，我们可以试试这个。是的，我们仍然可以尝试简单的操作，只是想给你一个关于其工作原理的大致概念。
前往 AI 网页并查找周二的第一位演讲者。直播演示过程中总是会出现问题，让我重启代理。看看我的虚拟机是否已唤醒。是的，在等待期间，让我展示另一个演示，因为我有一个备份方案，以防直播演示需要更长时间。所以我们可以展示另一个案例。这是与微软的合作项目。因为他们是 Windows 的创建者，微软也构建了这种计算机基础设施。这些是来自微软的虚拟机，称为“Microsoft Windows 365 for agents”。
其理念是：如左侧图表所示，利用我们的代理在微软虚拟机上填写传统 ERP 系统中的表单。这是计算机使用代理最大的应用领域之一，因为仍有许多传统产业没有现代 API，他们仍在 Windows 机器上运行旧软件。如果你构建允许你进入特定垂直领域的应用程序，这是一个很好的机会。因为我们不是垂直领域的公司，而是提供横向基础设施的公司；如果你对面向不同垂直领域构建应用感兴趣，这些都是良机。例如，我们的一些客户与保险网站合作，专门从事保险业；他们使用代理访问保险网站并获取数据。
还有一些客户涉足医疗保健领域，与医生合作；这些医生的 Windows 机器上运行着非常古老的 ERP 系统。你可以使用计算机智能代理来自动化所有数据录入工作。因此，人们正在这个方向上探索许多想法。希望这些能给你一些启示。哦，它起作用了！是的。让我因为我想我已经有了一些已有的技能。这里有一个技能模块。让我移除它，前往 AI 网站并查看周二谁第一个发言。
我已经有这个网页了，让我提出一个挑战：创建一个新的任务。你可以看到所有的日志记录在这里。有趣的部分在于，你可以看到这个代理几乎是一行一行地编写模拟代码（simulan code）。之后，它将所有代码组合成一个大型文件。导航到日程页面。好的，我们获取了信息；如果你注意到，代理实际上并没有截图。所以每当它试图查找信息时，它会决定是截取屏幕快照还是获取无障碍树（accessibility tree）。这次它实际上采用了无障碍树，因此你可以一次性看到其中所有的底层信息。
我现在可以做什么呢？因为我想向你展示如何将其保存为技能模块（Skill）。如果我启用神经符号模式并说“保存到技能”，那么这个技能将包含你在前一个会话中运行的所有代码。然后我们可以查看周二的 AI 演讲者，让我在那里找一个技能模块……不过我没找到。好吧，这个技能已保存。所以我尝试一个不同的查询，在另一天试试：让我们试一下周三。
你可以看到出现了回放模式（Replay mode）。界面略有不同，因为它确实包含代码。它有代码并更改了参数。如果你点击活动日志（Activity log），你可以看到代理在第一步中实际上生成了更多的代码。这些就是那些代码，里面有不同的参数。默认是周二，对吧？如果将其设置为周三，它会更改那里的参数并出现了一些小插曲。你可以看到代理需要在那里进行过滤；它确实找到了信息，回放也成功了，只是有一点小插曲。
随后代理将其转换为神经模式（Neural mode），即虚拟机代理。第一次运行时，它总是尽可能多地生成代码，因为如果命中率很高，它将拥有非常确定的成功溢出。此外，代理在中间也有验证机制。所以每次它运行代码时都有验证；如果有错误，就会停止。这有点像我在学校时的做法：我们把老师说的每一句话都记在备忘录里作为操作手册，对吧？下次我想做某事时，我会查看我的备忘录并尝试一步步执行。
如果环境不同，我会注意到：好的，我试图进行这个操作，但环境不允许这样做。然后我必须思考更多，花更多时间探索新环境并弄清楚最佳策略是什么。好的，让我们继续。我相信这是一个很好的方向，不仅对我们整个行业来说也是如此：思考如何利用这种灵活性与可靠性的平衡来产生更好的代理。我们在这类实验中看到了相当好的成功。我想主要观点是，使用这种技术后，你不再需要每次都花费相同的令牌（tokens）数量。
因为第二次运行工作流时，也许 50% 的工作是由代码完成的，不需要任何大语言模型（LM）请求。你可以大幅降低成本；这也是为什么我们也在该产品中进行实验，并与人们一起探索每月 500 美元无限使用的模式。
任务计划可能会变，价格也可能随之调整。这不会永远基于使用量计费。因为设想一下，作为人类，当我重复做同一项任务一百次后，我会变得非常熟练，甚至能闭着眼睛完成所有操作。但目前的智能体不具备这种能力。每次执行相同任务，哪怕重复一千次、一万次，或是同样的查询，你向Anthropic和OpenAI支付的费用却一成不变。这似乎既不合理也不经济。希望刚才的分享让大家对我们未来的方向有了清晰的认识。我鼓励大家亲自尝试，因为在接下来的几个月里，我们将快速改进神经符号智能体，并有望在这一方向取得突破。
接下来我们要思考的第二个问题是：该如何使用计算机？两年前，我们致力于开发电脑上的自主技术。当时有一款名为“协同工作”的产品，让智能体在本地电脑上运行。但用户投诉很多，因为大多数人只有一台电脑，当智能体在前台工作时，用户无法进行其他操作。这促使我们思考：假如有一天实现了人类水平的智能体并成功运行（虽然目前尚未完全实现，但我们已非常接近），我们该如何配置计算机？是只需要一台，还是需要十台？
目前的观察结果是：一旦技术可行，用户总是询问能否将智能体托管在独立机器或服务器上。这是大多数用户的共同结论，随后他们会要求更多机器。这形成了一条轨迹：我们首先致力于让智能体正常工作；一旦成功，就需要十台、一百台机器。这促使我们投入云计算机的研发。简而言之，如果拥有云端管理的桌面环境，它将极具可扩展性。我希望每个人最终都能拥有一百台计算机，成为自己AI组织的CEO，拥有百名“AI员工”，从而实现百倍的生产力提升。
今年三月，我们推出了Side产品及其配套的虚拟云计算机“Sidebox”。从演示中可以看到，后台运行着二十台机器。整体架构包括：S作为界面，Neuro-Symbolic负责自主规划、决策并在Sidebox（云计算机）上执行操作。许多开发者朋友一直询问能否开放API接口。今天，我们正式发布访问云计算机的S API。虽然没时间现场演示，但它非常简单：你可以通过终端使用CLI工具或API接口，在网页门户中完成所有操作。
我们刚刚发布了相关网站，欢迎查阅丰富的API和CLI文档。注册后即可获得远程机器，通过命令行或API控制该计算机并集成到你的产品中。（轻笑）我跳过现场演示。这一方向的整体愿景是：让每个人拥有一个单一智能体，该智能体能访问多个平台，不仅限于Windows。我们也支持macOS，Linux即将推出。Linux在经济上非常友好且价格低廉（基于内部评估）。有趣的是，我们还支持Android系统，这也即将推出。
我希望未来你在云端拥有几部安卓手机和Windows电脑，智能体能在所有设备间协调执行不同任务。我想展示一些关于Android的有趣演示（均为内部评估）。首先是《愤怒的小鸟》游戏，关键在于拖拽操作。你可以看到智能体执行了屏幕拖拽动作来完成特定任务。另一个我很看好的演示是身份验证器（Authenticator）。
界面与之前类似，我们只需将Windows虚拟机替换为Android即可。让我加速播放：它访问MFA（多因素认证）挑战网站，填写表单并获取令牌。成功！这是人们常问的问题：能否处理双重验证？虽然可行且有一定价值，但需谨慎使用。这是手机上社交媒体应用的示例，你可以执行各种任务。这令人兴奋，我认为Android是业界尚未充分探索的有趣领域，虚拟安卓机器应有广泛应用。
目前一切正在融合：我从自主计算机出发，将其分解为“自主性”和“计算机”。自主性分为神经部分和符号部分；计算机分为本地机器和云机器。S服务于两者：你可以集成自有机器加入集群，也可以购买我们的云计算机。这一切都整合在Side中（今年三月发布）。我对这款新产品充满期待，相信它将带来新机遇。两年前我们研发这项技术时，并未想象到如今的应用场景。例如，一家YC初创公司在活动中向我展示他们如何利用智能体开发垂直领域应用。我意识到其中蕴含巨大机遇。
在明年，技术将基于过去的估算相对发展。预计下一年将非常有趣，我们可以看看会发生什么。我想象在这一领域会出现许多像Blossom一样的新应用，在一年的时间里基本可以总结为：我们为开发者提供四种服务。首先是整个界面，你可以探索不同的算法，在开发者模式下尝试一下，告诉我们它是如何工作的。我们在那里积极开发新技术，Agent Simulation是开源的，每个人都可以使用，基本上免费。
Sidebox是我们为虚拟桌面提供的API，我们今天刚刚发布，所以可能会有一些Bug，请告诉我们。我会给你邀请码，今天是AI EWF 2026，请尝试一下并告诉我们反馈。我们有一个积分计划，很高兴以不同的方式、在不同的角色中进行合作，看看如何让你的开发在未来变得更好。好了，非常感谢。我想留一些时间回答问题，所以请随时向我提问，感谢你们的耐心。（掌声）我会确保照片被发布。如果你们希望在其中提到名字，请告诉我。
是的，随时提问，我会在这里停留几分钟。我理解那边还有另一个活动在进行。（对）无论如何，关于记忆的问题。（问：空间记忆？）是的。对于虚拟机（VM），它看起来是什么样子的？目前，大部分内存都转化为文本了。（是的）正如我在Agent S2中提到的那样，我们有一个单独的模型。所以它实际上并不是一个大视觉语言模型的简单封装。我们有其他70亿参数的开源模型，有时我们也喜欢微调该模型，该模型专门负责识别屏幕。
有趣的部分在于，我们知道基础模型的进展如此迅速且良好，但它仍然不太擅长理解屏幕。所以这是一个有趣的结论。（问：有趣。）可能是因为互联网上没有太多可用的截图数据，所以他们无法在那里训练模型。但我可以想象模型会越来越好。（问：只是存在差距。）如果你有一个专门针对你自己应用的模型，你可以微调该模型。这总是比大型实验室的通用模型要好。（问：是的。）
（问：几个问题？）好的。你经历过这个过程吗？（答：是的）让我先回答你的第一个问题，我展示的演示是LM生成代码。这是我称为“无状态编程”的方法。所以在过去的20年里，我们都做的是无状态编程，而神经符号方法我称之为“有状态编程”。这意味着每次你运行一行代码时，都要查看环境和状态，而状态实际上会发生变化。
我相信这是未来编程的新范式。所以程序在未来将更加稳定。（问：我们尝试了LM，问题是这个问题本质上是多模态的。）是的。可访问性可能具有一些能力，但并没有根本改变，没有银弹。（问：有些人认为计算机代理可以仅使用截图；有些人说可访问性足够好，DOM也足够好。）但在所有评估之后，没有任何一种方法是万能的。所以总会有一个方法的边缘情况不是另一个方法的边缘情况的情况。
因此，我认为我们实际上采取了一种混合方法（Whimo approach），但同时拥有较轻的雷达和摄像头。有些公司可能采用特斯拉的方法，即我只有摄像头。（问：但是看看今天的自动驾驶汽车。）我们看到很多混合方法在道路上运行，可靠性更好。这仅仅是因为有多个系统互相帮助以确保不犯错，特别是致命的错误。（问：你不想让代理在你给别人寄支票时在银行账户里多加一个零。）第二个问题。
（问：好的）可访问性树的好处是，信息用于渲染屏幕。（答：是的）基本上，这些信息包含了渲染屏幕所需的大部分信息。如果你能使用这些信息，肯定更可靠。（问：但仍有一些边缘情况。）应用程序的开发者可以故意说这部分不暴露在树中。所以，你仍然可以在截图中捕获它，但在可访问性中没有捕获。（问：你可以想象像LinkedIn这样的应用程序。）是的。
例如，LinkedIn有很多反机器人检测机制。（问：我常跟朋友开玩笑说LinkedIn是AGI的图灵测试。）是的。如果LinkedIn没有将你的代理识别为机器人，那么你就实现了AGI，因为你通过了图灵测试。（问：因为他们在对抗性环境中。）他们有很多检测技术，这种可访问性问题可能是其中之一。所以这就是为什么你仍然需要多种模态的组合。（问：是的。）有一个人，我会让他先提问。好的，谢谢。（答：是的）非常感谢。
（问：首先……我们从德国来。）我们在德国有一个用例，我们获取信息然后用它们做很多事情。（问：但问题是，与医疗部门相比，你今天展示的所有内容在现实世界中有多可靠？）你需要非常准确的信息和非常准确的流程。（答：对）你对此有何看法？（问：是的。基本上问题是，我们需要非常准确的信息。）所以 basically 我们需要一切都达到100%。（问：对。即使你进行数据输入，也需要100%准确。）
所以这个问题是当前基础模型最大的问题，但我们有一个解决方案。（答：是的）基本上正如你所见，一切都是一个循环。所以所有的基本原则都是一切皆循环。（问：当你做某事时，你总是验证、批评自己。）这和人类是一样的。所以当我向朋友提出一些想法时，他们会批评我，所以我有一个循环，我可以像那样用更少的偏见进行推理。（问：所以准确性问题也可以通过这种方法解决。）是的。我们有一些实验，我可以告诉你一个解决方案，我们是这样做的：每当你要填写表格时，你反向填充表单并问模型是否……
这说得通，对吧？所以让模型去验证。大多数时候，因为验证比生成通用动作要容易得多，模型会识别出其中的错误。如果有问题，就把结果拿回去，让代理重新执行同样的任务。这实际上极大地提高了性能。还有另一件事你可以考虑的是无障碍树（accessibility tree）。为了让我们编写代码，并且让代码能够被确定性回放，你只能在无障碍树中做到这一点。你不能在截图中这样做，因为树是文本形式，你可以实现100%的匹配。因此，这种100%的文本匹配对于确保一切可靠也是至关重要的。所以最终的结论是：你必须拥有一个系统，它不会仅仅是一个模型。你把它放在那里，然后希望它能100%完美运行——这在现实中是不会发生的。但针对你的用例，肯定有解决方案。好的，抱歉，轮到你了。
是的。你是怎么保持这种控制的？
是的。所以在产品层面，我们确实有护栏（guard rail）。每当识别到不可逆的操作时，护栏就会说“停”。这是另一个监控系统。如果代理想要执行某个特定操作，它基本上会被切断并请求批准。但我认为你的问题更具挑战性，因为它更深入到操作系统层面。例如，代理说“打开这个应用程序”，而你希望在该处阻止该应用程序运行。这就需要操作系统层面的另一层机制，这就是为什么我们认为由Claw管理的Windows机器是更好的方向，因为我们有虚拟机（VM）。如果需要，我们也可以为你生成VM镜像。在VM镜像中，你有很多机会去改变操作系统底层的结构。因此，你可以在其中阻止某些操作并设置白名单。我相信这是最终的方向。我们在VM方面仍处于早期阶段，我们正尝试探索这一方向。如果你感兴趣，未来我们也可以考虑在如何拥有更好的护栏方面进行一些合作。
是的，这肯定像保安一样重要。
是的，没错。所以这回到了我最初提出的原则：基本上一切都是神经符号（neurosymbolic）的。如果你想让一切可靠，一切都必须是神经符号化的。你总是先回到代码，因为代码能保证100%可靠。当代码变得令人困惑时，你总是转向灵活的代理，然后再回到代码。这就是为什么代码仍然超级重要。对于护栏的设计也是同样的原则：首先是基于代码，那里发生了大量的规则判断；如果规则没有涵盖到情况，就交给代理处理，然后交由人类验证，最后再回到代码。这是我们试图在所有系统组件中遵循的设计原则。谢谢提问。
是的，我的意思是……重复循环会让它变得更多吗？ 对。轨迹是这样的。基本上，我们希望令牌消耗最终变为零。事件也应该归零。你可以看到代码实际上开始显示出更多的分支，当你遇到不同场景时会出现这种情况。这就像人类学习一样：当数据样本更多时你在决策方面的偏见就更少，这种方法也是如此。 哦，所以问题是关于专有程序或遗留程序的？
在初始提示中，你必须非常具体，因为它从未见过这个程序。去检查那个框？你喜欢这种方式吗？特别是对于长流程来说，这是一个很长的提示，还是你实际上向它展示如何做某事？
是的。在这个版本中你可以看到有一个提示，代理正在执行任务。也许在几个月后我们也考虑过这一点，这在研究界是很常见的。基本上如果你能复制像人们谈论的世界模型（world models）那样，你可以更好地控制代理不做坏事。如果你有护栏确保代理不会做糟糕的事情，然后你就可以进行探索——我们称之为在环境中的探索。基本上你让代理对不同的场景进行自由探索，比如100次，然后代理就会对环境更熟悉。这样你的提示就可以不那么精确了——你不需要非常准确地指出是那个按钮还是这个按钮，你也可以成功。基本上目标是找到第一条成功的轨迹。一旦你找到了它并且成功了，你就已经知道了这个过程，你可以准确地描述出该过程。
是的。 对。对于许多公司来说，他们称之为标准作业程序（SOP）。所以他们有内部流程。我们实际上做了一个有趣的实验：我们将一个SOP直接喂给编码代理，一次性（one-shot）完成，结果100%成功。所以这是完全可能的。但我持保留态度，因为现在的一切仍然处于演示阶段。我们希望有一种足够通用的技术，让每个客户来到这里时我们都不必担心任何地方会出错。因此仍有大量边缘情况需要解决。我记得之前有一位先生举手了。 哦，好的。
是的，好吧。非常感谢大家。噢，还有一个问题。实际上关于软件方面的看法？你可以看到我们最终是在像素层面处理某些事情。所以这台电脑甚至看不到它在上面工作。我理解你想让代理去工作的意思，但这是否是你……
是的。我的印象是这就像一张地图，然后你让代理在地图上行走。所以如果你让我们读取截图并指出方向，我们就能弄清楚该如何前进…… 是的，这就是编码层的整个理念。编码层基本上将所有轨迹都编码到代码中。我认为我们试图解决的问题是：假设有遗留软件，它不会改变，那么这种方法有效；但如果我们要谈论像社交媒体或不同网站这样的东西，它们实际上会发生变化。当它们变化时，你的路径在那里就不起作用了。在这种情况下我们有没有办法让代理适应这种场景？
我的回答是，如果你的主代理……
就像检查一下看看。所以你们拥有持续改进的能力。
是的，我明白你的意思了。基本上他的解决方案是：每次发生变化时，我都有一群智能体在其中进行探索。这样我总能知道那里最好的路径……对，你必须像实际做的那样去操作。没错，这正是我对那位先生的回应。基本上想法是：如果你有一个遗留系统，并且探索成本为零的话……对。因为例如在银行场景中，探索是有成本的，我不能对所有操作进行探索。但如果你没有任何执行探索的成本，你就可以像那样直接进行探索——把智能体放进去让它们尝试不同的事物并映射出所有的轨迹，这实际上是一个更容易解决的问题。
基本上我认为目前80%的应用程序都存在于遗留系统中。如果我们能……这实际上比通用系统更容易解决。因此，这也已经能够捕捉到当前行业中的大量经济价值了。谢谢你的反馈。是的……
你提到数据量足够多就能发出足够的信号吗？对，所以问题是：假设我们有足够的数据，我们是否真的能训练智能体取得巨大成功？围绕这一点有很多讨论。我的结论是：你需要比OpenAI和Anthropic多得多的资金才能做到（笑声），因为视觉数据是二维的，文本是一维的……所以我们谈论的是规模大得多的东西。所以如果你能给我几万亿美元，我们当然可以考虑这一点……但这具有挑战性，也许通过新的范式是可能的。但鉴于当前深度学习的范式，我认为这在近期是不可行的。
是的，最后一个问题……对。有很多……对。它是如何做到的？哦，最终你的代码中将包含大量的嵌套逻辑。所以你可以想象代码肯定无法由人类管理了。但智能体仍然能够编写包含大量嵌套while循环和复杂逻辑的代码，并且它依然能正常工作。是的，这就是该系统的最终目标。但你也可以将其拆解……每次解决简单的问题。但这样你就有了边界问题，比如：你如何定义一个更小的问题？边界在哪里？输入和输出是什么？所以有时候如果你有一个简单的解决方案，那其实更好。好了，谢谢大家。