三十年技术积淀与“神经-符号”融合理念
Ang Li 是 Simular 的联合创始人兼 CEO，拥有三十年与计算机互动的深厚背景。他的职业生涯可清晰划分为三个十年：第一个十年专注于比较编程，每日撰写代码；第二个十年投身于神经网络训练及 AI 研究，在博士期间及后来加入 DeepMind 时发表了大量论文；第三个十年始于2017年加入 DeepMind，致力于解决人工智能通用智能（AGI）这一宏大目标。尽管当时及现在业界对 AGI 的定义仍存争议，但其核心在于构建能像人类一样执行多种任务的通用系统。基于这三段经历，Ang Li 提出了一种核心偏见与原则：通用 AI 系统必须是神经符号化的（neuro-symbolic），即代码逻辑与神经网络能力的结合。他认为这种直觉是解决当前问题的关键路径。
“通用 AI 系统必须是神经符号化的，也就是代码结合神经网络。”
计算机使用代理（Computer Use Agents）的定义与优势
本次分享的核心主题是“计算机使用代理”，这是一种不同于传统基于 API 的 AI 代理的新类别。传统的多数代理依赖应用程序接口（API）进行操作，用户无法直观看到其执行过程；而计算机使用代理则拥有完整的图形界面控制权（如 Windows 桌面），通过模拟鼠标和键盘操作来完成任务。Ang Li 展示了其个人手机上的代理应用，他只需发送照片并指令发布到 LinkedIn，代理即可在后台自动操作桌面环境完成发帖。这种模式的优势在于无需 API 接口，代理即可在广泛的软件环境中工作。此外，系统支持多代理协作，例如 QA 测试代理负责产品测试，客服研究代理则自动浏览 Slack 频道收集信息。为了展示效率，Ang Li 将数小时的录制过程压缩为30秒的演示视频。
从绝望到希望：两年前的视觉定位困境与突破
回顾2023年（GPT-4V 发布初期），Ang Li 曾对解决屏幕视觉定位问题感到绝望。他展示了一条两年前的推文，记录了当时尝试使用 GPT-4V 理解屏幕并点击 iMessage 图标的艰难过程。这是一个极其简单的问题，但模型在首次尝试时定位错误，第二次误触邮件图标，直到第三次迭代才成功点击目标。更糟糕的是，让代理点击 Zoom 图标的尝试完全失败。两年前的这一困境表明，仅靠当时的视觉模型无法可靠地解决屏幕交互问题。然而，团队坚信随着基础模型的进步，该问题终将得到解决。这种从“绝望”到“直觉确信”的转变，促使他们思考通用的战略解决方案。
“两年前这个问题基本上是无解的……但这激发了我们思考解决计算机使用代理问题的通用策略。”
自主电脑（Autonomous Computer）的双向架构
为了解决上述问题，Ang Li 提出了“自主电脑（Autonomous Computer）”的概念。这一概念拆解为两个核心方向：自主性（Autonomy）与计算机交互。在“自主性”层面，系统需要具备理解上下文环境、进行推理规划以及从错误中恢复的能力，无需人类持续监护（babysitting）。在“计算机”层面，系统需要处理复杂的图形界面交互。Ang Li 强调，这种架构旨在构建一个能够完全自主运行、处理各种任务的计算机系统，从而让用户从繁琐的计算机交互中解放出来。目前 Simular 的产品 Sigh 仍处于封闭测试阶段，Ang Li 在分享结束时提供了邀请码，并鼓励开发者加入 Discord 社区以获取更多资源和支持。
“自主意味着我们拥有一个能够理解计算机环境上下文、进行推理规划并能从自身错误中恢复的系统。”
从神经符号架构到多模型协作的演进
回顾两年前，团队最初认为“计算机”本身并非难点，因为人人都有电脑，因此重心在于解决自主性（Autonomy）问题。其核心原则借鉴了自动驾驶的概念，采用神经符号主义（Neuro-symbolic）架构：其中“神经”部分对应视觉语言模型（VLM）代理，而“符号”部分则被称为编码代理。当时由于视觉语言模型效果极差，团队不得不花费大量时间完善底层编码层，以确保能可靠地控制计算机。这种架构类似于在数字世界中驾驶汽车，将方向盘替换为鼠标和键盘，依赖三种关键信号：屏幕截图、可访问性树（Accessibility Tree）以及底层协议。其中，可访问性树是操作系统用于渲染窗口和图标的独特层级结构（如Mac的特定格式或Windows的独立协议），它比浏览器常用的DOM树更具系统级代表性。
“我们实际上是在数字世界里的计算机上运行自动驾驶汽车，基本上是把方向盘换成了鼠标和键盘。”
第一代Agent：基于可访问性树的突破
在2024年底推出的第一代框架（当时称为“Harness”）中，团队构建了一个模型无关的框架，允许轻松切换基础模型以发挥最佳计算机能力。鉴于当时VLM的不成熟，第一代Agent完全依赖可访问性树。系统通过线性化所有按钮及其ID，将环境描述传递给大型语言模型（LLM），让LLM通过基于ID的定位来决定点击哪个按钮。这一策略取得了显著成果：在OSWorld基准测试中，该Agent达到了20%的成功率。这一成绩在当时是最先进（State-of-the-art）的水平，因为早期2024年的基准成功率仅为5%左右。该研究成果不仅获得了ICLR 2025 Agenda AI Workshop的最佳论文奖，也证明了利用结构化数据而非纯视觉输入在当时的有效性。
第二代与第三代：转向纯视觉与时序扩展
随着2025年初视觉语言模型能力的提升，第二代Agent彻底摒弃了可访问性树，转向纯视觉方法。这一代架构引入了类似人类组织的多层结构（管理者与工作者），并证明了一个关键结论：拥有两个基础模型优于一个。通过引入一个70亿参数的开源小模型作为第二基础模型，性能提升了20%，优于当时的OpenAI Computer Agent等竞品。到了2025年底，团队推出第三代Agent，核心创新在于测试时扩展（Test-time Scaling）或推理时间扩展。即通过多个代理协同攻击同一任务，利用资源预算（工作线程数乘以步骤总数）的扩展来提升成功率。数据显示，使用10个代理时，成功率随资源增加而显著线性扩展。这一策略使团队在同年12月打破了OSWorld基准的人类性能记录，与Anthropic和OpenAI的大型实验室在3月份达到同等水平。
“如果你有两个模型，你比只有一个模型要好。如果在同一个框架内使用两个基础模型，效果优于单一基础模型。”
当前挑战与开源生态的兴起
尽管在OSWorld基准上取得了突破，但演讲者强调这仍是研究基准，并不代表现实生活中的100%可用性。随着OSWorld 2的发布，目前最佳模型在该新基准上的成功率仅为20%，标志着计算机使用代理进入第二阶段。与此同时，开源社区展现出强大活力：去年在伯克利举办的Cohere Hacks黑客松中，获奖项目基于开源Agent构建了应用。这表明行业正从封闭的大模型竞争转向更开放的生态构建，尽管技术距离完全成熟仍有差距，但计算机用户代理终于开始变得有些实用。这一历程展示了从依赖底层协议到纯视觉，再到多智能体协作的技术迭代路径。
“OSWorld 2刚刚发布，最成功的模型在该基准上只有20%的成功率。我们正进入计算机代理的第二阶段。”
FaceTime 远程调试：多模态 Agent 的早期实践
Ang Li 团队在 OpenClaw 项目启动之前（去年十月），便构建了一个拥有电脑完全控制权的多模态智能体。其核心应用场景是解决用户远程办公时的突发技术故障。例如，当用户在外出时忘记关闭本地的 AI 模型训练任务导致显存溢出（OOM），无需亲自回家，只需通过 FaceTime 呼叫电脑即可远程介入。> "Instead of calling your mom to debug your two out of memory errors, you can just FaceTime the Mac instead." 演示中，Ang Li 通过文字指令触发 Agent 发起 FaceTime 通话并打开 VS Code。Agent 能够自主识别屏幕上的 "CUDA out of memory" 错误信息，并根据代码注释判断是张量尺寸过大所致。随后，Agent 自动执行修改操作，将过大的参数调整为合理数值以解决报错。这一案例展示了 Agent 不仅具备视觉理解能力，还能执行完整的交互流程，实现了从感知到行动的闭环。
可靠性危机：Pass-to-the-Power-of-K 指标与性能衰减
随着 Agent 超越人类基准测试表现，Ang Li 指出行业忽视了重复执行可靠性（Pass-to-the-Power-of-K）这一关键指标。客户反馈表明，Agent 需要每天在服务器上稳定运行工作流，而非偶尔成功一次。> "Pass to the power of K means I run this agent K times every time it needs to be successful." 团队在 OSWorld 基准测试中选取表现最佳的 Agent，运行三次（K=3）后发现：所有 Agent 的成功率均出现显著下降，即便表现最好的模型也几乎损失了 10% 的成功率。更糟糕的是，当引入环境扰动（如查询或环境微小变化）时，性能进一步恶化。这揭示了当前主流 Agent（包括 Claude、Codex 等）缺乏可靠且可重复的执行过程，无法胜任高频自动化任务。
提升可靠性：澄清提问机制与 Simulan 语言架构
为解决上述问题，Ang Li 引用最新论文提出一种简单但有效的策略：让 Agent 在接到指令时主动发起澄清提问。> "Ask the agent to ask you clarification questions when you give them your instruction." 通过在提示词中加入 "最小化澄清但仍保留自然性" 的约束，实验显示 Agent 的整体可靠性得到提升。图表数据显示（虚线为无澄清基准，实线为有澄清），Claude 和 Agent S (GPT-5) 均表现出性能改善，其中 GPT-5 的 Agent S 提升幅度最大。然而，Ang Li 强调这并未根本解决概率模型的不确定性本质。为了构建确定性的符号层，团队开源了 Simulan 语言。这是一种类似 RPA（机器人流程自动化）的编程语言，旨在弥补计算机使用领域缺乏行业标准协议的空白。开发者可以编写 Simulan 代码并在终端或 Claw Code 中运行，从而为不同工作流构建可靠、确定性的执行层。
实时演示：Simular 代理的自动化代码生成与执行
演讲者 Ang Li 展示了 Simular（前身为 Claw Code）的落地页面及其一行式 npm 安装器，强调在当下编码普及的背景下，利用 V Coding（视觉/语音编码）进行自动化操作的重要性。安装后，用户可通过终端调用与 Simular 配对的技能（Skill）。演讲者以“访问 AI Engineer 网站并总结活动”为例，演示了代理的工作流程。系统首先检查版本等基础配置，随后识别任务目标并决定使用 Simulan JS（一种 JavaScript 语言）来编写脚本。代理自动打开网站，通过读取无障碍快照（accessibility snapshot）而非屏幕截图来提取内容，因为对于总结类任务而言，结构化数据比图像更有效。在代码执行过程中，代理能够识别错误并尝试自我修正，展示了具备一定程度的自改进能力的计算机代理雏形。最终，代理成功提取并总结了所有 AI Engineer 活动信息。完整的 JavaScript 代码展示了如何打开窗口、获取快照并将结果写入文件，证明了将计算机操作问题转化为编码问题的可行性。
神经符号模式与实时演示挑战
Simular 产品核心在于其初始化的智能体循环机制，该机制在多数场景下有效，但仍存在偶发的“小故障”（hiccups）。为了展示这一流程，演示者尝试启用神经符号模式（Neuro-symbolic Mode）。用户需通过仪表盘点击“Agent”选项进入，这里集成了多种特殊算法，包括人性化控制（Humanized Control）、不同的轨迹策略以及临床集成技术。演示的核心逻辑是结合之前的架构图，通过启用该模式来尝试新的执行路径。
在实时演示中，智能体被要求访问 AIE 网页并查找周二的第一位演讲者。然而，实时演示常伴随技术风险，智能体在尝试唤醒虚拟机（VM）时出现延迟。尽管遇到重启和等待的情况，演示者仍坚持展示基础功能，以提供对系统运作方式的粗略理解。这一过程揭示了智能体在执行复杂任务时的不确定性，但也展示了系统在面对突发状况时的恢复能力。
“这是一个初步的努力。它在很多情况下都能工作，但有时仍会有一些小故障。”
微软合作案例与垂直行业应用
为了弥补实时演示的潜在不足，Simular 展示了与微软（Microsoft）的合作案例。作为 Windows 操作系统的创建者，微软提供了名为 Windows 365 for Agents 的虚拟机基础设施。这一合作旨在解决传统行业的一个巨大痛点：许多企业仍在使用缺乏现代 API 的旧版 Windows ERP 系统。Simular 定位为横向基础设施（Horizontal Infrastructure），而非垂直行业公司，因此为开发者提供了构建特定领域应用的广阔机会。
具体应用场景包括： 1. 保险行业：客户利用智能体访问保险公司网站，自动抓取数据。 2. 医疗保健领域：医生使用带有旧版 ERP 系统的 Windows 机器，通过计算机智能体自动化所有数据录入工作。
这些案例表明，传统行业的数字化转型存在巨大空白。通过模拟人类在图形用户界面上的操作（如填写表单），智能体能够绕过老旧软件缺乏 API 的限制，实现数据自动化。这种横向基础设施模式允许第三方开发者针对特定垂直领域（如保险、医疗）开发专用应用，从而释放计算机使用智能体的巨大潜力。
技能保存、代码生成与成本优化
演示的核心亮点在于神经符号模式的“保存到技能”（Save to Skill）功能。当智能体首次执行任务时，它会像学生记笔记一样，逐行编写 Simulan 代码。随后，它将所有生成的代码组合成一个大型文件。与单纯依赖截图不同，智能体能够判断何时使用无障碍树（Accessibility Tree）来获取底层信息，从而一次性捕获所有相关数据。
当用户启用“保存到技能”后，之前会话中运行的代码将被保存。在后续执行类似任务（如查询周三的演讲者）时，系统进入重放模式（Replay Mode）。界面显示智能体首先产生大量代码，并根据新参数（如将“周二”改为“周三”）调整变量。虽然过程中可能出现需要过滤的微小故障，但智能体会迅速从符号模式切换回神经模式（Neural Mode）进行修正。这种机制包含中间的验证步骤，确保代码执行的准确性。
“第二次运行工作流时，可能 50% 的工作是由代码完成的，无需任何 LLM 请求。”
这种混合架构的核心优势在于显著降低 Token 消耗和成本。首次执行依赖大语言模型（LLM）生成策略，而后续重放则主要依靠预生成的代码执行。通过平衡灵活性与可靠性，Simular 展示了如何在不重复消耗大量计算资源的情况下，实现确定性的成功输出。这种“记笔记-重放”的策略为行业提供了构建更可靠、更低成本智能体的新方向。
智能体计费的经济学困境与未来方向
当前 AI 代理（Agent）的按次计费模式存在显著的经济不合理性。演讲者指出，随着人类对重复任务的熟练度提升，效率会大幅提高；然而现有的智能体即便执行相同任务数千次或上万次，仍需支付相同的费用给 Anthropic 和 OpenAI。这种缺乏规模效应和学习红利反馈的计费模型显然不够经济，也无法反映智能体随着经验积累而产生的效率提升。因此，未来的定价策略可能会从单纯的基于使用量转向更合理的模式。
"every time you do the same task, even you do a thousand times or 10,000 times for the same task... you still pay the same amount of money to anthrop and open, which doesn't seems to be like the reasonable uh is it's not economical as well."
演讲者强调，团队正在快速改进神经符号智能体（Neuro-symbolic agents），希望在不久的将来在这一方向上取得突破。这不仅涉及算法优化，更关乎如何构建一个能够随着使用次数增加而降低边际成本的基础设施体系。这种转变对于推动 AI 代理的大规模商业化应用至关重要，因为它解决了长期运行成本与效率提升不匹配的核心痛点。
四大开发者工具与开放策略
Simular 为开发者提供了四种核心支持方式，旨在降低计算机使用代理（Computer Use Agents）的开发门槛。首先是 Developer Mode，这是一个完整的交互界面，允许开发者探索不同的算法并测试其效果。其次是 Agent S2 模型，该模型已开源且免费供所有人使用，极大地促进了社区的协作与创新。第三是 Sidebox API，这是针对虚拟桌面（Virtual Desktop）的接口服务，Simular 在当天刚刚发布这一版本。由于是新发布的 API，用户可能会遇到一些 Bug，因此官方提供了邀请码（AIE EWF 2026）并鼓励用户反馈。此外，Simular 还设有 Credits Program（积分计划），愿意以不同方式和容量进行合作，帮助开发者优化未来的开发流程。这种多层次的开放策略旨在构建一个活跃的生态系统。
空间记忆与专用视觉模型的重要性
在问答环节中，关于虚拟机（VM）的“空间记忆”如何可视化成为焦点。目前，大部分内存信息被转换为文本处理，但 Simular 并未简单地将大型视觉语言模型作为包装器。相反，他们采用了 专门的独立小模型架构。Ang Li 指出：“我们有一个单独的模型……它专门负责识别屏幕。”这个专用模型的参数量为 70 亿（7 billion），属于开源模型范畴。团队发现，尽管基础大模型的进步迅速且强大，但它们在理解屏幕界面方面 仍然不够好。这可能是因为互联网上可用的截图训练数据相对匮乏，导致通用模型存在局限。因此，针对特定应用对专用小模型进行微调，往往比依赖大型实验室的通用基础模型 效果更好。这种架构设计旨在弥补通用视觉能力在特定 UI 交互场景下的不足。
“状态化编程”范式与多模态融合策略
Ang Li 将当前的演示定义为一种新的编程范式，即 状态化编程（Stateful Programming）。他解释道：“过去 20 年我们都在做无状态编程……而神经符号方法我称之为有状态编程，意味着每次运行一行代码时，你都要查看环境和状态。”在这种范式下，程序的状态会随着每一步操作而改变。针对感知层，团队采取了 Whimo（混合）方法，而非单一模态。虽然有人主张仅使用截图、无障碍树或 DOM 即可，但评估显示 没有银弹（Silver Bullet）。不同模态各有盲区：无障碍树虽然可靠，但开发者可能故意隐藏部分元素；截图能捕捉视觉信息，却无法获取结构化数据。因此，Simular 采用了类似自动驾驶中的 多传感器融合策略：“就像特斯拉那样……但我们看到路上运行着很多 Whimo 系统，可靠性更高。”通过多个系统的相互验证，特别是防止 致命错误（如银行转账金额出错），从而提升代理的稳定性。
高可靠性挑战与自我验证循环
针对来自德国听众关于医疗等高精度领域可靠性的提问，Ang Li 承认当前基础模型最大的问题在于 无法达到 100% 的准确率。然而，团队提出了解决方案：一切皆循环（Everything is a loop）。这一原则要求代理在执行操作后必须进行自我验证和批判，类似于人类通过朋友批评来减少偏见。具体实践中，“当你填写表单时，你会反向提取该表单并询问模型是否匹配”。这种闭环机制通过反复验证来纠正错误。此外，他还提到了 LinkedIn 作为 AGI 图灵测试的有趣案例：“如果 LinkedIn 无法识别你的代理是机器人，那么你就实现了 AGI。”由于 LinkedIn 拥有大量的反检测技术（包括利用无障碍树的特性），这进一步证明了单一模态的局限性，以及结合多种感知手段和严格验证流程对于实现高可靠性代理的必要性。
验证机制与可访问性树的确定性优势
在构建自主计算机代理系统时，单纯依赖单一模型无法保证100%的可靠性。Ang Li指出，验证比生成更容易。系统通过让模型检查生成的动作是否正确来优化性能。如果检测到错误，系统将结果返回并请求代理重新执行任务，这种机制显著提升了整体表现。为了实现代码的确定性回放（deterministic replay），必须依赖可访问性树（accessibility tree）而非截图。因为可访问性树是文本形式，能够实现100%的精确匹配，从而确保操作的可靠性。这一设计原则强调了代码优先（code first）的重要性：当逻辑清晰时，使用代码保证确定性；当遇到混淆或复杂情况时，才引入灵活的代理机制。
"Verification is much easier than generation general action... if there's something wrong you take the results back and ask the agent to do the same task again. It actually improved the performance a lot."
多层级护栏与操作系统层面的控制
在产品层面，系统设置了护栏（guard rails）机制。当代理识别出不可逆操作时，护栏会立即介入并暂停执行，要求人工批准。然而，这种应用层的防护对于操作系统底层（如阻止特定应用程序启动）的控制力有限。因此，Ang Li认为基于虚拟机（VM）管理的Windows机器是更优的方向。在VM镜像中，可以在操作系统底层结构中进行修改，例如设置白名单以屏蔽特定动作。这种神经符号主义（neurosymbolic）的设计原则贯穿整个系统：规则优先，若规则无法覆盖则交由代理处理，最后再回归代码或人工验证。目前该方向仍处于早期探索阶段，但被视为解决安全问题的最终路径。
"We believe have the claw managed Windows machine is a better direction because we have the VM... you can actually block some of the actions have the white list in there. So I believe that's the final direction."
轨迹学习与SOP的零样本成功实验
随着数据量的增加，代理的行为模式类似于人类学习：轨迹中的代码分支会随着场景多样化而增多，决策偏差逐渐减少。对于遗留软件（legacy software），初始提示词需要非常具体。但在研究社区中，一种常见的优化策略是环境探索（exploration）：让代理在受控环境中进行多次自由尝试，使其熟悉界面结构。一旦找到首次成功的轨迹（trajectory），后续即可复用该精确流程。
Ang Li分享了一个有趣的实验：直接将标准作业程序（SOP）作为单次提示输入给编码代理，结果实现了100%的成功率。这表明在特定场景下，结构化知识可以直接转化为可执行的代码逻辑。尽管目前许多功能仍处于演示阶段，且存在大量边缘案例需要解决，但这一实验证明了将人类SOP转化为自动化代码的可行性。
"We actually did a interesting experiment. We feed one SOP directly to the coding agent right and one shot in one shot everything and it's 100% successful directly."
动态适应与代码层的核心作用
针对网站或社交媒体等频繁变更界面的场景，Ang Li指出基于像素识别的方法存在局限性。核心解决方案在于代码层（coding layer）的设计：将成功的操作轨迹编码为代码，而非依赖视觉特征。如果底层软件不发生变化（如遗留系统），该方法非常有效；但对于频繁变更的Web应用，路径可能会失效。因此，需要一种机制让代理能够适应环境变化。虽然具体的自适应算法细节在片段末尾被截断，但核心逻辑在于通过代码层抽象出操作意图，从而减少对具体像素位置的依赖。这种设计旨在实现通用性，使客户无需担心因界面微调而导致系统崩溃。
"The coding layer basically encode all of the trajectory into the code... suppose there's legacy software then it's not going to change then this approach work but if we talk about like websites... they actually change and when they change then your path is not going to work in there."
零成本探索与遗留系统的经济价值
在讨论自主计算机代理（Agents）的持续改进机制时，核心观点在于利用零成本的探索环境来解决复杂问题。演讲者指出，如果系统允许代理进行无代价的试错和轨迹映射，那么问题将变得相对简单。然而，在银行等拥有庞大遗留系统（Legacy System）的金融场景中，探索往往伴随着高昂的成本，无法对所有动作进行穷举。尽管如此，鉴于目前80%的应用程序仍运行在遗留系统之上，若能在此类环境中实现低成本的自动化探索与优化，将能够捕获巨大的经济价值。这种针对特定场景的简化问题求解方式，比解决通用系统的问题更具现实可行性。
训练成功代理所需的指数级资源挑战
关于是否拥有足够数据就能训练出成功的自主代理，演讲者持谨慎态度。他认为，在当前的深度学习范式下，实现这一目标所需的资金规模是指数级增长的。由于视觉数据（2D）与文本/代码数据（1D）在维度上的巨大差异，处理计算机使用代理所需的数据量和计算资源远超训练大型语言模型。演讲者幽默地表示，除非提供几万亿美元（couple trillion dollars）的资金支持，否则在短期内通过现有范式实现这一目标是不现实的。这表明当前的技术路径面临严峻的资源瓶颈，可能需要全新的学习范式（New Paradigm）才能突破。
代码的可读性与边界定义的困境
随着自主代理能力的提升，最终生成的代码将包含大量的嵌套逻辑（Nested Logic）、循环和复杂结构。虽然代理能够编写并运行这些对人类而言不可管理（Not Manageable）的代码，但这并非理想的最终状态。另一种策略是将大问题拆解为小问题，但这引入了边界定义（Boundary Problem）的挑战：如何准确界定子问题的输入、输出及范围？演讲者认为，如果存在更简单的解决方案，那通常是更好的选择。因此，系统在追求自动化复杂逻辑的同时，仍需平衡代码的可维护性与问题拆解的粒度。
结论
Simular的神经符号架构通过结合视觉理解与确定性代码，有效解决了计算机代理在遗留系统中的可靠性问题。其核心优势在于利用可访问性树和Simulan语言实现操作的精确回放，显著降低Token成本并提升执行稳定性。然而，当前技术仍面临视觉模型在屏幕交互上的固有局限、多步执行的概率衰减以及高昂的训练资源门槛。尽管OSWorld基准测试显示性能突破，但现实场景中的复杂界面变更和极端边缘案例仍是主要短板。该方案目前适用于API缺失的垂直领域自动化，而非通用全场景替代。