AGI Lab 的使命与团队架构

Emile Baizel 作为 Amazon AGI Lab 解决方案架构团队的负责人，介绍了该实验室的核心定位与工作流程。AGI Lab 是一个结合初创企业速度与亚马逊规模资源的前沿研究与产品团队，其办公室位于旧金山和波士顿。该实验室专注于构建能够在多种环境中感知、推理并执行现实任务的知识工作智能体。团队的工作主要围绕两个关键目标展开：一是协助早期采用者客户将前沿模型和产品投入生产环境；二是建立从客户参与中获取反馈的闭环机制。这种反馈不仅用于为研究团队构建评估体系以训练模型，还直接将产品和工程方面的建议传递给相关技术团队。Emile 强调，他们与大量客户紧密合作，确保所有基于智能体的工作都扎根于真实的客户需求。今天的工作坊将由另一位优秀的解决方案架构师 Shruti Arora 主持，重点探讨感知智能体的构建。

智能体设计的三大支柱：协作、感知与可靠性

在探讨具体产品之前，Emile 阐述了团队对智能体设计的三个核心理念。首先强调协作而非黑盒操作，他们希望构建像队友一样的智能体，能够理解用户的目标并分享其思考过程。其次是感知能力，即智能体需要理解其所处的环境。虽然去年主要关注浏览器界面，但团队认为任何视觉屏幕（包括移动设备和计算机使用场景）都是智能体执行知识工作的环境。最后也是最重要的是可靠性，这是企业级应用的关键。Emile 引用了一位客户的话来强调这一点：“如果我的智能体只有 50% 的时间能正常工作，那它根本就没用。”因为不可靠的智能体会导致用户要么完全弃用，要么花费大量时间进行调试和纠错，从而抵消了自动化带来的所有收益。为了提升可靠性，团队在基于真实用例（包括内部亚马逊团队的案例）的模拟环境中进行了大量的强化学习训练。

Amazon Nova Act：基于浏览器的规模化工作流服务

作为去年发布的首款产品，Amazon Nova Act 是一项一流的 AWS 服务，旨在允许开发者以规模化方式构建和运行可靠的基于浏览器的工作流。通过自然语言指令，Nova Act 可以驱动浏览器完成填充表单、导航页面、搜索数据等任务。当遇到需要人工介入的情况（如费用报销审批）或智能体陷入困境时，它支持人机协作（Human in the Loop）机制。目前客户主要将 Nova Act 应用于四个场景：大规模表单填写（避免为每个网站编写单独的提示词或确定性脚本）、搜索与数据提取、购物比价以及质量保证（QA）。在技术实现上，Nova Act 是 AWS 控制台中的原生服务，开发者可以直观地查看智能体的执行轨迹、边界框以及其尝试操作的所有元素。后端由定制的计算机使用模型提供支持，今年还推出了 MCP 服务器和技能包，以便智能体更轻松地调用 Nova Act。此外，官网提供了无代码的 Playground 供用户直观体验。

从计算机操作到类人视觉感知：Perception Agents 的演进方向

本次工作坊的核心主题是感知智能体（Perception Agents），其背景是对现有“计算机使用”技术的深化。传统的计算机使用技术主要关注让智能体在屏幕上执行动作，例如点击特定位置的按钮。然而，团队认为这只是一半的工作，另一半在于智能体必须真正理解屏幕上看到的内容，而不仅仅是将其视为可点击元素的盲屏。Emile 指出：“我们希望智能体能够像人类一样理解屏幕。”他举例说明，即使面对从未见过的 90 年代末的电子邮件客户端（如 Yahoo 或 Hotmail），人类也能凭借对屏幕交互的集体直觉理解如何发送邮件。这种基于视觉理解的智能体具有显著优势：它们不需要 API 即可工作。许多知识工作任务涉及没有公开接口的屏幕界面，而感知智能体能够像人类一样直接通过视觉信息完成这些任务，从而极大地扩展了自动化的适用范围。

视觉标注：从描述到代码的直观转化

Emile Baizel 指出，为了让 AI Agent 能够像人类一样在多种网站环境中执行相同的工作，模型必须以与人类相同的视角“观看”屏幕。这种视觉对齐极大地促进了协作效率，开发者无需再输入冗长的段落来描述界面需求或解释屏幕布局。相反，用户只需指向、点击并口头描述所需的更改。这种交互方式旨在让 Agent 直接理解视觉意图，从而自动化执行任务。在即将进行的研讨会中，参与者将亲身体验这一过程：通过点击元素并指示“我想把背景改为红色”，Agent 即可自动完成相应操作。这种基于视觉的指令输入方式，旨在消除传统文本描述带来的歧义和效率损耗。

开源视觉标注原语：确定性的 JSON 输出

Amazon AGI Lab 已开源两个核心的感知 Agent 原语（Primitives），其中第一个是视觉标注工具。该功能允许用户在任意网页上通过指向和点击来描述修改需求。完成操作后，用户可导出一个包含所有变更指令及提示词的 JSON 文件。这个 JSON 文件可以直接提供给编码 Agent，作为执行具体代码修改的依据。Emile Baizel 特别强调，这一过程完全与推理（Inference）无关。它是一个纯确定性的工具，仅输出 JSON 结构数据，不依赖任何特定的 AI 模型或其他复杂组件。这种设计确保了标注过程的稳定性和可预测性，为后续的编码 Agent 提供了清晰、无歧义的输入源。

视觉验证原语：基于 Gherkin 文件的设计合规性检查

第二个开源的原语是视觉验证技能。针对网站需要遵循的特定 CSS 样式、设计规范以及关键工作流（如结账流程或登录流程），开发者可以使用 Gherkin 文件来描述这些要求。视觉验证技能允许编码 Agent 对照这些设计工件和 Gherkin 文件，自动检查网站是否符合既定标准。这一功能同样已在当天发布的开源项目中提供，旨在帮助开发团队确保前端实现与设计意图的一致性。通过这种自动化的视觉验证机制，开发者可以减少手动检查设计细节的时间成本。

前端协作痛点与视觉标注器的解决方案

Shruti Arora 通过角色扮演场景深入分析了传统前端开发的协作痛点。假设一名前端工程师正在依据 Figma 设计文件构建 Web 应用，并与兄弟团队协作集成信息。通常，完成设计和代码基础搭建需要四到五周时间。然而，在第三或第四周时，开发者往往需要进行中期验证以确保团队一致性。传统流程中，开发者需将代码部署到本地服务器供团队成员查看，后者通过 Slack 或共享文档提供反馈（如“标题不应为红色”）。开发者随后需逐一处理这些反馈，协调分歧并最终合并更改。这种迭代过程耗时较长。

引入编码 Agent 后的效率变革与演示流程

Shruti Arora 提出了一种更高效的工作流：将团队反馈直接传递给编码 Agent，由其在无人工监督的情况下自动执行更改。开发者只需在完成后进行最终审核。这种模式可将原本需要一周或数天的修改过程缩短至几小时。开发者只需收集反馈、发送给 Agent，然后即可休息，回来时所有更改已合并。为此，Amazon 推出了名为 Visual Annotator（视觉标注器）的 Chrome 扩展插件。该工具提供三种注释方式：在页面上绘制、选择元素或像地图标记一样放置图钉并添加注释。用户下载这些注释后，可生成一个对 AI 友好的提示词发送给 Agent。

视觉验证技能的安装与自动化爬取机制

除了标注工具，Shruti Arora 还介绍了视觉验证技能（Visual Verification Skill）的安装与使用。该技能可安装在 Claude 或 CodeWhisperer 等平台上，用于验证设计颜色、字体大小及用户流程是否符合规范。针对开发者可能提出的“如何生成这些设计规范文件”的疑问，她指出工具具备自动化处理能力。当首次运行验证时，UI 验证工具会执行一次深度的单层表面爬取（deep one-level surface crawl），从而自动生成所需的验证基准。这一机制降低了手动创建设计规范的门槛，使视觉验证更加易于集成到现有的开发流程中。

工作坊核心工具与演示流程

本次亚马逊AGI实验室的工作坊聚焦于两个关键的原语（primitives）：UI验证与感知代理。演示环节展示了如何调用工具，使其自动读取设计文档、规格说明以及用户流程（User Flows），随后打开浏览器执行验证，并最终生成报告。这些用户流采用Gherkin语法编写，专门用于UI验证的运行阶段。核心流程是通过自动化手段将设计意图转化为可执行的测试用例。演讲者强调，这两个工具是工作坊中动手实践的重点。>

扩展程序与编码代理的桥接机制

在构建具备感知能力的智能体（Perception Agents）时，Chrome 扩展程序与后端编码代理之间存在天然的隔离。为了实现自动化工作流，必须建立一种Agent Bridge（智能体桥接）机制，将扩展程序中的用户标注转化为编码代理可执行的提示词。在基础模式下，Chrome 扩展通常不具备直接应用代码更改的功能，因此演示者专门构建了一个Apply Changes（应用更改）按钮。该功能通过修改 manifest.json 文件中的主机权限，允许扩展接收来自本地主机的请求。随后，在 content.js 文件的第 261 行附近（即导出按钮之前）插入关键代码段，这段代码负责创建应用更改按钮、连接 UI 验证技能（使用 Nova Act SDK 而非传统 Skill），并生成可视化的报告供用户查看。

UI 验证与自动化测试流程演示

一旦配置完成，用户可以通过 Chrome 扩展对网页进行标注。例如，将发布日期修改为 6月20日 并保存后，点击“应用更改”按钮。此时，后台会自动启动经过测试的编码代理（如 Cloud Code 或 Kiro）。对于 Cursor 或 Codex，用户需自行编辑 Agent Bridge 以适配请求格式。编码代理开始应用更改后，系统会生成详细的日志记录，包括 CLI 日志和 Nova Act 的验证日志。这些日志不仅展示了 AI 模型的思考过程，还精确指出了屏幕上的决策区域。随后，扩展程序按钮状态变为“运行验证”，系统开始执行所有设计流程和用户流程的测试。由于涉及复杂的 UI 交互和逻辑验证，这一过程需要一定时间，最终生成一份详细的UI 验证报告。用户可以在等待期间休息，回来即可查看 AI 对界面变更的合规性检查结果。

B 可穿戴设备与语音驱动的自动设计修改

为了展示更自然的交互方式，Giovanni 引入了亚马逊内部的 B 可穿戴设备作为演示案例。该场景模拟了设计师在会议中口头提出修改意见，而 Perception Agent 自动执行更改的过程。B 设备内置麦克风，并通过指示灯明确提示用户当前是否处于监听状态，所有对话数据均在私有云中处理以保障隐私。用户只需按下按钮激活监听，AI 代理即可捕捉设计讨论内容并给出建议。

“Hello. I'm Giovanni and I was thinking to imagine you are in to do your design meeting just talking about the design modification... And then automatically your perception agent is able to modify the website.”

实现这一功能需要三个步骤：首先拥有 B 设备（可通过 b.computer 网站购买或申请测试账户）；其次安装 B CLI，这是一个命令行工具，用于获取对话数据流。通过将 B 代理与工作坊中的 Perception Agent 集成，系统能够实时将语音对话转化为具体的界面修改指令，实现了从自然语言讨论到代码生成的无缝衔接。

工作坊实操流程与自动化验证机制

在亚马逊 AGI Lab 的 Perception Agents 工作流中，开发者通过简单的 npm 命令启动服务器并建立与 B Conversation（B对话）的桥接，从而将自然语言指令转化为对 Perception Agent 的控制。用户只需激活 B 设备（LED亮起），即可通过语音下达具体修改指令，例如“将标题颜色改为红色”或“把大脑表情符号替换为机器人图标”。系统界面会实时显示对话转录文本及关键要点，并展示来自 B 的 API 响应数据。开发者可在面板中审查这些响应，确认无误后点击“应用”，系统便会自动执行网站样式的变更。

核心亮点在于修改完成后的自动化验证阶段。一旦视觉元素（如颜色和表情符号）更新完毕，系统会自动触发 No Act 验证流程。该阶段利用预置的测试账户和对话数据（例如讨论颜色或表情符号变更的内容），通过 CLI 工具登录 B 账户后，用户只需点击底部按钮即可生成验证报告。这种闭环设计确保了AI生成的操作不仅被执行，还能通过自动化测试确认其正确性。尽管现场演示因 Wi-Fi 延迟未能完全实时展示，但整个流程展示了从自然语言输入到代码执行再到自动验证的完整链路。

创意案例：NES风格鸭子图标与幽默交互

在挑战赛的现场互动环节，参与者 Jeff 展示了一个极具创意的应用案例。他利用 B CLI 工具对演示动画进行了风格化改造，要求将其转换为复古的 NES（任天堂娱乐系统）风格，并加入关于鸭子的笑话。Jeff 特别指出，虽然 AI 生成“鸭子图标”的过程在视觉上不可见，但系统随后运行了完整的验证漏斗（verification funnel）。

“It went through and did the entire verification funnel, came back with the reports saying, yep it's done. I did it.”

这一案例生动地证明了 Perception Agents 的可靠性：AI 不仅完成了复杂的风格转换和文本生成任务，还通过后台验证机制确认了操作的最终状态。Jeff 的演示强调了AI执行结果的可追溯性与自我验证能力。作为奖励，Jeff 获得了一台 B 设备。这一环节展示了开发者如何利用该工具进行快速原型设计和趣味交互开发，同时也体现了社区对AI辅助创意生成与验证闭环的高度认可。

开发者实践：从对话到 Jira 工作流的自动化整合

另一位参与者 Jeff Lee（注：字幕中名字略有混淆，此处指代第二位展示者）展示了 Perception Agents 在企业级工作流整合方面的潜力。他正在构建一个测试工具，旨在将GitHub 仓库的代码上下文与会议对话摘要相结合。其核心构想是：当团队讨论积压功能（backlog features）时，系统能够提取对话摘要，并结合代码库内容生成任务列表。

“The idea was to have access the BCLI um and collect the summary of a conversation... it's going to build a backlog based on the summary and it's going to use the Atlassian MCP to put that into Jira.”

该方案的关键在于利用 Atlassian MCP 将生成的待办事项直接推送到 Jira，实现了从非结构化对话到结构化项目管理工具的无缝衔接。Jeff 目前正专注于构建测试框架，以插入与特定仓库相关的对话数据，从而验证这一流程的可行性。这种应用展示了 Perception Agents 在自动化软件开发管理流程中的价值，即通过理解上下文并执行跨平台操作，减少人工转录和任务分配的时间成本。

商业场景探索：内部工具 Sidekick 与邮件输入处理

来自沃顿商学院的 Ryan（Wharton Business School）分享了一个结合其创业项目的案例。他所在的 AI 技能提升初创公司开发了一款名为 Sidekick 的内部工具，旨在解决从捕捉想法、与联合创始人讨论到更新项目仓库的全流程管理问题。Ryan 提到，由于内部工具缺乏设计优化（甚至让 Claude 美化也效果不佳），他们急需更高效的输入处理机制。

“I just needed a better way of understanding what should I be doing anytime during the day, going from capturing an idea... and then updating a project repository.”

Sidekick 采用了一个共享收件箱（[email protected]）来收集一周内的各种输入，包括想法、新闻通讯等。Ryan 的演示表明，Perception Agents 可以被集成到此类内部效率工具中，以自动处理和分析来自邮件的非结构化数据。尽管演示因迟到和设置问题略显仓促，但其核心逻辑清晰：利用 B 设备处理日常工作中的信息过载，实现从杂乱输入到有序项目更新的自动化流转。这一案例突出了该技术在初创企业快速迭代和内部管理优化中的实际应用场景。

Emile Baizel：基于GTD框架的AI战略辅助系统

Emile Baizel 展示了如何利用 MCP（Model Context Protocol）将 AI 整合进 David Allen 提出的“GTD”（Getting Things Done）工作法中。该框架的核心在于通过树状结构管理项目，包含策略、完成标准、任务及下一步行动。Emile 构建了一个 MCP 连接，允许用户与 Claude AI 对话以制定项目策略。其核心痛点在于解决会议后“当下该做什么”的迷茫，通过 AI 将即时行动与最终战略目标对齐。他设想利用 B Device（感知设备）捕获会议或灵感，发送至收件箱并自动更新策略。尽管现场演示因 Wi-Fi 问题未能成功加载树状图，且 Emile 自嘲“11次现场演示0次成功”，但他强调了该概念在自动化知识工作流整合中的潜力，并期待通过 LinkedIn 分享对 B Device 的使用体验。

Shruti Arora：利用感知代理闭环优化产品设计瓶颈

Shruti Arora 分享了其团队在应对劳动力市场变化和员工适应新工作方式方面的产品策略。他们开发了 Sidekick 等工具，但目前的瓶颈在于产品设计中用户理解的准确性。为解决这一问题，她提出利用 Perception Agent 的“注释功能”（annotation feature）。具体流程是：通过 Sidekick 或内部代理发送描述，从而形成开发改进的闭环。她认为 AGI（人工智能通用智能）若能赞助其项目，将极大加速这一过程的落地。Shruti 强调，精准捕捉用户意图并转化为可执行的产品改进指令是提升产品可用性的关键，而感知代理的注释能力正是填补这一鸿沟的技术手段。

Jonathan：金融场景下的 UI/UX 实时反馈与自动化修正

Jonathan 提出了一个基于金融公司非技术人员需求的概念架构。由于团队中存在大量非技术背景人员，他们在定义验收标准时往往缺乏细节，导致 UI/UX 信息捕获不全。为此，他引入了 Jam MCP（可能指 JAMstack 或特定记录工具），该工具能录制屏幕、捕获控制台日志和网络请求。其架构核心是将 Jam MCP 的数据流接入代理，再传输至本地运行的 LLM（如 Nova）。当非技术人员提出诸如“投资者日程应如何布局”或“评分等级位置调整”等自然语言反馈时，系统能直接从 MCP 提取信息并在 AI Harness 中自动修改 UI 实现。虽然现场因 Wi-Fi 问题未能运行 Figma 或 Jam MCP，但初步模拟测试表明该架构在跨设备数据管道与实时 UI 修正方面是可行的。

创意征集与获奖案例展示

活动尾声，主办方通过 QR 码发起“Perception Agent”创意征集投票。参与者需提交能简化日常生活的创新用例。经过评审，共有四个优秀创意脱颖而出（因其中一个未认领者而增至三个获奖名额）。最终获胜的创意包括：1. Pixel Judge（像素级视觉判断工具）；2. 针对产品的端到端代理测试方案，旨在自动化验证产品功能完整性；3. 重构生活思维画布（Reframe Life Thinking Canvas），用于头脑风暴与规划；4. 实时协作 UI 设计画布，让人类感知代理与设计工具协同工作。这些案例展示了从自动化测试到个人生产力提升的多样化应用场景，体现了感知代理在人机协作界面优化和复杂任务自动化方面的广泛潜力。

人机协作范式的根本性转变

本次研讨会的核心结论指出，人类与智能体（Agent）之间的协作方式正在发生深刻变化。这种转变不仅仅是工具层面的升级，更是工作流逻辑的重构。传统的交互模式已无法适应新的需求，因此我们需要开发专门的工具来可视化和优化这一协作过程。正如演讲者所言："> The first the most important thing of this workshop... is the way human and agent collaboration is happening is changing." 这一论断强调了理解协作动态的重要性，它是构建下一代智能系统的基础。只有当开发者能够清晰地看到人类与代理如何共同完成任务时，才能有效地改进系统的效率和准确性。这种视觉化的协作洞察被视为构建“感知代理”（Perception Agents）的关键一步，它标志着从单纯的任务执行向协同感知的演进。

感知代理的开发工具与资源获取

为了支持开发者适应这一新范式，亚马逊AGI实验室推出了Nova Act SDK。这是一个专门用于构建和测试感知代理的开发工具包，旨在帮助团队更好地整合视觉理解能力。演讲者明确表示："> you can get started with Nova Act if you haven't already... It's an SDK"。开发者可以通过扫描现场提供的二维码直接访问GitHub仓库，获取最新的代码库和文档。此外，团队还发布了一篇详细的官方博客文章，深入阐述了他们对“感知代理”这一宏大概念的思考框架。这些资源不仅提供了技术实现的路径，还分享了设计理念，帮助开发者理解如何在实际应用中落地感知能力。通过利用这些官方资源，开发社区能够更快地掌握构建高效人机协作系统的方法论。

反馈机制与会议总结

在技术分享结束后，演讲者特别强调了社区互动的重要性。他们邀请参会者通过扫描另一个二维码提交反馈意见，这不仅是对本次研讨会的评价，也是对未来研究方向的重要参考。演讲者真诚地表示："> If you think you like the session... please leave us a feedback. We appreciate all your presence here." 这种开放的态度体现了亚马逊AGI实验室对开发者社区的重视。通过收集来自Emile Baizel、Shruti Arora以及Giovanni等演讲者的反馈，团队能够更准确地把握开发者的痛点和需求。这种双向沟通机制有助于持续优化工具链和文档，确保技术演进与实际应用场景紧密贴合。最终，会议在感谢与会者的参与中圆满结束，为后续的技术探索奠定了良好的社区基础。

结论

感知智能体通过视觉对齐与确定性标注原语，实现了从“盲操作”到“理解屏幕”的范式转变。其核心优势在于无需API即可处理无接口界面，并通过自动化验证闭环确保执行可靠性与合规性。实证表明，该架构能将前端迭代周期从数天缩短至小时级，并有效整合语音交互、项目管理及内部工具流。当前技术已具备处理复杂视觉指令与跨平台协作的能力，但实际效能高度依赖稳定的网络环境与特定的开发工具链集成。