Hello大家好,感谢参加我们关于构建感知智能体的研讨会。我是Emil Basel,我在亚马逊AGI实验室领导一支解决方案架构师团队。我们的团队专注于两件事:第一是与一些早期采用者客户合作,他们希望使用我们早期的模型和产品以帮助他们投入生产环境;第二部分是闭合从我们的客户参与中获得的反馈回路,为我们的研究团队构建评估以训练模型,并将产品和工程方面的反馈也带给这些团队。今天将由我们杰出的解决方案架构师Shruti Arora主持本次研讨会,她将与我会合。

关于今天我们要讨论的内容:我将简要介绍亚马逊AGI实验室,并谈论我们去年推出的第一款产品Amazon Nova Act。然后我们将进入感知智能体的话题,这也是今天研讨会的重点,随后我们开始工作坊环节。关于实验室的一些情况:我们要是一个前沿研究和产品团队,结合了初创公司的速度与亚马逊的规模和资源。我们专注于构建知识工作智能体,这些智能体能够在各种不同环境中感知、推理和行动,以完成现实世界的任务。

我们的办公室位于旧金山和波士顿。本周 throughout 还有几场其他演讲,我们在博览会设有展位,欢迎前来领取一些周边礼品,认识团队的一些成员并听取那里的演讲。我想分享一点关于我们看待智能体的方法以及我们的思路,主要通过三个方面:首先是协作。我们真正认为应该将智能体构建为队友,而不仅仅是一个黑盒。当我们说“队友”时,我们真正希望的是一个能够理解我们的目标和目的的智能体,并分享它是如何思考实现该目标的。

并将这一切建立在实际的客户用例之上。因此,我们与大量客户密切合作,以真正将我们所做的所有智能体工作落地。其次是感知方面。因此,智能体需要了解其环境。对于我们来说,因为这是一个基于感知的智能体,所以环境跨越多个设备。我们去年从浏览器开始,但你可以想象任何视觉屏幕都是我们的智能体执行知识工作的环境。所以移动设备是其中之一,计算机使用(Computer Use)也是另一个方面。

第三点是可靠性。我们有一个很好的客户引用说:“如果我的智能体只有50%的时间能正常工作,那它就完全不可用。”这是因为如果你不运行它还好,但一旦你运行了,你就会陷入调试中并花费大量时间,这基本上会抵消掉从该智能体获得的所有收益。因此,我们在模拟环境中花费大量时间构建和训练模型以进行强化学习。同样,其中许多都是基于现实世界的用例,这些用例不仅来自我们的外部客户,还来自执行大量知识工作的亚马逊内部团队。

有了这个背景,我想谈谈我们去年推出的第一款产品:Amazon Nova Act是一个一流的AWS服务,允许开发人员构建和运行可靠的大规模基于浏览器的工作流。使用自然语言,你可以驱动浏览器工作流来填充网页、导航、搜索、填写表单,并在需要人类介入时调用人工在环(Human in the Loop),例如报销审批或遇到卡住的情况等。我们观察到客户采用此功能的四个主要用例:首先是表单填写。

如果你需要在大量不同的网站上大规模执行此操作,并且不想为每个单一网站编写提示词或像确定性脚本那样针对每个站点进行编码,你可以使用Nova Act来实现。其次是搜索和提取数据:如果你想进行研究并从许多不同的网站、购物和质量保证(QA)中获取数据。关于我们要发布的一些更多细节,让我快速过一遍这些内容:它是一个一流的AWS服务。因此,如果你进入AWS控制台并输入Nova Act,你会在那里看到它。

从控制台中本身,你可以查看所有的轨迹(trajectory)。这是一种非常简单的方式来查看你的智能体所做的所有事情、它正在观察的所有元素的边界框,以及它试图在那里采取的行动。而在幕后,我们有一个定制的计算机使用模型在进行所有的推理工作。今年,我们还推出了MCP服务器以及技能模块,你们将在工作坊中使用这些功能,以便你们的智能体能够轻松使用Nova Act。此外还有人工在环和工具使用功能,以及一个游乐场(Playground)。

如果你访问Nova Act的主页,可以通过无代码方式直观地看到Nova Act的实际运作。展望未来,今天研讨会的主题是感知智能体。那么为什么我们认为需要感知智能体呢?对于那些不熟悉“计算机使用”这一术语的人来说,这基本上是指智能体在电脑屏幕上采取行动的方式。例如,你在右下角看到一个蓝色按钮,然后告诉你的智能体:“嘿,去点击这里的那个蓝色按钮。”

这非常重要且强大,对于自动化工作流至关重要。但我们认为还有另一半同样重要,那就是智能体实际上理解它在屏幕上看到的内容,而不仅仅是将其视为一种盲目的屏幕供其点击元素。我们真正希望这个智能体能够像人类一样理解屏幕内容。例如,如果我给某人展示一个来自90年代末的电子邮件客户端(如Yahoo或Hotmail),即使他们从未使用过该客户端,他们也可能会弄清楚如何发送电子邮件。

这是因为我们拥有数千小时使用这些屏幕的集体理解能力,我们可以直觉地知道如何使用这些东西。这正是我们要通过这类智能体达到的目标。其次,这些智能体的运行不需要API支持。如果你思考许多知识工作,很多时候是人类在使用根本没有API的屏幕,这就是为什么有人在做这些事情的原因。而我们希望……

这些智能体还需要能够在各种网站上执行相同的工作。我们希望模型能像我们一样“看”屏幕,因为这确实能促进协作。也就是说,与其输入大段文字来描述你想让智能体在屏幕上做什么、屏幕是什么样子的,你只需点击并描述你想要的更改即可。这也是今天研讨会的主要内容:你会点击几个元素说“嘿,我想把背景改成红色”,然后让智能体去执行。

首先我们开源了两个感知型智能体的基础组件,今天研讨会上将深入使用它们。第一个是视觉标注(Visual Annotation)。在任何网页上,你都可以点击并描述想要的更改。完成后,点击导出即可生成一个包含所有更改和提示词的 JSON 文件。你可以将此 JSON 文件和提示词一起交给编码智能体,让它执行这些更改。

需要注意的是,这与推理无关,完全是确定性的过程。它只输出 JSON 文件,不绑定任何模型或其他东西。我们发布的第二个基础组件是视觉验证(Visual Verification)。如果你有一个网站,它有特定的 CSS 样式和设计规范需要遵守。此外还有不同的工作流(如结账或登录流程),你可以用 Gherkin 文件来描述它们。

视觉验证技能可以由你的编码智能体针对这些设计工件和 Gherkin 文件运行,确保网站符合规范。这也是今天研讨会的内容之一,且均已开源可用。好了,我说得差不多了,现在把时间交给 Shruti 来开启研讨会环节。

你是直接按那个键吗?谢谢。 好的,大家能听到我说话吗? 可以。 欢迎。感谢 Emil 对 Amazon AGI Labs 及其今年五月发布产品的精彩介绍。正如他所说,我们将进行动手实践研讨会,重点是我们发布的 UI、视觉标注工具和视觉验证功能。我这里有一个简短的演示,但在深入之前,我想请大家进入角色扮演模式。

想象你是一名前端工程师,正在构建一个 Web 应用。你有设计团队提供灵感(如 Figma 文件),还要与另一个姐妹团队协作,让他们在页面上添加信息。如果按照传统方式,从设计到构建代码库和网站可能需要四到五周时间。

在第三或第四周左右,你可能会想:“我应该回去验证一下是否看起来没问题,是否与团队其他部分协调。”此时你正在不断协作:检查已完成的工作是否符合发布标准。你会分享 GitHub 仓库,让同事在本地运行 Web 服务器并打开网站,然后反馈说:“感觉不对劲,标题不应该是红色的。”

他们可能会通过 Slack 消息或共享文档提供反馈。收到这些关于网站的反馈后,你需要逐一审查:有些同意,有些不同意,达成折中方案并确定最终要采纳的反馈。你需要逐一处理并开始修改代码。

现在,使用编码智能体,原本可能需要一周的工作或许能减少到几天。但如果你能直接将他们的反馈传递给编码智能体,无需你监督,只在更改完成后介入说“看起来不错”,时间能减少多少?也许只需几小时。你收集反馈,发送给智能体,然后去喝杯咖啡回来,所有更改都已合并。

这正是 Emil 提到的:我们有一个名为“视觉标注器”的 Chrome 扩展程序。有三种标注方式:在页面上绘制、选择元素或像 Google Maps 那样钉住位置并提供注释。一旦完成标注,你可以下载并发送给需要更改的团队;如果是你自己修改,我们会提供 AI 友好的提示词。

你可以将提示词发送给智能体,它会自动更改代码库(你需要指示智能体进行这些更改)。这就是视觉标注器。我们要发布的下一个基础组件是“视觉验证技能”。所谓技能,是指你可以安装在 Claude 或 Keynote Power 上的功能。

你会看到这些验证是针对设计文件运行的,例如:设计颜色是否正确?字体大小是否合适?用户流程是否正常?但你会想到这些设计规范和工作流是如何生成的呢?别担心,我们也有解决方案。当你首次运行验证时,UI 验证工具会进行深层的一级表面爬取。

在网站上查看链接和内容,并据此创建用户流程。这些流程采用 Gherkin 语法格式供 UI 验证使用,以便在下次运行验证时调用。现在让我播放演示视频。你可以看到只需像这样调用工具,它就会浏览设计文档、规格说明和用户流程,然后打开浏览器执行这些流程并生成报告。这就是你在本次研讨会中将亲手操作的两个工具。接下来,我将介绍目前研讨会的安排情况。

首先如前所述有两个动手实践环节。其次是我们试图探讨的两个基本原语,当然感知不仅仅包含这两个部分。你会如何将它们针对特定用例进行连接?研讨会上提供了一个场景,我们试图让这个过程变得有趣,请你自己尝试一下。这就像是一个游戏日,你会看到一些提示来解决这个问题,明确问题所在以及最终目标。

所有信息都在研讨会中列出,这是一个 GitHub 链接,稍后会分享给你们。那么基本上如何连接这两件事呢?接下来是关于奖项赞助商的内容。我们在最后有一些竞赛环节,并感谢 B 团队为本次活动赞助了奖品。此外,我们还将展示除了打字或在屏幕上标注之外,还有哪些其他酷炫的方式可以确保进行注释或提供关于网页及其设计的反馈。

B 团队将展示如何超越仅仅输入反馈的方式来实现这一点。最后,在完成研讨会之后,我们还有三个不同的加分挑战选项。我们将留出充足的时间让你尝试这些工具在特定用例中的应用,也许你想将其与 B 连接起来看看如何操作。或者如果你认为这真的很酷想在周一展示给团队看,那就勇敢上台演示你的用例吧。

最终部分是一个有趣的小练习,一旦你对这两个基本原语有了很好的理解,你可以思考在日常工作中多种使用它们的方式。我们将提交这些想法并投票选出前三名获得 B 设备,还有一个最受欢迎奖。接下来进入研讨会环节,这是研讨会的链接,你可以在 GitHub 上搜索“perception agents workshop”。

在研讨会中还需要使用 Nova Act API 密钥。其中一部分我们在屏幕上隐藏了前三个字母,你可以复制粘贴这三个字母 ACE(代表 ace),这样你的 Novact API 密钥就配置好了。让我暂停一下,在研讨会的 README 文件中会指向包含 MD 文件的研讨会说明。

这里是我提到的场景:你是一名前端开发人员,正准备发布播客的主页。昨天向几位同事演示了页面并收到了一些反馈:标题太大,强调色不够突出,一些按钮过大以及几个细微的偏差。你同意这些反馈并准备今天 Incorporate 这些更改。

你可以使用的工具有:Novact Chrome 扩展程序、UI 验证技能包、Novact SDK 和 Novact MCP 服务器。利用这些工具你可以构建整个闭环,只需在 Chrome 扩展程序中点击按钮即可自动应用更改。UI 验证运行后你会得到一份报告,这就是挑战内容及其前提条件:你需要 macOS 或 Linux 环境因为 Novact MCP 服务器仅在这两个系统上运行。

还需要安装 Node.js、NPM、Python 和 Chrome 浏览器以测试扩展程序,以及一个 AI 编码代理。如果你有 Claude 那就很好用,我们也集成了 Kiro,如果没有其他编码代理可以安装 Kiro。最后我们需要 UV 或 UVX,如果不愿自行安装请举手我们会通过 pip 协助你。

研讨会设置大约需要 5 到 7 分钟,然后你可以开始练习如何使用 Chrome 扩展程序和 UI 验证技能包。为了解决挑战你有大约 15 分钟时间,如果你想一步步来可以选择这个路径。我设计了两个级别的研讨会让你玩得开心:如果想接受挑战请选择中等难度,如果只想按说明完成则选择简单模式。

在简单模式下你会得到确切的操作指示并在动手实践结束时连接好这两个基本原语,预计耗时 15 分钟。中等难度则需要 30 到 35 分钟。分配完时间后我会上来展示代码位置以便连接这两个原语并查看整体效果。

进入实操环节,我们还有一个附加挑战。如果你提前完成,可以开始做这个附加题。不过在那之前,我们会请B组的Giovanni稍后上台展示。好的,没问题。>> 我看到你在安装这些…… >> 嗯哼。 >> Nova Act UI验证技能是什么?上面说有一些默认客户端始终受支持,包括Codex和Cloud Code。但下面还有额外的技能,其中一个是Cloud Code。所以我很好奇,这是两回事还是同一个东西?这两个不同的Cloud Code…… >> 是的,确实有两个技能。一个是Nova Act技能,另一个是Nova Act UI验证技能。所以你会看到两者都存在。好的,我现在把时间交给你,我会重新投屏幻灯片,请Emil上线。GitHub仓库已准备好API密钥备用。如有问题请举手,我们的团队就在旁边支持大家,看到他们在挥手了吗?随时联系我们,我们会过来帮忙。玩得开心。好的,我试着梳理一下解决方案流程。

这是分步说明。我们可以看到Chrome扩展程序和你的AI代理正在运行。如果你想让编码代理自动应用来自扩展程序的更改,你需要一个桥梁,因为它们之间没有直接连接。扩展程序如何将提示发送给编码代理?为此,我们构建了一个名为“Agent Bridge”的工具,它会自动获取扩展程序中的注释并提示编码代理。这就是开始应用更改的地方,随后运行UI验证技能。本质上,在原始模式下扩展程序中没有“应用更改”按钮,但为了本次研讨会,我在Chrome扩展程序中内置了这个功能。稍后我会详细介绍这一点。

要让整个流程运作起来,你需要修改两个文件。第一个是Chrome扩展程序中的manifest.json文件,你基本上需要添加这一行以启用主机权限来接受来自本地主机的请求。然后你需要添加这段代码,这是一大块代码片段。扩展程序中的这部分功能会创建并应用更改按钮,将其与扩展程序连接起来,确保使用Nova Act SDK而不是技能来运行UI验证,并开始生成一份报告,你可以点击并查看该报告。

这段代码需要放入扩展程序的content.js文件中,大约在261行左右添加。就在“append child export button”之前,我想那里有个哈希注释,写着“在此处添加代码”,你就在那里粘贴这段代码。一旦运行起来,你会在扩展程序中看到这个“应用更改”按钮。我想Emil之前测试时把它改成了FIFA世界杯,为什么不呢?所以我选择其中一个项目,然后刷新扩展程序。让我们看看……

“注释当前页面”。我试着更改发布日期为今天的6月20日。好的,保存它。这是扩展程序中的“应用更改”按钮。在后台,它会打开你的编码代理。如我之前提到的,它已在Cloud Code和Kiro上测试过。如果你尝试使用Cursor或Codex,你需要编辑Agent Bridge以便它能接受这些“应用更改”按钮的请求。稍后它将开始应用更改,你还会在仓库中看到弹出的某些日志。

这些是CLI的日志,以及当验证运行时Nova Act产生的日志,它们精确地显示了AI模型在思考什么以及它试图对屏幕的哪一部分做出决策。你可以看到按钮变成了“运行验证”。现在正在执行验证步骤。稍后它还会生成一份报告供你查看。基本上,在这里应用更改后去吃点午饭或休息一下,回来时只需查看验证报告即可。给它一点时间,因为它要遍历所有设计流程和用户流程,然后生成报告。所以这需要一些时间。

让我看看能不能调出仓库。哦,该死…… >> 我觉得Wi-Fi太慢了,不过也许趁这段时间我可以请Giovanni上台展示一种酷炫的方法来注释网页,而不是仅仅在正在处理的网页上打字。>> 你好。 >> 哦,Prime。 >> 好的。 >> 我们可以…… >> 嗯,我好了。我能看看幻灯片吗?>> 是的,看幻灯片。 >> 大家好

我是Giovanni。我想请大家想象一下,你正在进行设计会议,讨论要对网站进行的设计修改。然后你的感知代理能够自动修改该网站。这是你现在可以通过研讨会做到的事情。怎么做?通过使用B可穿戴设备。B是亚马逊内部的一种设备,你可以在b.computer网站上购买它。这是一种可穿戴AI助手。它有一个麦克风,所以你可以按下按钮激活它,然后它会监听你的对话。不用担心,如果它在监听,指示灯会亮起,所有对话都在私有云中进行。

运行在B上的AI代理能够根据你的谈话内容提供建议。所以我做的是将这个B代理与我们为研讨会准备的感知代理集成在一起,从设计对话中获取输入并监听AI对话。>> 我没看到视频。 >> 是的。 >> 啊,是这个。谢谢。你可以通过三个简单步骤实现这一点。首先,你需要拥有B设备。我想让你现在就能使用它,或者我们可以提供一个测试账户来下载软件,以便你可以获取你想要的对话数据。然后你需要安装B CLI(命令行界面),这将允许你获取对话数据,研讨会说明中提供了下载B CLI的方法。

只需要一条 npm 命令,然后启动研讨会服务器,接着启动从 B Conversation 监听并应用于感知智能体的桥接程序。随后只需启用你的 B 设备,LED 灯亮起后,你可以说类似“我想把标题颜色改成红色”或“我不想用大脑表情符号,我想要一个机器人表情符号”。在右侧你会看到你的对话记录、转录文本以及最重要的要点。这里可以看到来自 B 的 API 响应,你可以打开面板进行检查,然后选择应用。这就是感知智能体研讨会的正常流程:它会改变你刚才说的颜色,并更换表情符号。

在网站的修改应用后,它会自动为你运行 No Act 的验证阶段。我们有一个测试账户,你可以使用预加载了对话和设计的示例进行体验,比如讨论“我们要改变颜色”或“更换表情符号”。安装 CLI 并使用测试账户和设备登录后,点击底部按钮即可进入验证页面。如果你想实际体验 B 设备,我们可以直接使用我的设备进行演示。通过对话设计并经过两到三分钟的 elaborating(处理),Wi-Fi 稍慢所以没做现场演示,最后会生成验证报告供你查看。

B 设备也是挑战赛的奖品之一,获胜者将获得一台。我们今天整周都在展位上,如果你有兴趣集成 B 技术,欢迎随时联系我。接下来邀请一位观众上台探索这两个原语并构思创意想法,愿意参与的人将获得一台 B 设备。随后我请上了 Jed,他构建了一些很酷的东西并想向大家展示。虽然叫错了名字(其实是 Jeff),但这引发了一段有趣的插曲,Jeff 上台后展示了他的演示。

Jeff 展示了一个有趣的小流程:他让动画师将内容转换为“鸭子播客”,并将其复古化为 NES 风格,还加入了一些关于鸭子的笑话。他通过验证漏斗完成了操作。正如我之前所说,看着 AI 说“我把它做成了鸭子”,并实际生成了一个鸭子图标,这非常有趣。通常人们看不到这个过程发生,但它确实完成了整个验证漏斗并返回报告确认完成。他还让 AI 讲笑话,虽然效果一般,但演示很精彩。

作为奖励,Jeff 赢得了一台 B 设备。接下来是 Jeff Lee,他想展示他的作品。他表示自己仍在构建测试框架以进行演示,因为默认的 B 账户中的示例对话与他的需求无关。他试图让 B “活”起来,想法是通过访问 B CLI 收集对话摘要,这些摘要是关于将添加到工作仓库中的积压功能讨论。

他的工作流程是:在一个克隆的特定 GitHub 仓库中,利用对话上下文结合所有代码构建积压任务列表,然后使用 Atlassian MCP 将其放入 Jira。目前他正在后台构建测试框架以插入与仓库相关的对话,这相对简单。大家对他展示的内容表示赞赏并感谢他上台领取新设备。

最后,Ryan 准备进行下一个演示。由于上一场会议在三点结束,他迟到了并找到了戴着蜜蜂帽子的 Giovanni。Ryan 是沃顿商学院的学生,他的集群吉祥物也是蜜蜂,因此他对能在这里看到关于 B 设备(Bee Device)的演示感到兴奋。作为迟到的沃顿毕业生,他问 Giovanni 是否可以免费获得一台 B 设备。Giovanni 问他是否有想法分享,Ryan 表示他目前在一家 AI 技能提升初创公司工作。

他对 Linear(一款项目管理工具)不太满意,道歉给在 Linear 工作的朋友听。他需要一种更好的方式来理解每天该做什么:从捕捉想法、与联合创始人讨论到更新项目仓库。这正是 B 设备的自然用例。他们有一个内部工具叫 Sidekick,强调“内部”是因为没有设计——尽管联合创始人曾让 Claude 把它做得漂亮些且不出错,但这已是最佳结果。

该工具的工作原理是拥有一个联合收件箱(忽略那些让他担心的广告横幅)。他们向 [email protected] 发送联合邮件,以捕获一周内的各种输入、想法和新闻通讯。

已订阅AI通讯,看到有趣的内容会发送到收件箱。我们坚信“搞定事情”(Getting Things Done)的理念,这是David Allen在2010年为知识工作者开发的项目任务组织模式。如果Wi-Fi正常,你应该能看到屏幕内容……抱歉,刚才画面掉线了。请稍等。“搞定事情”的树状结构展示了所有项目,每个项目下包含策略、完成标准、任务、下一步行动和参考资料。我们构建了MCP协议,以便与Claude对话并制定策略:“嘿,这是我们对这个项目的想法,你认为我们应该怎么做?”这旨在解决会议后“我现在该做什么才能契合最终战略”的需求。

我们设想通过B设备与MCP配合,如Giovanni告知我的那样:捕获不同会议或想法发送至收件箱,进而更新策略。真希望这个能加载出来……让我看看哦,原来是我的手机问题。看,现在工作了。是的,我在现场演示中表现不佳,0胜11负。但这正是我对B设备的构想。我期待使用它,并在LinkedIn上分享对它的喜爱。“加油蜜蜂”(Go Bees),嗡嗡嗡。谢谢。

你打算如何将感知智能体集成到你的系统中? 哦,我其实也有答案。 好的。 实际上,我在Kick内部给自己发了邮件以便稍后与联合创始人讨论:我们开发了许多产品功能,如Sidekick和学习工具。我们的使命是确保每个人都知道如何适应即将到来的劳动力置换潮。但目前的瓶颈在于产品设计,即构建用户能确切理解该如何操作的东西。因此,我们将使用感知智能体的注释功能发送描述,通过Sidekick或我们运行的代理进行改进,从而形成开发闭环。

哦。 所以……是的。如果AGI愿意赞助,Ozzie和我可以交换名片稍后详谈。谢谢。 太棒了,非常感谢你上来演示并带来B设备。 谢谢,很感激。

在结束之际,Emil,我们将把调查投屏到屏幕上……是的,你想说什么?哦,好的。Jonathan也想展示一下。 嗯,我的更多是一个概念演示,没时间构建所有功能。我会简单 walkthrough 一下。 好的。我在研究B的代理机制,试图弄清如何从CLI获取信息……哦,没共享成功。啊,好了。我在思考代理的工作原理以及如何从B设备获取数据……除了转录外,能否从不同源(如IoT设备)提取其他数据?

我所在的公司是一家金融机构,有很多非技术人员。我们不仅要制定标准,还要捕捉大量UI/UX细节,但验收标准的细节往往不够理想。因此我推动团队使用Jam MCP,它可以录制、捕获控制台日志和网络请求并反馈信息。我还构建了一个AR AI框架来管道传输这些信息。架构类似于CLI,你可以将Jam MCP的信息导入代理,让LLM与Nova交互并处理UI实现。

比如你说:“希望这个投资者日程这样排”或“分数应是研究级别且位置不同”,我们可以从MCP提取信息发送给Nova,并在本地运行的AI框架上做出更改。你可以用同样的方式通过代理使用不同设备。我做了一些初步测试,模拟环境下可行,但因Wi-Fi问题未能启动fig或Jam MCP。这将是回家后的测试内容。谢谢。

非常感谢,给你这个(设备)。我们还有15分钟结束研讨会。屏幕上会显示二维码。如果你有绝佳想法但不想上台分享,可以在此提交。我们将投票选出前三名并赠送B设备。如果有想法请填入问卷……稍等,好了。 大家看到了吗?是的,我们要他们扫描二维码输入创新想法……利用今天学到的感知能力、B设备的一切功能以及试玩体验,你认为什么用例能让日常生活更轻松?我们看到了很多想法。如果你害羞没上台,还有机会赢得另一台设备。

你觉得呢?5分钟后…… 对,5分钟后我们……好的,我调整一下。我已经停止投票了。所有想法都很棒,我在和邮件组讨论时很难抉择……不是有Pixel Judge那个吗?提交该想法的请举手?没人?“像素法官”是什么?好的。下一个是产品的代理式端到端测试……请上台来,你想上来吗? 好的。太棒了,谢谢。

“重构生活思维画布用于头脑风暴和规划”——是你吗?请上台来。 我们决定送出三台,但有一台无人认领,所以最终圈定了四份奖品。最后一位获奖者是“构建画布应用,让人类感知智能体与设计师实时协作UI设计”……请上台。 谢谢!给所有获奖者热烈的掌声。

好的,我想用一些关键要点来结束这次会议。大家都能想象到,本次研讨会最重要的一点是:人类与智能体协作的方式正在发生改变。因此,我们需要工具来呈现人类和智能体如何协同工作的视觉部分,而这正是构建感知型智能体的下一步。

如果您还没有查看我们的 GitHub 仓库,现在可以通过扫描这个二维码开始使用 Nova Act SDK。此外,我们团队还发布了一篇博客文章,大家可以查阅一下,其中详细阐述了我们对广义感知型智能体的思考。

最后,感谢大家的参与。我们还展示了一个反馈二维码。如果您喜欢这次会议、喜欢 Emil、喜欢我,或者喜欢刚才发言的 Giovanni,请留下您的反馈。非常感激大家在此时的出席,谢谢大家。