核心论点：基础设施而非模型是瓶颈
我是Kushan，曾在Seraphim担任创始工程师两年。目前我专注于浏览器智能体（Browser Agents）的研究。虽然这个概念听起来非常酷，理论上应该爆发式增长，但我个人并未观察到广泛的采用，我自己也很少使用现有的浏览器智能体。经过一段时间的探索，我试图理解为什么浏览器智能体表现不佳。在视频中展示的“浏览器挑战”基准测试中，智能体需要完成一系列复杂的长序列任务，这恰恰暴露了现有方案的缺陷。例如，在测试开始时，一个典型的浏览器智能体仅仅为了点击“开始”按钮就花费了10到20秒，而在包含30个步骤的任务中，它仅仅完成第一步就耗费了极长的时间。这种低效让我意识到，现有的基础设施存在严重问题，而非模型本身不够聪明。
"Browser agents as an idea are so cool, right? ... I personally have not seen that adoption."
我的解决方案：更高效的视觉表示
为了解决上述问题，我构建了自己的系统，旨在复现智能体的思考过程，但速度极快且成本更低。我的核心假设是：模型已经很聪明，但围绕它们的基础设施很糟糕。在之前的视频中，你可以看到智能体试图调试发生了什么，它尝试点击某些元素，但不理解当前页面的状态。因此，我的核心论点是：给智能体提供一个良好的使用环境，让它能够规划长序列任务、识别失败原因并正确规划点击操作。我设计了一种新颖的网页表示方法，能够压缩网页内容，让智能体在极少的Token内看到整个页面。这种方法不仅降低了成本，还提高了推理效率，使得智能体能够快速执行任务。
"My core thesis here has been give a nice environment for the agent to use... I figured out is a cool representation which compresses the website and lets the agent see the entire page in very few tokens."
案例对比一：下载Aadhaar证件
为了展示实际效果，我对比了使用Claude（代表现有主流方案）与我构建的智能体在“下载Aadhaar证件”任务上的表现。这是一个看似简单的任务：截图、识别按钮、点击。然而，Claude在操作过程中陷入了停滞。从第46秒开始，它反复截图、滚动页面，整个流程耗时2分钟，且未能成功完成。相比之下，我的智能体在启动后几乎瞬间完成操作，整个过程仅需几秒。这一对比突显了我的系统在速度和可靠性上的巨大优势。即使我使用的是更便宜的模型，其执行效率也远超依赖昂贵大模型的现有方案。这证明了高效的视觉输入和状态管理比单纯依赖模型能力更重要。
"It took a screenshot, it scrolled for some reason, it took a screenshot. Basically, this entire process took 2 minutes, whereas in my case... it just boots, and boom, done."
案例对比二：加拿大徒步旅行预订
第二个案例涉及为朋友预订加拿大的徒步旅行。由于网站界面复杂且我对当地情况不熟悉，我让Claude尝试预订。结果，Claude无法选择日期，最终陷入僵局，无法完成任务。而我的智能体则迅速选中日期并填入，瞬间完成预订。这一案例进一步验证了我的观点：简单的任务对于现有智能体来说可能极其困难，因为它们缺乏对页面状态的准确理解。我的系统通过提供清晰的页面表示和反馈机制，使得智能体能够像人类一样直观地理解界面，从而轻松完成复杂操作。这种简便性和便利性是浏览器智能体真正普及的关键。
"It took me some time to figure out this website. So, I asked Claude like, 'Hey, can you book this for me?' And by the end of it, it's unable to pick a date and it just stuck."
技术细节：Token压缩与反馈机制
在技术实现上，我对比了不同输入方式的Token消耗。完整的DOM（文档对象模型）大约需要20,000个Token，而一张截图大约需要1,100个Token。我设计的Markdown表示法大约需要1,800个Token，但它能让模型看到整个网站，而不仅仅是截图中的某个片段。此外，我引入了动态反馈机制：系统会告知智能体页面上新出现的元素、已消失的元素，以及之前点击未生效的原因（例如被遮挡）。通过跟踪整个端到端的浏览器页面状态，智能体能够获得持续的上下文反馈。这种低Token消耗与高信息密度的结合，使得模型能够更有效地推理并构建长序列任务。
"The full DOM for this would be around 20,000 tokens. But so, let's say we have this screenshot. All right, this screenshot's about 1,100 tokens. My markdown's about 1,800 tokens..."
性能数据对比：Token消耗与执行效率
为了更直观地展示不同方案在资源消耗和执行效率上的差异，以下是基于视频内容的详细数据对比。可以看出，虽然我的方案引入了Markdown表示，但其Token消耗远低于完整DOM，且执行速度远超传统方案。
| 方案/指标 | Token消耗 (估算) | 执行时间 (下载Aadhaar) | 执行时间 (预订徒步) | 模型成本 | 状态理解能力 |
|---|---|---|---|---|---|
| 完整DOM输入 | ~20,000 | 未测试 | 未测试 | 高 | 高 (但噪声大) |
| 截图输入 (Claude) | ~1,100 | ~120秒 (2分钟) | 失败 (卡死) | 高 | 低 (缺乏上下文) |
| 我的Markdown表示 | ~1,800 | ~几秒 | ~几秒 | 低 | 高 (全页+反馈) |
未来规划：开源与API化
目前，我计划开源该项目，因为我认为代码本身并不具备极强的防御性，真正的价值在于产品化。我打算将这一能力封装为API服务，用户只需提供URL和意图，系统即可执行任务并返回结果。此外，我也考虑将其开发为网站或浏览器插件。我的最终目标是让浏览器智能体变得更快、更便宜、更可靠，从而让全球用户都能受益。浏览器智能体拥有巨大的潜力，能够为用户节省大量时间，而我的工作是消除阻碍其普及的技术障碍，确保每个人都能轻松使用这一强大工具。
"I'm thinking of open sourcing this project... The product that I want to give is again maybe an API that as you can see we were running these commands. Maybe I just want to expose this command as an API."
总结：让浏览器智能体真正可用
综上所述，浏览器智能体的瓶颈不在于模型智商，而在于视觉交互和信息表示的效率。通过压缩网页表示、提供全页视野和动态反馈，我的系统实现了低成本、高速度的任务执行。无论是下载证件还是预订旅行，我的智能体都展现了远超现有主流方案（如Claude）的稳定性与效率。这一突破不仅验证了我的核心假设，也为浏览器智能体的大规模应用铺平了道路。未来，通过开源和API化，我将致力于降低使用门槛，让这一技术真正服务于全球用户，释放浏览器智能体的全部潜力。
"Bottom line is I want to make browser agents faster, cheaper and more reliable and just make sure everybody in the world is using them because they can just do so much for you."