核心痛点：真实电商环境的不可控性

购物智能体（Shopping Agent）的愿景看似美好，能够协助用户完成从预算内选购夹克、确定尺码到检查退货政策并加入购物车的全流程。然而，训练和评估这些智能体面临着巨大的现实挑战。商品库存、价格波动以及店铺布局的动态变化，使得任何基于固定环境的测试都难以反映真实表现。此外，反机器人检测机制和速率限制（throttling）经常中断测试运行，导致实验结果不可靠。虽然开发者可以构建手工制作的测试商店以获取控制权，但这些环境往往只能捕捉有限范围的购物体验，缺乏真实世界的复杂性。这种矛盾促使团队提出核心问题：能否在保持真实商店复杂性的同时，实现购物环境的可重复性？

"That part feels easy, but training and evaluating these agents is challenging because products, prices, and store layouts keep changing."

解决方案：ShopGym架构概览

为了解决上述问题，团队构建了 ShopGym 框架。其核心目标是将实时 storefronts（前端商店）转化为自包含、可重置的沙盒店铺，并自动生成与产品特性及政策绑定的购物任务。这一架构主要服务于两类用户：开发者可以通过它复现失败案例，在一致条件下比较不同智能体的表现；商家则希望构建能在各类规模和类别商店中可靠工作的购物代理。ShopGym 为智能体提供了一个在接触真实在线商店前，练习寻找产品、理解店铺政策和完成购物任务的场所。整个框架由两个互补的部分组成：底层的模拟层 ShopArena 负责将种子商店转化为沙盒，上层的基准测试生成器 ShopGuru 则负责创建评估任务。这种设计旨在弥合控制性与真实性之间的差距。

"We built ShopGym to answer that question. It turns live storefronts into self-contained, resettable sandbox shops and generates shopping tasks tied to their products."

ShopArena探索阶段：匿名化规范提取

ShopArena 的工作流程分为商店探索和沙盒生成两个独立阶段，通过商店规范（shop specification）这一唯一接口连接。探索阶段始于对种子商店关键界面的分析，包括首页、站点地图、搜索和购物车端点、公开目录以及政策页面。一个规划器智能体（planner agent）会将这些材料分解为聚焦的任务，随后启动新的规范智能体（specification agent）。该智能体利用浏览器工具探索种子商店，捕获证据并编写匿名化片段。

这些片段描述了三个核心部分：设计规范（描述商店及其视觉风格）、结构化属性（如过滤器、导航和分页）以及目录统计信息（包括产品数量和价格分布）。在编写过程中，智能体会自动省略品牌名称、产品名称、人名和绝对URL。这种设计确保了后续所有阶段都保持匿名，无需单独的脱敏步骤。最后，通过合并这些片段生成统一的规范。ShopArena 还可以组合多个种子商店的规范，使单个沙盒具备比单一来源更丰富的结构和行为多样性。由于规范是可读的基准测试创建者可以直接检查或编辑环境，而无需重新访问源商店。

"While writing, the agents omit brand names, product names, people's names, and absolute URLs. Every later stage therefore stays anonymous without a separate redaction pass."

ShopArena生成阶段：执行-验证循环

沙盒生成阶段仅读取规范，不再接触源材料。ShopArena 首先利用设计规范中的细节和目录统计信息生成虚构的产品目录，包括集合、产品名称、描述和图片。随后，它按照固定顺序构建商店：站点外壳和首页、集合页、产品页、购物车、搜索与过滤功能、政策页面，最后进行集成检查。每一步都建立在早期步骤的稳定工作之上。

每个构建步骤都运行相同的执行与验证循环（execution-verification loop）： 1. 新智能体读取当前代码、相关规范、目录和最新反馈。 2. 编辑代码并运行轻量级检查，包括类型检查和构建测试。 3. 基于规则的验证确认构建结果、必需路由和输出结构。 4. 视觉验证智能体在浏览器中托管商店，检查视觉效果并撰写反馈。

为每次迭代启动新的智能体有助于保持其工作上下文小巧。源代码保存当前状态，规范保存意图，最新报告描述下一步修复。如果某个功能失败，ShopArena 可以单独修复它而无需重新生成整个商店，这大大提高了长周期生成的可靠性。

"Starting a fresh agent for each iteration keeps its working context small. The source code holds the current state, the specification holds the intent..."

ShopGuru：任务生成与验证机制

ShopGuru 负责利用沙盒商店的产品、导航结构、过滤器和政策来创建购物任务。任务的复杂度分为两类：一类测试单一技能，如查找特定产品或定位退货政策；另一类结合多个步骤，例如打开集合、按颜色过滤、按价格排序并将匹配产品加入购物车。对于简单任务，使用基于规则的生成器（rule-based generators）；而对于多步骤旅程，则由 LLM 编写。

为了确保任务的有效性，系统执行自动化检查以验证每个任务中引用的产品、集合和过滤选项是否真实存在于商店中。当任务未能通过这些检查时，LLM 会收到反馈并修订任务。这种机制确保了基准测试的准确性。验证框架通过基于图的结构分析和基于智能体的行为评估进行了整体验证，涵盖了 224 个任务和六个沙盒商店（三个基于合成数据，三个基于真实数据）。结果显示，合成商店保留了实时前端的关键结构属性。

"Automated checks verify that the products, collections, and filter options referenced in each task exist in the shop. When a task fails these checks, the LLM receives feedback to revise it."

评估结果：结构保真度与行为对齐

研究通过两种方式测试 ShopGym：比较真实商店和合成商店的结构，以及测量智能体在两者中的行为表现。研究覆盖了 224 个任务，涉及六个沙盒商店：三个使用合成数据构建，另外三个是拥有真实产品数据的“孪生”商店。

在结构保真度（Structural fidelity）方面，研究通过将页面和交互状态映射为图来进行比较。节点代表界面状态（如打开的菜单或购物车抽屉），箭头代表动作。合成商店具有相似数量的不同状态和可比性的页面复杂度。主要差异在于连接数较少，因为合成商店省略了外部链接、营销页面和其他辅助路径。在行为对齐（Behavioral alignment）方面，使用了 BrowserGym 和内部截图系统进行评估。结果显示，孪生商店在聚焦任务和 multi-step shopping journeys 上保持了与实时商店相似的成功率。这种对齐在多步骤任务中最为明显，两个系统都保留了模型排名。尽管某些聚焦任务存在较大差距（特别是在内部系统中），但孪生商店确实保留了来自实时商店的有用难度信号。

"Similar success rates suggest that the twins retain useful difficulty from the live stores. This alignment is clearest on multi-step tasks..."

结论

ShopGym 证明了可重复性不必以牺牲真实性为代价。通过 ShopArena 和 ShopGuru 的协同工作，该框架能够为购物智能体提供一个稳定的失败、学习和改进场所，同时保留来自实时网络的有意义信号。实验数据表明，基于合成数据的沙盒在结构复杂度和多步骤任务的行为表现上与真实商店高度一致。尽管在某些聚焦任务的难度复现上存在细微差距，但整体框架成功解决了电商环境动态变化导致的评估难题。未来计划包括生成更多零售领域的沙盒、创建更丰富的任务类型，并将 ShopGym 从单纯的模拟基准平台转化为构建更强大多功能购物智能体的开发平台。

"ShopGym shows that reproducibility doesn’t have to come at the cost of realism. We can give shopping agents a stable place to fail, learn, and improve while preserving meaningful signals from the live web."