Shopify通过持续学习循环将开源模型微调为任务专家，实现性能超越与成本大幅降低

核心架构：从通用前沿模型到专用子代理

Shopify的AI商务助手Sidekick采用了一种分层架构，旨在平衡通用智能与特定任务的高效执行。系统前端由一个前沿模型（Frontier Model）驱动，它负责与商家进行自然语言对话、规划工作流并调用相应的工具。然而，对于高度专注且上下文密集的任务，Sidekick会将具体工作委派给子代理（Subagents）。这些子代理中的一部分运行着经过后训练优化的开源模型，专门针对单一任务进行深度定制。

以GraphQL子代理为例，当商家询问“哪些产品库存几乎耗尽？”时该子代理需要读取Shopify的API架构、搜索文档、编写并执行查询，最后返回结果。这一过程具有极高的上下文依赖性：子代理每生成1个token就需要读取约40个token的上下文信息。如果使用前沿模型的API，由于按所有输入和输出token计费，这种高吞吐量的上下文处理会导致极高的服务成本。因此，Shopify选择将这类任务交给专用的开源模型专家来处理。

"For focused jobs, it hands off work to subagents, several of which run open models we’ve post-trained for that one task."

构建循环：模型优化飞轮与硬件加速

Shopify建立了一套名为“模型优化飞轮（Model Optimization Flywheel）”的持续学习循环，并引入了硬件层面的加速机制。这一流程包含三个初始设置步骤，随后随着每一批生产数据的流入不断重复迭代。整个过程中涉及的关键技术组件均带有NVIDIA的技术标签，体现了软硬件协同优化的策略。

每个任务专家的构建都遵循标准化的步骤：首先定义质量评估标准，其次优化前沿模型的表现作为基准线，接着选择合适的开源模型进行后训练。此外，Shopify还引入了“自我修复（Self-healing）”机制，将生产环境中的失败案例转化为训练数据。通过每晚运行自动修复流程，系统能够不断修正错误对话，从而丰富高质量训练集。Nebius云平台提供了可扩展的基础设施支持，使得模型能够在多个节点上高效扩展。

"The loop that builds them is Sidekick’s continual learning loop, with a hardware twist."

质量定义与前沿模型基准优化

在飞轮的第一步中，“定义质量”是确保后续训练有效性的关键。Shopify聘请产品专家将业务需求转化为具体的评分标准（Scoring Rubric）。以GraphQL任务为例，评估维度包括查询的完整性、执行准确性以及响应质量。

为了自动化这一评估过程，Shopify训练了一个LLM裁判（Judge）。该裁判使用GEPA和ACE优化器进行调优，直到其在保留的人类标签测试集上表现出与人类专家高度一致的一致性。一旦校准完成，这个裁判就能对每一次代理变更、候选模型以及训练运行进行自动打分。两个专家在同一对话上的一致性程度被设定为评估的基准线，确保了评分体系的客观性和可靠性。

在开源模型介入之前，Shopify会先对前沿模型的代理版本进行极限优化。通过一个自动研究循环（Autoresearch Loop），系统每次只提出对提示词、工具描述或控制流的一小处修改。只有当裁判的评分提升时，该修改才会被保留。最终得到的优化版前沿模型将成为“基准线（The Bar）”，开源后训练模型必须超越这一分数才算成功。

"From then on, the judge scores every agent change, candidate model, and training run."

开源模型选择与推理优化策略

在确定基准线后，Shopify进入“选择开源模型”阶段。值得注意的是，Shopify不进行预训练（Pretrain），而是直接在真实的子代理环境中测试开源模型。以NVIDIA Nemotron系列为例，评估指标包括初始质量、服务速度以及在NVIDIA Megatron Bridge中的支持程度。

对于GraphQL任务，Shopify选择了Nemotron 3.5 Lightning。这是一个混合专家（MoE）模型，拥有300亿总参数，但在每个token生成时仅激活其中的30亿个参数。这种架构在保持高性能的同时显著降低了计算开销。选择过程不仅关注模型本身的潜力，还严格考量其是否适配Shopify现有的服务栈。

在“优化推理”环节，Shopify从开始就测量服务性能。他们使用开源负载测试工具NVIDIA AIPerf（位于NVIDIA Dynamo中）对每个工作负载进行基准测试。AIPerf通过重放生产轨迹，但用合成文本替代客户数据来保护隐私。Shopify贡献了对实时响应重放（Live-response replay）的支持，使得多轮测试能够像生产环境一样命中服务器的前缀缓存（Prefix Cache），从而获得更真实的性能数据。

"We don’t pretrain. We test open models like NVIDIA Nemotron inside the real subagent, with the same tools and judge..."

性能基准测试与成本效益分析

基于AIPerf的重放测试结果，Shopify对比了不同的服务栈。对于买家画像（Buyer Profile）这类批处理作业，AIPerf比较了vLLM、SGLang和NVIDIA TensorRT-LLM。结果显示，TensorRT-LLM在每个GPU上执行了最多的工作。此外，NVIDIA的测量数据显示，在Blackwell B200上运行SimGym（Shopify的购物模拟器）比在H200快4.5倍，且成本降低1.48倍。

在训练效率方面，Blackwell架构带来了显著优势。对于Analytics模型的同一FP8后训练任务，八块B300 GPU的训练速度比八块H200快1.86倍，且GPU小时数减少了46%。这种硬件升级直接降低了每次飞轮迭代的成本，使得更频繁的模型更新成为可能。

自我修复机制与持续数据飞轮

“将失败转化为训练数据”是Shopify持续学习循环的核心动力。系统每晚对样本生产GraphQL对话进行裁判评分，任何未达到完美分数的案例都会进入自我修复流程。一个前沿模型充当“批评家”，它只生成提示（Hint）而非直接给出答案，模拟商家带着该提示重新发起请求。

如果重跑结果通过裁判评分，系统会移除提示、匿名化对话并将其加入训练集；如果未通过，批评家最多尝试三次。在最近86个夜间运行周期中，自我修复机制成功修复了59,535条GraphQL对话，占其尝试失败总数的69%。其余未自动修复的案例由人类标注员纠正，这些人工校正结果被加入地面真值（Ground Truth）中，用于进一步校准裁判模型。

"Over 86 nightly runs recently, self-healing repaired 59,535 GraphQL conversations—69% of the failures it tried."

后训练技术与最终成果验证

Shopify使用NVIDIA Megatron Bridge进行后训练。该工具允许将标准的Hugging Face检查点直接导入NVIDIA的Megatron Core训练库，无需重写模型代码。通过在配置层面而非代码层面的调整，实现了跨Nebius节点的扩展。

最终在GraphQL任务上的结果显示：开箱即用的Nemotron 3.5 Lightning裁判得分为37.7分，而前沿模型为73分。经过第一个飞轮回圈后得分提升至61.5。在经历六个回圈并加入61,000条修复示例后，后训练模型的得分达到74.5分，正式超越了前沿模型。

在性能方面，后训练Nemotron在中位数响应时间上仅为0.87秒，而前沿模型API需要6.50秒。其最慢的1%请求（P99）完成速度快了8倍，甚至优于其他同等规模的开源后训练模型。在服务成本上，相比前沿模型的API定价，Shopify通过自托管后训练开源模型实现了90%-98%的成本削减。前沿模型继续保留其擅长的领域：与商家对话和决策调用，而高token消耗的专门工作则转移到了Shopify拥有的开源模型上。

结论

Shopify通过构建“模型优化飞轮”，成功将开源后训练模型转化为超越前沿模型的任务专家。这一过程依赖于精确的质量定义、自动化的自我修复数据生成以及NVIDIA硬件（Blackwell GPU）和软件栈（Megatron Bridge, AIPerf, TensorRT-LLM）的深度协同。最终，Shopify不仅在GraphQL任务上实现了比前沿模型更高的评分（74.5 vs 73）和更快的响应速度，还将服务成本降低了约90%。这证明了“前沿模型负责通用智能与决策，专用开源模型负责高效执行”的混合架构在商业落地中的巨大潜力。