前沿模型的局限与持续学习飞轮的必要性

虽然利用前沿模型（Frontier models）能快速推出 AI 产品，但随着规模扩大，其高延迟和高成本成为瓶颈。更关键的是，前沿模型是通用型的，且处于“冻结”状态，无法从生产环境中自动学习。用户的纠正、被拒绝的输出或重复性失败本应是宝贵的知识，但在传统架构中，这些改进仅积累在提示词编辑、检索示例和路由规则等离散工件中，而模型权重保持不变。为了解决这一问题，我们需要构建一个“飞轮”（Flywheel），即持续学习循环，将生产经验压缩并反馈到模型的连续参数空间中。Shopify 的 GraphQL agent 是这一循环在生产环境中运行的典型案例，该飞轮不仅提供了比前沿模型更高质量的服务，还实现了延迟降低和成本削减 96%的显著成效。

定义质量：构建可靠的奖励信号与评估标准

在持续学习循环中，定义质量标准是最关键且常被忽视的一步。质量规范转化为驱动学习的奖励信号，一旦出错，下游优化将导致错误的行为。质量标准始于一个包含完整性、执行能力、响应质量和安全性等维度的评分量表（Rubric），并为每个分数提供具体的锚点。为了确保量表的可靠性，必须使用随机采样的流量数据而非仅 curated 的“金标准”数据集来揭示生产环境中的真实好坏表现。在收集标注时，要求两位最佳专家盲注 25 个随机样本并计算Cohen's kappa一致性系数。如果一致性很低（约 0.2），说明量表存在歧义，需要迭代直至专家间达成一致。这种一致性构成了评估者的上限目标：即使人类专家也无法在所有情况下达成 100% 一致，因此评估者的目标是达到与人类互评相当的准确度。此外，标注必须包含详细的推理过程（“为什么得分”），而不仅仅是分数和一句话总结，以便校准算法从中学习。

校准评估者：从离线指标到在线表现的映射

评分量表仅是起点，需要通过基于反射的优化器（如 GEPA 和 ACE）将其校准为能在海量生产数据上运行的评估者。GEPA 通过反思自然语言失败轨迹来进化提示词，并维护候选方案的帕累托前沿；ACE 则通过增量编辑构建结构化剧本。校准后的评估者是离线指标，必须验证其能否反映真实流量性能并与在线指标对齐。通过回溯测试历史 A/B 测试结果，确认评估者能正确识别已知的胜负方向（如参与度、留存率等）。此外，还需进行针对性的退化测试：故意使某项行为变差（如停止满足用户目标），确认对应标准分数下降，以验证评估者的敏感性。建议保持每个评估者小而专注，避免将所有产品行为塞入单一模型中，以便更容易解释测试结果并建立信任。

从离散工件优化到参数空间微调的演进

在拥有可靠评估者后，首先通过自研搜索（Autoresearch）优化基于前沿模型的基线系统。由于生产应用涉及动态提示、自定义控制循环和编排代码，单一提示词调优效果有限。因此，将优化目标扩展至整个“Harness”（包括提示、工具定义和编排代码），采用类似 Karpathy 项目的自研搜索方法：智能体提出更改，评估者评分，保留改进方案并丢弃无效方案。所有配置在一个可读的 Markdown 文件中完成。当 Harness 优化达到瓶颈时，系统进入参数空间优化阶段：从匿名生产流量中挖掘“困难负样本”（Hard Negatives），即评估者评分低且暴露模型弱点的对话。这些包含部分上下文、模糊请求或工具失败的案例，通过前沿推理模型面板转化为训练信号，由强化学习（RL）折叠回模型权重中，从而实现系统的自我修复和持续进化。

自我修复与持续学习闭环

Sidekick 构建了一个每日运行的自我修复管道（Self-healing pipeline），将生产环境中的低分对话转化为高质量轨迹。该流程首先由前沿推理模型组成的评审团对失败案例进行批判，仲裁者将这些批评合并为单一的修复指令（即“提示”），并在用户轮次前注入。随后重放对话并由裁判评分，若通过则作为强化学习（RL）的轨迹，以裁判分数为奖励；若失败则标记供人工标注。Toloka 的专家 annotators 使用与校准裁判相同的标准修正无法修复的案例。

训练分为两个阶段：首先通过监督微调（SFT）将愈合后的轨迹蒸馏到较小模型中，重点在于继承包含推理过程的完整链式思维（Chain-of-Thought），而不仅仅是最终答案。其次应用 GRPO，利用校准后的裁判作为奖励信号，对每个提示采样一组响应并强化表现最佳者。这种机制确保了模型不仅模仿成功轨迹，还直接针对质量定义进行优化。

"Supervised fine-tuning teaches the model successful trajectories to imitate; GRPO optimizes it directly against our definition of quality."

随着飞轮转动，训练涵盖新轨迹与先前数据，限制了灾难性遗忘（Catastrophic forgetting）。最终，模型质量上升并超越前沿基线。

提示压缩与服务加速

即便拥有更优模型，长且静态的系统提示仍是延迟和服务成本的固定税赋。为解决此问题，Sidekick 采用 Gist compression（摘要压缩）技术：使用一个带有完整系统提示的教师模型和一个仅带少量学习到的 gist 标记的学生模型进行训练。通过冻结权重并匹配输出分布，将数千 token 的提示压缩为少量 gist 标记。

"The result is a handful of tokens that reproduce the prompt's behavior at a fraction of the length, with no measured quality loss on the judge."

这种压缩在不损失裁判评分质量的前提下，显著减少了序列长度。由于注意力机制随序列长度扩展，缩短提示直接降低了每个生成 token 的计算负担，从而提升了推理速度并减少了服务成本。

GraphQL Agent：飞轮实战效果

在 Shopify 的 GraphQL agent（每分钟处理高达 2,000 次请求）中，这一循环效果显著。该代理通过编写和运行查询来回答商家关于库存等问题。

  • 性能超越：持续学习使专用模型在 SFT 和 RL 结合下，表现超越了前沿基线。
  • 成本大幅降低：使用前沿模型服务同等流量预计年成本为 $27M，而微调后降至约 $1M，实现 96% 的成本缩减。
  • 速度提升与硬件释放：提示从约 6,000 tokens 压缩至 1,500 tokens。在每分钟 350 次请求的压力测试中，首 token 延迟降低约 19%，端到端延迟降低约 38%。吞吐量提升：每秒请求量增加 16%，输出 token 量增加 12%，同等流量下所需 GPU 减少约 14%。

超越工具链的持续优势

前沿模型仅用于启动，初期的改进多局限于提示、上下文等离散工件。而持续学习（Continual learning）将这些经验转化为模型连续参数空间的更新。

"That is how a smaller model becomes faster, cheaper, and better at your task than the frontier baseline."

每个循环都始于一个更强大的模型，而非仅仅是更复杂的工具链。这种将生产经验转化为更好权重的持续循环（Loop），构成了持久的竞争优势，使小模型在速度、成本和任务表现上全面超越前沿基线。

References

  • Agrawal et al. GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning.
  • Zhang et al. Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models.
  • Hsieh et al. Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes.
  • Shuttleworth et al. LoRA vs Full Fine-tuning: An Illusion of Equivalence.
  • Wingate et al. Prompt Compression and Contrastive Conditioning for Controllability and Toxicity Reduction in Language Models.
  • Mu et al. Learning to Compress Prompts with Gist Tokens.

结论

Sidekick的持续学习飞轮证实，将生产经验转化为模型参数更新是突破前沿模型局限的关键。通过构建可靠的奖励信号、校准评估者并执行自研搜索与强化学习，专用模型在质量上超越了前沿基线。Shopify GraphQL Agent的案例显示，该机制实现了96%的成本削减及显著的延迟降低与吞吐量提升。Gist压缩技术进一步在不损失质量的前提下优化了推理效率。

然而，这一优势依赖于严格的评估校准和复杂的自我修复管道。其核心结论在于：小模型通过持续迭代连续参数空间，能在速度、成本和任务表现上全面超越依赖静态权重的前沿模型。这并非单纯的工具链优化，而是通过数据闭环构建的持久竞争壁垒，证明了持续学习在规模化生产环境中的必要性与有效性。