Fireworks AI 演讲者介绍从闭源转向开源模型的三大真相及训练部署闭环

开源模型的生产就绪性与质量差距的本质

演讲者 Jatashri（Jet）指出，当前许多用户正从 ChatGPT 或 Anthropic 等闭源模型转向开源模型，主要驱动力是成本与性能的考量。在 AI 生态系统中存在三个基本事实：首先，开源模型在很大程度上已具备生产就绪（production ready）的状态。以 GLM 5.2 为例，其在编码用例中的表现证明了这一点。开源模型若要在质量上匹敌闭源模型，关键差异在于如何定制化、训练和改进这些开源模型。其次，AI 技术栈正在从“一次性部署”转变为持续的训练到推理（train-to-deploy）闭环。Fireworks AI 的核心价值在于简化这一持续优化过程，使其更具成本效益。

“开源模型在大多数情况下已具备生产就绪状态……如果开源模型不能击败或匹配闭源模型的质量，那么差异化因素来自于你如何定制、训练和改进这些开源模型以匹配置信度。”

大规模推理性能与客户案例数据

Fireworks AI 目前在全球支持超过 10,000 家公司，每秒处理约 20万（200k） 个请求。在 GLM-5.2 发布前，平台已服务约 30万亿（30 trillion） token，且随着新模型发布，日增量至少达到 5万亿 token。这种规模带来了显著的生产影响：

GenSpark 的案例尤为典型。作为提示词驱动系统设计的平台，其从闭源转向开源时的主要瓶颈是质量。Fireworks 协助其进行数据清洗、定义评估函数并执行 RFT 训练，最终实现了显著的质量跃升。此外，Fireworks AI 已筹集约 3.27亿美元融资，团队规模达 200人。这些具体数据展示了平台在大规模推理优化和模型微调方面的实际成效。

Fire Attention 引擎与定制化训练策略

在推理优化方面，Fireworks 拥有自研的 Fire Attention 引擎。其核心逻辑是通过构建自定义 CUDA Kernel，在模型与 GPU 之间建立翻译层。当客户带着特定工作负载和性能目标（如输入/输出 token 数、Prompt Cache Hit Rate）咨询时，Fireworks 会针对该特定用例优化整个 AI 栈及 CUDA Kernel，从而在满足延迟目标的同时降低价格。常用的技术手段包括推测解码（speculative decoding）、解耦架构和量化。

“我们帮助客户优化整个推理栈，包括 CUDA Kernel，以便以更低的成本满足其特定工作负载的性能目标。”

在训练层面，Fireworks 提供三种不同风味的产品以适应不同用户群体。其中，“Training Agent”深受产品经理和开发者的欢迎，旨在降低 AI 推理与训练的入门门槛。这种从底层内核优化到上层训练工具的全栈支持，构成了其“Train-to-Deploy”闭环的核心竞争力。

三大训练产品层级：从自动化到深度定制

Fireworks AI 提供了三种不同层级的训练服务，以满足从初学者到资深 ML 工程师的多样化需求。首先是 Training Agent（训练智能体），这是通过 UI 访问的高级自动化工具。用户只需链接已上传至平台的数据集、描述任务目标并选择模型，智能体便会自动完成数据清洗和超参数微调。正如演讲者所述："> it will even let you choose the model. It will clean the dataset for you. It will also help you do the hyperparameter fine-tuning itself"。这种设计解决了特定工作负载下难以获取正确超参数的痛点，极大降低了入门门槛。

其次是 Managed Training（托管训练），这是目前客户使用最广泛的功能。它支持通过 API 或 UI 操作，流程极简：输入超参数、选择模型、上传数据并点击按钮即可启动。针对训练过程中的可观测性挑战，平台提供了详细的 UI 仪表盘，展示每个 epoch 的学习进度和损失函数曲线。此外，用户还可集成 Weights & Biases API Key，将指标导出至第三方监控平台。这一层级平衡了易用性与必要的透明度。

最后是 Training API（训练接口），面向需要高度自定义的 ML 工程师。该服务允许用户定义自己的训练循环和损失函数，超越了托管服务的限制。这些产品共同支持监督微调、强化微调和 DPO（直接偏好优化）等多种场景，其中 RFT（基于反馈的强化学习）因流行度上升而备受关注。虽然 Training Agent 目前不支持 RFT，但 Fireworks 团队愿意为大型用例提供专家支持。

“训练-部署”数据飞轮：无缝衔接与持续迭代

Fireworks 的核心理念是构建一个连续的“训练-托管”循环。随着用户反馈和新数据的积累，模型需要不断重新训练和部署。平台通过简化这一闭环来提升效率：一旦模型完成训练，用户可一键将其投入生产环境。部署后，平台提供全面的监控指标，包括 token 数量、缓存命中率以及推测解码器（speculator）的工作状态。收集到的反馈数据可直接用于从检查点重新训练，形成闭环。

实现这一飞轮的关键基础设施包括： 1. 广泛的 GPU 资源：通过与多家云和新兴云服务提供商合作，确保计算能力和大规模托管能力。 2. Hotloading（热加载）技术：这是为 Cursor 项目专门开发并开放给公众的功能。它允许在训练出新检查点后，无需停机即可直接替换权重进行实时部署。这种无缝切换对于持续迭代至关重要。 3. 数值保真度（Numerical Fidelity）：许多客户面临跨平台训练与托管导致的质量下降问题，通常源于混合精度不兼容。Fireworks 通过在同一平台完成训练和推理，确保数值一致性，避免质量损失。这种一体化架构不仅保证了模型性能，还使得从训练到生产规模的部署只需一次点击。

智能体辅助的 SFT 计划制定与审批流程

在 Fireworks AI 的训练平台中，用户无需从零开始手动配置复杂的超参数或选择基础模型。系统内置的智能代理（Agent）会根据用户指定的任务，自动生成详细的监督微调（SFT, Supervised Fine-Tuning）计划。该代理不仅会解释其选择特定基础模型的逻辑，例如在本演示中选择了 Qwen 38B 模型，还会提供关于超参数设置及整体训练流程的高层概览信息。用户拥有最终的审批权，在仔细审查代理生成的方案后，若对输出结果感到满意，即可批准该计划。一旦获得用户授权，系统将自动执行后续步骤，并实时向用户反馈每个阶段（如第二步、第三步）的完成状态和具体表现。这种人机协作模式确保了训练过程的透明度和可控性，让用户在享受自动化便利的同时，依然掌握核心决策权。

训练完成后的指标评估与下一步建议

当整个模型训练过程结束后，平台会提供详尽的总结报告。这不仅包括对配置、基础模型以及不同超参数如何影响最终结果的回顾，还包含了关键的性能评估指标。系统会明确展示模型的 准确率（Accuracy） 和 F1分数，帮助用户量化模型在特定任务上的表现。此外，平台的一个显著特色是它会在训练运行结束时，主动推荐下一步的操作建议。正如演讲者所述：

"And at the end of the whole training run, it will also give you a summary... And one cool feature is it also gives you recommended next step as part of the training run itself."

这一功能将训练过程从单纯的模型构建扩展为连续的优化循环，引导用户根据当前结果进行迭代改进。自动化的评估与建议机制降低了专业门槛，使得即使是非专家用户也能基于数据驱动的方式决定后续策略。

可视化训练管理与实验复现能力

除了智能代理辅助，平台还提供了直观的可视化管理界面（UI）。用户只需上传数据集、选择模型和超参数，点击“Create”按钮即可启动训练任务。在训练过程中及完成后，用户可以通过界面查看详细的作业信息，包括所使用的数据集、具体的超参数设置以及模型损失（Model Loss）随时间变化的曲线。这种可视化能力极大地增强了调试效率。更值得注意的是，平台支持克隆（Clone）训练任务的功能。用户可以直接基于之前的成功运行记录，复制实验环境并调整不同的设置和配置进行重新训练。这为A/B测试和超参数调优提供了极大的便利，确保了实验的可复现性和灵活性。

模型部署配置与 API 开发资源

在确认微调后的模型满足需求后，用户可进入部署（Deployment）部分。平台提供了多种预设的模板配置选项，如 Throughput（吞吐量）、Fast（快速）和 Minimal（最小化）。这些模板是基于通用工作负载优化而成的，旨在平衡吞吐量、延迟和首字生成时间（Time to First Token）等关键指标。用户无需深入底层基础设施细节，即可根据业务需求选择合适的部署方案。对于希望通过编程方式集成训练流程的开发者，虽然由于客户环境差异导致无法展示完整的 API 演示，但 Fireworks AI 官网提供了丰富的 Cookbooks（代码示例）。这些资源特别适用于希望自定义训练循环和损失函数的高级用户，帮助他们构建更灵活、个性化的 AI 应用闭环。

结论

Fireworks AI通过构建“训练-部署”闭环，有效解决了开源模型在生产环境中面临的质量与性能挑战。其核心优势在于自研Fire Attention引擎带来的极致推理加速（如Cursor案例中13倍提速）以及通过RFT训练实现的质量跃升。平台提供的三层级训练工具链，从自动化Agent到自定义API，兼顾了易用性与深度定制需求。一体化架构确保了训练与推理的数值保真度，配合Hotloading技术实现了无缝迭代。

然而，该方案主要适用于具备一定数据清洗与评估能力的团队。尽管Training Agent降低了门槛，但RFT等高级功能仍需专家支持或手动配置。对于追求极致低成本且无需高度定制化的通用场景，闭源模型仍具竞争力；但对于需要特定工作负载优化、严格数据隐私及持续迭代的复杂应用，Fireworks提供的端到端解决方案展现了显著的生产就绪价值。