开源与闭源的终局博弈及蒸馏技术路线

Fireworks AI联合创始人Benny Chen指出，开源模型正在从“替代品”转变为行业的基础设施标准。尽管闭源大模型在短期内仍拥有性能优势，但开源生态通过更快的迭代速度和更低的部署成本，正在逐步缩小这一差距。Benny强调，开源的核心竞争力在于其可定制性和数据隐私的安全性，这使得企业能够根据自身业务场景进行微调（Fine-tuning），而无需担心数据泄露给模型提供商。这种趋势不仅限于技术层面，更深刻地影响了企业的战略选择：企业越来越倾向于将开源模型作为长期资产进行投资，而非仅仅依赖闭源API的服务。

在技术演进路径上，Benny详细阐述了蒸馏（Distillation）技术在开源模型保持领先中的关键作用。他认为，通过从顶级闭源模型中提取知识并压缩到较小的开源模型中，开发者可以在保持较高性能的同时显著降低推理成本。这种技术路线使得中小团队也能拥有接近SOTA（State-of-the-Art）能力的模型。蒸馏并非简单的压缩，而是一种知识迁移过程，它允许开源社区快速吸收最新的技术成果。Benny表示：“我们看到的趋势是，蒸馏后的模型在特定任务上的表现已经非常接近原始大模型，但推理速度提升了数倍。”这种效率提升对于大规模部署至关重要。

“开源模型正在从‘替代品’转变为行业的基础设施标准。”

Benny进一步指出，开源与闭源的竞争并非零和博弈，而是互补共存的关系。闭源模型在通用能力和前沿探索上仍具优势，而开源模型则在垂直领域和定制化服务中占据主导。这种分工使得整个AI生态系统更加丰富多样。企业应根据自身需求灵活选择：对于需要高度定制化和数据敏感的场景，开源模型是首选；而对于追求极致通用能力的场景，闭源模型仍有其不可替代的价值。这种多元化的格局将推动AI技术的快速普及和深化应用。

闭源模型增长潜力与垂直领域 vs 通用模型的较量

关于闭源SOTA（State-of-the-Art）模型的收入增长率能否持续，Benny持谨慎乐观态度。他认为，虽然初期的高增长部分源于市场教育和早期采用者的红利，但长期来看，增速将趋于平稳。这是因为随着更多企业进入AI领域，市场竞争加剧，价格战不可避免。闭源模型必须通过提供更高的附加值来维持其溢价能力，例如提供更强的安全性、更好的合规支持或更专业的行业解决方案。Benny预测，“未来两到三年内，闭源模型的市场份额可能会受到开源模型的挤压，尤其是在中低端市场。”

在垂直领域与通用模型之战中，Benny以Harvey法律垂类模型为例进行了分析。他指出，“垂直领域模型的成功关键在于对特定行业知识的深度理解和精准应用。Harvey之所以能在法律领域脱颖而出，是因为它不仅仅是一个语言模型，更是集成了大量法律文书、案例分析和行业规则的专业工具。”相比之下，“通用SOTA模型虽然具备广泛的语言能力，但在处理高度专业化的任务时往往显得力不从心。”这种差异使得垂直模型在特定场景中具有更高的价值和用户粘性。

“闭源模型必须通过提供更高的附加值来维持其溢价能力。”

Benny强调，垂直领域模型的开发需要深厚的行业积累和技术投入。这不仅包括对数据的清洗和标注，还需要与行业专家紧密合作，确保模型输出的准确性和可靠性。例如，“在法律领域，错误的法律建议可能导致严重的后果，因此模型的准确性至关重要。”相比之下，通用模型虽然覆盖面广，但在深度和专业性上难以与垂直模型抗衡。这种趋势表明，“未来AI应用将更加细分和专业化，通用模型将更多地扮演基础平台的角色。”

Fireworks平台Token增长与应用赛道分析

Fireworks平台上的Token增长速度反映了市场对AI推理需求的强劲动力。Benny透露，“过去六个月，我们的平台Token使用量增长了超过300%。”这一数据不仅体现了用户数量的增加，更反映了单个用户使用频率和深度的提升。这种增长主要集中在编程、客服和内容生成三大应用赛道。其中，编程赛道的增长速度最快，因为开发者对代码生成的依赖程度日益加深。

在估算北美客户在开源模型上的总支出时，Benny指出，“目前北美企业在AI基础设施上的投入约占其IT预算的5%-10%。”这一比例预计将在未来两年内翻倍。他分析道，“企业愿意为开源模型支付溢价，主要是因为其带来的灵活性和成本可控性。相比闭源API按Token计费的不可预测性，开源模型的固定成本更容易预算和管理。”此外，“随着模型规模的扩大和推理效率的提升，单位Token的成本正在迅速下降”，这使得更多中小企业能够负担得起AI应用。

“过去六个月，我们的平台Token使用量增长了超过300%。”

对于未来六个月的趋势，Benny预测，“北美市场的Token支出将继续保持高速增长，但增速可能会略有放缓。这是因为市场正在从早期的狂热转向理性部署阶段。”他特别提到，“企业开始更加注重ROI（投资回报率）的衡量，而不是单纯追求技术指标。”这意味着，“那些能够证明AI应用能带来实际业务价值的企业将获得更多的资源倾斜。”这种转变将推动整个行业向更加成熟和可持续的方向发展。

北美客户偏好模型与Coding赛道的TAM空间

在北美市场，开源模型的偏好呈现出明显的多样化特征。Benny指出，“Qwen、Llama和Mistral是目前最受欢迎的三大开源模型系列。其中，Qwen在中文和多语言任务中表现优异，Llama因其强大的通用能力和活跃的社区支持而广受欢迎，Mistral则在欧洲市场拥有较高的份额。”这种偏好反映了不同模型在特定任务上的优势以及企业在选择时的权衡。

关于Coding赛道的渗透率与TAM（Total Addressable Market，总可寻址市场）想象空间，Benny认为，“编程是目前AI落地最成熟的场景之一。目前，全球开发者中约有20%已经开始使用AI辅助编程工具。”他估算，“如果这一比例在未来三年内提升到50%，那么Coding赛道的TAM将达到数千亿美元级别。”他强调，“AI不仅提高了编码效率，还降低了编程门槛”，使得非专业开发者也能参与软件开发。这种趋势将极大地扩展软件开发的边界。

“编程是目前AI落地最成熟的场景之一。”

Benny进一步分析道，“Coding赛道的增长不仅仅体现在代码生成上，更体现在整个软件开发生命周期的优化中。从需求分析、架构设计到测试和维护，AI都在发挥重要作用。”例如，“自动化代码审查和缺陷检测可以显著减少人为错误，提高软件质量。”此外，“AI还能帮助团队更好地理解代码库和业务流程”，从而加速创新。这种全方位的影响使得Coding赛道成为AI基础设施中不可或缺的一部分。

模型定制与Fine-tuning的客户顾虑及回炉机制

当新开源模型上线时，客户往往担心之前微调（Fine-tune）的旧模型会被“洗掉”或失效。Benny对此进行了澄清，“我们的平台支持模型的版本管理和无缝迁移。客户可以基于最新的基座模型重新微调，而无需从头开始。”他解释道，“大多数情况下，新模型的架构和训练数据与旧模型相似，因此迁移成本较低。”此外，“Fireworks提供了自动化工具来评估新模型的性能差异”，帮助客户做出明智的决策。

对于企业而言，权衡开源与闭源、本地部署与云端部署的因素多种多样。Benny指出，“数据隐私和安全是企业选择开源模型的首要原因。许多金融机构和医疗机构无法将敏感数据上传到公共云。”其次，“成本可控性也是重要考量。开源模型允许企业根据实际需求灵活扩展资源，避免被单一供应商锁定。”相比之下，“闭源模型在易用性和技术支持方面具有优势”，适合那些缺乏AI专业团队的企业。

“我们的平台支持模型的版本管理和无缝迁移。”

关于模型上线后是否需要“回炉”（即重新训练或微调），Benny表示，“这取决于业务场景的变化速度。如果行业规则或用户偏好发生显著变化，模型可能需要定期更新。”例如，“在法律领域，新法规的出台可能要求模型调整其输出逻辑。”他建议企业“建立持续的监控和评估机制”，以确保模型始终保持在最佳状态。这种动态调整能力是开源模型相比闭源API的一大优势。

从PoC到生产的关键变量与评估缺口

许多企业在AI项目初期（PoC，概念验证）阶段表现良好，但在进入生产环境时却遭遇失败。Benny指出，“从PoC到生产的关键变量在于数据的规模、质量和实时性。在PoC阶段，企业通常使用小规模的高质量数据进行测试，但在生产环境中，数据量可能增加几个数量级。”他强调，“数据的噪声和偏差会在大规模应用中被放大，导致模型性能下降。”因此，“**建立 robust 的数据管道和清洗流程至关重要。”

此外，Benny提到“评估（Evaluation）体系的缺失是另一个主要缺口。许多企业缺乏科学的模型评估标准，仅凭直觉或少数案例来判断模型效果。”他建议，“构建多维度的评估框架，包括准确性、安全性、公平性和效率等指标。”例如，“对于客服模型，不仅要关注回答的准确率，还要评估其语气和同理心。”这种全面的评估有助于发现潜在问题并及时调整。

“从PoC到生产的关键变量在于数据的规模、质量和实时性。”

Benny还强调，“人机协作流程的设计也是成功的关键。在生产环境中，模型往往不是独立工作，而是与人类专家协同。如何设计高效的人机交互界面和反馈机制，直接影响最终的业务效果。”例如，“在医疗诊断中，AI提供初步建议，医生进行复核和决策。”这种协作模式既利用了AI的效率，又保留了人类的专业判断。因此，“企业在部署AI时，必须同时优化技术流程和业务流程。”

推理优化的两门生意与硬件配置效率

Benny将AI基础设施的商业模式概括为“两门生意”：一是推理优化（Inference Optimization），二是模型定制（Model Customization）。他认为，“推理优化的空间依然巨大，尤其是在硬件利用率方面。目前，许多GPU集群的利用率不足50%，这意味着存在巨大的效率提升潜力。”他解释道，“通过动态批处理、模型量化和算子融合等技术，可以将推理成本降低30%-50%。”这种优化不仅降低了企业的运营成本，也提高了服务的响应速度。

在硬件配置优化方面，Benny引入了一个“无量纲数”的概念来衡量效率。他指出，“这个数值反映了单位算力下的Token产出率。不同硬件架构（如NVIDIA GPU、TPU或ASIC）在这个指标上表现各异。”他举例说明，“对于某些特定模型，定制化的ASIC芯片可能比通用GPU快5倍。但对于大多数企业来说，通用的云基础设施已经足够满足需求。”因此，“选择合适的硬件架构需要基于具体的模型特性和业务负载进行精细测算。”

“推理优化的空间依然巨大，尤其是在硬件利用率方面。”

Benny进一步分析道，“软件栈的优化同样重要。例如，通过改进编译器和优化运行时环境，可以显著提升推理速度。Fireworks的核心竞争力之一就在于其高效的软件栈。”他透露，“我们的平台能够将主流开源模型的推理速度提升2-3倍，同时降低内存占用。”这种软硬结合的能力使得Fireworks在激烈的市场竞争中保持了领先地位。此外，“随着新硬件的不断推出，软件栈也需要持续迭代以适应新的架构特性。”

定制模型的成本构成与回炉必要性分析

对于什么样的企业适合定制模型，Benny认为，“那些拥有独特业务逻辑、大量专有数据且对响应速度有极高要求的企业最适合定制模型。”例如，“大型零售企业可能需要根据用户行为数据实时调整推荐算法，而通用模型无法做到这一点。”他补充道，“定制模型的另一个优势是能够完全控制数据流向，确保合规性。”这对于金融、医疗等受严格监管的行业尤为重要。

在定制RL（Reinforcement Learning，强化学习）过程中，“最耗时花钱的部分在于奖励函数的设计和数据标注。Benny指出，“构建一个有效的奖励函数需要深入理解业务目标，并经过多次迭代测试。”此外，“高质量的对齐数据（Alignment Data）往往需要领域专家手动标注，成本高昂。”他估算，“一个中等规模的定制项目可能需要数月时间和数十万美元的投入。”因此，企业需要谨慎评估ROI。

“最耗时花钱的部分在于奖励函数的设计和数据标注。”

关于客户模型上线后是否需要“回炉”，Benny表示，“这取决于业务场景的变化频率。如果行业规则或用户偏好发生显著变化，模型可能需要定期更新。”例如，“在法律领域，新法规的出台可能要求模型调整其输出逻辑。”他建议企业“建立持续的监控和评估机制”，以确保模型始终保持在最佳状态。这种动态调整能力是开源模型相比闭源API的一大优势。

Fireworks核心竞争力与CSP云厂的竞合关系

Fireworks的核心竞争力在于其“与大型云服务提供商（CSP）的竞合关系”。Benny解释道，“我们既与AWS、Azure和GCP竞争，也与它们合作。”在竞争层面，“Fireworks提供更专注的AI推理服务，响应速度更快，成本更低。”而在合作层面，“我们运行在CSP的基础设施之上，利用其庞大的资源池。”这种模式使得Fireworks能够灵活应对市场变化。

随着RSI（Resource Scaling Infrastructure，资源扩展基础设施）的全面自动化，“Fireworks的核心竞争力将转向算法优化和用户体验。”Benny指出，“当硬件资源变得像水电一样易于获取时，软件层面的差异化将成为关键。”他强调，“我们的目标是让开发者能够以最低的门槛和最简单的代码部署高性能模型。”这种易用性吸引了大量中小型企业和独立开发者。

“我们既与AWS、Azure和GCP竞争，也与它们合作。”

Benny还提到，“与CSP的合作关系有助于我们获取最新的硬件资源和技术支持。”例如，“NVIDIA最新发布的GPU往往优先提供给Fireworks等合作伙伴进行测试和优化。”这种紧密的合作关系使得Fireworks能够始终站在技术前沿。此外，“CSP也受益于我们的专业服务，因为它们可以将AI推理负载外包给我们，从而专注于核心云业务。”这种双赢的局面巩固了Fireworks的市场地位。

未来挑战与大厂CapEx的反向算账

展望未来一两年，Benny认为“最大的挑战在于如何平衡性能、成本和数据隐私”。“随着模型规模的不断扩大，推理成本也在急剧上升。企业需要在追求更高性能和控制预算之间找到平衡点。”他预测，“未来将出现更多混合部署模式，结合云端和边缘计算的优势。”此外，“数据隐私法规的日益严格也将对模型部署提出更高要求。”

在大厂CapEx（资本支出）与ROI的讨论中，Benny提出了“反向算账”的观点。他指出，“许多科技巨头在AI基础设施上的巨额投入，短期内难以看到明确的回报。”他分析道，“如果开源模型能够以更低成本提供相近的性能，那么大厂的高价闭源服务将面临巨大压力。”他建议，“企业应重新评估其AI投资策略，优先考虑那些能够快速产生业务价值的场景。”这种理性的思考有助于避免盲目跟风。

“许多科技巨头在AI基础设施上的巨额投入，短期内难以看到明确的回报。”

Benny最后总结道，“AI行业的终局不是单一模型的胜利，而是生态系统的繁荣。”他强调，“开源和闭源将长期共存，各自发挥优势。”对于企业而言，“选择最适合自身需求的模型和部署方式才是关键。”他鼓励开发者“积极参与开源社区，共同推动技术进步。”这种开放合作的精神将加速AI技术的普及和应用。