大家好，我是 Snorkel AI 的研究科学家 Charles。今天我将分享我们如何让一个拥有 40 亿参数的模型，在模拟金融环境中击败其 2350 亿参数变体的故事。这一特定结果揭示了企业 AI 工作负载中可靠性与专业化往往比原始参数规模更重要，且通过高质量数据可实现这一目标。Snorkel AI 是一支由华盛顿大学、威斯康星大学和斯坦福大学的创始人及内部顶尖研究人员组成的前沿人工智能数据实验室，致力于在学术界与工业界研究的交汇点构建和部署数据集。我们通过开源基准测试、前沿实时数据环境以及企业级部署来定义先进 AI，并支持独立研究与出版。

本次研究是与加州大学伯克利分校 Sky Computing Lab 合作的成果，我们构建了基于 Qwen 的 40 亿参数模型以在金融任务中超越其 2350 亿参数的变体。结果显示，40 亿参数模型的通过率接近 60%，而 2350 亿模型仅为 51%。这一成就归功于 Snorkel 团队与 Sky Computing Lab 的 Manon Rupta、Shujian Tang、Bhavishya 和 Chris Glaze 的共同努力。所有训练脚本及合成数据均已开源并在 GitHub 上提供，供社区使用和研究参考。

金融机构对 AI 的需求源于我们在企业部署中的经验及 FinQA 开源基准测试，后者是经过专家验证的金融问答数据。这引出了“两个模型”的故事：大型通用型与小型专家型。金融机构关注的核心在于模型能否在复杂的模式、遗留 API 和技术债务中运行，以及在长流程中是否可靠且可审计。虽然扩展定律常被提及，但专业化工作流并不需要通才，正如税务审计需要专家而非陶哲轩。因此我们构建了 FinQA 基准和训练数据，通过多阶段流水线确保数据的专家验证质量。

FinQA 的数据构建始于从 SEC 要求的上市公司年度报告（10-K）中提取模式和数据。我们利用 Edgar 系统获取这些报告，并使用 Qwen-30B 模型生成约 6900 个 SQL 表，每个表对应一个问答对。这些问题基于与金融专家共同开发的分类法生成，并附带元数据作为上下文。随后进行三层验证：首先是利用元数据进行程序一致性检查以防止幻觉；其次是由独立代理进行的自动化审查；最后是专家的人工审核，确保问答的真实性和准确性。

最终生成的 Snorkel FinQA 数据集包含约 7000个表，分为训练集（4000）、验证集（500）和测试基准（290），且确保任何公司在不同拆分中均不重叠。该数据要求模型具备规划、工具使用和推理能力，并提供单一可验证的最终答案。基于此数据集，我们识别出即使是前沿模型也存在的纪律差距和失败模式：首先是“模式幻觉”，即模型假设不存在的表或列存在；其次是“上下文泛滥”，如盲目执行全量查询导致上下文溢出。

此外，模型还表现出从错误中恢复能力差的问题，例如在失败后重复相同策略而非根据错误信息调整。这些失败模式不仅出现在大模型中，也揭示了在真实金融环境中对可靠性和专业化需求的紧迫性。通过针对这些特定弱点进行优化，小参数模型能够展现出超越更大规模通用模型的效能和稳定性。这一发现强调了在垂直领域通过高质量数据训练专用模型的价值，为企业 AI 部署提供了新的思路。

今天我要讨论的不仅是金融环境，还包括我们在保险承保方面所看到的情况。这是一项我在几周前的 CAIS 会议上提出的工作，现在我将深入讲解如何训练 R LLM FinQA 40亿参数模型。为此，我们使用了由 R Sky Computing Lab 合作者开发的 R LLM 框架。如果你还没有使用过这个工具，它是一个极其用户友好的平台，我想强调几个核心功能：它真正兼容任何智能体框架，仅需使用装饰器模式即可实现近乎零的代码修改；具备命令行优先的工作流，并经过实战验证。

我们看到 R LLM 不仅在金融案例研究中得到了提升，在数学推理等方面也是如此。内置了多种强化学习算法，例如 GRPO、Reinforce RL 和 OOO 等，你可以对其进行自定义，并支持多种训练后端。好的，现在介绍我们的训练环境，这是用于我们模型训练的架构。智能体在 React 循环中运行，并拥有访问工具以与我们生成的表格进行交互的能力。该环境包含我们创建的约 7,000个表格，最终奖励由语言模型作为裁判判定为二进制的正确性。在这种情况下，我们使用 GPT 5 nano 进行基于参考的评估。

训练细节列在这里，我想这对大家来说会很有趣。我们的基础模型是 Qwen 3 40亿参数，优化采用 GRPO 和二值奖励以及 RL 框架。我们运行了大约 1,000个并发环境来生成轨迹，而获得我们所见结果的成本低于500美元。在计算成本方面，大约420用于计算，40美元用于裁判 API 的费用。这是在八块 H100 GPU上运行的。第一个结果是核心问题：一个拥有专用工具和训练的40亿参数模型，真的能与更大的变体竞争吗？答案是肯定的。

我们看到基础模型的准确率翻了一番以上，并且超越了其更大的变体——2350亿参数模型。尽管它的大小只是后者的零头，但我们在此展示的所有模型都是在专家策划的保留290个样本集上进行评估的。一个自然的担忧是，这是否真的能转移到更难的问题上？目前这只是单表上的单个问答对。为了调查这一点，我们查看了我们的 FinQA 推理数据。这是对我之前展示的 FinQA 数据的开发版本。

区别在于，现在我们需要依赖多个表格（2到5个），并且需要顺序的决策制定和规划。我们在这个数据集上进行了评估，你可以看到分解情况：训练集约1,000个，验证集120个，基准测试80个。我们看到工具使用的纪律性直接从简单数据的训练中泛化出来。实际上，不需要对多表示例进行显式训练就能在这个多表变体数据集中看到提升。我们将通过消融研究来调查其原因。

但我们接下来的担忧是，这些结果是否会泛化到更通用的用例中？为此我们使用了 BFCL 基准测试，它衡量通用工具调用能力。整体准确率实际上略有提高，并且在多轮对话和记忆方面也有轻微增益。因此，当我们为此模型进行强化学习微调时，专业化并没有侵蚀模型的更广泛工具使用能力。为了隔离是什么驱动了这种性能，我们对数据混合进行了消融研究，即我们组合训练数据的不同方式。

第一种方法仅在 FinQA 数据上训练；第二种是单表和多表的混合；最后是一种课程学习，我们从单表开始然后过渡到多表。令人惊讶的是，仅在更简单的数据集上训练导致了最大的提升。这在一定程度上解释了我们之前看到的泛化结果瓶颈从来不是推理深度，而是工具使用，这意味着模型实际上是在失败并提高其可靠性方面得到了改进。一旦你掌握了基础，就可以组合这些技能。

好的，让我回到下一页。下一个自然的问题是，是否更多 informative 的奖励信号——例如奖励中间步骤、表格访问、查询完整性等——实际上可以加速学习。这与课程学习不同，例如我们提出的最复杂的变体是一个评分标准（rubric）。它使用细粒度的评分，包含多个加权组件。这是由专家提出的。尽管我们在奖励工程上投入了大量精力，但我们再次发现简单更好。一个单一的二值奖励信号在这个数据集上带来了最大的提升。

这引导我们制定了一个蓝图，我们正在为企业智能体开发这一方案。总的来说，这项研究表明，当你拥有代表目标结果和任务的高质量数据时，小模型可以通过强化学习成功训练。这可以为特定任务和领域带来更好的部署经济效益。我们在包括医疗、法律和保险在内的其他领域中看到并重复了这一结果，我之前也提到了这一点，大家可以去看看。

关于我们构建评估智能体的视角，我们认为环境复杂度是最重要的维度之一。环境和动态性有多复杂？智能体在其中运行的方式是否真实反映了人们实际使用智能体的长度和视野范围？他们是否能自主做出安全且良好的决策？作为副驾驶，他们的判断力能否随着时间的推移而提高？最后是输出复杂度。我们要捕捉日常工作中广泛的输出范围。

我认为这一点目前尚未得到充分探索。新的基准测试正在这一方向上涌现，但我看到主要焦点仍然集中在文本制品上。在这些设置中创建更严格的评估是一个巨大的机会，这方面的进展正在取得。在此背景下，我要宣传我们的开放基准测试资助计划，该项目由此获得资金支持。这是一个数百万美元的承诺，旨在生产像这样的开放基准测试。我们在 Agent Arena、Last Exam、Judgment Bench 等方面取得了巨大成功，其他项目也在陆续推出。

这极大地加速了我们衡量前沿和塑造前沿的能力。要申请，请查看我们的网站。你将经历提交、筛选审查流程，开发，最后是发布和宣传。我也想强调我们正在招聘专业人员，无论是工程师还是研究人员，应有尽有。大家可以去我们的网站查看相关信息。

最后，非常感谢大家的参与。大家可以使用这个二维码查看博客文章，以及获取发布在 GitHub 和 Hugging Face 上的所有相关代码库和资源链接。谢谢大家。