数据的商业价值逆转：从被低估到千亿市值
在2016年，作者离开博士项目创立Focal Systems时，业界普遍认为数据是“大宗商品”，甚至认为数据业务的终值为零。当时除了Excel的Levy外，几乎所有风险投资家都持此观点，并质疑Scale等公司的价值。然而，过去十年间，数据领域创造了超过一千亿美元的市值。这一巨大的市场变化证明了VC社区对数据认知的彻底转变。如今，架构、GPU算力甚至能耗已不再是主要瓶颈，真正的制约因素在于数据。这种转变并非偶然，而是随着Transformer等架构的成熟，模型能力趋于饱和后，数据质量成为决定性能上限的关键变量。
工业界与学术界的范式翻转：从架构到数据
在学术界，研究者往往将95%的精力投入模型架构设计。例如Andrej Karpathy曾指出，在博士期间他花费95%的时间思考架构。但在工业界生产环境中，这一比例发生了剧烈翻转。如今在实战中，97%的精力应聚焦于数据。作者分享了一个经典的面试案例：当模型在“热狗/非热狗”分类任务中达到85%的F1分数时，如果候选人回答“阅读论文、尝试ReLU/GELU激活函数或增加层数”，则直接淘汰。正确的做法是深入分析数据，分类处理假阳性和假阴性样本。在Focal Systems的实际案例中，冰箱起雾或有人遮挡导致无法识别库存状态，增加模型层数毫无帮助。这揭示了当架构具有高度表达能力时，数据的重要性远超架构本身。Karpathy曾亲自测量人类在ImageNet上的表现以确立基准，发现即使是专家也难以区分某些相似犬种（如爱斯基摩牧羊犬与西伯利亚哈士奇），而ImageNet中约30%-40%的图像都是狗，这进一步说明了训练数据的质量直接决定了模型的天花板。
从App生态看AI数据公司的必要性
在构建具备特定专业能力的语言模型（LLM）时，数据是核心瓶颈。如果希望AI能像医生、会计师或律师一样工作，必须依赖强化学习（RL）环境中的高质量数据。这类似于智能手机生态：苹果或安卓系统本身不需要亲自开发“送外卖”功能，而是依赖Instacart等独立应用。同理，通用大模型厂商不应试图自建所有垂直领域的专家数据网络。正如演讲者Vincent Chen所言，让苹果去建立完整的医疗HIPAA合规体系或律师网络是低效的。单一专注的公司负责构建特定领域（如AI医生）的数据环境、网络及偏好数据，比通用大厂自建更具合理性。这种分工模式意味着，垂直领域的专家数据公司将成为AI生态中不可或缺的“App”。
专家监督：从Data 1.0到复杂环境的演进
Snorkel团队的核心论点在于，扩展专家监督（Scaling Expert Supervision）是构建有效数据集的真正瓶颈。在早期的Data 1.0阶段，数据标注主要依赖基础的“点赞/点踩”或简单的提示-回复对。这一过程被量化为每个标签仅需约30秒的人类判断时间。然而，随着AI能力的提升，数据形态发生了根本性变化。现代评估不再局限于简单标签，而是需要构建包含任务、评分标准（Rubrics）和验证器的完整环境。这些环境通常打包在Docker容器中，以模拟Agent实际运行的空间。数据构建的复杂度从秒级跃升至小时甚至天级别，导致专家的时间成为稀缺资源。
手动标注的局限性与新范式的需求
传统的手动标注方法存在两个致命缺陷：不可扩展性与对噪声的脆弱性。在Data 1.0范式下，数据成本被视为O(n)问题，即每增加一个数据点都需要新的人工认知投入。此外，为了降低噪声，传统方法不得不引入冗余机制（如K-by-N重标），这进一步加剧了成本。相比之下，现代复杂数据环境需要专家投入单数到三位数的工时来开发评估体系。Vincent Chen指出，关键挑战在于如何将专家头脑中的判断标准高效地转化为数据。Snorkel的研究重点正是解决这一转化过程，通过技术手段放大专家的影响力，而非单纯依赖人力堆砌。这种从“人工标注”到“扩展专家监督”的转变，是应对当前AI数据复杂度的唯一可行路径。
手动标注的瓶颈与数据编程的兴起
在专家领域（如拥有MD或PhD学位的心脏病学专科医生），手动标注数据的问题会随着专业度的增加而加剧。获取大量MRI数据集或电子健康记录（EHR）数据在根本上是难以解决的，因为专家无法高效地产生大规模语料库。为了解决这一核心挑战，团队提出了“数据编程”（Data Programming）的概念。关键直觉是将专家监督编码为软件，从而获得软件的规模效应、可编程性、可重构性以及审计和协作的能力。通过将专家判断转化为具体的启发式规则（Labeling Functions），可以将知识从人的头脑中提取出来，放入更具可重复性和可扩展性的形式中。例如，将判断垃圾邮件与非垃圾邮件的理由表达为特定启发式规则，从而实现对专家知识的规模化复用。
弱监督理论与去噪模型构建
使用启发式信号的主要挑战在于这些来源存在重叠且不准确，因此引入了弱监督（Weak Supervision）理论来处理信号质量。核心目标是构建一个标签模型，在完全无监督的情况下对每个“投票者”（即标注源）的准确性进行建模。演讲者用班级学生做考试的类比来解释这一过程：在没有标准答案（Ground Truth）的情况下，如何根据每个学生的投票结果估算出真正的正确答案？这一建模过程分为三个步骤：首先学习各个源的准确性（Voter's Accuracy）；其次，基于每个源的实际投票计算地面真值的概率分布；最后，训练一个噪声感知模型（Noise-aware Model）。这种模型能够利用这些嘈杂的信号泛化到初始标注函数覆盖范围之外的数据，从而在更广泛的分布中减少噪声并有效扩展规模。
编码领域的数据复杂性与基准测试挑战
随着数据前沿的推进，数据的复杂性显著增加。以编码为例，输入复杂度（提示和规范的复杂程度）、输出复杂度以及环境复杂度都在提升。虽然像HumanEval这样的基础评估指标已经饱和，但随着智能体（Agents）在终端环境中的操作序列长度增加，数据挑战并未减少。例如，最新的模型在ProgramBench上仅取得了1%的成绩，这表明随着智能体承担的责任增加（如架构决策和代码重构），评估其表现的数据集的重要性也随之增长。团队指出，目前我们仍在使用初级工程师的标准来评估高级智能体，这导致了评估体系的滞后。因此，需要构建能够代表高级工程师实际工作的高质量基准测试。
Senior SWE-Bench：迈向高级工程能力的评估
为了解决上述问题，团队与普林斯顿大学的原始SWE-Bench团队合作开发了Senior SWE-Bench。该基准测试的核心目标是构建能够代表高级工程师实际产出工作的数据集，并规模化生产此类数据。关键挑战在于如何评估那些被当作“高级工程师”使用的编码智能体，因为它们不仅进行简单的问答，还涉及代码重构和架构决策。通过引入这一基准测试，团队旨在解决当前评估体系无法反映智能体真实高级能力的问题。虽然具体的方法论细节未完全展开，但重点在于通过规模化专家知识来构建高质量基准测试，从而更准确地衡量智能体在复杂软件工程任务中的表现。这一工作标志着从基础代码生成评估向高级软件工程师能力模拟与验证的转变。
从过度规范到现实抽象的任务设计理念
SweetBench在任务设计上做出了关键调整，要求大量的专家监督点或“接触点”，以区别于传统编程基准测试。与Swedebench中常见的过度指定（over-specified）和类似EEDD级别的详细指导不同，SweetBench旨在模拟更现实的高层抽象交互场景。传统的基准测试往往给出极其具体的操作指令，而实际工程实践中，开发者接收到的通常是更模糊、更高维度的需求。例如，任务指令可能类似于一条Slack消息：“这里有一堆日志转储数据，请找出问题所在”，或者“我有一些关于新功能的用户故事想法，能帮我实现吗？”这种设计旨在注入专业性和真实感，让模型在更接近实际工作流的环境中接受评估。构建这种指令体系并非易事，需要精心平衡模糊性与可执行性。
奖励机制：在可靠性与灵活性之间寻找平衡点
为了全面评估代理（Agent）的表现，SweetBench设计了一套复杂的奖励机制。其核心目标不仅是判断代码是否正确或可合并，还要考察代理是否具备“品味”（taste）以及是否符合资深工程师在无人监督情况下应有的代码质量。在设计过程中，团队面临着一个经典的两难困境：传统验证器（如单元测试）具有高可靠性但低灵活性，而LLM裁判则相反。高可靠性的预写验证器（如unit tests）能确保代码按预期执行，但如果实现路径不同（例如用不同的方式更新用户信息），可能会产生误报并惩罚有效的解决方案。反之，LLM裁判虽然能灵活适应不同的代码形态，但缺乏对代码路径的直接执行验证，容易导致假阳性（false positives），即奖励了看似合理但实际错误的方案。
验证代理：扩展专家直觉的创新架构
为了解决上述矛盾，团队引入了“验证代理”（Validation Agent）的概念，旨在规模化地扩展资深研究人员和工程师的直觉。这一机制的核心在于将专家的专业知识编码为可扩展的形式，而不是依赖人工逐一审阅所有样本和代理轨迹。验证代理的工作流程如下：首先，专家提供一份“验证规范”（Validation Spec），这类似于包含用户故事和功能/非功能需求的Slack消息摘要；其次，验证代理根据这份规范和生成的代码补丁（patch），编写确定性的测试脚本。这些脚本会在实际代码上运行，确保执行路径被真正激活。最后，评分不仅基于测试结果，还结合LLM裁判来检查是否存在串通（collusion）或奖励黑客行为。这种方法既保留了代码执行的确定性，又通过高层规范保持了灵活性。
校准过程与参数化测试的规模化效应
验证代理的设计经过了大量的校准工作，团队通过与内部及网络中的特定测试工程师对齐，确保了评估的准确性。每个测试都被参数化，使得验证规范能够捕捉用例和边缘情况的形状，而无需编写耗时数周甚至数月的手动测试代码。这种机制允许专家以“随笔”（ramble）的形式描述他们希望覆盖的用例范围，从而大幅降低了测试编写的门槛和时间成本。最终，该评估体系不仅衡量代码的正确性，还通过LLM裁判测量保真度（fidelity）、完整性（completeness）和串通风险。这种设计使得SweetBench能够在保持高专业标准的同时，实现对大规模代码生成任务的自动化、规模化评估。
引入“得体通过”指标与前沿模型排名
在数据基准测试领域，团队引入了名为 Tasteful Pass（得体通过） 的新指标。这一概念旨在超越单纯的代码正确性或可合并性，转而衡量生成的代码是否真正符合基于代码的实践标准。该指标特别关注模拟高级工程师在实际工作中的行为模式，并致力于最小化补丁大小中的冗余代码（bloat）。 通过将这种细微的规范性定义与正确性相结合，团队对多个模型进行了重新排名。令人惊讶的是，经过双重和三重核查后，Fable、Opus 和 Soul 三个模型在上周的排名中并列第一。
"Fable, Opus and Soul are all tied for first place as of uh last week. This is pretty exciting because it means that the Paro Frontier is definitely getting pushed in these cases"
这一结果令人振奋，因为它表明前沿模型的能力边界正在被不断推高。值得注意的是，这是一个 实时更新的仪表盘和活体基准测试（living benchmark），团队持续对其进行维护。为了表彰相关贡献者，演讲者特别提到了联合创始人 Henry 的领导作用，以及普林大学 Cararthik 团队在原始 SweetBench 中的领导角色，还有威斯康星麦迪逊分校首席科学家 Fred及其学生的参与。这些合作共同推动了这一复杂评估体系的发展。
数据点2.0时代的复杂性挑战与基准测试需求
随着我们进入 Data Point 2.0，数据研究的复杂性显著增加。演讲者强调，这不再仅仅是向任务中投入更多人类专家的问题，而是需要 深思熟虑的设计 来赋予软件工程师、医生、律师等真正理解规范的专家以监督权和判断力。随着环境变得更加复杂和动态，输出结果变得愈发难以验证、细微且主观，代理的自主性也在不断扩展。 每一个维度的增加都引入了复合复杂性，这使得如何规模化并提供专家判断力成为一个核心的研究问题。
"As we enter data point 2.0 know and see a lot more complexity... These days, we need a lot of thoughtful design to give these experts leverage to exercise their own supervision and judgment"
为此，团队提出了一个具体的行动呼吁：需要更多的基准测试。他们认为这是推动新数据研究的高杠杆方式。团队与伯克利大学的 agents/exam、Continual Learning Bench 以及 Terminal Bench 等社区成员紧密合作，并推出了 开放基准测试资助（open benchmarks grants）。这一举措旨在为社区提供资源，加速数据开发研究，并与研究人员建立合作伙伴关系，共同应对 Data 2.0 时代的挑战。
扩散语言模型的技术原理与速度优势
Inception 团队介绍了其基于 扩散（Diffusion） 技术的大规模语言模型训练工作。与传统自回归模型逐个从左到右生成令牌不同，扩散模型 从序列的初始猜测（即带有噪声的输出）开始，通过多步细化并行生成所有令牌。 这种架构带来了显著的速度优势：由于每步可产生多个令牌，扩散模型能达到 每秒超过 1000 个令牌（tokens per second） 的速度，远超传统自回归建模的极限。这种超快速推理能力为实时 AI 应用开辟了广阔前景，特别是在需要低延迟的领域。
"Instead of generating tokens one at a time sequentially left to right, a diffusion model starts by generating tokens all at once... producing all the tokens in parallel over multiple steps of refinement"
这种速度提升不仅意味着更快的响应，还允许部署更大的模型或让模型进行更长时间的推理，从而显著提升质量。在实时语音交互中，传统的级联架构（STT -> LLM -> TTS）受限于 LLM 的延迟瓶颈。如果 LLM 能达到每秒 1000 个令牌的速度，实时语音交互将变得更加无缝流畅。 Inception 的 Mercury 2 模型正是基于这一技术路径，旨在通过软件智能而非专用硬件来实现高性能。
Mercury 2 在语音基准测试中的性能表现与对比
为了验证扩散模型的实际效能，团队展示了 Mercury 2 在语音基准测试中的性能数据。与依赖专用芯片（如 Cerebras）运行的传统自回归模型相比，Mercury 2 在 GPU 上实现了类似的速度和更高的质量。 具体而言，即使是在衡量质量的 T-Bench 基准以及实际数据测试中，Mercury 2 都展现了超越基线模型的表现。这一发现证明了通过智能软件优化，可以在通用 GPU 上实现与专用硬件相当甚至更优的推理效率。
以下是 Mercury 2 与其他模型在语音基准测试中的关键性能对比数据：
| 模型名称 | 参数量/架构类型 | 硬件平台 | T-Bench 质量评分 (示例) | 推理速度 (Tokens/Sec) | 备注 |
|---|---|---|---|---|---|
| Mercury 2 (Diffusion) | Diffusion Language Model | GPU | 更高 | > 1,000 | Inception 最新模型，实时语音优化 |
| GPT-oss (Baseline) | Self-regressive LLM | Cerebras Chips | 较低 | N/A (受限于硬件) | 120B 参数，需专用加速芯片 |
"Mercury 2 draws a new frontier of quality and latency... If you have diffusion, you can achieve similar speeds on GPUs by having more intelligent software"
演讲者指出，构建优秀的语音模型不仅需要算法创新，还需要对扩散机制的深入理解。通过摆脱对昂贵专用硬件的依赖，扩散模型使得 在更广泛可用的 GPU 集群上部署高性能实时 AI 应用成为可能，这为未来的语音代理、教育助手等应用场景提供了坚实的技术基础。
基准测试的局限性与真实数据的价值
在构建高性能AI模型时，数据是除算法外最关键的成分。目前广泛使用的评估基准Towbench存在显著缺陷：它无法捕捉现实世界数据的复杂性，其环境中的规范数量比真实商业客服场景少一个数量级。此外，Towbench工具有限且缺乏特定规范。该基准已被严重“刷分”（benchmaxed），大多数模型在Towbench上得分高达90%以上。然而，当这些相同模型应用于真实生产日志时，分数会显著降低且不同规模模型的方差变大。这种基准测试与真实表现之间的巨大落差，凸显了获取高质量、多样化数据的必要性。
"If you go to your favorite benchmarking website, you're probably going to see most of the models achieving scores that are in the '90s. But then if you run these same models on real world production logs, uh you're going to get much lower scores."
Dowo Forge：基于真实交互的合成环境系统
为解决数据稀缺问题，团队开发了Dowo Forge——一个代理（Agentic）系统框架。该系统通过编排多个智能体，根据输入的环境描述和真实用户交互数据（或来自合作伙伴的生产环境数据），合成类似Towbench但更贴近现实的强化学习（RL）环境。输入部分包括目标领域描述及真实使用工件。系统首先基于数据合成初始环境，生成指定领域的策略（如银行运营规则、用户账户类型）和交互工具。若缺乏特定领域数据，系统会利用爬取的“业务知识图谱”来模拟代表性业务流程，确保合成环境的代表性和多样性。
"Dowo Forge is an agentic system. So it's a harness that orchestrates uh a large number of different agents and it produces this output synthesized so synthetic RL environments."
任务生成与难度平衡机制
合成环境的核心产出是RL训练任务。系统通过“种子数据库”（抽象场景如开户、改手机号）和用户画像库，利用智能体将通用种子特化为特定领域的具体任务。生成任务的难点在于平衡难度：任务过易则无学习价值，过难则缺乏有效信号。为此，系统采用迭代过滤与重构机制。通过“硬化陷阱”（Hardening Traps）技术，如移除关键信息或增加请求复杂度来调整任务难度。最终目标是筛选出既符合现实逻辑又能提供最佳学习信号的平衡点，并持续通过真实世界反馈优化生成流程。
Mercury 2.5模型性能实验数据验证
为了验证合成环境的有效性，团队进行了Mercury 2.5模型的性能实验。该模型在未经过任何领域特定数据训练前，基准准确率为50%。经过使用Dowo Forge合成的初始任务集训练后，模型在另一组未见过的环境（涵盖银行、机票预订、医生预约等多样化业务场景）上，性能提升了超过23%。这一提升使得该模型的表现达到了与各类最先进开源及闭源模型相当的水平，证明了合成数据在提升泛化能力上的有效性。实验采用了训练集与测试集分离的策略，即在一种业务集合上进行超参数搜索（hill climb），而在不同的业务集合上测试泛化能力。
| 模型/阶段 | 训练数据状态 | 评估环境类型 | 性能指标变化 |
|---|---|---|---|
| Mercury 2.5 (基线) | 无领域特定数据训练 | Towbench/通用基准 | ~50% 准确率 |
| Mercury 2.5 (训练后) | Dowo Forge合成任务集 | 多样化真实业务环境(银行/订票等) | 提升 >23% |
| 对比模型 | - | 多样化真实业务环境 | 达到SOTA水平 |
"Before it was trained on any sort of domain specific data you know it achieved about 50% accuracy and training it on an initial set of tasks synthesized from tforge improved performance... by over 23%."
模型部署性能与商业支持策略
在确保模型质量方面，除了提升速度外，核心在于通过特定的技术手段降低过拟合风险。测试集紧密源自真实世界日志，这为模型在部署到生产环境后的实际性能表现提供了信心。目前可用的 Mercury 2 系列模型在处理语音、搜索及代码等对延迟敏感的任务时表现优异，其推理速度可达 1,000 tokens per second。为了鼓励创新，针对 YC 初创企业提供了 $500,000 的额度支持，旨在降低开发门槛并促进多领域应用落地。
"Even though I mainly talked about voice in this talk, we also have customers across other domains including search as well as code."
多语言预训练中的迁移与干扰研究背景
Shane 博士在麻省理工学院完成博士学位期间，于 Google 实习期间主导了一项关于多语言预训练的研究。该研究深入探讨了不同语言数据源之间的 协同效应（Synergies）、干扰（Interference） 以及交互作用。虽然研究以语言为例，但其方法论可泛化至任何数据源（如不同领域或质量的数据层）。当前主流文献中的缩放定律和混合定律研究存在严重偏差，99% 的内容聚焦于英语训练数据和评估。这种以英语为中心的现状忽视了全球其他语言面临的严峻约束，导致非英语模型在预训练阶段面临巨大的数据稀缺挑战。
"If you look at scaling law and even mixing law papers in literature right now, they are 99% about English training data and English evaluation."
低资源语言困境：以泰语为例的数据分布与过拟合风险
研究选取了拥有约 8,000 万使用者的泰语作为典型案例，揭示低资源语言面临的极端数据不平衡。在常用的 Madlad 400（基于 Common Crawl）预训练语料库中，泰语的 token 数量仅为英语的 0.6%。在主流大模型的混合数据分布中，泰语占比甚至低于 6%。若仅使用泰语数据进行单语言预训练，由于数据量极少，模型必须反复遍历数据集（即极高的 Epoch 数），导致严重的 过拟合。反之，若强行训练大模型，由于数据稀疏性，性能依然不佳。这表明简单的单语言训练或盲目扩大规模均无法解决低资源语言的效能问题。
| 数据维度 | 英语 (English) | 泰语 (Thai) |
|---|---|---|
| Madlad 400 语料占比 | 基准 (100%) | < 1% |
| 典型大模型混合占比 | 最高 (主导) | < 6% |
| 使用者数量估计 | - | ~8,000万 |
实证驱动的混合预训练策略与跨语言协同发现
解决低资源模型性能瓶颈的关键在于构建高质量的混合预训练集，而非简单的课程学习。理想策略是在数据收益出现严重边际递减之前，引入其他语言的高质量协同数据进行混合训练。研究发现，这种协同效应并非仅由语系相似性决定（如泰语与老挝语），而是取决于 数据本身的噪声水平 和 主题覆盖的重叠度。例如，英语、印尼语、马来语甚至克罗地亚语的数据被证明对泰语模型具有正向协同作用。这一结论强调了必须通过 实证测量 而非语言学理论来筛选辅助数据源，因为网络数据的分布是分散且充满不确定性的。
"It's about what data empirically is not noisy and that other source is actually helpful, covers similar topics."
跨语言协同效应的量化：从训练曲线到迁移矩阵
研究团队提出了一种衡量不同语言对目标语言（如泰语）帮助程度的方法，核心在于分析训练曲线之间的距离。当模型仅使用单一语言（如泰语）进行预训练时，其损失函数下降较快但早期即趋于平缓；而引入其他语言混合训练时，若学习曲线显著高于单语基准，则表明该语言具有正向协同效应。这种效率差距（Efficiency Gap）被形式化为一个数值指标：若两条曲线距离极近，该值为较大的正数，代表高协同；反之，若曲线相距甚远且表现更差，则意味着负迁移（Negative Transfer）或干扰。这种干扰源于不同语言在争夺模型中的Token或神经元资源以表征彼此，导致性能下降。
"The distance between these curves tells you something about how good that language is in being helpful for Thai."
通过反复应用这一方法并辅以多种技巧，研究构建了一个庞大的跨语言迁移矩阵（Cross-lingual Transfer Matrix）。在该矩阵中，红色代表高协同性，蓝色代表高干扰性。例如在西班牙语的行中，实证数据显示葡萄牙语、意大利语和法语呈现出明亮的红色高光点，表明它们对西班牙语有显著帮助；而日语则是最具破坏性的语言，训练中加入日语会损害西班牙语的表现。值得注意的是，这种协同效应并非固定不变：随着模型规模的增大，许多原本蓝色的干扰区域会转变为红色或更深的红色，因为更大的模型能容纳更多语言并捕捉共同模式；反之，若模型过小，所有语言间都会因空间竞争而相互干扰。
非对称性与脚本优势：打破直觉的实证发现
在理解语言间关系时，一个常见的误区是假设协同效应具有对称性。研究团队向观众提问："如果葡萄牙语对西班牙语有帮助，是否意味着西班牙语也对葡萄牙语有同样的帮助？"结果显示观众意见分歧。然而，实证数据揭示了非对称性（Asymmetry）的存在：矩阵中葡萄牙语对西班牙语的协同值与西班牙语对葡萄牙语的协同值并不相等。这种分支因子（Branching Factor）的存在至关重要，因为它意味着从业者不能简单假设A语言对B语言的帮助等同于反向关系。例如，即使发现泰卢固语（Telugu）对斯瓦希里语（Swahili）有帮助，也不能直接推断反之亦然，必须通过测量来确认。
此外，研究还探讨了语言相似性的来源：共享同一书写系统与属于同一语系，哪种因素对模型性能提升更有帮助？观众投票中"脚本派"获胜。实证结果证实，书写系统（Script）的影响略大于语系。这主要归因于分词器（Tokenizer）的伪影及Token表示方式。由于许多语言共享相同的字符集，模型在处理这些语言的文本时能更有效地复用Token嵌入空间，从而减少学习成本。这一发现提示我们在构建多语言数据集时，除了关注语言学上的亲缘关系外，必须高度重视分词效率与Token共享率对模型收敛速度的实际影响。
基于扩展律的多语言数据混合预测模型
为了将上述复杂的迁移矩阵转化为可操作的工程指南，研究团队致力于建立一套缩放定律（Scaling Law）。传统的Chinchilla扩展律通过模型大小和数据量预测损失，但在多语言场景下，仅考虑目标语言的单语数据是不够的。我们需要建模所有相关数据的贡献及其相互作用。为此，团队将Chinchilla公式中的数据项 $D$ 分解为一个复合结构：包括单语源语言贡献、基于迁移矩阵的近端协同语言贡献，以及一个涵盖其余所有语言的"其他桶（Bucket）"。该模型还引入了对数项来-account-数据重复训练时的边际收益递减（Diminishing Returns）。
"We break down Chinchilla's D into a composite of monolingual, transfer languages... plus a bucket for everything else."
在这个公式中，$w_{tow}$ 是一个从迁移矩阵中学习到的权重因子。通过拟合这一复杂模型，研究团队能够在不执行数百次预训练实验的情况下，准确预测最终损失并优化语言混合比例。实证结果显示该模型达到了SOTA（State-of-the-Art）水平，能够精准估算给定目标语言的最佳数据混合方案。此外，研究还解决了"多语种诅咒（Curse of Multilinguality）"问题：当模型从4种语言扩展到8种语言时，为了维持原有性能水平，需要增加多少数据量以及模型需扩大至何种规模。通过详尽的数学推导，团队提供了一套针对从业者的具体操作指南，证明了该框架在不同目标语言上的泛化能力与实用性。