从内存优化到文档处理的战略转型
Reducto的故事始于2023年,当时大模型的上下文窗口极短,内存管理是开发者最紧迫的痛点。然而,在获得Y Combinator(YC)投资后,团队决定进行战略转型。创始人Adit回忆道:“我们告诉Diana(YC合伙人)我们要转向文档处理领域,她对此出奇地包容。”这一转变的核心逻辑在于对“智能体(Agents)未来角色”的重新定义。Adit指出,文档本质上是人类工作的抽象和产物。在医疗、法律、金融等白领工作密集的行业,大量知识以PDF和电子表格的形式存在。如果智能体要替代人类执行这些工作(如阅读病历),必须保持与人类查看时相同的保真度。任何细微的错误,比如勾选错误的复选框,在医疗场景下可能直接导致患者结果的严重偏差。因此,构建连接“合成智能”与“人类知识”的接口成为了一项极具挑战但也充满机遇的任务。
文档解析的技术演进与复杂性本质
尽管OCR技术已存在二十年,但传统的文档处理方案在面对现代需求时显得力不从心。Adit将技术发展分为几个阶段:早期是文件处理问题,随后出现了基于OCR的智能文档处理(IDP)公司。传统方法通常依赖于模板匹配,例如针对W2表格预先设定像素级位置信息,然后进行后处理。这种方法在处理高度一致的流水线时有效,但缺乏灵活性。2023年的转折点在于用户预期的变化。Adit强调:“当人们将文档上传到ChatGPT时,没有人会思考其中的复杂性。他们只是期望它能正常工作。”与此同时,视觉语言模型(VLMs)带来了前所未有的内容推理能力。文档本质上是一张9x11的网格图像,信息排列方式千变万化。除了字符本身,还涉及多栏阅读顺序、表格的行/列结构及合并单元格等复杂布局。传统计算机视觉擅长保留结构,而VLMs擅长理解内容,早期的解决方案往往需要在准确性、成本和延迟之间做出妥协。
R1模型:统一架构下的精度与效率突破
为了解决上述权衡问题,Reducto没有止步于使用现成的开源模型,而是决定对基础模型进行后训练(Post-training),推出了专属的R1模型。Adit表示,随着多模态技术的发展,团队致力于构建专为文档任务优化的最佳VLM。R1模型的推出标志着架构的重大升级,它实现了端到端的统一处理。Adit解释道:“现在我们有了一个统一的模型来完成这一切,消除了历史上必须做出的那些权衡。”该模型不仅保留了传统计算机视觉在边界框(Bounding Boxes)和结构一致性方面的优势,还通过VLM的能力捕捉页面上的所有细节。这种架构使得Reducto能够在保证确定性(Determinism)和可追溯性的同时,显著提升处理速度和降低成本。Adit认为,虽然大型模型实验室也在关注知识工作领域,但文档处理的深度和广度被严重低估。这需要一个像Reducto这样独立的公司,专注于解决这些细微但关键的工程难题,而非仅仅依赖通用大模型的泛化能力。
从生产反馈到数据闭环:构建鲁棒性的基石
Redu的技术突破并非一季度的偶然成果,而是公司成立至今持续积累的必然产物。团队拥有该领域顶尖的研究人员,其核心工作重心早已超越了单纯的模型架构优化。重点在于建立生产环境中的错误反馈循环,通过发现如表格解析失误等具体问题,不断优化结构化表示方法。同时,通过与大型企业和AI原生公司的合作,团队深入接触了最复杂的数据分布,从而精准识别不同模型失效的边界案例。
"We put a ton of time into not just model architecture but also like the data pipelines around it, how we eval the product um and having a really good RL loop um around post- trainining and mid-training the model."
这种对数据管道、产品评估以及训练后和训练中强化学习循环的投入,构成了处理复杂文档的基础。团队不再仅仅依赖模型本身的智能,而是通过系统工程手段确保在极端情况下的稳定性。
应对非结构化难题:从重复字符到跨页表格解析
在处理最混乱的数据类型时,技术挑战呈现出不同的维度。以文档语言模型(DLMs)为例,重复输出问题是一个显著的技术痛点。例如,当PDF中使用连续句号分隔不同空间时,模型可能会陷入无限输出句号的困境。然而,现实世界中的挑战远不止这些“最后一公里”的技术细节。
更具代表性的是跨页表格和密集图表的处理。当扫描质量不佳导致列错位时,系统需要主动应用专门的数据管道来合并跨页内容并保留上下文。对于蓝图或 diagrams 等高密度页面,人类需要放大查看才能理解细节,因此Redu采用了基于补丁(patchwork-based)的方法来解析页面内容。这种对复杂视觉结构的深度理解能力,是确保高精度提取的关键所在。
精度与自动化:Agent如何超越人工标注的局限
在文档处理领域,精度的微小提升往往能解锁全新的自动化用例。传统光学字符识别(OCR)的准确率通常仅在70%-80%之间,而Redu的目标是达到90%以上的高精度区间。对于贷款包处理等任务,单个步骤的误差会随文件数量累积放大。如果每页只有90%的正确率,处理 dozen 个文件时错误将变得不可接受。
"Deep extract is a really good example where it's the first time where I find that agents can be better at structured extraction than humans on many tests."
Redu推出的Deep Extract工具展示了Agent在结构化提取上的优势。人类标注者常因遗漏内容、丢弃行或偷懒只填写部分信息而引入错误,且这些错误往往隐藏在“地面真值”中难以察觉。通过让Agent不仅提取信息还能自我审查和修正,系统能够突破人工标注的误差上限,向完美精度迈进。这种自我纠错机制使得在N10等复杂任务中实现高可靠性成为可能。
成本突破与规模化愿景:每页1美分的经济效应
随着精度问题的解决,成本和延迟成为决定AI产品能否大规模落地的关键因素。目前Redu已将解析和提取的成本降低至每页1美分($0.01),同时保持极高的质量。这一成本结构彻底改变了以往AI产品仅作为受限源聊天机器人的局限,使得Agent能够像人类一样主动搜索网络、检索知识库以补充缺失信息。
"Today literally this morning we crossed our 7 billionth page. Um, at this point we process billions of pages every single month."
Redu已处理超过70亿页文档,并每月处理数十亿页。团队的目标是让所有需要模型阅读的页面都通过Redu进行无摩擦解析。1美分/页的定价策略旨在消除企业对处理成本的顾虑,使其能够经济地利用Agent进行大规模文档工作。尽管当前列表价格为1美分,团队仍在探索如何处理数十亿页的高-volume需求,以实现真正的规模化扩展。随着处理速度的不断加快(从10亿到70亿的跨越),这一愿景正逐步变为现实。
早期用例与金融行业的深度渗透
文档处理市场的增长主要由两类截然不同的工作负载驱动。早期的应用场景主要集中在信息合成类任务,例如聊天机器人作为搜索引擎的延伸,服务于各类AI原生公司。然而,随着技术成熟度提升,大型对冲基金、私募股权巨头及科技公司开始大规模采用该技术。在这些机构中,文档处理不再仅仅是辅助工具,而是直接转化为核心竞争力。对于对冲基金而言,其信息聚合管道的速度与鲁棒性决定了市场优势(Alpha),能够快速且稳健地收集所有可用信号成为获取超额收益的关键。这种从“辅助搜索”到“直接产生商业价值”的转变,标志着文档处理工作负载向高复杂度、高实时性方向的演进。
生产环境中的“二阶问题”与工作流重构
在实际部署中,客户往往需要组合使用多个端点(endpoints),这引出了超越单纯解析精度的评估、审查及工作流构建需求。现实世界中的文档处理面临诸多“二阶问题”,例如合同谈判中常见的多版本红线条款(redline term sheet)并存,用户难以仅凭文件名判断最新版本。这导致内容重复和信息冲突,需要系统具备调和矛盾信息的能力。为此,团队在底层技术上投入大量精力优化引用机制(citing),不仅标注答案来源文档,更精确到具体单词级别的依据。这种细粒度的 grounding 使得智能体(Agents)能够更清晰地推理路径,通过对比不同文档中的证据来确立事实真相。正如对话中提到的痛点:
"It is hard for people to understand what is the latest version unless somebody labeled the file like final or something like that."
这种对可解释性和版本调和能力的追求,旨在降低文档工作的门槛,使其更易于被非技术背景的专业人士信任和使用。
专业服务业的采纳滞后与文化阻力分析
尽管代码生成市场(如Cursor)在2023年实现了从百万级到十亿美元ARR(年度经常性收入)的爆发式增长,但专业服务领域(医疗、保险、法律)的采纳速度却相对缓慢。这并非因为价值不足,而是因为后果严重性(Consequences)不同。在软件开发中,代码错误可以通过回滚PR快速修复;但在医疗决策或金融合规场景中,错误的代价是真实且不可逆的。因此,阻碍采纳的核心因素并非单纯的技术能力不足或文化保守主义,而是信任机制与护栏(Guard rails)的缺失。用户需要足够的信心来确认机器决策的准确性,这直接关联到前文提到的引用和 grounding 技术。只有当系统能够提供充分的证据链,让人类用户敢于将关键决策权部分让渡给AI时,这一市场才能真正爆发。
未来展望:多模态交互与文档编辑能力解锁
面向未来,团队正致力于解锁完整的交互模式(interaction modalities),重点突破文档编辑这一长期被忽视的领域。尽管Office套件是人类工作的核心场所,但智能体在此类结构化数据中的操作难度极高。一个典型的例子是本地化(Localization):虽然模型能轻松翻译自由文本,但将译文准确嵌入复杂的文档格式中极具挑战。为此,团队计划推出基于Trapt平台的插件,提供一种无头版Microsoft Word(headless version of Microsoft Word)体验,允许智能体直接编辑文档内容。此外,团队还将强化评估(eval)、监控及可观测性工具,帮助客户通过反馈循环持续优化其文档处理管道。这一战略方向表明,未来的竞争焦点将从单纯的“解析”转向深度的内容生成与编辑闭环。
前沿模型的通用性与垂直领域的深度矛盾
尽管大型模型实验室正致力于提升多模态能力,如视觉理解,但Redactal认为通用大模型无法解决PDF解析这一深层垂直问题。这并非因为技术不可行,而是因为专注度与领域深度的差异。Redactal指出,他们的工作处于智能的“基础设施”层面,而非与实验室竞争推理质量。PDF解析涉及的边缘情况极其复杂,例如嵌套的文件夹结构或包含其他PDF的文件。即便处理过大量文档,团队仍会发现未预期的案例。相比之下,通用模型如ChatGPT的视觉编码器需要处理从自拍到风格化图像等广泛任务,而Redactal则专注于特定领域的信息处理。这种约束使得他们能在精度、成本和延迟上采取更激进的策略,在同等准确率下提供数量级更低的价格优势。对于需要大规模处理文档的客户而言,这种成本效益决定了何时使用通用模型与专用工具。
评估基准的局限性与“黄金数据集”的现实困境
在文档解析领域,通用的第三方基准测试往往存在严重的偏差。某些发布评估结果的提供商给出的分数远低于其他竞争者,而大多数厂商的表现则相对一致。这种数据的不一致性表明普通用户难以直接采信通用基准。因此,专家建议采用“以模型为裁判”(LM as a judge)的评估方式,但前提是必须精心设计评分标准。行业更应推动用户基于自有数据进行测试。
"Our recommendation is actually LM as a judge is quite strong today, if you're thoughtful about how to think about a rubric and how to approach it."
尽管客户常期望拥有完美的“黄金数据集”(Golden Data Set),但实际构建中充满陷阱。人工生成的数据常因疏忽丢失关键信息,而为了节省成本使用较弱模型(如 Sonnet 而非 Opus)生成的数据则可能引入错误。因此,Reducto 倾向于在客户进行任何横向比较之前,先与其合作确保评估体系的有效性。企业应建立基于自身数据的可靠测试流程,而非盲目信任通用榜单。
多模态文档处理的复杂性与 Excel 解析挑战
当前支持的文件格式超过 40 种,其中 PDF 虽是旗舰主题,但核心难点在于图像处理和复杂结构解析。Excel 文件因其任意大的规模和多表集群特性,成为模型处理的难点。即使大语言模型的上下文窗口足够大,直接输入原始文件仍会导致信息处理困难。关键在于将 Excel 转化为模型可消费的表征形式,而非直接提供原始数据。
随着文档中嵌入多媒体资产(如图表、图像)的增加,传统处理方法面临更大挑战。文件格式的复杂性呈层级展开:首先是判断文档整体复杂度,其次是页面难度,最后是区域内特定元素的识别。在金融领域,时间序列数据(如折线图、柱状图)的解析尤为困难。人类擅长识别趋势,但模型往往表现不稳定。
图表解析的专项突破与未来愿景
针对金融图表中单个数据点的精确推理,Reducto 开发了专门的“图表代理”(Chart Agents)。该技术在特定基准测试中处于领先地位,而其他模型的表现则令人震惊地差。通过视觉对比可以看出性能差距巨大。Reducto 的目标是抽象化这些底层复杂性,让用户无需关心 PDF 中的嵌套表格或多标签结构。最好的产品体验是用户完全感知不到文档处理的繁琐过程。
"I feel really good about saying redu is a state-of-the-art there."
展望未来,Reducto 的定位超越了传统的智能文档处理(IDP)市场。其愿景是成为连接 AI Native 应用与企业级基础设施的可靠工具集。这不仅要求极高的解析准确率,还需解决如并行处理千万份文档等基础设施抽象问题。通过提供高质量的数据输入和高效的计算支持,Reducto 旨在赋能智能体增强人类工作,而非仅仅局限于市场地图中的某个细分领域。在数据输入与计算能力之间创造巨大价值空间,是其核心战略方向。
文档解析误差在医疗领域的致命后果
前沿模型在处理非结构化物理文档时,准确率仍是核心痛点。以一家大型医疗搜索工具提供商为例,其服务对象是医生,处理的是厚度达数英寸的物理病历包。在这些场景中,微小的OCR识别错误会导致严重的临床决策偏差。例如,系统可能将“chest pain”(胸痛)误读为其他词汇,导致医生在检索患者病史时遗漏关键信息。如果系统错误地显示患者没有相关病史,医生可能会认为无需开具特定药物,进而导致保险理赔被拒。由于医疗系统中医护人员工作负荷极大,他们往往无法逐一核实OCR数据的准确性,只能完全信任工具的可靠性。这种对输入数据可信度的依赖意味着,如果底层解析出错,后续所有的自动化代理(Agent)决策都将建立在错误基础之上。
"because the initial pipeline read something as chest pain instead of chest pain. um somebody's claim gets rejected because the doctor searches for did they do they have a history of this and if they don't it's like maybe they don't need the drug"
当前OCR技术瓶颈与人工复核的低效现状
在复杂的医疗文档处理中,现有OCR工具的准确率在某些情况下甚至低于50%。面对包含数万页的患者档案,即便展示最佳案例,医生也无法通过人工方式有效挖掘其中的信息。这种低效不仅体现在医疗领域,在移民申请(USCIS)等行政流程中同样存在大量因纸张处理瓶颈而导致积压的情况。目前,许多业务流程仍高度依赖人工介入以弥补准确率的不足。每年有数百万份医疗保险索赔因预先授权(prior auth)问题被拒,而在这些被拒绝的案例中,高达80%的上诉最终推翻了原决定。这一数据揭示了当前决策机制存在巨大的低效性,也说明了如果能在准确率和成本上实现突破,将极大缓解全球范围内的人力瓶颈。
"one of the craziest stats I learned is that in 80% of appeals, um, the original decision was overturned. Um, which should be shocking."
自动化数据录入与基础文档处理的前景
如果AI能够可靠地理解、评估和更改业务文档,最优先被替代的将是繁琐的数据录入工作。目前仍有大量人员从事将物理文档内容手动转录为数字格式的工作,这在效率上极不合理。例如在美国,仍有16%的纳税人通过纸质方式报税,这些重复性、机械性的工作占据了大量时间。随着基础模型能力的提升,这类问题有望率先得到解决。会计和大型企业正在积极应用此类技术,例如某大型会计师事务所处理海关与边境保护局表格时,以及外包公司(BPO)为大型企业处理后端办公事务中,都展现出了对自动化文档处理的强烈需求。消除这些“枯燥且消耗人力”的环节,能让从业者专注于更具推理和决策价值的核心工作。
"in America, 16% of tax filers still file via paper mill. Um, and so all these things that just like add weeks of work um, in a way that is kind of wrote and routine, those are probably the first set of problems"
结论
前沿通用模型因缺乏对文档复杂布局、嵌套结构及边缘案例的深度优化,在保真度与成本上难以满足医疗、金融等高容错率要求的专业场景。Reducto通过R1模型统一架构与数据闭环,实现了每页1美分的成本突破及90%以上的高精度解析。其核心优势在于针对跨页表格、图表推理等垂直难题的工程化解决,以及通过细粒度引用机制建立的可解释性信任体系。该方案已证实能显著优于人工标注效率,但在通用基准测试中需结合自有数据评估。最终结论是:文档处理已从单纯的OCR识别演进为依赖专用基础设施的Agent核心能力,通用模型无法替代此类深度垂直优化带来的确定性与规模化经济效益。