AI数学能力的爆发与核心问题

近期,人工智能在解决长期未决的数学难题上取得了显著进展。OpenAI的内部模型发现了Erdős单位距离猜想(1946年开放)的反例,随后在一个月内发布了Cycle Double Cover (CDC) 问题的证明,并在七月前解决了另外十个开放性问题。同年九月,OpenAI还发布了关于Navier Stokes方程的证明。与此同时,Anthropic发表了费马大定理的形式化证明以及对黎曼猜想界限的推进。这些事件表明,模型在数学领域的能力突然大幅提升。

"The models are suddenly good at math."

这一现象引发了一个关键问题:我们能否预测模型将解决哪类问题?是什么使得某些问题对大型语言模型(LLM)变得可处理,且这些解决方案有何共性?如果AI以不同于人类的方式解决问题,识别这种差异将有助于指导未来的应用方向。其中,单位距离猜想的反例发现过程包含了最丰富的评论和分析素材,因此成为理解这一转变的最佳切入点。

人类解题的复杂度模型:提示序列与时间成本

解决任何问题都需要一系列洞察(Insights)和中间的工作/努力。这种结构可以映射为:洞察 -> 时间/精力 -> 洞察 -> 时间/精力 -> 解决方案。专家由于拥有更多背景知识,所需的提示较少。数学家WT Gowers在评论单位距离证明时提出了类似的概念:证明的难度等于让专家重建该证明所需的最短提示序列长度。他称之为“模去专家背景的柯尔莫哥洛夫复杂度”。对于单位距离问题,Gowers提出的提示序列包含三个部分:

  1. 寻找反例。
  2. 取最佳已知构造并推广它。
  3. 尝试一系列度数递增的数域,但使用范有界的素理想进行计算。

Gowers提出的复杂度公式为 2^k + t,其中 k 是最短提示序列的长度,t 是开发它所需的工作量。复杂度随解决一个问题所需的洞察数量呈指数级增长。大多数解题工作发生在这些洞察之间:你有一个“尤里卡”时刻,然后花费数月时间开发提示,直到下一个概念跳跃成为可能。对于专家而言,投入的时间是这种工作量的有用代理变量。然而,这一模型主要用于事后分析,无法在问题初期预测所需提示的数量。因此,问题的年龄、尝试次数和附带奖金常被用作难度的代理指标。

提示的特征与人类的广度优先搜索策略

典型的洞察会改变问题的表述、表示和理解。一个提示的价值取决于两个因素:

  • 可能性变化:在提供提示前看起来有多不可能,与之后看起来有多明显。例如,在许多专家看来,单位距离中的反例起初并不显眼。
  • 序列位置:提示是有顺序的。第三个提示只有在完成前两个的工作后才具有可操作性。这打破了列出数千种数学技术并尝试所有组合的朴素暴力想法。提示序列遍历一棵树,初始洞察改变问题并揭示后续的选择。

结合 k(提示长度)和 t(时间成本),我们得到了人类的搜索模式:广度优先。人类生成候选方向,浅层探索它们,放弃大多数,并承诺于少数。如果一个有希望的方向在早期没有给予足够的鼓励(例如概念上的潜力、初步结果或与类似问题的经验),它就会被放弃。开发一个想法可能需要数月时间,因此在承诺之前,研究人员需要理由相信它会带来成果。随着发现结果所需时间的延长,尝试该想法的门槛就越高。

"A promising direction is abandoned if it does not give enough encouragement early."

大多数研究软件旨在通过自动化繁琐、机械和重复的工作来缩短这一时间。而AI将这种时间缩减到足以使搜索模式本身发生翻转的程度。

AI的复杂度处理:深度优先与自动验证器

在AI模型中,等效于“努力(t)”的是计算量和token消耗。这可以花在单个轨迹上(测试时计算),或分布在并行代理上(平行测试时计算)。预训练还提供了人类研究人员必须定位或重建的知识,避免了专家因 unawareness 而重复造轮子。

更大的区别在于模型的搜索方式:LLM是深度优先的。给模型一个提示,它会给出解决方案。要求证明时,它给出的内容接近于一个好的证明。思维链(CoT)以贪婪的深度优先方式运行。如果给并行代理十个方法,你会得到十次朝着结论发展的尝试。每个要么遇到路障,要么产生看似正确的论点。如果没有自动验证器,这会产生美丽的错误证明。

"Left alone, this gets you beautiful false proofs."

直到引入自动验证器(Automated Verifier),这种浪费才变得合理。验证器可以修剪已完成的轨迹并识别正确的路径。有了这个检查器,花费大量计算资源在不确定想法上是理性的。你可以在几分钟内发现某个想法是否有效。然而,验证器只能判断完成的论点,无法告诉你一个半成品的想法是否有前途。

失败尝试作为提示与系统架构对比

如果能在五分钟内发现想法是否有效,那么提示需要多好?对于人类来说,质量门槛很高,因为追求一个提示可能需要数月的工作。而对于模型而言,这个门槛几乎消失。普通、不可信或刚刚成型的提示都可以被跟进以建立其是否通向某处。LLM使我们能够用计算交换时间,并帮助我们在更短的时间内追求更多问题。

模型不需要确定的方向即可开始。预训练已经赋予了它关于问题的历史和过去尝试的先验知识。每个错误的解决方案都可以作为下一次迭代的负向提示(Negative Hint)返回给模型。系统积累了关于什么已经失败以及为什么失败的指令。

一个典型的Harness架构如下: * 起草者(Drafter):编写给求解模型的提示。这些提示基于模型先验,减轻先前运行的错误,并考虑到所有没有结果的有希望的路径(即负向提示)。 * 求解器(Solver):接受提示并提出一个或多个候选解决方案。它可以运行多个子代理,并使用平行测试时计算追求不同的路径。

这种机制使得AI能够利用海量的失败尝试作为学习信号,从而在数学证明的搜索空间中高效导航。

提示工程:将失败路径转化为防御指令

OpenAI在解决复杂数学问题时,采用了极其精细的提示工程(Prompt Engineering),其核心逻辑是将过往的失败经验转化为具体的防御性指令。以CDC提示为例,系统首先要求模型假设存在完整的肯定证明,从而防止模型因预训练中学到的“问题未解”状态而提前放弃。更重要的是,提示中明确列出了一系列被判定为“不足够”的替代方案,包括特殊图类的证明、非标准边覆盖构造、固定大小的计算验证等,旨在排除所有试图绕过核心难题的捷径。此外,系统引入了对抗性代理(Adversarial Agents)进行全方位检查,要求验证精确的两倍多重性、识别伪装成环的重复边闭合轨迹以及平行边2-循环等特定故障模式。这些指令并非凭空产生,而是每一条都对应着之前迭代中出现的错误路径。通过这种方式,模型被强制引导至正确的解题轨道,避免了在已知无效方向上的资源浪费。

重构证明:从直觉误导到系统性探索

回顾Gowers给出的三条提示,可以看出AI是如何通过结构化引导克服人类直觉局限的。第一条提示“寻找反例”看似简单,实则极具挑战性,因为社区共识和模型预训练先验都指向猜想为真。然而,正是由于求解者在证明道路上屡屡受挫,寻找反例才成为打破僵局的关键洞察。第二条提示要求推广最佳已知构造,这实际上是对潜在反例的广义化探索;第三条则是在前两步构建的空间中应用数域理论。这种顺序至关重要,跳过任何一步都会导致方向迷失。OpenAI雇佣的Jacob Tsimerman曾尝试寻找反例,他具备必要的数论知识并考虑了增加度数,但最终停止。Tsimerman坦言这是一种“非常可怕的动力学机制”,难以在分析 regime 中保持直觉。这揭示了人类专家面临的心理困境:在缺乏进展反馈的“沼泽”中,工作记忆、士气与职业成本的高昂代价使得坚持变得极难。相比之下,AI没有这种心理负担。

人类认知的局限与AI的持久优势

心理学研究早在几十年前就揭示了这一现象。Metcalfe和Wiebe的研究显示,在普通问题上,解题者对进展的感知会逐步上升;但在需要“顿悟”的问题上,这种进步感在找到答案前一直保持在低位。这意味着人类缺乏维持搜索的动力梯度。对于AI而言,这一劣势转化为巨大优势。Arul Shankar指出,模型能快速掠过各种想法,但在触及关键思路(如“假设乐观地……”)时,能以高度系统化的方式锁定证明。Tsimerman认为,AI的优势不仅在于尝试所有已知方法,更在于能在更危险的水域中坚持更久而不被压垮。这并非因为AI拥有超越人类的智慧,而是因为它能承担人类因心理和认知资源限制而无法承受的探索成本。这种“持久力”使得AI能够在那些人类专家因感觉无望而放弃的分支中继续挖掘,直到发现突破口。

模型能力的演进与证明结构的共性

今年模型在数学推理上的突破主要源于三项具体能力的叠加。首先是原语链式处理能力(Chaining Primitives),新的训练目标使得模型能在任务早期生成可在后期使用的中间产物,降低了时间跨度t。其次是自我验证(Self-verification)能力,模型能在人类或独立验证器介入前,识别轨迹中语法正确但逻辑无效的步骤,从而降低了修剪无效路径的成本。最后是编排能力(Orchestration),模型能够指挥子代理、利用记忆功能进行路径引导和排除错误方向。这种能力组合在OpenAI的Navier-Stokes证明、Anthropic对费马大定理和黎曼猜想的探索中得到了印证。尽管Navier-Stokes证明长达166页且包含大量复杂数学,但其概念跳跃的数量并不多。这些案例共享相同的骨架:数百个失败的想法、一个主控器下的多个代理、无处不在的脚本和验证器,以及少数几个承载主要负载的概念飞跃。这表明AI正在通过规模化试错和精细化控制,重构数学证明的探索效率。

分支因子决定AI突破难度

人工智能在处理复杂问题时,必须在每个中间步骤探索几乎所有合理的分支路径。这种计算模式预测了一个关键指标:当 $b^k \times compute cost$(其中 $b$ 为分支因子,$k$ 为所需提示/洞察的数量)较小时,模型表现优异。这一理论解释了为何网络安全领域率先被AI攻克:其关键中间步骤的分支因子仅为 1-2,使得搜索空间相对狭窄。相比之下,专业领域虽然需要高超技能,但解决方案的形态通常是已知的,这进一步解释了为何寻找反例如此有效:它极大地压缩了解决空间并降低了分支因子 $b$。

"Cybersecurity seems complex, but it fell first, because the branching factor at intermediate steps 10 is about 1-2."

这种模式在社区协作中也有所体现,即引导智能体专门寻找开放问题的反例。验证器负责剪枝已完成的分支,起草者则通过告知求解器哪些路径已经失败来剪枝未来分支。然而,在搜索过程的中间阶段,往往缺乏有效的剪枝信号。自我验证只能捕捉错误的步骤,而无法识别那些语法正确但通向死胡同的路径。由于缺乏梯度指引,必须探索所有分支。Tsimerman 为此付出了心理代价,而AI公司则需支付巨大的计算成本。实验室倾向于选择解空间狭窄的问题来展示模型能力,因为这类问题中 $k$ 和 $b$ 的值不会大到令人望而却步。

AI擅长完成而非洞察:Navier-Stokes案例解析

从上述机制中可以得出一个直观结论:当概念性飞跃已经完成,剩余工作仅是繁琐复杂的数学推导时,AI模型将表现出色。近期发布的许多证明均符合这一特征。以 Navier-Stokes 方程的证明为例,该工作完成了 Córdoba 和 Martínez-Zoroa 提出的程序框架。尽管这仍然是一项艰巨任务,但借助 10,000 个智能体在 88小时内消耗总计 300B tokens的计算资源得以实现。这证明了在低 $k$(洞察需求少)和高计算成本可承受的情况下,AI能够高效完成证明。

"Expect AI models to be very good at taking ideas to completion when the conceptual leaps have already been made and what remains is tedious, complicated math."

如果人类要在某些领域保持优势,Gowers 认为那将是在 搜索树深且分支量大的问题上。在这种情况下,如果没有严格的剪枝手段,即使对计算机而言搜索也是不可行的。即高 $b$ 和高 $k$ 的问题,人类直觉依然至关重要。AI擅长的是将已有的想法贯彻到底,而人类则负责提供那些关键的、非直观的初始洞察。

人机互补:从失败中汲取信息

人类与AI在解决问题上存在显著差异。人类谨慎选择方法并投入数月时间,失败的尝试因蕴含高确信度而具有深刻的见解;专家拒绝某种方法时,也伴随着其判断力和洞察力。无论哪种情况,追随一个想法都会改变我们对问题的理解,即使是死胡同也能留下有用的思维工具。相反,AI的解决方案源于模型穷尽所有合理路径,失败是廉价的且大多天真。虽然失败中蕴含的信息量与其背后的确信度成正比,但我们很少能看到这些失败过程。

"Humans are good at shrinking branches. Models are good at shrinking the time it takes to prune one branch."

这种差异创造了良好的互补关系:专家擅长缩小分支范围,而模型擅长缩短剪枝单个分支所需的时间。专家可以利用模型的失败尝试以及自身获得确信度的过程来缩小问题范围。然而,对于需要大量洞察(即大 $k$ 值)的问题,对两者来说依然困难。此外,许多开放问题的提出旨在提升我们对领域的理解,这种理解部分来自直接解决问题,也来自了解高确信度方法为何失败。如果我们要利用AI生成证明并从中获取洞察,就必须能够观察到这些失败的尝试。

广义相对论:AI能否重现爱因斯坦的飞跃?

关于LLM是否能提出广义相对论,有人建议以1901年之前的数据训练模型看其能否推导出来。作者认为,如果研究者针对此目标进行优化(goodhart),这将很快实现。因为广义相对论的飞跃并不需要太多的提示,第一个关键线索是将引力视为几何学,这足以大幅缩小解空间。随后的数学极其困难,而这正是模型擅长的领域。

"General Relativity required two to three main insights. First was, treat gravity like geometry."

这个线索极其反直觉。在得出该结论前,模型可能会尝试将引力视为力、平直空间中的场或牛顿平方反比定律的修正,但这些尝试都会与1901年前已知的知识(如水星近日点进动)相冲突。每一次失败都会让几何学解释的可能性增加一点。虽然模型可能生成数百个看似合理的理论,但最终我们会验证出正确的那个。爱因斯坦在1907年产生了“ happiest thought ”(自由落体的人感觉不到自己的重量),但随后花了八年时间才将其转化为方程。广义相对论需要两到三个主要洞察,第一个是将引力视为几何学。在当时牛顿定律被视为神圣不可侵犯的背景下,提出这一观点需要巨大的信念。特殊相对论是“等待发生的想法”,而广义相对论则是完全不同的事物,这体现了非直观线索与常规推导之间的巨大差异。

"C.P. Snow once said, special relativity 'was an idea waiting to happen. But the General Theory was something else altogether.'"

人机交互中的指令悖论

在与AI模型进行数学推理的互动中,出现了一种令人费解的现象:用户不得不向机器发送类似“不,真的,请继续”这样的简短指令,试图纠正其思路。这种人机沟通的荒诞性在于,它不仅要求用户以极其简略的方式表达复杂的否定意图,更令人惊讶的是,这种看似低效的沟通方式竟然有时能奏效。然而,这种间歇性的成功掩盖了深层缺陷。作者指出,每隔15秒就进行一次这样的干预并非长久之计。即使模型在接近正确答案时表现出某种倾向,人类专家也倾向于直接否定而非引导其完成最后的逻辑跳跃。这种高频且低效的交互模式揭示了当前模型在自主推理能力上的不足,用户被迫成为模型的“监工”,不断通过否定来修正其路径。

先验知识对判断的扭曲

AI在数学概念跳跃上的表现贫乏,本质上反映了先验知识(Priors)对判断力的双重影响。正如人类专家一样,AI的判断也依赖于训练数据中形成的先验概率。当面对如“单位距离反例”这样的复杂问题时,错误的先验会将正确的推理路径推向低概率区域。在数学家Gowers的案例中,他坦言自己从未想过去证伪该命题,这种思维定势导致许多专家未能选择正确的解题分支。AI同样受困于此:如果训练数据中缺乏对特定反例的重视,模型就会系统性地忽略那些非主流但关键的逻辑路径。这表明,AI缺乏真正的“直觉”,它只是在复现数据中的统计规律,而这些规律可能包含偏见或盲区。

创新与发现的机械性本质

尽管存在上述缺陷,AI在某些场景下仍能表现出惊人的能力。例如,当利用链式漏洞(Exploit Chain)已存在于文献中时,模型只需填补逻辑空缺即可完成任务。这暗示了部分数学证明或技术突破可能并非源于全新的灵感,而是对现有知识的重新组合。然而,这种能力也带来了资源浪费的风险:我们可能会看到耗资巨大的模型经过漫长计算后,仅仅发现某个问题极其困难且无解,或者得出一个平庸的替代结果。这种高成本、低回报的发现过程让人联想到道格拉斯·亚当斯的讽刺:计算机经过彻底检查后给出答案,却指出问题在于人类从未真正理解自己在问什么。这提醒我们,AI的“聪明”可能只是对已知模式的熟练检索,而非真正的创造性突破。

结论

AI在数学领域的突破并非源于通用智能的飞跃,而是特定计算架构与人类先验知识结合的结果。其核心优势在于利用深度优先搜索和自动验证器,以极低的边际成本快速剪枝大量无效路径。这种模式在洞察数量少(低k)且分支因子小(低b,如网络安全或已有框架的推导)的场景中表现卓越。然而,AI缺乏真正的直觉与概念跳跃能力,受限于训练数据的先验偏差,难以在搜索空间广阔、缺乏早期反馈的高难度问题上独立突破。因此,AI擅长将既定想法贯彻到底并处理繁琐推导,而人类专家仍需在关键洞察生成和复杂搜索树的早期剪枝中发挥主导作用。