Meta AI 专家探讨大模型在推理与规划领域的局限，提出神经与符号决策统一框架

演讲背景与研究动机

本次讲座由 Meta AI 公平性研究科学家总监田渊栋（Yuandong Tian）主讲，主题聚焦于大语言模型（LLM）在推理（Reasoning）与规划（Planning）领域的应用，旨在构建一个神经与符号决策制定的统一框架。田渊栋指出，大模型已在多个场景中证明其价值，包括对话式 AI、内容生成、角色扮演以及作为AI Agent的基础。特别是在引入“思维链”（Chain of Thoughts）等技术后，大模型的推理能力得到了显著提升，但在复杂的规划任务中仍暴露出明显缺陷。

“在 Meta，我与许多富有创造力和才华的同事一起工作，致力于增强大模型的规划和推理技术，使其达到下一个水平。”

讲座的核心目标是深入探讨推理与规划组件，分析现有能力的弱点，并探索如何通过不同方法克服这些局限，从而提升大模型在复杂决策场景中的表现。

旅行规划案例：大模型的规划弱点

为了直观展示大模型在规划方面的不足，演讲者引入了一个贴近日常生活的旅行规划问题作为典型案例。该任务要求大模型根据用户指定的目的地（如夏威夷、西雅图、加州）、特定日期和预算，生成一份清晰、可执行、可行甚至最优的行程单。这一任务看似简单，实则对模型的逻辑整合能力提出了极高要求。

在典型的 Agent 工作流中，模型首先需要从外部世界查询大量信息，例如执行搜索以获取潜在方向，进行航班搜索或酒店搜索以获取多个条目。随后，模型需要将这些分散的信息整合起来，规划出一条连接所有节点的路径。然而，现实情况是，大模型往往难以在整合多源异构信息后，生成真正符合逻辑且可执行的完整行程，这揭示了其在复杂规划任务中的结构性弱点。

从信息聚合到可执行路径的挑战

在获取了航班、酒店等外部信息后，理想状态下，语言模型应当能够将这些数据点连接成一条清晰的执行路径。然而，当前的模型在处理此类多约束优化问题时表现不佳。演讲者强调，虽然模型可以检索信息，但在将检索到的碎片化信息转化为全局最优解或可行解的过程中，缺乏有效的符号逻辑支撑。

“我们希望语言模型能够找出一种路径，将所有编辑信息连接成一个清晰的路径或行程，以便执行。”

这一案例表明，单纯依赖神经网络的概率预测能力不足以解决复杂的规划问题。未来的研究方向需要结合符号推理的优势，以弥补大模型在逻辑一致性和约束满足方面的不足，从而实现更可靠的决策制定。

语言模型在旅行规划任务中的表现困境

研究团队在 ACL 会议上发表了一篇 Spotlight 论文，重点揭示了当前大型语言模型（LLM）在解决复杂规划任务时的能力局限性。实验选取了当时最强的模型 GPT-4 Turbo 作为基准，针对旅行行程规划这一具体场景进行了测试。结果显示，即使使用最先进的模型，其最终通过率也极低。具体数据表明，GPT-4 Turbo 在旅行行程规划中的最终通过率仅为 0.6%。这一数据直观地反映了模型在处理多约束条件规划问题时的无力感。

为了进一步探究原因，研究者引入了“工具真实信息”（Ground Truth Information）作为辅助条件，即直接向模型提供准确的工具返回数据，要求模型直接生成行程计划。然而，即便有了这些信息加持，模型的最终通过率也仅提升至 4.4%。这说明问题的核心不在于信息获取，而在于模型本身的推理与规划能力不足。研究者指出，规划质量的低下导致必须引入人工干预才能找到可执行的方案，这违背了自动化的初衷。

"Even with the GPT-4 Turbo... we actually see that the final pass rate of the entire travel itinerary is only 0.6%."

规划任务性能与复杂度的关系分析

深入分析实验结果可以发现，规划任务的难度并非线性增加，而是随着变量和规模的扩大呈现指数级的挑战。在 DeepMind 的实验中，旅行规划和会议规划是两个典型的测试场景。在这些场景中，模型需要同时满足多个约束条件，如预算限制、时间冲突、偏好设置等。例如，约束条件可能包括“禁止在吸烟区住宿”或“总预算不超过固定金额”。研究者强调，约束条件的满足情况是评估规划质量的核心标准，可以通过代码自动验证行程是否满足所有准则。

然而，实验结果揭示了一个令人担忧的现象：即使模型能够理解单个约束，但在处理多个相互交织的约束时，其组合推理能力严重不足。这导致生成的行程往往在局部看似合理，但在整体执行时违反关键约束。因此，人工介入成为确保计划可执行性的必要环节。这一发现对于开发真正的 AI Agent 具有重要意义，因为它表明仅靠提升模型的通用语言理解能力，无法解决复杂的符号与逻辑规划问题，需要引入新的框架或方法。

模型/场景	旅行规划通过率	备注
GPT-4 Turbo	0.6%	当时最强模型，无额外信息
GPT-4 Turbo + Ground Truth	4.4%	提供工具真实信息
o1-mini	数据不足	表现甚至不如微调模型
o1-preview	数据不足	表现甚至不如微调模型

"The pass rate definition is very simple... whether every stage of the travel satisfies the constraints."

大模型规划能力的规模瓶颈与性能衰减

尽管以 OpenAI o1 为代表的大语言模型在发布后展现了卓越的性能，特别是在处理小规模问题时，其与现有模型之间的性能差距巨大，但这种优势在问题规模扩大时面临严峻挑战。研究表明，随着规划步骤从 2 步增加到 14 或 16 步，模型的性能曲线会急剧下降至零。这一现象在俄亥俄州立大学（OSU）发表的论文《AM Cannot Plan》中得到了证实，揭示了当前最佳模型仍未解决的核心痛点。

"The trend of this entire curve still goes down substantially, and the trend does not change over time."

数据显示，虽然曲线的基准项（bias term）随着模型进步有所提升，但整体下降趋势并未改变。这意味着单纯依赖模型规模的扩大可能无法根本解决复杂规划问题，因为即使是最先进的模型，在面对长链条规划时依然会出现性能崩溃。这种令人担忧的性能衰减趋势表明，仅靠 Scaling Law 虽然是一条路径，但并非唯一或最有效的解决方案，因为它不仅成本高昂，还面临巨大的工程挑战，且不一定涉及新的思维范式。

混合系统架构：神经与符号求解器的互补

为了解决大模型在规划任务上的不足，研究者提出了混合系统（Hybrid Systems）的解决方案。这种架构基于一个核心洞察：深度基础模型擅长理解自然语言指令，但在执行高质量规划任务时表现不佳；而组合求解器或符号求解器（如混合整数线性规划 MILP）则能提供最优解、保证正确性，且运行速度极快，通常无需微调即可处理复杂的规划问题。

然而，符号求解器存在明显的短板，即无法理解自然语言、用户请求或灵活的场景。因此，将两者结合成为一种必然选择。通过构建一个系统，让大模型负责语义理解，符号求解器负责逻辑优化，可以创造出比单一组件更强大的智能体。这种互补策略旨在利用神经网络的灵活性处理输入，同时利用符号系统的严谨性确保输出的最优性和可行性，从而克服各自独立的局限性。

基于 MILP 的旅游规划智能体案例

在具体实践中，研究团队开发了一个结合大语言模型与混合整数线性规划（MILP）求解器的旅游规划演示系统。该系统并未要求语言模型直接生成最优行程，而是采用了一种迂回策略：首先将自然语言输入转换为 JSON 格式的符号表示，然后结合航班和酒店信息调用 MILP 求解器，最后将求解出的最优行程符号描述转换回自然语言作为响应。

"You can take a detour through the symbolic solver, and that detour will give you some solution that is guaranteed to work better."

该系统的性能数据如下表所示，展示了各组件的处理耗时，确保了实时交互的可行性：

组件/步骤	任务描述	耗时 (秒)
指令翻译器 (微调后)	将自然语言转换为 JSON 文件	2.0 - 2.5
MILP 求解器	求解整数规划问题	0.5 - 7.0

在人类评估实验中，用户被问及系统是否有用、是否满足请求、是否提供高性价比以及是否高效。结果显示，大多数用户对系统的反馈是积极的，认为其优于基线系统。该演示系统已入选在迈阿密举行的 NLP 会议演示环节，证明了其在实时场景下的实用价值。

未来方向：从梯度下降中涌现的符号表示

除了混合系统架构，讲座还提到了第三种潜在解决方案，即探索神经网络内部是否自动涌现出符号表示。近期研究发现，通过梯度下降优化，神经网络内部可能自动形成符号化的结构。这一发现极具吸引力，因为它可能揭示出一种无需显式混合架构，而是通过模型内部机制实现符号推理的新路径。虽然这一部分将在后续章节详细展开，但它代表了从纯神经方法向符号逻辑融合的一种深层探索，为理解大模型的规划能力提供了新的视角。

PAC宪法：构建高效主动式旅行规划Agent

在传统的单轮对话场景中，用户请求被直接转换为JSON文件发送给大模型，但这不符合真实世界的需求。用户往往只有模糊的想法，例如“我想去夏威夷”，而缺乏具体细节。PAC宪法（PAC Constitution） 被设计用于训练Agent主动询问关键信息，以最小的对话轮次获取所有必要数据。该宪法包含四个核心组件：准确性（Accuracy） 确保信息无误，主动性（Proactivity） 要求Agent提出有趣且必要的问题而非随机提问，效率（Efficiency） 避免在无关问题上浪费时间，以及 可信度（Credibility） 减少幻觉和不一致性。

为了评估Agent性能，研究者设定了50种不同的旅行者Persona，每种Persona拥有隐藏的“关键信息电子表格”。Agent的目标是在简短对话中准确提取这些信息。通过DPO（直接偏好优化）进行多轮微调后，模型在整体条目和关键条目上的表现均有提升。> “We actually design our agent constitution in order to allow the agent to follow these instructions... it consists of three, four different component.”

性能优化与Agent作为裁判的新范式

实验结果显示，经过DPO微调的Agent在实用性（Practicality）和澄清能力（Clarification）等指标上得分显著上升。相比之下，未经过此类方向微调的基础模型（如Llama 3.1B或18B）表现不佳。此外，研究还探索了使用Agent作为裁判（Agent-as-a-Judge）的新方法。传统方法仅由大模型评估最终结果，而新方法让Agent检查目标Agent的每一步操作，从而提供更丰富、更细粒度的反馈，帮助主Agent改进。

SearchFormer：利用符号求解器生成训练数据

课程的第二部分探讨了如何利用符号求解器（Solver）为深度学习模型提供训练数据，具体案例为 SearchFormer 模型。该模型旨在预测规划任务的结果。在一个3x3的迷宫最短路径任务中，符号求解器采用 A*搜索算法，通过启发式函数寻找从起点到终点的最优路径。

A*搜索在找到最优解之前，会生成一系列中间步骤（Intermediate Steps），这些步骤在可视化中通常以紫色和青色节点表示。SearchFormer的核心思想是利用这些由符号求解器生成的中间搜索过程数据，来训练深度模型预测规划结果。这种方法展示了结合深度模型与符号求解器的另一种有效路径，即利用求解器的内部逻辑数据来提升模型的规划预测能力。

搜索增强模型：从直接预测到轨迹预测

传统的语言模型方法通常采用直接预测模式，即给定一个描述问题的提示（prompt），模型直接输出最优计划。然而，这种“解决方案仅（solution-only）”的方法在复杂任务中往往面临挑战。研究团队提出了一种搜索增强模型（Search Augmented Model）作为第一阶段模型，其核心逻辑是先预测问题的搜索轨迹（search trace），再基于该轨迹预测最终输出计划。这种方法虽然增加了生成的token数量——因为模型需要同时输出搜索过程和最终计划——但带来了显著的性能提升。与通常只生成少量token的纯搜索模型不同，搜索增强模型生成的序列更长，因为它包含了完整的推理路径。

“Instead of training a model that directly predict a plan given a prompt... In our approach, what we do is that we start from an initial prompt. We can actually first predict the trace, the search trace of the problems, and then given the search trace, we can predict the final output plan.”

这种架构的转变并非简单的冗余，而是为了引入中间推理步骤，从而让模型更好地捕捉问题的结构。通过显式地建模搜索过程，模型能够更准确地定位最优解，尽管这增加了计算和生成的成本，但为后续的效率优化奠定了基础。

缩放定律验证：参数与数据效率的飞跃

引入搜索轨迹是否值得？实验结果给出了肯定的答案，并揭示了搜索增强模型遵循更完美的缩放定律（Scaling Law）。在30x30迷宫导航任务中，对比“解决方案仅模型”与“搜索增强模型”的表现，差异巨大。纯解决方案模型需要约1.75亿参数和100万个训练序列才能达到较高的测试集性能，且缩放曲线并不理想。相比之下，仅使用1500万参数（比前者小10倍）的搜索增强模型，在仅需5万样本时，最终得分即可达到约80%，而同等条件下纯解决方案模型得分仅为20%。

模型类型	参数量	训练样本量	测试集性能表现	任务场景
解决方案仅模型 (Solution-only)	1.75亿 (175M)	100万	需大量数据才能达到高性能	30x30 迷宫导航
搜索增强模型 (Search Augmented)	1500万 (15M)	5万	约 80% 最终得分	30x30 迷宫导航
解决方案仅模型 (Solution-only)	1.75亿 (175M)	100万	约 20% 最终得分	30x30 迷宫导航

数据显示，搜索增强模型在参数效率和数据效率上均实现了约10倍的提升。它用10倍更少的参数（15M vs 175M）和10倍更少的样本（100k vs 1M）达到了相近甚至更优的性能。这一发现证明了通过添加搜索轨迹这一简单技巧，可以显著提升模型的学习效率和泛化能力，使得小模型也能在复杂规划任务中表现出色。

案例扩展与迭代优化：超越A*算法

同样的趋势也在推箱子游戏（Sokoban）中得到验证。该游戏要求智能体将箱子推到指定位置，且只能推不能拉，一旦将箱子推入死角或墙角导致无法移动，游戏必须重新开始。这要求严格的顺序规划（sequential planning），随机操作极易导致失败。实验显示，搜索增强模型在Sokoban任务中同样表现出比纯解决方案模型更优的缩放曲线。

为了进一步优化，研究团队并未采用复杂的强化学习，而是实施了专家蒸馏（Expert Distillation）策略。首先通过模仿学习训练初始模型，然后利用搜索增强模型进行多次采样，生成多样化的轨迹和计划。团队筛选出导致最优计划的最短搜索树，将其作为下一轮训练的强化数据集。通过这种迭代式的“蒸馏”过程，模型在保持甚至提高最优率的同时，生成的搜索轨迹长度逐渐缩短。

“We don't do really a reinforcement task, but what we do is very simple. We just do expert actuation... You pick the plan that is optimal. And then, given all the optimal plans, check the associated search trees. You want to find like which search tree is the shortest.”

随着迭代次数增加，平均任务序列长度分布向左收缩，意味着模型学会了更高效的搜索路径。这一过程使得模型最终能够在保持解的最优性的同时，找到比原始A*算法更短的搜索轨迹，从而实现了“超越A（Beyond A）”的目标，证明了该方法在提升推理效率方面的巨大潜力。

SearchFormer的自举优化与效率跃升

在神经网络的搜索轨迹发现过程中，随着后训练步骤的迭代，改进的Lens比率（lens ratio）逐渐升高，这意味着神经网络最终输出的搜索轨迹随时间推移变得越来越短。这一现象引发了关于“融化率（melting rate）”的疑问：虽然最优解的轨迹变短，但最优性（optimality）并未下降，反而在每次迭代中略有上升。这种在缩短搜索路径的同时提升解的质量的现象，被描述为一种“神秘但有趣”的机制。经过多轮迭代后，模型不仅实现了搜索效率的大幅提升，其性能表现也令人瞩目。

"You see the optimality actually goes up a little bit every time when you do the steps of iterations, which is something that's kind of mysterious."

值得注意的是，这种优化效果在参数量极小的情况下依然显著。实验显示，使用仅 2400万参数（24 million parameters） 的SearchFormer模型，在经过自举（bootstrapping）过程后，其准确率与拥有 7亿参数（700 millions parameters） 的纯解决方案模型相当。这证明了通过高效的搜索推理程序，小参数模型也能达到与大参数模型相媲美的性能水平，体现了数据增强与训练策略的重要性。

DualFormer：通过随机丢弃优化搜索轨迹

针对SearchFormer轨迹过长（可能长达数千甚至上万token）的弱点，后续研究提出了DualFormer（V2版本）。其核心策略是随机丢弃搜索轨迹中的部分片段，以定义不同的丢弃层级。例如，可以丢弃A*搜索中不重要的闭表（closed cost）成本，或丢弃创建句子中的创建成本（create cost），甚至完全丢弃整个轨迹，仅使用纯解决方案数据进行训练。这种混合训练方法在迷宫不同尺寸及Scopa任务上进行了测试。

模型训练数据组合	性能表现对比	轨迹多样性 (Diversity)
仅使用解决方案数据 (Solution only)	基准性能	较低
使用完整搜索树数据 (Complete trees)	基准性能	中等
DualFormer (混合不同丢弃层级)	优于上述两种基准	显著提高

实验结果表明，使用混合层级数据训练的DualFormer，其性能优于仅使用解决方案或仅使用完整轨迹训练的模型。同时，轨迹的多样性显著提升。多样性被定义为从模型生成的64条路径中观察到的聚类数量。高多样性对于测试时计算（test time compute）至关重要，因为随着测试计算量的扩展，高多样性的生成结果能带来更好的性能提升。

自动切换System 1与System 2模式

DualFormer最令人惊讶的发现是其能够自动在“快模式”（System 1）和“慢模式”（System 2）之间切换。传统观点认为System 1是直接预测结果，而System 2涉及思考与搜索过程，通常需运行两个独立模型。然而，DualFormer在混合数据训练后，无需人类显式信号，便能根据问题规格自动选择模式：输出create token表示进入慢思考（System 2）进行搜索规划，而直接输出plan token则表示进入快思考（System 1）直接给出答案。

"This approach... will automatically switch between fast mode and slow mode by itself, depend on the problem specifications."

研究人员通过控制解码器的第一个token来强制模型进入特定模式，并对比了性能：

模型配置	模式说明	性能对比结果
DualFormer (Auto)	自动切换快/慢模式	优于仅训练System 1或System 2的模型
DualFormer (Fast)	强制输出`plan` token (快模式)	优于专用的纯解决方案模型
DualFormer (Slow)	强制输出`create` token (慢模式)	优于基于完整轨迹训练的基线模型

这种自动涌现的行为表明，混合训练不仅提升了整体性能，还赋予了模型灵活适应不同问题复杂度的能力，无需人工干预即可在效率与准确性之间取得最佳平衡。

双模式切换与数学思维链的稀疏化增强

模型具备在“慢模式”与“快模式”之间切换的能力，这种双模式机制即使在强制使用单一模式时，其表现也优于针对特定数据训练的专用模型。为了验证这一想法，研究团队在数学问题上进行了实验，使用了包含详细推理步骤的 AugMath 数据集。通过对思维链（Chain of Thoughts）中的句子进行随机删减（randomly decimate sentences），训练出的模型能够生成更短且简洁的步骤，同时保持了更好的性能表现。这种通过数据增强生成的 Augmas 基线已经优于原始 Mask 数据集，而采用不同比例的删减策略后，追踪长度（trace length）进一步缩短，性能反而提升。

"The resulting model is actually quite interesting. It gives you much short and concise steps, at the same time you still give you a little bit better performance."

迷宫规划中的深度对比与局限性

在迷宫规划任务中，研究者对比了 Dual Forward 方法与 OpenPreview（未微调版本）的表现。Dual Forward 能够探索所有状态并给出通往目标的路径，而 OpenPreview 在没有训练的情况下无法理解迷宫内部逻辑，仅能给出打破墙壁的粗暴路径。经过训练后，DeepFormer 能够进行合理的规划，在特定问题上优于 OpenPreview。然而，演讲者指出这并非公平比较，因为理想情况下应对 OpenPreview 进行针对该数据集的微调以评估其真实潜力。这一部分展示了模型从无序探索到有序规划的进化过程，强调了训练对理解环境的重要性。

非线性组合优化的端到端训练框架

针对现实世界中涉及组合约束且目标函数为非线性的优化问题（如计算机系统设计、天线设计、物理设备优化），传统的线性组合求解器无法直接应用。以邀请桌位放置问题为例：将 $k$ 个嵌入表分配到 $n$ 个相同的 GPU 设备上，需满足每个设备的内存容量限制，目标是最小化由神经网络估计的延迟。该问题中，$x_{ij}$ 为二进制变量表示表 $i$ 是否放置在设备 $j$，约束条件包括每个表必须放置在一个设备上（$\sum_j x_{ij} = 1$）以及内存消耗不超过预算（$\sum_i x_{ij} m_i \le m_j$）。由于系统批处理和通信等因素，目标函数高度非线性，传统优化算法（如遗传算法）难以找到可行解。

潜在空间中的代理成本与梯度下降优化

为了解决上述难题，研究提出在潜在空间（latent space）中将问题转化为线性形式。首先学习一个基于问题描述 $y$（如 GPU 数量、内存能力）的代理成本函数 $c$，然后将 $c$ 输入线性求解器得到解 $x^$，最后将 $x^$ 代入原始非线性目标函数计算损失。通过反向传播（backpropagation）和梯度下降，优化代理系数的表示方式，从而间接优化原始非线性问题。计算图流程为：问题描述 $y \rightarrow$ 代理成本 $c(y) \rightarrow$ 线性求解器 $\rightarrow$ 解 $x^* \rightarrow$ 目标函数损失。这种方法结合了神经网络的灵活性与组合求解器的精确性，实现了端到端的优化训练。

"Instead of solving the original problem in the original space that is non linear, we can actually find a latent space such that the problem become a little bit linear in latent space."

优化场景	约束类型	目标函数性质	传统方法难点	本方案核心思路
迷宫规划	网格墙壁	路径最短	未训练模型无法理解结构	Dual Forward 探索状态，DeepFormer 训练后合理规划
桌位放置	内存容量限制 (组合)	神经网络估计延迟 (非线性)	遗传算法难以找到可行解	学习代理成本 $c$，在潜在空间转化为线性问题求解
通用组合优化	组合约束	非线性/不可微	无法直接调用组合求解器	端到端训练，通过梯度下降优化代理系数以优化原始目标

混合架构中的损失最小化策略

在构建能够同时利用神经网络和传统求解器的混合系统时，核心挑战在于如何确定最优的系数配置以最小化整体损失。传统的中间过程往往被忽略，重点在于找到使整个管道高效运行的最佳参数。通过反向传播技术，可以将梯度一直传递到底层，从而计算出关联系数 $c$ 的最优权重，即 $c = c_y$ 的私有化映射。这种方法的创新之处在于它允许系统在不同阶段进行动态调整，从而在复杂的非线性优化问题中找到更优解。正如演讲者所述："> find, okay, what is the best way to minimize the loss? And I don't care about all intermediate stages, but I just want to find what is the best way to minimize the loss, subject so that the the the entire pipeline will will be working, right?"

为了验证这一理论，研究团队在表格共享（Table Sharing）场景中进行了实验，并提出了三种不同的变体方案，以平衡解的质量与部署速度。这三种方案分别是：

Circle Zero：在测试时进行反向传播。虽然计算速度慢，但能提供高质量的解。
Circle Prior：直接学习 $c = c_y$ 的映射关系，一次性预测系数 $c$ 并调用求解器。这种方法速度极快，且性能表现良好。
Hybrid（混合版）：首先调用 Prior 模块找到 $c$ 的初始最优值，随后随时间推移继续优化 $c$。这是一种折中方案，旨在结合前两者的优势。

性能对比与基准测试结果

在评估这三种变体时，主要关注两个关键指标：解的质量（损失值）和部署运行时（速度）。理想情况下，损失值应趋近于零，而部署时间应尽可能短。实验结果显示，这三种方法在解的损失方面显著优于现有方法，包括领域启发式贪婪算法（Domain Heuristic Greedy）和基于强化学习的 Dream Shot 方法。特别是在部署运行时方面，Circle Prior 因其只需一次预测系数并调用求解器，表现出极高的效率。

以下是不同方法在解的损失（Loss）和部署时间（Runtime）上的对比数据。虽然字幕未提供具体的数值表格，但定性对比如下：

方法类别	具体算法	解的质量 (Loss)	部署运行时 (Runtime)	特点描述
现有基线	Domain Heuristic Greedy	较高 (较差)	中等	传统启发式方法，缺乏全局优化能力
现有基线	Dream Shot	中等	较慢	基于强化学习，优化非线性问题
本文方法	Circle Zero	最低 (最优)	慢	测试时反向传播，计算成本高但解优
本文方法	Circle Prior	低 (优秀)	极快	直接预测系数，单次调用求解器
本文方法	Hybrid	低 (优秀)	中等	初始预测+后续优化，平衡速度与质量

逆向流动设计案例：纳米级光栅优化

除了表格共享，该混合框架还被应用于工业界的逆向流动设计（Inverse Flow Design）问题。这是一个在纳米尺度（80x80 网格）上进行的光学设计任务。目标是将从顶部入射的光线通过衍射和干涉效应，引导至底部不同位置，具体取决于光的波长。由于空间极其微小，无法使用传统镜子，必须依赖波的干涉和衍射来改变光路。

该优化问题的复杂性体现在多个方面： 1. 高学习率需求：需要快速收敛。 2. 组合设计空间：每个网格单元只能选择 0 或 1，这是一个二进制问题。 3. 线性约束：考虑到制造工艺，设计必须能通过刷子（brush）雕刻实现，不能存在孤立的点，这引入了额外的线性约束条件。

在这种复杂约束下，研究团队使用 Circle Zero 和 Circle Hybrid 方法进行了优化。结果显示，这两种方法的收敛曲线更加平滑，相比基于梯度但不涉及神经网络的方法（如 Pass Through），后者收敛曲线不稳定且耗时较长。演讲者指出："> our our approach called the circle zero and circle hybrid have a much smoother... convergence curve compared to existing approaches, uh, which called a pass through."

局限性与未来方向

尽管混合系统在解决复杂优化问题上表现出色，但仍存在明显的局限性。首先，如果目标函数 $f$ 不可微，当前的反向传播机制将无法直接应用。其次，在训练过程中，每次都需要调用求解器，这导致了计算速度慢的问题。此外，该方法要求求解器具有高度的可编程性，以适应不同的优化需求。

针对这些挑战，研究团队正在开展后续工作，旨在解决不可微函数处理和加速求解器调用的问题。虽然由于时间限制未能详细展开，但相关代码和论文已在线发布。这一部分的内容为理解混合系统（Hybrid Systems）提供了重要视角，即如何结合大型神经网络的全局感知能力与传统符号求解器的精确推理能力。在讲座的最后部分，演讲者将探讨更深层次的问题：深度模型是否能收敛到任何符号表示，这引发了关于神经网络与符号逻辑之间潜在联系的有趣思考。

大模型能力的两极争论与“检索”质疑

在关于大型语言模型（LLM）能力的讨论中，存在两种截然不同的观点。一方认为，随着参数规模的扩大，模型会涌现出各种行为，最终实现通用人工智能（AGI），人类只需坐享其成。“Large model can do everything... we will enjoy all these capabilities without too much worry.” 这种观点相信规模即正义。然而，另一方则持怀疑态度，认为语言模型可能并未真正进行智能推理，而仅仅是“basically just doing retrievals”。这种质疑的核心在于，模型表现出的推理能力可能只是因为在训练数据中见过类似示例，而非真正理解了逻辑。

为了验证这一质疑，研究人员引用了 Apple 的一篇论文，该论文通过在 GSM8K 数据集（一个数学推理基准测试）中插入无关的句子或主题，观察模型性能的变化。实验结果显示，当加入无关信息后，所有模型的性能出现了巨大下降。 尽管最终答案在逻辑上不应受无关句子影响，但模型却表现出对上下文噪声的极度敏感。这一现象令人惊讶，因为它揭示了模型可能并未掌握真正的推理能力，而是依赖于表面特征或记忆检索。这引发了一个核心问题：“How can we actually address these problems... understand better why and what kind of representation language model is used to do the reasoning and planning?” 理解大模型内部的表示机制，成为了解决这一困境的关键。

模加任务中的傅里叶基涌现现象

为了深入探究大模型如何学习表示，研究者设计了一个简单的“模加”（Modular Addition）任务。该任务给定两个数 $a$ 和 $b$，要求预测 $c = (a + b) \mod d$。虽然输入空间仅为 $d^2$ 种可能，看似简单，但研究发现，模型并未像预期那样建立隐式的查找表（Retrieval Table），而是涌现出了傅里叶基（Fourier Basis）表示。大量论文指出，训练后的模型在表示不同数字时，会呈现出优美的正弦和余弦曲线。

为了复现并解释这一现象，研究者构建了一个极简的两层神经网络进行模拟。底层接收 $a$ 和 $b$ 的独热编码（One-hot representation），通过两个权重矩阵相加后，送入具有二次激活函数的隐藏节点。顶层则输出 $c$ 的独热编码。尽管结构极其简单，训练过程中依然涌现出了傅里叶基结构。 这一发现表明，傅里叶表示并非大模型独有，而是某种优化过程下的自然结果。为了深入分析，研究者将问题转换到傅里叶域，利用复数系数 $z_a, z_b, z_c$ 和埃尔米特条件（Hermitian conditions）来简化梯度下降解的分析过程。

梯度下降解的频率分布与统计特征

在傅里叶域中，研究者分析了梯度下降解的结构。实验设置中，$d=7$，隐藏神经元数量 $q=20$。横轴为隐藏节点索引，纵轴为经过傅里叶变换后的频率。结果显示，对于每个特定频率 $k$，都有少数隐藏节点表现出强烈的响应。 例如，对于频率 $k=1$，有 6 个神经元表现出高频响应；对于 $k=2$，同样有 6 个神经元响应。此外，还观察到一些偏差项分布在其他神经元中。

为了验证这一现象的普遍性，研究者统计了 $d=23$ 时的梯度下降解分布。左侧图表展示了训练曲线，右侧图表展示了不同频率下的阶数分布。统计结果显示，在频率分布中存在非常尖锐的峰值，主要集中在阶数为 4 和 6 的位置。 这表明模型倾向于学习特定阶数的傅里叶分量。

在更大规模的设置中（$d=23, 71, 127$ 及不同权重衰减），结果依然稳健。绝大多数情况下，解依然集中在阶数 4 和 6 的两个峰值上。 唯一的例外是当权重衰减（Weight Decay）极强时，所有解坍缩为零，即没有有效解。这一系列实验清晰地展示了简单任务中模型内部表示的规律性，为理解大模型的推理机制提供了微观视角。

实验设置参数	隐藏神经元数 (q)	主要观察到的频率阶数峰值	备注
$d=7$	20	4, 6	每个频率对应少量强响应神经元
$d=23$	-	4, 6	统计分布显示尖锐峰值
$d=71$	-	4, 6	保持稳健，除非强权重衰减
$d=127$	-	4, 6	保持稳健，除非强权重衰减
强权重衰减	-	无 (坍缩为零)	所有解变为零，无有效表示

损失函数的代数结构重构

研究团队在论文中揭示了一个关键发现：通过重新构建均方误差（MSE）损失函数，可以解析其解的内在结构。原始损失函数被重写为包含复杂项的形式，具体表现为一个“1减去某项”的结构，以及三个平方和项。这种看似繁琐的数学变形并非无的放矢，而是为了揭示全局最优解存在的充分条件。当特定参数 $R_{K,K}$ 设为 1，且所有平方和项归零时，即可达成全局优化。这一发现将非线性优化问题转化为对代数结构的探索，为理解神经网络如何收敛提供了新的理论视角。

半环结构与同态映射机制

为了达成上述全局最优，研究利用了双层神经网络空间中的半环结构（semi-ring structure）。该结构通过定义特定的加法（隐藏神经元的拼接）和乘法（隐藏维度的克罗内克积），使得整个空间具备代数性质。更有趣的是，损失函数中的关键项实际上是环同态映射（ring homomorphisms）。这意味着函数保持了环中的加法和乘法运算规则。基于此，研究者可以构建部分解（partial solutions）：假设 $z_1$ 满足损失函数的一个约束项，$z_2$ 满足另一个约束项，通过半环中的乘法操作，可以将这两个部分解组合，生成同时满足多个约束的更复杂解。这一过程完全不需要梯度下降，而是通过代数构造直接获得全局最优解。

理论构造与梯度下降解的实证匹配

理论上的代数构造与实际的梯度下降结果之间存在惊人的对应关系。研究通过实验验证了这种一致性：在特定设置下，梯度下降产生的解主要集中在阶数为 4 或 6 的解上。当对这些解进行因子分解时，发现95% 的阶数为 6 或 4 的解可以分解为 2x3 或 2x2 的组合，这与理论构造完全吻合，且分解误差极小。进一步检查所有条目，98% 的解都可以因子化为理论构造的形式。此外，参数分布显示出明显的规则结构，在不同角度出现尖锐峰值，对应着更高的对称性。这表明神经网络在梯度下降训练后，其解具有类似符号表示的简洁性和结构性。

对深度学习范式的深远启示

这一发现对深度学习领域具有双重启示。首先，它暗示了神经网络可能通过梯度下降自动转化为符号化表示（symbolic representation），尽管目前仅在小规模推理任务中得到验证，但这为理解大模型的行为提供了新线索。其次，它提供了一条替代梯度下降的新路径：通过代数操作将小规模解组合成大规模解，未来可能无需依赖传统的梯度优化。这意味着我们不再需要盲目祈祷分布式系统正常工作，而是可以打开黑箱，采用原则性方法（principled approach）进行模型构建。这种从“黑箱优化”到“代数构造”的转变，可能使梯度下降在未来逐渐变得过时，为人工智能研究开辟全新的方向。