大模型在旅行规划任务中的性能瓶颈
当前，语言模型已被广泛应用于对话式AI、内容生成及AI代理等场景，但团队近期聚焦于将其应用于推理与规划领域时，发现其在复杂场景下的表现并不理想。以“旅行规划”为例，用户提出包含预算、目的地等多重约束的请求，模型需从数据库检索信息并生成可执行的行程方案。然而，这种端到端的规划任务对大模型而言极具挑战性。实验数据显示，即便使用当时最强的模型GPT-4 Turbo，其整体通过率仅为0.6%。这意味着在1000个测试案例中，仅有6个案例能生成完全符合所有约束条件的轨迹。即使允许模型访问工具的真实结果（Ground Truth），准确率也仅微升至4.4%，表明单纯依赖大模型难以解决此类复杂规划问题。
“对于这种任务，让大模型表现良好实际上是非常非平凡的。”
开源模型与多任务验证的局限性
为了验证这一现象是否具有普遍性，团队进一步测试了开源模型及更广泛的规划任务。在旅行规划任务中，Open-Mini和Open-Preview等模型的表现并未带来实质性提升，其最终通过率（Pass@3）甚至低于经过监督微调（SFT）的GPT-4o模型。此外，Google发布的Natural Plan论文指出，随着规划任务中变量数量的增加，所有模型公式的性能均出现显著下降。亚利桑那州立大学（ASU）的研究也证实，虽然Open系列模型在小规模规划问题上优于现有方法，但在面对更复杂的规划任务时，其正确率会大幅降至零。这揭示了一个令人担忧的趋势：当前模型可能仅能解决小规模规划问题，而在实际研究中常见的大规模复杂问题上表现乏力。
混合系统：结合求解器与神经网络的方案
面对大模型在扩展性上的局限，团队探讨了两种主要解决路径：一是通过增加数据和算力进行扩展，但这不仅成本高昂，且在实时规划中效果有限；二是采用混合系统，即结合深度模型与符号求解器。团队提出的具体方案是“将求解器作为工具使用”。在该框架下，模型不再直接生成最终行程，而是将用户请求转化为包含关键信息的JSON文件，并结合航班和酒店数据，调用混合整数线性规划（MILP）求解器来解决参数优化问题。这种将符号逻辑与神经网络相结合的方法，旨在利用求解器处理复杂约束的能力，从而弥补大模型在精确推理和规划上的不足。
“我们可以将深度模型和求解器结合在不同的场景中来解决这些问题，这就像是将符号求解器和神经网络结合起来。”
基于符号规划的旅行行程生成系统
该研究提出了一种混合系统架构，旨在将用户的自然语言请求转化为可执行的详细行程计划。核心流程首先将用户请求转换为符号表示（Symbolic Representation），随后通过求解器生成最优路径的符号描述，最后再将其转换回自然语言。这种设计使得系统能够生成具体、详细且可执行的计划。在数据构建方面，团队采用了一种逆向生成策略：先生成大量的符号表示，再将其转换为自然语言，因为这种转换方向比从自然语言到符号表示更容易实现。基于此数据集，模型被微调以直接从用户请求映射到 JSON 格式的约束文件。
"So this will give you a very concrete and detailed and also executable plan given the user request."
该系统并未采用端到端的训练方式，而是将映射求解器（Map Solver）作为独立组件。尽管组件分离，系统表现依然出色。在 EACL 演示会话中，该论文以口头报告形式被接收。人类评估结果显示，与基线系统相比，该系统在完全满足请求、性价比以及效率方面获得了非常积极的反馈。这种架构证明了将大语言模型用于问题形式化，再交由传统求解器处理的有效性。
系统性能数据与实时性分析
为了验证系统的实用性，研究团队进行了详细的性能基准测试，重点关注约束恢复率和响应速度。实验表明，该系统能够恢复80% 到 90%的用户约束条件，同时保持了接近实时的处理速度。具体的时间分解数据显示，从自然语言转换为 JSON 文件仅需约 2 秒，而调用求解器生成解决方案（即使是包含复杂约束的多日行程）也仅需约 30 秒。这种低延迟特性使得系统在实际应用中具备极高的可用性。
| 评估指标 | 具体数值/描述 | 备注 |
|---|---|---|
| 约束恢复率 | 80% - 90% | 系统能识别并满足的用户约束比例 |
| 自然语言转 JSON 耗时 | ~2 秒 | 从用户请求到生成优化问题规格文件的时间 |
| 求解器生成方案耗时 | ~30 秒 | 包含复杂多日行程约束的求解时间 |
| 整体响应速度 | 接近实时 | 满足交互式应用的需求 |
"It actually will recover like eighty or ninety percent of the constraint... it takes two seconds to construct the instructions... it may only take half an minute to call the solver to give a solutions."
交互式旅行代理（APEC Travel Agent）的演进
作为后续工作，团队开发了 APEC Travel Agent，旨在解决一次性翻译无法获取完整用户偏好的问题。传统的一次性翻译模式假设用户能提供所有必要细节，但现实中旅行者往往不清楚自己最看重什么，或会遗漏许多细节。因此，新的代理系统引入了多轮对话机制，主动询问旅行者以逐步收集信息。这种交互方式能够确保代理在调用求解器前收集到足够的数据，从而在多个行为标准上实现更高的性能表现。
该代理的训练依赖于合成对话数据。团队使用 Llama 3 45B 模型生成了大量合成对话，并结合自有数据，通过监督微调（SFT）和迭代改进来训练模型。目前，相关论文即将提交至 arXiv。这一演进标志着系统从单纯的“翻译器”向具备主动信息收集能力的“智能代理”转变，显著提升了复杂场景下的服务质量。
"By proactively asking multiple questions from our travelers, the agent is able to collect enough information and call the solver."
Searchformer：结合搜索轨迹的迷宫导航
研究的第二部分转向了另一种利用服务器信息提升深度学习模型性能的方法，具体案例为 Searchformer 论文中的迷宫导航任务。在该任务中，模型需要从起点找到通往终点的最短路径。传统的小模型方法仅将提示词描述作为输入，预测最优路径。而 Searchformer 的创新之处在于，它将 A* 搜索算法的中间轨迹整合进了预测过程中。
在 A 搜索中，算法会迭代创建新节点，探索不同方向，并维护一个启发式函数表来保存当前搜索前沿。Searchformer 将这些紫色和青色线条代表的中间结果（Intermediate Results）——即搜索过程中的节点探索和关闭状态——作为输入的一部分。通过 Incorporate 这些搜索轨迹，深度模型能够利用传统算法的结构化信息，从而在导航任务中实现比仅依赖提示词描述更好的性能。这种方法展示了如何将传统搜索算法的过程数据转化为深度学习模型的特征输入*，以增强其推理能力。
搜索增强模型与纯解模型的结构差异
在解码最终最优计划之前，系统主要包含两种模型架构：纯解模型（Solution Model）与搜索增强模型（Search Augmented Model）。纯解模型的工作机制与以往大多数方法类似，当提示词发送给编码器后，编码器生成表征，该表征直接驱动解码器输出最终计划。相比之下，搜索增强模型虽然同样使用编码器将提示词编码为向量，但其解码器的工作流程更为复杂：解码器首先生成搜索轨迹（Trace），随后再生成最终计划。这种结构上的差异导致了两者在性能表现上的显著不同。
"So the first model is called solution model... the representation is driving the decoder to directly output the plan. But on the other hand, the search augment model... the decoder actually first generate a trace, and then a generate a plan."
缩放定律与参数效率的惊人对比
实验结果显示，这两种模型遵循着截然不同的缩放定律（Scaling Laws）。对于纯解模型而言，随着训练样本数量的增加，性能呈缓慢上升趋势。例如，在拥有100万个训练样本时，准确率接近100%；但在仅有1.5万或5万个样本时，准确率极低。然而，搜索增强模型展现出了极高的数据效率（Data Efficiency）。尽管其参数量仅为1500万，远少于纯解模型的1.75亿，但在更少的训练序列下，其性能依然优于纯解模型。这种在参数更少、数据更少的情况下实现更高性能的现象，揭示了搜索轨迹引入带来的巨大优势。
| 模型类型 | 参数量 | 训练样本规模 | 性能表现特征 |
|---|---|---|---|
| 纯解模型 (Solution Only) | 1.75亿 | 100万 | 准确率接近100% |
| 纯解模型 (Solution Only) | 1.75亿 | 1.5万 / 5万 | 准确率非常低 |
| 搜索增强模型 (Search Augmented) | 1500万 | 较少样本 | 性能显著优于同参数量的纯解模型 |
Sokoban任务中的规划能力验证
这一现象在更复杂的Sokoban（推箱子）任务中得到了进一步验证。该任务要求智能体推动箱子到指定目的地，且只能推不能拉，需要极强的规划能力。在精确案例中，搜索算法模型（Search Algorithm Model）在相同参数量下依然提供了更好的性能。这表明，通过在Transformer训练中加入搜索轨迹并进行教师强制（Teacher Forcing），可以观察到一种新的缩放定律。由于搜索增强模型是可微分的，可以通过新的信号进行进一步优化，例如通过微调生成更短但仍能导向最优计划的轨迹。
SearchFormer：超越A*的轨迹优化
通过让AI生成大量轨迹并筛选出步数更少但依然最优的轨迹子集进行微调，研究者开发了SearchFormer。在Bond任务中，初始模型遵循A算法生成的轨迹，分布相似。但经过多次迭代后，搜索轨迹的长度分布向左偏移，意味着平均轨迹长度短于A算法生成的轨迹，因此该研究被称为“Beyond A*”。
"The length of the search trace... actually has a shifts towards the left... which means that the average length of the search former is shorter than the search trace of A star."
研究定义了一个指标改进长度比（Improved Length Ratio），即A搜索轨迹长度与模型当前搜索轨迹长度的比率。比率越高，说明轨迹越短。数据显示，随着SearchFormer步骤的增加，该比率上升，同时最优率（Optimality Rate）也从纯解模型的86%提升至搜索增强模型的90%*左右，并在后续步骤中继续提高。这一结果令人惊讶，因为缩短轨迹并非直接优化目标，但模型自发实现了更短且更优的路径。
DuoFormer：系统一与系统二的融合
最新的后续研究DuoFormer（SearchFormer v2）旨在进一步减少训练中的搜索轨迹长度。通过丢弃部分搜索细节并混合纯解数据，模型学会了在快速模式（Fast Mode）和慢速模式（Slow Mode）之间自动切换。这一发现挑战了传统关于人类大脑中“系统一”和“系统二”作为临时系统切换的观点。DuoFormer证明，如果数据混合得当，模型可以内化这两种模式，其最终性能优于单一的搜索模型或纯解模型，实现了两种推理模式的统一与优化。
"The resulting model will automatically switch between fast mode and slow mode at the same time... this final model is actually better than either the search only models or the solution only models."
双模态思维切换机制与Token控制
演讲者提出了一种能够自动在两种模式间切换的系统架构，即“系统一”（快速模式）和“系统二”（慢速模式）。在这种架构下，模型可以通过单个Token来控制思维模式的选择。具体而言，在“自动模式”中，模型会根据上下文自行决定输出路径；而在手动模式下，用户可以通过指定生成的第一个Token来强制模型进入特定模式。例如，如果生成的第一个Token是类似“plan”（计划）的词，模型会进入快速模式，直接输出最终结果；如果第一个Token是“create”（创建），则代表进入慢速模式，模型会先进行思考搜索过程，生成轨迹后再输出最终计划。
"Sometimes it will give you fast mode by directly outputting the outcome. Sometimes it will give you slow mode by first thinking through the search process, and then giving you the outcome of the of the final plan."
这种机制的优势在于，无论是强制快速还是慢速，其表现均优于完整的轨迹基线（complete trace baseline）。更重要的是，这种通过操纵分布来实现的模式切换，显著提高了快速模式和慢速模式的多样性。这种多样性的提升对于测试时间的计算扩展定律（test of time and computation scaling laws）至关重要，因为更丰富的输出意味着至少有一个结果正确的概率更高，从而提升了整体性能上限。
数学问题中的思维链增强与性能数据
该机制同样适用于数学问题，采用了一种增强版思维链（Augmented Chain of Thoughts）的方法。训练过程中，模型会随机丢弃部分中间步骤（passes），以此数据训练模型。实验结果显示，经过这种训练后，DualFormer在数学任务上的思维链长度（COT length）更短，同时性能反而提升了约几个百分点。这一发现与以往研究中通过增强思维链提升性能的观点一致，但本方法通过随机丢弃轨迹片段实现了更优的效果。
在Mistral 7B和Llama 3 8B模型上的实验数据如下表所示，展示了在Math数据集上，不同解码策略下的表现对比：
| 模型 | 解码策略 | 性能提升幅度 | 备注 |
|---|---|---|---|
| Mistral 7B / Llama 3 8B | Greedy Decoding | +1% | 相比原始增强轨迹，梯度提升约1% |
| Mistral 7B / Llama 3 8B | Past-at-20 | +2% | 相比原始增强轨迹，提升约2% |
值得注意的是，这种随机丢弃策略不仅提升了准确率，还使得生成的轨迹比原始的增强轨迹更短。此外，在与OpenAI o1-preview的对比中（尽管非公平比较），o1-preview在特定地图导航任务中完全未能理解问题，导致路径无效，而本方法在特定任务上表现良好。
推理能力的来源：预训练与后训练的权衡
在问答环节，演讲者探讨了推理和规划能力的最大杠杆点：是增加预训练数据，还是进行后训练（微调）或测试时扩展？演讲者指出，微调（Fine-tuning）是获得良好推理能力所必需的。预训练主要侧重于覆盖所有信息以学习表示（representations），而推理能力涉及两个维度：
- 遵循注意力参考的能力：即模型能否很好地遵循指令进行推理，这通常可以通过全量后训练（full post-training）来实现。
- 从现有推理任务中学习表示的能力：这决定了推理的效率。演讲者表示，这种特定的推理表示可能无法仅通过预训练获得，需要依赖后训练或特定的数据增强策略。
"Pre training usually just means that you have to cover all the informations to learn the representations, and for reasoning, you actually have two dimensions."
关于将长搜索轨迹直接放入Prompt中的可行性，演讲者承认目前尚未进行系统性尝试，初步试验效果不佳，但随着长上下文技术（long context technique）的成熟，未来值得重新评估这一策略。总体而言，预训练提供基础表示，后训练提供推理遵循能力，而特定的推理效率则依赖于后训练中的表示学习。
非线性组合优化难题与现有求解器的局限
在现实世界的复杂系统中，非线性目标函数与组合约束的共存构成了巨大的优化挑战。传统的求解器（Solvers）通常只能处理线性约束，这种局限性在面对具有大量耦合项的非线性问题时显得尤为捉襟见肘。例如，在计算机系统中，组件间的交互往往呈现出复杂的非线性特征，导致无法直接调用现有工具进行高效求解。然而，现实问题中充斥着此类非线性关系，如何在保持求解器优势的同时扩展其处理能力，成为亟待解决的关键问题。
"Existing solvers can only deal with linear constraints. That is pretty restrictive. But on the other hand, real world problems actually have a lot of non-linearities."
这种限制使得许多实际应用场景陷入困境。为了突破这一瓶颈，研究思路转向了潜在空间（Latent Space）的映射。通过构建一个代理优化问题（Surrogate Optimization Problem），可以在潜在空间中寻找解决方案，从而间接优化原始的、难以直接处理的非线性函数。这种方法的核心在于，虽然原始空间中的问题是非线性的且难以求解，但通过预测代理成本（Surrogate Cost），可以将其转化为一个受相同组合约束限制的线性优化问题，最终得到的解能够最大程度地优化原始非线性目标。
生产案例：GPU设备上的KV Cache放置优化
一个典型的生产环境案例涉及K个KV Cache表在N个GPU设备上的放置问题。在这个场景中，目标是将KV Cache表分配到不同的GPU上，使得每个设备尽可能多地容纳表，同时严格遵守内存容量限制。此外，还需要最小化由网络通信估算的延迟（Latency）。该问题被形式化为一个最小化延迟的优化问题，其中$x_{ij}$是一个二元变量，表示将表$i$发送到设备$j$。
约束条件包括：每个表必须至少放置在一个设备上，且对于每个设备$j$，放置在其上的所有表的总和不能超过其内存容量。这是一个典型的非线性问题，因为延迟计算涉及矩阵运算、批处理（Batching）和通信开销等因素。由于问题的非线性特性，无法直接调用传统求解器。因此，解决方案是将所有变量映射到潜在空间，并在此空间中求解代理优化问题，以获得尽可能优化原始非线性函数的解。
端到端梯度优化与代理系数学习
为了解决非线性目标与组合约束的联合优化问题，该方法采用基于梯度的优化（Gradient-based Optimization）策略。具体流程如下：首先，将代理系数$c$输入求解器，求解器返回一个解；其次，将该解代入原始目标函数计算损失（Loss）；最后，通过反向传播（Backpropagation）整个计算图，获取代理系数$c$的梯度。
尽管原始目标函数是非线性且非凸的，但假设其是可微分的，因此可以进行反向传播。代理模型同样支持反向传播，从而使得系统能够端到端地找到最佳的代理系数$c$，以优化整个问题。这种方法构建了一个集成求解器的完整系统，能够处理带有非线性目标的组合问题。通过这种方式，系统不仅利用了求解器的精确性，还通过梯度下降优化了代理模型，实现了非线性目标与线性约束的高效联合优化。
实验结果：KV Cache放置性能对比
在KV Cache放置场景中，该方法与现有基准进行了对比，包括领域启发式算法、贪婪方法以及基于强化学习的基线DreamShard。评估指标包括整体解决方案的延迟（Loss）和部署的运行时间（Runtime）。实验比较了Circle及其变体（Circle Zero, Circle Pi, Circle Hybrid）。其中，Circle Pi通过预测与提示描述相关的$c$，引入了额外的梯度下降步骤，从而直接从问题描述中预测更快的值。
下表展示了不同方法在延迟和运行时间上的具体性能数据：
| 方法 | 延迟 (Loss) | 运行时间 (Runtime) | 备注 |
|---|---|---|---|
| Domain Heuristics | 数据未提供具体数值 | 数据未提供具体数值 | 领域启发式基线 |
| Greedy Approaches | 数据未提供具体数值 | 数据未提供具体数值 | 贪婪算法基线 |
| DreamShard | 数据未提供具体数值 | 数据未提供具体数值 | 基于强化学习的基线 |
| Circle Zero | 数据未提供具体数值 | 数据未提供具体数值 | 基础代理优化 |
| Circle Pi | 数据未提供具体数值 | 数据未提供具体数值 | 基于提示描述的优化 |
| Circle Hybrid | 数据未提供具体数值 | 数据未提供具体数值 | 混合策略 |
注：字幕中未提供具体的数值表格，仅定性描述了Circle Pi在运行时间上比Circle Zero更快，且在解决方案损失方面与现有基线相比表现合理。
逆向光子设计应用与收敛性优势
该方法同样应用于逆向光子设计（Inverse Photon Design）的生产用例。在此场景中，有一个80x80的网格，需要在板上放置0或1（表示是否有材料），以弯曲从顶部射入的光线，使其根据波长折射到不同的分支。优化函数计算复杂，需要求解电磁模拟器并获取频率响应以得到损失函数。解空间是二元的，并受限于制造约束的线性条件（如最小尺寸限制）。
在多个设计任务中，该方法展现出比现有方法（如Pass Through Rate）更平滑的收敛曲线，趋向于满足因子为零的理想状态。这表明在复杂的物理模拟和优化约束下，基于代理梯度的优化方法能够更稳定、高效地找到可行解，验证了其在非线性、高复杂度工程问题中的通用性和有效性。
"Our approach is actually give you a much smoother convergence curve towards the zero... compared to the existing approaches like pass through rate."
这一案例进一步证明了该方法不仅适用于计算机系统的资源调度，也能有效解决涉及复杂物理模拟和制造约束的工程设计问题，展现了其在多领域非线性组合优化中的强大潜力。
基于代理成本预测的端到端训练机制
该研究提出了一种将求解器嵌入神经网络并实现端到端训练的框架。其核心在于构建训练集以学习代理成本预测（surrogate cost prediction）。具体而言，系统通过生成大量问题描述及其对应的解（$y_i$）来构建数据集。每个问题描述都定义了一个目标函数，一旦拥有足够多的“问题描述-解”对，即可对整个系统进行训练。训练完成后，模型能够自动学习到代理成本的预测能力，从而在推理阶段直接给出优化结果。
“So for the training set, what we do is that we actually create a many problems... You can generate training set, and you can train this entire thing on the training set. So once this get trained, then you automatically will learn this surrogate cost prediction.”
这种方法的优势在于利用神经网络的容量来自动映射映射关系。如果已有数千个符合相同分布的示例，神经网络可以通过训练自行找出从问题描述到最优解的映射。然而，该方法也存在局限性，例如需要处理梯度下降问题，并确保求解器部分是可微分的。后续工作如 Lancer 和 Jengle 试图解决这些问题，但在当前讨论中未深入展开。
扩展性与求解器兼容性的实证分析
针对该方法能否扩展到大规模搜索空间的疑问，演讲者以逆光子学问题（inverse photonic problems）为例进行了说明。在该案例中，问题涉及一个 $18 \times 18$ 的网格，包含约 1.6k 个变量。尽管变量数量较多，但求解器通常能够处理大规模问题，即使变量达到数千个，求解器依然能有效应对。这表明，当前方法的瓶颈主要在于混合整数求解器（mixed integer solvers）本身的限制，而非神经网络架构的扩展性。
此外，该框架具有求解器无关性（solver-agnostic）。理论上，任何求解器均可集成到模型中，包括 CVXPY layers、CVX、SCIP 或 Gurobi 等。关键在于能否从求解器的输出中计算梯度并反向传播。对于像 Ansys 这样基于有限元的电磁仿真求解器，虽然不能直接集成到微分编程中，但可以通过数值方法计算梯度。只要能够获得从求解器解回传系数的梯度，无论梯度是解析式还是数值近似，该框架均适用。
与传统黑盒优化及 Frank-Wolfe 方法的对比
在对比传统黑盒方法（如遗传算法）时，演讲者指出，尽管遗传算法声称能解决各种问题，但在处理带有复杂约束的问题时效率极低。遗传算法通常缺乏有效建模约束条件的方法，导致寻找可行解可能需要数天时间。相比之下，基于数学规划的方法（如混合整数规划）在处理约束时更为高效，因为约束被明确公式化。
“Usually for genetic algorithms... it may take days to even find a feasible solution, right? Because there's no efficient way to model the convectorial constraints in the genetic framework.”
该方法的核心原理是利用基于梯度的优化能力，将求解器嵌入神经网络。神经网络会自动为求解器分配适当的权重，从而解决原始非线性问题。与 Frank-Wolfe 等线性化方法不同，该方法并不一定对目标函数 $f$ 进行泰勒展开，而是直接寻找代理成本，这可能不是 $f$ 的泰勒展开式。虽然目前尚未与 Frank-Wolfe 方法进行基准测试对比，但演讲者承认这是一个值得探索的方向，因为 Frank-Wolfe 也涉及线性模型和可行性问题的求解。
方法论总结与未来方向
综上所述，该方法的首要原则是利用神经网络的拟合能力来增强传统优化求解器的效率。通过端到端训练，模型能够学习如何在特定分布的问题上引导求解器。虽然目前存在可微分性等限制，且尚未与所有基线方法（如 Frank-Wolfe）进行全面基准测试，但其在约束处理上的高效性使其优于传统的黑盒优化方法。未来的工作将集中在解决可微分性限制，并进一步验证该方法与其他线性化优化算法的性能对比。
神经代理模型加速优化求解
在深度优化领域，传统的求解过程往往极其缓慢，这限制了大规模训练的效率。为了解决这一瓶颈，研究者提出了一种景观代理（Landscape Surrogate）方法。该方法的核心思想是利用神经网络来模拟优化过程中的求解行为。由于求解器在给定输入下的结果可以被大量获取，因此可以训练一个代理成本函数来学习并模拟求解器的行为。这种模拟不仅保留了求解器的逻辑，更重要的是，模拟的神经网络可以自然地获得反向传播梯度。这一特性极大地提升了训练过程的速度，使得在复杂优化问题上进行大规模参数调整成为可能。正如演讲者所言："if you have already get a lot of solvers results given their input. Then of course you can learn some surrogate cost to simulate the solver behavior, and that simulated neural network can actually get the back propagation gradient very naturally"。这种基于数据驱动的代理模型，为理解复杂优化景观提供了新的视角，并展示了其在实际应用中的巨大潜力。
神经网络中的符号结构与推理争议
关于大语言模型是否真正具备推理能力，学术界存在激烈争论。一方认为，随着参数量的增加，模型展现出涌现行为（Emergent Behaviors），这支持了尺度定律（Scaling Laws）的观点，即模型具有内在的推理能力。另一方则持怀疑态度，认为AI仅在进行检索（Retrievals），其推理能力脆弱且容易在不同场景下崩溃。例如，Apple提出的DSMAK符号研究指出，如果在GSM8K数据集中加入无关句子，模型性能会显著下降，这表明模型可能并未真正理解推理链条，而是依赖模式匹配。为了澄清这一根本性问题，我们需要深入探究神经网络内部是否隐藏着符号结构（Symbolic Structures）。如果深度模型能够涌现出符号结构，那么从第一性原理出发，统一符号方法与神经网络方法将成为可能。这种对内部结构的深入理解，是判断AI是否真正具备推理能力的关键。
模加任务中的傅里叶基涌现实验
为了具体验证上述假设，研究者选择了一个简单但结构清晰的案例：模加任务（Modular Addition）。该任务定义为计算两个数a和b对大素数d取模后的和（a + b mod d）。直观上，这可以通过一个d×d的查找表来解决，暗示神经网络可能通过隐式表进行检索。然而，实验结果却揭示了不同的机制。研究者构建了一个极简的两层神经网络：底层接收a和b的独热编码，经过Q个隐藏节点，每个节点具有二次激活函数；顶层输出预测结果，并通过最小化与c的独热编码之间的损失进行训练。在梯度下降训练后，分析显示网络并未学习隐式查找表，而是涌现出了傅里叶基（Fourier Basis）。这一发现表明，神经网络在处理此类具有周期性结构的任务时，倾向于使用频率分解而非简单的检索机制。这种内在的数学结构为理解神经网络的泛化能力提供了新的线索。
频谱分析与神经元分布规律
为了深入分析这一现象，研究者对所有权重进行了傅里叶变换，并观察了格林集解（Green's set solutions）的分布规律。实验设置了Q=20个隐藏节点，横轴为隐藏节点索引（0-19），纵轴为傅里叶变换后的频率。结果显示，不同频率的任务在嵌入空间中具有不同的频率表示。具体而言，对于每一个特定的频率，恰好有6个神经元具有非零的傅里叶变换分量。例如，在频率1和频率2的情况下，都分别对应6个神经元。此外，对于频率4，则有4个神经元与之关联。这种高度结构化的分布并非随机，而是遵循特定的数学规律。由于权重为实数，傅里叶基必须满足埃尔米特条件（Hermitian conditions）。实验数据清晰地展示了这种对称性和规律性，证明了神经网络在解决模加问题时，实际上是在学习一种基于频率的符号表示，而非简单的记忆检索。这一发现为"AI是否具备推理能力"提供了有力的实证支持，表明其内部存在可解释的符号逻辑。
高维问题中的解分布规律与权重衰减影响
在探讨神经网络的解结构时，研究者首先关注了高维问题中的解分布规律。以维度 $d=23$ 为例，通过计算所有频率下解的分布，可以观察到解呈现出高度规则的分布特征。具体而言，在训练过程中，解会集中在特定的阶数上，例如在阶数为 4 和 6 的位置出现两个尖锐的峰值。这种规律性在更大规模的问题中依然存在，例如当维度扩展至 $d=127$ 时，同样的双峰结构依然清晰可见。
然而，权重衰减（Weight Decay） 对解的结构有显著影响。如果施加非常强的权重衰减，所有解会坍缩为零解，导致模型无法学习到任何有效信息。但在适度的正则化条件下，训练过程能够清晰地涌现出上述的双峰结构。这表明，神经网络的解并非随机分布，而是遵循某种深层的代数结构，这种结构在高维空间中依然保持稳定。
"For you basically compute distribution of the solution orders, at all frequencies. So what happens is that the order four order solution really happens, and you guys should see two sharply peaked solutions at four and six."
损失函数的代数结构与全局最优条件
为了理解这种规律性的来源，研究者深入分析了均方误差（MSE）损失函数的代数结构。MSE 损失可以展开为包含负项和多个平方和项的复杂形式。具体而言，损失函数包含三个平方和项以及一个需要最小化的成本项。这些项构成了多项式结构，其定义方式看似复杂，实则蕴含了重要的优化线索。
全局最优解的充分条件 是将所有平方和项设为零，同时确保第一个主导项为 1。这是理论上能达到的最小损失值。尽管条件看似复杂，但通过利用损失函数中的代数结构，可以找到满足这些条件的最优解。这种结构使得即使在高非线性情况下，也能通过代数方法构造出全局最优解，而非仅仅依赖数值优化。
"So this MSE loss has two structured structures, right. So it has a some negative terms plus some sum of squares. There are three sum of squares there..."
半环结构与部分解的迭代构造
研究者发现，不同隐藏节点数量的神经网络可以构成一个大的空间 $Z$，该空间遵循半环结构（Semi-ring Structure）。在这个结构中，"环加法"定义为隐藏神经元的拼接，而"环乘法"定义为沿隐藏维度的克罗内克积（Kronecker product）。损失函数中的关键项实际上是子环结构的环同态（Ring Homomorphisms）。
利用这一性质，可以通过迭代构造的方式从部分解构建全局解。例如，可以构造满足第一个约束的部分解 $z_1$ 和满足另一个约束的部分解 $z_2$。通过环乘法将这两个部分解组合，得到的新解 $z$ 将同时满足两个约束。通过不断使用环乘法和环加法，可以从仅满足子集约束的部分解出发，逐步构建出满足所有全局约束的全局最优解。
"So then, what does that mean? Is that you can actually start with partial solutions that only satisfy uh one or two constraints... Then because of the property of the ring homomorphism, you can multiply these two solutions together..."
梯度下降解与理论构造的实证对比
为了验证理论构造的有效性，研究者对梯度下降（Gradient Descent）得到的解进行了详细分析。结果显示，绝大多数梯度下降解都符合理论构造的模式。在特定场景下，100% 的解属于阶数为 4 或 6 的构造类型。进一步检查发现，95% 的解可以分解为阶数 2 与 3 或阶数 2 与 2 的组合，这与理论构造中的乘法操作完全一致。
分解误差极小，仅为零点几百分比，证明分解具有实际意义。此外，分解后的组件与理论解析形式高度匹配。仅有约 2% 的解未完全匹配，但进一步检查发现，这些解仍属于理论形式，只是未完全收敛至终点。参数分布也显示出清晰的结构，表明梯度下降算法在隐式地遵循代数构造规则。
"It turns out that uh, ninety five percent of such solutions can be factorized this way. And errors are very small, so its error is like a a zero point some percentage..."
梯度下降解的符号系统可解释性
研究揭示了一个令人惊讶的现象：梯度下降（Gradient Descent）的解最终收敛于可以用符号系统解释的高度对称结构。这一发现挑战了传统认知，即神经网络的学习过程往往被视为黑盒。通过构建特定的代数结构，研究者证明了梯度下降可以将复杂的优化问题转化为可解释的符号表示。这暗示神经网络可能正在学习一种我们尚未完全理解的、更高效的符号表征方式。这种从数值优化到符号逻辑的映射，为打开神经网络的黑盒提供了新的视角，表明在更复杂的任务中，也可能存在类似的代数结构，使得梯度下降能够转化为对符号系统的探索。
损失函数对解结构的影响与MSE的特殊性
在探讨解的对称性时，损失函数（Loss Function）的选择对最终解的结构具有决定性影响。针对听众提出的关于其他损失函数（如Softmax）是否也能产生类似现象的问题，研究者指出目前尚未进行系统性的实验。然而，初步结果显示，若使用其他损失函数，虽然仍能获得傅里叶基（Fourier bases），但这些基会发生扭曲（distorted），且解的因子化方式可能不同。特别地，均方误差损失（MSE Loss）在傅里叶分析中具有特殊性，因为它保持了正向变换中的能量守恒（L2范数）。这种数学上的优雅结构使得MSE损失下的损失函数可以分解为具有良好结构的形式，从而更容易导出对称解。相比之下，Softmax等损失函数可能不具备这种直接的傅里叶分析等价性。
未来展望：从黑盒到白盒的范式转移
这项研究为人工智能的未来发展提供了重要的理论启示。梯度下降可能并非达到最优解的唯一途径。如果通过先进的代数运算能够直接构造出与梯度下降相似的解，那么梯度下降在未来可能会变得多余甚至过时。尽管目前这仍属于推测，但该论文为复杂系统（如神经网络）中的这种可能性提供了初步证据。未来的研究方向包括：将代数系统应用于工作流，通过打开黑盒来深入理解神经网络，从而构建更高效的系统。此外，虽然目前仅展示了单个数据点证明该现象的可能性，但将其扩展到更广泛的类别仍是基础且关键的第一步。这一系列探索旨在从数学底层重构我们对深度学习优化过程的理解。