Meta FAIR 的 Searchformer：基于搜索动态引导的学习
Meta Fundamental AI Research (FAIR) 团队发表了一篇题为《Beyond A: Better Planning with Transformers via Search Dynamics Bootstrapping》的论文。该研究的核心在于教导语言模型如何执行规划任务。这里的“规划”并非简单的指令跟随，而是让模型学会思考问题的解决步骤并提前进行推演。论文主要探讨了这一技术在游戏场景中的应用，例如经典的 Sokoban（推箱子）谜题。在这个游戏中，玩家需要将所有的箱子推到指定的地板上位置。关键约束在于玩家只能推箱子而不能拉箱子，这意味着如果操作失误（例如将箱子推到墙角），游戏即告失败。因此，在这种不可逆的操作环境中，提前规划路径至关重要。该研究旨在利用 Transformer 或通用的语言模型来解决这类复杂的规划问题，其核心方法论是通过从 A 搜索算法进行引导（Bootstrapping）**来实现的。
Sokoban 案例：不可逆操作中的规划必要性
为了具体说明规划的复杂性，论文以 Sokoban 谜题为例进行了深入分析。在这个场景中，玩家控制的角色必须将箱子移动到目标区域。由于物理规则的限制，箱子一旦被推入死角或紧贴墙壁且无法移动的状态，就无法再将其拉回。这种操作的不可逆性使得盲目尝试变得极其危险且低效。在现实生活中，许多场景也具备类似的特征：一旦采取某个行动导致状态改变且无法回退（如在真实世界中碰撞障碍物），后果可能是不可接受的。因此，在虚拟或高风险环境中进行“心智模拟”式的规划显得尤为必要。通过提前预判每一步的后果，模型可以避免进入死胡同。这种能力不仅限于游戏，更是解决现实世界中具有长程依赖和不可逆约束问题的关键。论文指出，传统的强化学习方法在这种场景下往往效率低下，因为试错成本太高。
规划与强化学习的本质区别：心智模拟 vs. 现实执行
论文进一步辨析了“规划”与“强化学习（RL）”之间的细微但关键的差异。虽然两者都涉及从起点到目标的路径寻找，但其执行逻辑不同。强化学习通常通过试错来优化策略：智能体在环境中行动，如果撞墙则受到惩罚并重新开始。这种方法在游戏等可重置的场景中可行，但在现实世界或不可逆场景中则完全不适用。因为在现实中，“撞墙”可能意味着真实的伤害，无法简单地“重新开始”。相比之下，规划是在心智中进行的模拟过程。个体可以在脑海中预演：“如果我走这一步会发生什么？如果那里有墙，我该怎么办？”规划允许在思维层面进行回溯和分支选择。如果在模拟中发现某条路径会导致死胡同，心智可以立即“回退”到之前的决策点，选择另一条分支。这种在虚构世界中自由探索不同路径的能力，是规划区别于现实行动的核心优势。输出的差异也显而易见：强化学习的输出是一个策略（Policy），旨在最大化长期奖励；而规划的直接输出是一系列具体的动作序列或计划。
规划输出的形式与世界模型的重要性
在讨论规划的复杂性时，论文指出计划可以是多层次的。最简单的规划是线性的动作序列（例如：向下、向右、再向下）。然而，更复杂的规划可以包含条件逻辑（如果...那么...）或概率性描述。在本研究的设定中，为了简化问题并聚焦于核心机制，仅考虑最简单的规划形式：即到达目标所需的具体步骤序列。实现这一过程的前提是拥有一个准确的世界模型（World Model）。在 Sokoban 等游戏环境中，世界规则是已知且确定的：如果给出当前的状态、目标位置和障碍物分布，模型可以精确预测每一步行动后的结果。例如，“向下移动一步”必然导致角色移动到下方的格子，除非那里有墙。拥有准确的世界模型使得规划问题简化为在一个已知状态空间中的搜索任务。这与现实世界中世界模型不准确、充满不确定性的情况形成对比。在后者中，规划需要处理更多的模糊性和风险；而在前者中，重点在于如何高效地利用已知规则找到最优路径。这种设定为使用 Transformer 学习搜索动态提供了理想的基础环境。
规划与强化学习的本质区别
在深入讨论具体模型之前，必须首先厘清“规划”（Planning）与“强化学习”（Reinforcement Learning, RL）的界限。尽管两者在表象上相似，但其核心运作机制存在根本差异。强化学习要求智能体在实际世界中执行动作，通过与环境的真实交互来优化策略；而规划则完全不同，它仅仅是在一个虚构的、心理层面的世界中进行模拟。这种虚拟环境可以是对现实世界的准确或不准确映射，但在本研究的语境下，它被设定为对真实世界的高度准确表示。这意味着规划过程不涉及物理世界的实际干预，而是纯粹在模型内部构建的表征空间中进行推演。
这种区分进一步引出了一个看似矛盾的现象：我们实际上是在“规划空间”这一虚拟环境中进行某种形式的学习。如果我们将规划的动态过程视为新的“现实世界”，那么在这个世界里执行的确实是一种学习程序。正如视频中所指出的：“Yeah, just wanted to set the framing for planning a little bit because people tend to confuse it with sort of reinforcement learning, which is fair because they're very similar. Except reinforcement learning actually acts in the world, and planning doesn't.” 这种设定使得问题变得更加复杂，因为我们需要在一个抽象的、逻辑性的空间内训练模型，而非传统的感知-行动循环。
大语言模型在规划任务中的局限性
尽管大型语言模型（LLMs）在创意写作等生成性任务中表现出色，但在需要多步推理和前瞻性的规划与逻辑任务上，它们通常表现不佳。人们尝试了诸如“思维链”（Chain of Thought）和“树状思维”（Tree of Thought）等技术，但这些方法往往被视为一种拐杖而非根本解决方案。在某些情况下，这些技巧甚至会导致性能下降，原因可能包括模型陷入自我强化的错误逻辑中。相比之下，传统的规划和搜索算法在处理定义良好的图结构问题时表现优异。
规划问题可以被完美地建模为有向加权图。图中的每个节点代表一个可能的状态，而连接节点的边则代表在特定动作下从一个状态转移到另一个状态的代价。在这种情况下，规划本质上就是寻找图中最短或最低成本路径的搜索过程。例如，简单的广度优先搜索（BFS）即可解决基础问题。然而，令人惊讶的是，“there is a bit of a discrepancy between the power of large language models and the simplicity of planning algorithms that just still do much better than LLMs at planning stuff.” 这种能力上的巨大反差构成了本研究的核心动机：为何简单的符号算法能胜过复杂的大模型？
Searchformer 的训练范式与数据构建
Searchformer 的核心思路是训练 Transformer 模型来模仿经典规划算法的搜索动态。具体而言，研究者让经典的符号规划算法（如 A 搜索）解决一系列迷宫或路径问题。在这个过程中，算法会生成一个包含许多步骤的序列：包括前进、尝试错误分支、回溯以及最终到达目标。每一个决策点，无论是“让我们往下走”还是“哦不，这里不通”，都可以被转化为语言中的 token*。通过为这些搜索步骤定义词汇表，整个规划过程——从问题描述到中间推理再到最终计划——都可以被编码为一段语言序列。
研究者构建了一个包含可验证的有效且最优计划的数据集。他们训练语言模型学习这种“搜索语言的语法”，即输入问题的描述，输出模仿规划算法行为的完整序列。当模型训练完成后，它不仅能生成最终的计划路径，还能重现规划算法的中间搜索动态。视频强调：“They train a transformer to mimic a planning algorithm, and then they have a technique to actually reduce the number of steps here.” 这种方法的创新点在于，它不仅让模型输出结果，还让它学习解决问题的“思考过程”，从而在后续面对新问题时，能够以更少的搜索步骤计算出最优计划。
模型输出的不确定性与伦理考量
尽管 Searchformer 声称能计算优于符号算法的“最优计划”，但必须清醒地认识到，作为语言模型，其输出并不具备数学上的绝对保证。由于 LLM 固有的随机性（stochasticity）和幻觉倾向，模型生成的计划可能无效或非最优。视频明确指出：“whether or not what comes out down here is an optimal plan is completely non-guaranteed, right? They measure it experimentally and they find yes, actually in many cases what comes out at the end is an optimal plan.” 这意味着，虽然实验数据显示在许多情况下模型确实能输出最优解，但没有理论保证能保证每次输出的有效性。因此，该研究的主要贡献并非构建一个完美的规划器，而是探索“如果教会语言模型如何思考规划问题会发生什么”这一科学假设。这种对后训练阶段（post-training）思维模式的探索，比单纯追求规划准确率更具研究价值。
传统训练范式的局限与“显式思维”的引入
当前大语言模型处理规划问题的主流范式是端到端学习（End-to-End Learning），即直接将问题输入并训练模型输出最终解决方案。尽管实践中存在“思维链（Chain of Thought）”等辅助手段，但缺乏严谨的结构化实施。该研究的核心在于回答一个基础性问题：如果显式教导模型如何思考规划问题，结果会怎样？ 具体而言，研究旨在验证在输入（问题陈述）和输出（最终计划）之间引入中间过程——即算法的执行轨迹，是否能提升模型生成最优计划的概率。这一实验并非为了构建最佳的规划算法或证明LLM能完全替代符号推理，而是为了反驳“语言模型无法处理需要真正符号思维的规划任务”的观点。通过观察显式引入中间步骤是否使规划问题对模型更易访问，研究者试图评估语言模型在逻辑推理方面的潜在能力边界。
案例解析：迷宫任务中的输入、输出与执行轨迹
研究以经典的迷宫寻路任务（Maze Task）为例进行具体阐述。在该设定中，输入包含起始单元格、目标单元格以及墙壁单元格的布局信息；输出则是从起点到达终点的具体行动序列（即计划）。然而，论文原文在示例呈现上存在不一致性：部分图示的符号标记与附录定义不符，甚至示例本身也与文字描述脱节。因此，在解读时需警惕这些排版错误。关键在于区分“计划（Plan）”与“执行轨迹（Execution Trace）”。传统规划算法通过内部步骤计算计划，而本研究试图让模型学习这一中间过程。例如，在迷宫中，算法会评估每个移动方向的可行性（“这里能走吗？”、“那个方向看起来更好”），这种内部状态的变化构成了执行轨迹。研究假设，如果模型能学习这一中间推理过程，其最终输出的计划质量将优于仅依赖端到端映射的模型。
A*算法机制与执行轨迹的结构化特征
为了构建中间训练数据，研究选取了经典的A搜索算法（A Algorithm）作为生成执行轨迹的基准。A本质上是带有启发式函数的Dijkstra算法，其内部维护着三个关键集合：已探索节点（Closed Set）、前沿节点（Frontier/Open Set）以及当前最优候选路径。在每一步迭代中，算法从前沿节点中选择评估值（f-score）最低的点作为当前最佳候选，并扩展其邻居节点。在可视化中，通常用蓝色表示当前最优路径，红色表示已探索区域，绿色表示前沿节点。尽管广度优先搜索（BFS）和A都能保证在无权图中找到最短路径，但它们的执行轨迹截然不同。BFS会均匀地向四周扩散探索，而A*则利用启发式信息直接朝向目标方向推进。不同算法即使得出相同的最优计划，其内部步骤的数量、复杂度和顺序也可能因打破平局（tie-breaking）策略的不同而产生巨大差异。研究的目标正是训练Transformer模型，使其在生成最优计划的同时，尽可能压缩这一中间执行轨迹的长度和复杂度。
实验目标：优化Transformer的推理路径效率
本研究的核心假设是：通过显式教授A*的执行轨迹，可以显著提升语言模型在规划任务中的表现。 传统的深度学习方法是“黑盒”式的输入输出映射，而本研究试图将规划过程透明化。实验旨在验证两个维度：一是模型能否生成正确（最优或近优）的计划；二是生成的中间执行轨迹是否尽可能短且高效。如果显式引入A*的搜索动态（Search Dynamics）能帮助模型更好地“思考”，那么语言模型在处理需要逻辑推导的任务时将展现出更强的可访问性。这不仅是对现有LLM能力的测试，也为未来结合符号推理与神经网络提供了实证依据。通过对比仅训练端到端输出与同时训练执行轨迹的模型，研究期望揭示中间推理步骤对最终决策质量的具体贡献。
A*算法的核心机制与启发式函数
A算法相较于经典图搜索的优势在于其能够朝着目标方向进行探索，这主要归功于启发式函数（Heuristic）的引入。在A的执行过程中，每次选择扩展节点时都会综合考量两个关键指标：一是从起点到当前节点的实际距离（g-score），二是通过启发式函数估算的从当前节点到目标的剩余预估距离（h-score）。例如，在一个网格地图中，若一个节点距起点仅1步而另一个需3步，算法倾向于优先探索距离更近的节点以寻找低成本路径。同时，启发式函数通常采用曼哈顿距离（Manhattan distance）或欧几里得距离（L2 distance）等几何度量，用于评估节点与目标的接近程度。尽管存在被障碍物误导的风险（如中间有墙），但在大多数空间规划任务中，这种基于距离的启发式策略依然有效。
显式教学优于隐式学习
研究证实，教导语言模型如何思考规划问题能显著提升其表现。相比之下，若未显式教授相关逻辑，模型需依赖海量数据自行摸索，甚至可能无法达到预期性能。实验数据显示，小型模型在少量训练样本下表现优异，远超仅依赖最终解决方案的基线模型。尽管这些小型模型的优化标准较为宽松（采样64次取最优），但其核心能力在于能够模仿A*算法的执行轨迹。这种从单纯输出结果转向模拟搜索过程，标志着模型开始理解规划背后的逻辑结构。
引入非确定性以增强分布覆盖
为了进一步突破，研究者实施了搜索动态引导（Search Dynamics Bootstrapping）方法。关键在于采用非确定性A实现，通过随机打破平局和随机排序子节点探索顺序，引入方差。这意味着同一输入问题可能产生不同的执行轨迹，即使最终计划成本相同。这种非确定性增加了每个执行轨迹长度的变化范围，使模型能够近似训练序列生成的概率分布。随后，利用该模型生成新的执行轨迹和计划：若新计划的成本与A保证的最优解相同，且执行轨迹更短，则用新样本替换旧训练数据。这一过程构建了一个包含相同输入、所有计划均最优但轨迹更短的新数据集。
对“发现新算法”结论的批判性审视
尽管新方法确实能用更少的步骤生成最优计划，但作者声称模型“发现了比A更好的新方式”存在争议。一种可能是模型摆脱了算法约束，仅通过输出正确令牌来生成计划。然而，更合理的解释是：模型并未偏离A逻辑，而是学会了在非确定性Turing机风格下更优地打破平局。由于训练数据中包含了不同长度的有效A轨迹，模型通过选择较短的轨迹样本，实际上是在学习一种更全局、更高效的启发式策略。Transformer拥有比传统A更多的上下文信息，因此能做出更优的节点扩展决策。论文未深入验证这些轨迹是否仍为有效的A执行路径，也未量化其与标准A的偏差程度。
"They can train something that kind of mimics the execution trace of A*."
"Isn't it just possible that all of these shorter execution traces are still completely valid A* traces..."
"It is equivalent to just teaching it a better heuristic."
搜索增强训练带来的性能提升与解的质量
该论文的核心发现在于，通过引入搜索增强（Search Augmentation）策略进行训练，模型能够显著改善其生成规划序列的能力。作者指出，这种增强不仅仅是简单的数据扩充，而是通过一种类似“向下”的步骤（down-like step），将训练样本替换为更短的序列，从而有效减少了执行轨迹的长度。这种处理方式经过充分调查和验证，证明了其在优化模型输出方面的有效性。实验结果表明，采用搜索增强训练的模型不仅更频繁地找到有效解（Valid Solution），而且往往能生成长度更短、质量更高的解决方案。特别是在寻找最优解（Optimal Solution）的概率上，训练后的模型表现优于未接受此类专门训练的基线模型。这一现象引发了有趣的解读空间，即显式地教导模型如何思考规划问题，比仅仅提示其“逐步思考”或完全不给予指导要有效得多。这种从数据层面直接干预训练过程的方法，使得模型在规划任务中的表现有了质的飞跃。
思维链机制与训练数据的内在联系
论文进一步揭示了大语言模型（LLMs）之所以能通过“逐步思考”获得提升的深层原因。作者认为，既然大型语言模型是在互联网数据上训练的，那么“逐步思考”之所以有效，是因为训练数据中本身就包含了某种形式的思维链（Thinking Steps）。这为“CoT”的有效性提供了有力的证据支持：模型并非凭空学会了推理，而是在训练数据中习得了这种思维模式。当我们在特定领域（如规划问题）对这些“思考步骤”进行专门训练时，模型不仅在该思维链的处理能力上得到增强，更重要的是展现出了良好的泛化能力（Generalization）。尽管这种泛化主要局限于同一问题领域内，但它证明了结构化思维的训练可以迁移并提升模型在相关任务中的表现。这意味着，如果我们希望模型具备更强的规划能力，直接训练其内部的“思考步骤”比事后提示更为关键和有效。这种从数据分布到模型能力的映射，是理解现代大模型推理机制的重要视角。
超越A*算法与研究的总体评价
在具体的技术实现上，该研究展示了模型如何超越传统的A*算法。通过优化搜索动态（Search Dynamics），训练后的Transformer模型能够以更少的搜索步骤完成规划任务，这在计算效率上是一个显著的进步。作者将这一部分描述为“额外的亮点（sauce）”，暗示其在整体贡献中的锦上添花作用。总体而言，作者对这篇论文持高度肯定态度，认为这是一项非常酷且值得深入阅读的工作。虽然作者没有详细展开所有实验细节，因为认为论文本身已经很好地封装了这些内容，但核心论点清晰：即通过专门训练模型的“思考过程”，可以显著提升其在复杂规划任务中的表现和泛化性。这项研究不仅验证了搜索增强策略的有效性，也为未来如何利用大模型进行更复杂的逻辑推理和规划提供了新的思路。作者最后建议读者直接阅读原论文以获取完整的技术细节，并强调了这一领域探索的开放性和重要性。