强化学习的基本范式与延迟奖励特性
强化学习（Reinforcement Learning, RL）的核心在于智能体（Agent）与环境的交互过程。正如 Sutton 著作中那张经典图片所示，智能体在每一时刻观察当前状态 $s_t$，并据此采取动作（Action）。这一动作会改变环境内部变量，从而产生下一个状态，形成 $s_t \rightarrow a_t \rightarrow s_{t+1}$ 的循环。在这个过程中，智能体可能会收到奖励（Reward），其终极目标是最大化长期累积奖励。与监督学习不同，强化学习的关键特征在于奖励的延迟性（Delayed Reward）。智能体可能在执行一系列动作改造环境后，才能在后续时刻获得反馈，这种非即时性的信号传递使得学习策略变得极具挑战性。
“强化学习比较有意思的地方，因为它这个 reward 呢是 delayed，是延迟过的。”
这种延迟反馈要求算法能够建立从当前状态到未来长期收益的映射。智能体需要在不确定的环境中探索，通过试错来理解动作与最终奖励之间的因果关系。这一过程不仅仅是简单的刺激-反应，而是需要智能体具备对未来状态的预估能力，以便在漫长的决策链条中做出最优选择。这也是为什么强化学习在游戏、机器人控制等领域取得巨大成功，但也面临复杂规划难题的根本原因。
传统深度强化学习的探索与值函数估计
为了应对延迟奖励，深度强化学习发展出了多种基于值函数（Value Function）估计的方法。最基础的算法如 DQN（Deep Q-Network），本质上是一种单步向前看（One-step Looking Forward）的方法。它从历史经验中采样当前状态 $s_0$，观察下一步状态 $s_1$ 及即时奖励，利用贝尔曼方程反向更新 $s_0$ 的 Q 值。然而，单步更新效率较低，因为信息传播速度慢。
为了提高效率，研究者引入了多步向前（Multi-step Looking Forward）机制。通过让智能体连续执行多个动作并收集沿途奖励，可以更快地收敛。当路径未到达终点时，通常使用值函数 $V$ 来替代最终的稀疏奖励。更高级的方法如蒙特卡洛树搜索（MCTS）或基于采样的路径优化，会从某一时点出发采样多条完整路径（Passes），通过计算奖励的平均值来估计值函数。例如，在某些复杂算法中，即使遇到已见过的状态，也会将路径叠加，统计每个节点上的奖励分布，从而获得比单步或多步方法更准确的价值估计。
“通过这种方式一点点迭代……得到的那个最后得到那个值函数的估计呢，其实是非常准确的，是比之前的方法都要准确啊。”
这些方法的本质是通过探索未来空间的结构，让神经网络记住状态的价值，从而在推理时无需复杂搜索即可输出较好动作。然而，这种方法依赖于训练数据的覆盖度，对于训练集中未见过或遗忘的状态，其泛化能力有限。
规划（Planning）：在线搜索与离线训练的区别
“规划”与上述训练过程在机制上高度相似，但发生的时间点不同。在传统的深度强化学习中，值函数和策略网络 $\pi_\theta$ 是在离线阶段训练完成的。给定状态，网络直接输出动作概率或价值，无需在线搜索。例如，在围棋中，经过训练的神经网络可以直接判断某一手棋的好坏，这属于离线推断。
而规划（Planning）则是在使用阶段（Inference Time）进行的在线搜索过程。当智能体面对一个新的状态 $s_0$（可能是训练中未见或已遗忘的状态）时，它不再直接依赖预训练网络的输出，而是基于该状态进行在线的蒙特卡洛搜索或树搜索。通过模拟未来的可能路径，智能体能够动态评估当前动作的长期价值，从而做出更准确的决策。
“所谓的叫 planning，就是把这些过程呢放在使用的时候去做它。”
这种在线规划机制弥补了纯数据驱动方法的不足。它允许智能体在新情境下进行细致的推理，而不是机械地套用旧经验。虽然计算成本更高，但它在需要高精度决策的场景（如围棋、复杂策略游戏）中至关重要。规划的核心在于利用已知的模型或价值函数，在推理时进行局部的、针对性的搜索优化，以应对训练分布外的挑战。
规划与强化学习的融合趋势
尽管强化学习在许多游戏中取得了突破，如 OpenAI 的 Dota 5v5 Bot 战胜人类准职业选手，或 AlphaGo 在围棋上的统治，但这些成功往往依赖于不加规划或有限规划的算法。大多数深度强化学习算法（如 DQN, PPO 等）主要依赖神经网络拟合策略，缺乏显式的长期规划能力。人类在做决策时，通常会思考“如果我这样做，结果会怎样”，这是一种典型的基于模型的规划过程。
目前，将规划整合进强化学习的研究仍处于分散阶段，尚未形成统一的大规模工作。然而，随着对复杂决策任务需求的增加，“为强化学习做规划”（Planning for RL）和“为规划做强化学习”（RL for Planning）正成为重要方向。前者指利用规划算法优化 RL 的训练或推理过程；后者指利用 RL 学习规划所需的模型或启发式函数。这种融合旨在结合 RL 的泛化能力与规划的精确推理能力，以解决更复杂的现实世界问题。
“人类世界呢，就是我们在平时在做决策的时候呢，很多时候并不是这样子，很多时候呢，就是呃，我们要想一想啊，我做这个决策呢，会有什么样的结果。”
未来的研究需要进一步集中力量，探索如何将在线搜索与离线学习更有效地结合，使智能体既能像人类一样进行深思熟虑的规划，又能像深度神经网络一样具备强大的感知和泛化能力。
在线决策中的规划机制与模型预测控制
Planning（规划）在概念上与训练过程相似，但其核心区别在于执行时机。Planning 是在测试阶段或在线推理时进行的决策过程，这与传统的离线训练形成鲜明对比。在控制论和机器人领域，模型预测控制（Model Predictive Control, MPC） 是 Planning 的经典应用案例。该方法的基本逻辑是从当前状态 $s_t$ 出发，利用动态模型预测下一步状态 $s_{t+1}$。通过蒙特卡洛 rollout 模拟多种可能的动作序列，系统能够评估不同路径的奖励值，从而选择最优奖励对应的动作作为规划结果。
然而，这种规划方式具有显著的局限性。规划仅执行第一步动作 $a_t$，随后系统进入下一个真实状态。由于动态模型往往不够精确，预测的 $s_{t+1}$ 与真实状态可能存在偏差。因此，系统必须不断重复这一“预测-执行-观测-再规划”的循环，以应对模型误差带来的状态偏离。这种基于短期预测的滚动优化策略，构成了 Planning 最基础的运作框架，也为后续更复杂的搜索算法奠定了基础。
AlphaZero 的蒙特卡洛树搜索与自对弈闭环
AlphaZero 采用了一种更为高级的 Planning 方法：蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）。与依赖人类棋谱的传统方法不同，AlphaZero 完全不依赖任何人类知识，仅从随机初始化的神经网络出发。其核心流程是一个自我强化的闭环：首先利用随机网络进行 Planning，生成大量的自对弈棋谱；接着利用这些棋谱训练神经网络，提升模型能力；最后用更强的模型再次进行自对弈，如此往复直至模型收敛。
在具体操作中，从空棋盘开始，MCTS 搜索可能的变化分支，输出下一步动作的概率分布。系统从中选取较优动作执行，并在新状态下再次通过 MCTS 获取更优的动作分布，直至游戏结束。游戏结果（胜/负）作为最终信号，路径中每个状态对应的策略分布和最终结果共同构成训练样本。这些样本被用于训练策略网络和价值网络，从而生成更优的 Policy 和 Value 估计。这一过程实现了从随机探索到智能决策的质变，是强化学习与 Planning 结合的典范。
复现成果与顶尖棋手对战数据验证
团队复现了 AlphaGo Zero 算法，并在硬件受限的情况下取得了显著成果。使用两块 GPU 训练两周后，模型效果良好，项目已在半年前开源，近期又上线了效果更优的新版本。为了验证模型实力，团队与韩国棋院合作，进行了高强度的实战测试。与四位顶尖棋手进行了二十盘对弈，每盘棋中棋手拥有无限思考时间，而模型仅使用单张 GPU 进行五十秒的 Planning（Rollouts）。尽管计算资源和时间远少于人类对手，模型依然展现了压倒性的优势。
以下是关键的对战数据与对比结果：
| 比赛/对比对象 | 资源/条件 | 结果/胜率 | 备注 |
|---|---|---|---|
| 韩国顶尖棋手 (4人) | 单张 GPU, 50秒 Planning | 20 胜 0 负 | 棋手无限思考时间 |
| 台湾高手组 | 2000 Rollouts | 27 胜 0 负 | 使用开源模型 |
| Lilac Zero | Crowdsourcing, 训练半年 | 98.2% 胜率 | 团队模型优于其训练半年的版本 |
这些数据显示，即使 Planning 时间极短，强大的模型基础也能保证极高的决策质量。与通过众包方式训练半年的 Lilac Zero 相比，团队模型在胜率上仍保持领先，证明了算法效率和模型架构的优越性。
随机初始化下的价值函数演化机制
AlphaZero 之所以能从随机模型中进化出强大棋力，关键在于价值函数和策略函数在训练过程中的渐进式学习机制。初始阶段，由于模型完全随机，开局阶段的 Planning 毫无意义，因为所有值函数和下一步预测都是随机的。然而，随着训练进行，游戏快结束时的路径更容易触达终局状态（如黑胜或白胜）。这些终局信号为价值函数提供了明确的监督信号，使其能够学习到什么是好的盘面和招数。
“只有在游戏快结束的时候，这两个函数才开始有意义... 因为有这个信号呢，所以我们在做那个训练的时候呢，这些值函数啊和那个策略函数呢，就会学到什么是比较好的招数。”
随着模型掌握中盘和残局的技巧，学会的区域会逐渐向前拓展至开局阶段。有趣的是，即使模型未能完全学会开局，仅凭中盘的强大实力也足以击败大多数对手。Planning 在此过程中不可或缺，裸神经网络直接对弈极易出错，而少量的 Planning 能显著压缩不确定性，提升决策鲁棒性。这种从局部到全局、从终局到开局的逆向知识积累，是 AlphaZero 成功的关键所在。
规划即新知识创造：从确定性到不确定性的挑战
在强化学习领域，规划（Planning）被视为新知识产生的核心机制。正如演讲者所言，“planning is how new knowledge is created”。通过前瞻性的搜索（look ahead），系统能够从既定的游戏规则或环境约束中挖掘出隐含的知识，使神经网络逐步学习并增强能力。然而，传统的基于模型的强化学习（Model-based RL）通常假设存在一个ground truth dynamic model，即完全确定且已知的动态模型。例如在围棋中，给定当前状态和动作，下一步状态是确定性的，游戏规则也是完全透明的。这种理想化假设在现实世界中往往不成立，导致规划深度和准确度受限。
现实场景中的动态模型估计面临三大难题：战争迷雾、物理参数变化以及仅有专家演示。在星际争霸等游戏中，由于存在战争迷雾，智能体无法获取全局状态，导致无法构建全局动态模型。在机器人操作中，机械臂的动力学模型可能随负载变化而改变，例如从空手变为抓取2.5公斤重物时，初始矩阵和物理参数均会发生未知变化。此外，若仅有专家演示数据，这仅是动态模型的采样，而非模型本身。因此，必须首先估计奖励模型和动态模型，才能进行有效的规划。这一过程存在固有的困境：我们只能观察到当前策略覆盖的状态空间，而忽略未探索区域，导致模型在边界外准确性骤降。
动态模型估计的困境与迭代闭环
动态模型估计的核心矛盾在于局部准确性与全局泛化性的冲突。为了估计动态模型，通常需要在当前策略下随机执行动作，收集状态-动作-下一状态（S, A, S'）数据来拟合模型。然而，这些数据仅分布在当前策略附近，导致拟合出的模型“一定是在这个当前状态和当前的那个policy附近比较准确”。一旦超出该范围，模型的预测误差会显著增加，不确定性升高。这种局限性容易使系统陷入局部最优的死循环：在当前策略下训练的模型被认为是最优的，而基于该模型优化的策略又无法跳出当前区域，导致无法发现更优路径。
为解决这一问题，业界提出了迭代闭环的方法。首先利用现有策略收集数据拟合动态模型，随后利用该模型进行规划以生成更优策略或价值函数，再用新策略收集更多样化的数据重新训练模型。这一过程形成闭环，逐步提升模型精度和策略性能。演讲者指出，“如果不好好做exploration，你可能永远都跳不出这个局部小值”。通过不断扩展探索范围，系统能够突破局部限制，获得更准确的动态模型表示。这种方法的关键在于平衡探索与利用，确保模型在更广泛的状态空间中保持鲁棒性。
LIPS算法：基于语义模型的长路径规划
针对长路径规划问题，团队提出了LIPS（Learning and Planning with Semantic Model）算法。该算法的核心思想是构建一个基于语义的粗粒度模型，而非精确的物理模型。以室内机器人为例，智能体需要在未知环境中寻找特定物体（如烤箱）。LIPS利用先验知识（如“烤箱通常在厨房”、“厨房与客厅相邻”）构建语义图，通过节点（房间）和边（连接关系）表示环境结构。智能体首先基于先验知识生成初始路径树，执行子策略尝试到达目标。若失败，则更新语义图，降低失败路径的概率，并探索新路径。
在How3D数据集上的实验验证了LIPS的有效性。How3D包含4.5万个由人工设计的室内环境，提供RGB图像、分割掩码、深度图和俯视视角等多模态数据。实验设置智能体在500步内到达目标区域，成功则计为成功。结果显示，LIPS在不同规划 horizon（h）下均表现优异，尤其在长路径场景中优势显著。相比随机游走（Random）和无规划的方法（Pure），LIPS的成功率显著提升。当路径长度较短时，改进幅度有限，因为问题本身较简单；但当路径长度增加至3-4个压缩单位时，LIPS的优势变得明显，证明其能有效利用语义先验知识解决复杂规划问题。
实验数据与案例分析
在How3D环境的定量实验中，LIPS算法展现了其在不同条件下的稳定性。实验对比了LIPS与Random（随机游走）、Pure（无规划强化学习）等方法的成功率。结果显示，LIPS在长路径规划中显著优于基线方法。例如，在规划horizon为500步的任务中，LIPS的成功率远高于Random和Pure方法。具体而言，当路径较短时，各方法性能差异不大，但随着路径复杂度增加，LIPS通过语义模型的有效规划能力展现出巨大优势。
案例研究进一步阐释了LIPS的工作机制。假设智能体位于起点，目标是到达户外区域。初始阶段，智能体基于先验知识构建语义图，尝试直接连接起点与户外的路径。若失败，则将该路径概率降至0.01，并探索新路径，如通过车库到达户外。若再次失败，继续调整概率。最终，智能体通过客厅成功到达户外，确认了该路径的有效性。这一过程体现了“通过走的过程获得新知识，使语义模型更准确”的核心逻辑。LIPS通过不断试错和更新，逐步优化语义图，实现高效规划。
| 方法 | 描述 | 长路径表现 | 短路径表现 |
|---|---|---|---|
| LIPS | 基于语义模型的规划算法 | 显著优于基线 | 略优于基线 |
| Random | 随机游走 | 极低成功率 | 极低成功率 |
| Pure | 无规划强化学习 | 中等成功率 | 中等成功率 |
“通过走的过程呢，我们会获得一些新的知识。这新的知识呢，本身就可以让这个语义模型呢变得更准确。”
迭代式模型规划与策略优化的收敛性证明
在强化学习领域，迭代式模型规划（Iterative Model Planning） 常被用于同时优化策略（Policy）和环境模型（Model）。然而，此前缺乏理论证明表明这种联合优化能收敛至局部极小值。为解决这一理论缺口，研究提出了一种引入 下界惩罚项（Lower Bound Penalty） 的新方法。该方法在优化目标中不仅最大化价值函数 $V$，还增加了一项对模型误差的惩罚。具体而言，若当前模型 $M$ 偏离真实模型较远，距离度量 $d$ 将显著增大，从而在优化过程中施加更大惩罚，防止智能体陷入 “不切实际的幻想”（即基于错误模型做出的乐观但无效的策略）。
“防止这个 agent 呢，就是沉浸在啊一个不切实际的幻想之中啊。如果出现不切实际那个不是成那个不切实际的幻想了，然后这个 d 呢会比较大，d 比较大的话呢，就会让整个 optimization 呢变得差。”
通过这种机制，算法确保了每次迭代中期望价值 $V$ 单调递增。理论上，该方法能证明算法最终收敛到一个局部极小值，且对应的策略在该局部范围内是 局部最大策略（Locally Maximum Policy）。这一结论在数学上具有严谨性，为模型基强化学习提供了坚实的理论支撑。
距离度量的实际构建与SLBU算法性能
理论上的距离函数 $d$ 衡量的是当前模型与最优模型之间的差异，但在实际应用中，最优模型是未知的。为此，研究提出了一种基于 采样轨迹（Sampling Trajectory） 的实用距离度量方法。具体做法是从某状态出发，在真实环境中执行一步或多步操作，获得真实的状态转移序列。随后，用当前模型预测相同动作下的下一步状态，将 预测状态与真实状态的差异 作为距离度量的依据。这种基于现实踩点（Ground Truth）与模型预测偏差的方法，使得优化过程具备可操作性。
在 MuJoCo 物理仿真环境中，该方法被命名为 SLBU（基于 L1 范数）及其变体 SLBU-MSE（基于 L2 范数/平方误差）。实验对比了不同范数及基线算法的效果。结果显示，L1 范数（SLBU）在 Walker、Humanoid 和 Ant 等复杂任务中表现最佳，超越了其他对比方法。此外，该方法还与 TRPO（信任域策略优化）和 Soft Actor-Critic (SAC) 进行了对比，证明了其在处理策略更新约束（即策略变化幅度限制）方面的有效性。
| 算法/方法 | 核心机制/损失函数 | 对比表现/备注 |
|---|---|---|
| SLBU | L1 Norm (L1 范数) | 效果最好，在 Walker/Humanoid/Ant 上超越其他方法 |
| SLBU-MSE | L2 Norm / Squared Error | 作为对照，效果略逊于 SLBU |
| TRPO | Trust Region Constraint | 作为基线，策略更新距离受限 |
| Soft Actor-Critic | Maximum Entropy RL | 作为最新基线，SLBU 表现相当或更优 |
经典规划回顾：从线性二次型到迭代LQ
回顾经典规划（Classic Planning），在深度学习兴起前的 20 世纪 60-70 年代，主要依赖 传统优化（Traditional Optimization） 方法。其核心思想是从一条初始路径（如从 $S_0$ 到 $S_T$）出发，通过迭代修改使其性能逐步提升。最经典的案例是 线性二次型调节器（LQR）。假设系统动态模型为线性（$x_{t+1} = Ax_t + Bu_t$），目标函数为二次型，且目标是使状态快速收敛至原点。由于问题是凸的，存在唯一最优解，最优控制律表现为状态反馈形式：$u_t = -K_t x_t$，其中增益矩阵 $K_t$ 通过求解 黎卡提方程（Riccati Equation） 迭代获得。
对于非线性系统，直接求解困难，因此引入了 迭代线性二次型调节器（Iterative LQ, iLQ）。该方法在局部对非线性动态模型和奖励函数进行泰勒展开，近似为线性模型和二次奖励函数，从而在每个迭代步应用 LQR 求解。通过不断采样新轨迹、重新线性化、更新策略，算法逐步收敛至局部极小值。这种方法原则上可解决任意非线性控制问题，尽管其全局收敛性无法完全保证，但在工程实践中被广泛验证有效。例如，ICML 2011 年的 Pliego 工作利用高斯过程建模动态模型，结合 iLQ 思路，仅通过少量（约十几次）试验即可训练出准确的机械臂控制策略。
神经组合优化：无梯度规划的新范式
当规划问题涉及 不可微分（Non-differentiable） 的组合优化时（如凸包求解、作业调度 Job Scheduling），传统的基于梯度的 iLQ 方法失效。此类问题通常具有复杂的离散结构，难以直接应用微积分工具。为此，研究提出了一种结合 神经网络（Neural Networks） 与 局部改进 的新范式。以 Pointer Networks 为例，神经网络可直接输出组合优化问题的解序列（如凸包顶点序列或调度顺序），而非依赖传统算法。
“但是问题是，就是说这个主规划的情况下是没有梯度的啊。但是没有关系，我们可以训练神经网络，然后让这个神经网络呢，把这个梯度呢给啊给给算出来啊。”
针对无梯度场景，框架采用 状态-规则匹配机制：从当前状态中选择部分子结构，匹配最适用的规则进行状态更新，迭代直至完成。虽然原始问题不可微，但通过训练神经网络来 估计或代理梯度方向，使得智能体能够沿着改进路径进行局部优化。这种方法将规划问题转化为可学习的策略优化问题，利用神经网络的泛化能力处理组合爆炸，通过局部微调逐步逼近最优解，为复杂组合优化问题提供了新的解决思路。
基于图结构的作业调度局部重写机制
在作业调度（Job Scheduling）问题中，当前状态被建模为一个依赖图，其中节点代表作业，边代表执行顺序约束。例如，作业1必须在作业2和作业4之前执行，作业3必须在作业4之前执行。这个图结构本身即代表当前的调度解，虽然未必最优，但可通过迭代过程逐步优化。系统首先通过 train embedding 从底层向上累积嵌入向量，生成顶层的 diag vector。该向量用于预测当前调度中需要改进的具体环节，例如识别出作业3可能存在优化空间。
随后，选中的作业被送入 rule selector，决定其与哪个作业交换位置（如与作业4交换），从而生成新的解决方案，旨在降低 drop slowdown time。这种局部重写策略通过微调局部结构来优化全局性能。以三个作业为例，作业1持续时间长（2单位），作业2持续时间3单位，作业3资源需求互补。作业1和2对资源B需求高，作业3对资源A需求高。若顺序执行1-2-3，作业2需等待作业1释放资源B，产生长度为1的延迟。但若利用作业2与3的资源互补性，允许作业2和3并发执行，可显著减少等待时间，实现更优调度。
调度算法性能对比与基准测试
为了验证 Neural Writer 在作业调度上的有效性，研究团队将其与多种基线算法进行了对比。核心评价指标为 slowdown time（延迟时间），即作业到达后等待执行的时间，理想值为0，数值越小越好。实验设置了15个作业的在线队列，并引入了预知所有作业信息的 optimum（上界）作为理论最优参考。
| 算法/基线 | 资源维度 (d) | 性能表现描述 | 备注 |
|---|---|---|---|
| Neural Writer (本方案) | 20+ | 表现优异，显著优于简单启发式算法 | 采用局部重写策略，适应复杂资源约束 |
| Shortest Job First (SJF) | 任意 | 表现较差，仅优于Earliest First | 简单启发式，无法处理复杂资源依赖 |
| Deep IM (端到端预测) | d < 5 | 表现尚可，与Neural Writer接近 | 直接预测所有作业顺序，资源少时有效 |
| Deep IM (端到端预测) | d = 20 | 表现极差，甚至不如SJF | 资源多时，直接预测顺序准确率极低 |
| K-best Search | 任意 | 表现中等，优于SJF但劣于Neural Writer | 搜索前K个较好作业，计算开销大且效果有限 |
| Optimum (理论上界) | N/A | 最佳性能 | 预知未来所有作业信息，作弊方案 |
| Earliest First | N/A | 最差性能 | 简单按到达顺序执行，未考虑资源互补 |
实验结果显示，当资源维度 d 较小时，Deep IM 等端到端预测方法与本方案效果相当；但当资源维度增加至20时，Deep IM 的性能急剧下降，证明了局部重写方案在处理高维复杂调度问题上的鲁棒性。尽管存在预知未来的 Optimum 方案，Neural Writer 的结果与其差距不大，表明该算法在在线设置下具有极高的实用价值。
数学表达式简化与强化学习应用
除了作业调度，该方法同样适用于数学表达式的简化（Simplification）。目标是将复杂的数学公式通过迭代重写转化为最简形式。系统首先识别表达式中可简化的局部子图或子树，通过寻找特定路径进行化简，直至无法进一步简化为止。例如，表达式中的 x - x 项会被识别并化简为0。评价标准为树大小的缩减率（tree size reduction）。
研究团队将该方法与成熟的基于规则的工具 Healide 进行了对比。Healide 是一个开源项目，旨在将Tensor规则转换为CUDA代码，其内部使用基于硬编码规则的重写器。实验结果表明，基于强化学习的神经网络重写器在减少表达式长度方面优于人工调优的规则系统。
“我们发现，用神经网络来做RL，它的效果其实比他们现在用手调的那个基于规则的方式呢要好，就是reduction数目变长。”
这一案例证明了强化学习在结构搜索和重写任务中的通用性，无论是调度图的局部交换，还是数学树的节点化简，核心逻辑均是通过策略网络选择最优的重写动作，从而优化全局目标函数。
Q&A：前向模型评估与算法适用性
在问答环节，针对如何评价基于学习的 forward model（如Visual NPC），田渊栋指出，最终评价标准应看其是否提升了规划（Planning）效果。虽然存在间接标准（如预测下一帧的准确性），但这并不保证规划性能的提升，因为规划可能只依赖潜在空间中的关键信息，而舍弃无用信息。数据质量优于数量，在错误区域拟合良好的数据反而有害，理想数据应集中在最优策略附近，但这在实际中难以获取。
关于 Sweatico 论文是否适用于视觉前向模型，理论上是适用的，因为该方法与状态空间表示无关。但在视觉任务中，需要先训练一个嵌入空间（embedding space），这在技术上更具挑战性。此外，关于蒙特卡洛树搜索（MCTS）在量化交易中的应用，田渊栋认为缺乏准确的 world model 是主要障碍，因为MCTS依赖于对动作后果的预测。最后，他澄清了 DQN 与 DDPG 的区别：DQN 适用于离散动作空间，而 DDPG（确定性深度策略梯度）适用于连续动作空间，后者通过确定性映射避免了策略梯度中的高方差采样问题。
“最优的评价标准呢，肯定还是看，就是说这个 forward model 呢是不是有用啊？比如说用它来做 forward model 的最后的结果，一定效果比原来的原来东西要好啊。”
元学习在任务迁移中的应用与Lips算法的高层建模逻辑
在讨论如何利用元学习（Meta-learning）处理新任务时，田渊栋指出可以通过在新任务上执行一步梯度下降，快速获得适配该任务的函数。例如，在原有任务上训练动力学模型（Dynamics Model）后，利用Meta方法将其迁移到新任务中，这种技术在多篇论文中已有验证。针对Lips算法与高斯模型的区别，核心在于建模层级的不同。Lips算法构建的是一个高层级的动态模型，它并不关注智能体从A点移动到B点的具体动作细节，而是通过一个子策略（Sub-policy）来自动执行具体动作。相比之下，高斯模型更侧重于概率分布的直接建模。> “Lips那个算法呢，其实是这样，就是我对于房间之间的那个出现的关系是做了个建模的……它其实是一个非常的 high level 的一个 dynamic model”。这种分层设计使得高层模型仅负责决策“去哪里”，而底层策略负责“怎么做”，从而在抽象层级上实现了与高斯模型的本质差异。
Facebook机器人实验室布局与模型结构设计原则
Facebook目前在机器人领域主要设有两个研究站点，分别位于Menlo Park和匹兹堡。Menlo Park团队专注于基于模型的方法（Model-based approach），旨在将强化学习应用于操作任务，如抓取和运动规划，目前该实验室正在组建中并开放招聘。匹兹堡团队由前CMU教授Abhinav Gupta负责，其研究重点并非运动规划，而是利用机器人作为新型数据收集手段，结合计算机视觉思路进行研究。在模型设计方面，田渊栋强调需根据具体问题引入结构先验。如果已知系统是线性的，可采用线性或近似线性模型；若变量与动作之间存在可分解结构（Factorizable structure），也应将其纳入建模。> “如果你知道不这个东西是线性的，那么你当然可以做线性模型……假设你知道这个模型呢是有一些 factorizable structure”。此外，对于多智能体系统，需为每个智能体建模其行为特征；对于随机预测问题，则应避免使用确定性方法（如scikit-learn中的某些工具），而应采用概率性建模方案。
强化学习落地场景、路径规划局限性及GAN结合思路
关于强化学习的实际应用，田渊栋表示游戏领域已取得显著成果，但在其他领域的落地尚需观察，特别是基于模型的方法能否有效降低样本复杂度仍是研究热点。在无人车路径规划问题上，他认为使用神经网络进行局部调整并非最佳方案，因为该任务通常要求极低的延迟（几十至几百毫秒），且GPU资源在车载环境中极为稀缺，主要用于目标检测。> “无人车路径规划呢，我估计它是个可微的问题，所以可能有更好的解决法……因为无人车路径规划的话，你要很快”。此外，在结合生成对抗网络（GAN）与强化学习时，可利用GAN作为判别器，在“从演示中学习”（Learn from Demonstration）场景中，迫使RL生成的轨迹与人类轨迹难以区分，从而学习更优策略。对于序列到序列（Sequence-to-Sequence）动态模型，其效果取决于环境是否具备马尔可夫性；若状态依赖历史较远，则Seq2Seq更有意义，否则当前状态与前几帧叠加已足够。
招聘要求、模型优化方法及Model-based与Model-free的权衡
Facebook机器人实验室的招聘分为实习生和正式员工，实习生通常要求PhD学历并在相关方向有优秀论文发表；正式员工则更看重动手经验，如操作Sawyer机械臂并编写控制代码。在模型优化方面，可采用类似元学习的双层优化框架：内层进行规划，外层使用A2C等算法优化动态模型参数，特别适用于模型不可微的场景。关于Model-based与Model-free的结合，前者在探索初期收敛快，后者在最终精度上更优。> “model based呢，是对于 exploration 比较好，然后呃它可能一开始能够很快的收敛，但是它最后的结果并不一定有 model free 好”。目前的研究趋势是将两者结合，以兼顾探索效率与最终性能。对于NP-hard问题如作业调度，由于缺乏最优子结构且状态空间指数级膨胀，传统规划方法难以直接应用，需探索新的近似或结构化解决方案。