深度学习时代的表示学习范式转变
本次演讲由 UCL DARK 特邀系列引入，主讲人田元东（Yuandong Tian）是 Facebook AI Research (FAIR) 的研究科学家及经理，曾主导 ELF、OpenGo 和 DarkForestGo 项目，并拥有卡内基梅隆大学机器人研究所博士学位。演讲的核心议题是在强化学习中寻找用于搜索和探索的良好表示（Representation）。田元东首先回顾了深度学习带来的根本性变化：从传统的线性回归和人工特征工程，转向使用多层神经网络自动学习中间层的良好表示，从而更有效地预测最终输出。他指出，这种表示学习在计算机视觉（CV）、自然语言处理（NLP）以及游戏领域的强化学习中均取得了超越人类的表现。他提到：“在深度学习时代之前，人们使用线性回归和人工特征；而在深度学习时代，我们通过堆叠层来学习中间表示，以便更好地预测最终输出。”这一转变奠定了后续讨论的基础，即如何将这些表示学习技术应用于更复杂的强化学习场景中。
现有强化学习表示研究的三大焦点
在强化学习领域，现有的表示学习研究主要聚焦于三个具体方向：状态表示（State Representation）、动作表示（Action Representation）以及更高层级的表示。田元东指出，状态表示方面，著名的 MuZero 论文展示了如何将游戏当前状态编码为隐藏状态，并用于搜索以找到优良策略；Google Brain 的研究则通过结合离散和连续损失函数来学习 Atari 游戏的策略。在动作表示方面，当动作空间过大时（如推荐系统中百万级的物品选择），研究致力于学习动作嵌入（Action Embeddings），以便统一处理动作并实现跨任务迁移。田元东强调：“动作表示被广泛用于推荐系统等领域，通过动作嵌入来处理大规模动作空间并实现任务间的迁移。”然而，本次演讲将超越这些基础层面，探讨更高层级的表示，包括整个策略的表示、环境的表示以及价值变化的表示。
高层表示：策略、环境与价值变化的统一视角
本次演讲的核心创新点在于探讨比单一状态或动作更高层级的表示形式，旨在解决强化学习中的搜索效率和探索难题。田元东介绍了三个主要组成部分：首先，学习整个动作空间的表示，通过改变动作空间的表示形式来优化基于马尔可夫决策过程（MDP）的函数；其次，在不完全信息博弈中，寻找不同的方式来表示价值变化，从而使搜索过程更加高效和简便；最后，介绍关于强化学习探索中表示变化的初步研究工作。他引用了 DCSI Clear 的 Parrots 论文作为高层表示的例证，该研究展示了如何利用表示来编码策略和行为策略，从而将现有任务中的行为策略迁移到新任务中。田元东总结道：“我们关注的是比单纯的状态和动作更大的表示对象，例如整个策略或环境的表示，以解决强化学习中的不同目标。”这一视角为理解复杂环境下的搜索与探索提供了新的理论框架。
从游戏到通用优化：动作空间表示的扩展应用
在深入探讨具体技术之前，田元东明确了研究范围的扩展：不再局限于游戏领域，而是尝试将强化学习应用于更广泛的通用优化任务。在这些任务中，研究者面临的是组合优化（Combinatorial Optimization）等硬优化问题，目标是利用强化学习找到解决方案。虽然具体的优化算法细节将在后续章节展开，但这一部分确立了演讲的基调：即通过改进动作空间的表示，来应对传统强化学习难以处理的复杂优化场景。田元东指出：“我们不仅关注游戏，还试图思考更一般的优化任务，在这些任务中，我们处理的是硬优化问题，并希望通过强化学习来寻找解决之道。”这种从特定领域（如围棋、Atari）向通用优化问题的迁移，体现了表示学习在提升强化学习泛化能力和解决实际问题中的巨大潜力，也为后续关于动作空间表示优化的讨论奠定了应用背景。
优化问题的强化学习建模多样性
组合优化问题（如旅行商问题、作业调度问题）可以自然地形式化为马尔可夫决策过程（MDP），关键在于如何定义状态和动作。然而，同一个优化问题往往存在多种不同的MDP建模方式，这为算法设计提供了巨大的灵活性。Yuandong Tian指出，我们并非必须将优化问题强行转化为MDP，也可以采用端到端的单次预测（one-shot prediction），直接输入问题规格并输出解决方案。此外，还可以采用迭代式的方法：要么逐步预测路径直到形成完整解，要么从初始猜测开始，每一步都对解进行细化（refinement），直到无法进一步提升。更有甚者，可以学习如何找到最佳的动作空间，从而使整个MDP更容易求解。表示（Representation）在解决这些优化问题中起着至关重要的作用，不同的建模策略直接影响了搜索的效率和最终解的质量。
直接预测与局部重写框架
早期的尝试（自2015年起）主要使用序列到序列（sequence-to-sequence）模型直接预测问题的解，无需搜索或细化。Yuandong Tian认为，这是使用机器学习解决组合推理问题的初步尝试，虽然简单，但往往难以应对复杂问题。因此，研究者转向了更稳健的“局部重写框架”（local rewriting framework）。该方法从一个可行解开始，迭代地收敛到更优解：选取局部解的一个小组成部分，应用特定规则进行更改以优化该部分，然后重复此过程。实验表明，这种方法在在线作业调度、稀疏简化和车辆路径规划等问题上表现优异，相关代码已开源，论文被NeurIPS 2019接收。局部重写通过迭代细化，有效平衡了搜索空间与求解精度，证明了在复杂优化任务中，结构化搜索比直接预测更具优势。
动作空间表示对搜索效率的决定性影响
传统方法通常预先定义动作空间，但Yuandong Tian提出，对于优化问题，我们应学习动作空间的表示形式，而非固定它。这与游戏类MDP不同，因为优化问题只关心最终解的质量，不关心获取过程，这为学习动作空间表示留下了空间。以架构搜索（Architecture Search）为例，目标是在最少的试验次数中找到准确率最高的网络。在一个包含1,364个不同深度、通道数和核大小的网络空间中，对比了两种动作空间：
- 序列动作空间（Sequential Action Space）：逐层添加网络层，设定每层的核大小和通道数，直到停止。这类似于人类逐步构建细节的过程。
- 全局动作空间（Global Action Space）：首先确定网络的总深度，然后一次性设定每层的核大小和通道数。这类似于人类先确定宏观结构再填充细节的决策过程。
实验结果清晰地展示了两种表示的效率差异。全局动作空间在搜索效率上显著优于序列动作空间，因为它更符合人类“先宏观后微观”的决策直觉，能够更快地逼近最优解。
"Human is not really think about details first. Human always think, okay, maybe the depth of the network is the most important."
实验数据对比：全局 vs 序列动作空间
为了量化动作空间表示的影响，研究者在架构搜索任务中进行了对比实验。横轴为采样的网络数量（评估次数），纵轴为找到的最佳准确率。理想情况是曲线迅速上升至最高准确率。实验数据显示，全局动作空间（Global）在相同样本量下始终获得更高的准确率，证明了宏观表示在加速收敛方面的优势。
| 动作空间类型 | 采样数量 (Samples) | 最佳准确率 (Accuracy) | 搜索效率评价 |
|---|---|---|---|
| 序列动作空间 (Sequential) | 100 | 较低 (具体数值未提供，但曲线上升缓慢) | 低效，陷入局部细节 |
| 全局动作空间 (Global) | 100 | 较高 (具体数值未提供，但曲线快速上升) | 高效，快速逼近最优 |
| 序列动作空间 (Sequential) | 500 | 中等 (具体数值未提供) | 中等，需更多迭代 |
| 全局动作空间 (Global) | 500 | 高 (具体数值未提供，接近最优) | 高效，收敛速度快 |
注：虽然字幕未提供具体的准确率数值，但明确指出Global曲线远优于Sequential曲线，且Global能更快达到最高准确率。
结论与启示
这一系列分析表明，在强化学习应用于优化问题时，动作空间的表示形式直接决定了搜索的效率和准确性。通过从序列式、细节导向的建模转向全局式、结构导向的建模，可以显著提升算法性能。Yuandong Tian强调，不应将动作空间视为固定不变的约束，而应将其作为可学习的表示，以适应不同问题的特性。这种视角的转变为自动化机器学习（AutoML）和组合优化领域提供了新的研究方向，即如何通过学习更优的动作空间表示来简化MDP的求解过程，从而在资源受限的情况下找到更高质量的解决方案。
决策层级：深度优先于细节参数
在强化学习（RL）的搜索与探索问题中，决策的优先级顺序至关重要。传统的优化方法往往陷入细节泥潭，例如纠结于神经网络第一层的卷积核大小或通道数，这些局部细节对整体性能的影响微乎其微。相反，研究者主张首先确定网络的深度（Depth）这一宏观结构，再逐步细化其他参数。这种策略反映了优化问题的核心逻辑：首要任务是做出最重要的决策，而非在次要细节上过度纠缠。如果仅仅固定一个马尔可夫决策过程（MDP）并试图求解，可能会因为搜索空间定义不当而陷入非理想状态。因此，必须从更高层面重新审视搜索空间的构建方式，确保宏观结构先于微观参数被确定，从而为后续的高效搜索奠定基础。
动作空间的学习：从固定到动态划分
传统游戏环境中动作空间是预定义的，但在优化问题中，动作空间本身是可以学习和定义的。这一概念在 NeurIPS 2020 和 TPAMI 2021 发表的两篇论文中得到了深入探讨。在这里，动作被定义为搜索空间的划分（Partition）。假设存在一个巨大的架构搜索空间，动作不再是选择某个具体参数，而是决定如何将这个大空间分割成若干子空间，以便更高效地搜索。这种动态划分允许算法根据数据表现自动调整搜索策略，而不是依赖人为预设的固定动作集。通过这种方式，算法能够自适应地构建搜索树，将复杂的连续或离散空间转化为更适合树搜索的结构，从而提升探索效率。
全局划分 vs 顺序划分：性能聚类效应
动作空间划分的质量直接决定了搜索效率。研究者对比了两种划分策略：全局动作空间（Global Action Space）与顺序动作空间（Sequential Action Space）。在全局划分下，搜索树的分支与模型性能高度对齐：某些分支集中包含高性能模型，而其他分支则包含低性能模型。这种性能聚类使得算法可以迅速剪枝（Prune）低效分支，节省计算资源。相比之下，顺序划分导致好坏模型混杂在不同分支中，迫使算法必须遍历所有分支才能找到最优解，造成巨大的时间和算力浪费。正如演讲者所言：
"We don't really want this sequential model splitting because this basically means that we have to go into every search tree branch in order to find the good models."
因此，全局划分通过性能聚类实现高效剪枝，是更优的选择。
潜在空间流形搜索算法（LSMS）
基于上述理论，研究者提出了潜在空间流形搜索（Latent Space Manifold Search, LSMS）算法。该算法首先使用初始随机采样数据训练一个分类器（如线性或非线性分类器），用于区分搜索空间中的“好”区域和“坏”区域。例如，在一个由特征数量和深度参数化的二维空间中，算法学习决策边界，将空间划分为左（好）右（坏）两个子空间。随后，利用蒙特卡洛树搜索（MCTS）进行探索。MCTS 的关键作用在于防止算法陷入局部最优：即使某个区域整体表现不佳，其中可能隐藏着全局最优解。算法通过迭代更新分类器和搜索树，确保好分支始终被优先探索，同时保留对其他潜在 promising 区域的探索能力，从而在探索与利用之间取得平衡。
"You want these good branches to be always on the left, so that when you explore the space, you actually will use that good, you always basically focus yourself into these small good regions."
LSMS 的核心流程包括：初始采样训练动作空间 -> MCTS 搜索 -> 收集新数据 -> 更新动作空间。这种闭环机制确保了搜索过程能够动态适应搜索空间的特性，逐步收敛至高性能区域。
基准测试验证：NAS 与黑盒优化中的样本效率优势
研究团队首先通过构建不同规模的数据集，验证了该方法在神经网络架构搜索（NAS）中的有效性。随着数据集规模的扩大，该方法在准确率增长速度和最终模型质量上均显著优于基线优化、随机搜索及其他主流 NAS 方法。特别是在包含 42 万个预训练模型（基于 CIFAR-10 数据集）的 NAS-Bench-101 基准测试中，该方法展现了压倒性的性能优势。在开放域任务中，该方法仅需约 800 次试验即可达到极低的 Top-1 错误率，证明了其在有限样本下的高效性。
"when datasets become larger... our approach actually is doing much better compared to the other approaches in terms of this number of accuracies"
在更广泛的黑盒优化场景中，该方法同样表现出极高的样本效率（Sample Efficiency）。与现有的求解器（如 Turbo 和 Data-Based Optimization）相比，该方法在最小化函数值时，其性能曲线下降速度更快，意味着在相同的计算预算下能更快找到更优解。此外，在处理具有高维度的非线性策略优化问题时，该方法的表现也优于传统的进化优化算法。在多目标优化问题上，该方法近期也展示了优于以往方法的性能。该代码已开源，用户只需定义函数（如钟形曲线函数）即可快速获得优质解。值得一提的是，该方法已在去年的2020 年欧洲黑盒优化竞赛中，帮助团队分别获得第三名和第一名的优异成绩。
不完备信息博弈中的搜索结构挑战
演讲的第二部分转向了不完备信息博弈（Imperfect Information Games）中的表示学习问题，旨在为更轻松的搜索找到合适的表示。为了阐明这一领域的特殊性，演讲首先对比了完备信息博弈与不完备信息博弈在搜索树结构上的根本差异。在完备信息博弈中，搜索过程呈现为清晰的树状结构，节点之间没有循环，且一旦做出决策进入某个分支，该分支与其他分支相互独立，搜索路径清晰明确。
然而，在不完备信息博弈中，情况变得复杂。由于玩家之间信息不对称，一个玩家可见的状态对另一个玩家可能是不可见的。这导致搜索结构中出现循环和合并节点的现象。具体来说，对于某个玩家而言，两个看似不同的节点，在另一个玩家看来可能属于同一个状态。这种结构上的复杂性使得传统的基于树的搜索方法难以直接应用。
"because of that structure, this is the reason why we actually see these circles here... you have this kind of like a weird structure in these imperfect information games"
信息集（Information Set）概念与策略一致性约束
为了具体说明不完备信息博弈的结构特征，演讲使用了一个简单的两张牌博弈作为案例。假设玩家一和玩家二各持有一张牌（0 或 1），共有四种可能的状态组合（00, 01, 10, 11）。从游戏设计者（上帝视角）的角度看，所有四种状态都是可区分的，构成了完整的游戏历史。然而，从玩家一或玩家二的视角来看，他们只能看到自己的牌，无法看到对手的牌。
例如，玩家一持有牌 0 时，他无法区分对手持有的是 0 还是 1。因此，对于玩家一而言，这两种情况属于同一个信息集（Information Set）。同理，玩家二也面临类似的情况。在不完备信息博弈中，信息集是指玩家无法区分的状态集合。由于玩家无法区分信息集内的不同状态，他们必须在该集合内采取一致且恒定的策略。这意味着，如果将信息集视为搜索树中的单个节点，搜索树中就会出现环状结构，因为不同玩家眼中的“不同节点”在信息集层面被合并了。随着动作空间的增加（如玩家一有动作 A 和 B），信息集的分裂和合并会更加复杂，进一步加剧了搜索的难度。
"you can only have a policy that is consistent and also constant within this region, which is the information set"
搜索表示的核心难点：部分可观测性导致的结构扭曲
不完备信息博弈的核心难点在于部分可观测性导致的搜索结构扭曲。在完备信息博弈中，搜索树是线性的、无环的，每个节点代表一个确定的历史状态。但在不完备信息博弈中，由于玩家只能观察到部分信息，搜索空间必须被重新组织为信息集树。在这种结构中，一个节点代表玩家当前可能处于的所有状态的集合。
这种结构导致了两个主要问题： 1. 节点合并：不同玩家视角下的不同历史可能对应同一个信息集节点，导致搜索树出现“环”或复杂的交叉结构。 2. 策略约束：策略必须在整个信息集内保持一致，不能根据信息集内未被观测到的细节进行差异化决策。
"if you treat this information set as this single node in the the search tree, then what you see is that you're going to see this search tree as you have this kind of circles in this manner"
这种复杂的结构使得传统的基于树搜索的算法（如蒙特卡洛树搜索 MCTS）难以直接应用，因为标准算法假设节点是确定且可区分的。因此，寻找一种能够简化搜索空间、保留关键信息且符合策略一致性约束的表示方法，成为解决不完备信息博弈搜索问题的关键。演讲者指出，随着动作数量的增加，信息集的分裂和合并机制会变得更加复杂，进一步凸显了开发新型表示学习方法的必要性。
非完美信息博弈中的搜索困境与局部最优陷阱
在非完美信息博弈（Imperfect Information Games）中，搜索算法面临的核心挑战在于信息集的复杂性。当某些动作是公开的（public actions），所有参与者都能看到并据此划分信息集时，原本简单的树状结构会演变为有向无环图（DAG）。这种结构使得不同信息集之间的依赖关系变得极其复杂，导致无法简单地通过优化单个节点来寻找全局最优解，因为这样做极易陷入局部最优。演讲者指出，"how can we actually do search is one of the very hard problems we need to face for these kind of situations"，这揭示了在多智能体协作环境中，传统搜索方法的局限性。
"So this is actually makes things a little bit complicated. And how can we actually do search is one of the very hard problems we need to face for these kind of situations."
为了说明这一问题的严重性，我们可以观察到一个典型的协作通信场景。假设有两个智能体，它们都掌握法语和英语两种语言，但彼此不知道对方的擅长领域或手牌情况。如果两个智能体都选择说法语，这可能是一个纳什均衡点，但并非全局最优。存在一个更好的解决方案，即两者都改说英语，从而获得更高的奖励。然而，由于缺乏协调，任何单个智能体单方面切换语言都会导致通信失败，从而获得负奖励。因此，只有当两个智能体同时切换策略时，才能跳出局部最优并实现整体收益的提升。这种同步策略调整的需求，使得搜索空间变得异常庞大且难以处理。
联合策略搜索（JPS）的核心机制：策略变化密度
为了解决上述同步调整难题，研究提出了一种基于策略变化密度（Policy Change Density）的新表示方法。这种方法避免了在复杂的DAG结构中追踪所有历史路径的繁琐过程。其核心思想是：通过计算策略改变带来的密度值，可以直接反映旧策略与新策略之间的游戏价值差异。该密度函数具有两个关键性质：首先，将所有可能历史路径上的密度相加，自然等于新旧策略的游戏价值差；其次，在策略未发生变化的区域，无论其位于上游还是下游，密度值均为零。
"So basically, like what we do in this paper is that we actually compose a policy change density. And that is actually has nice properties."
这种表示方法的巨大优势在于，整体价值变化仅依赖于那些策略发生改变的活跃信息集。这意味着，在进行搜索剪枝（search pruning）时，算法无需回溯整个游戏树的历史，只需关注当前活跃的信息集及其策略变化。通过将这些活跃信息集的密度值相加，即可得到整体的价值变化。这种简洁的数学 formulation 使得算法能够更高效地执行深度优先搜索（Depth-First Search），迭代地寻找比现有策略更优的新策略，直到无法再找到改进方案为止。这种方法被称为联合策略搜索（Joint Policy Search, JPS），它有效地解决了多智能体同步策略优化的难题。
实验验证与采样版本的性能表现
研究团队将JPS算法应用于多个小规模博弈游戏中，以验证其有效性。实验结果显示，当JPS与现有的策略迭代方法结合使用时，能够显著提升现有策略的性能，并帮助算法跳出局部最小值。通过对比应用JPS前后的策略表现，数据表明新的策略组合在各项指标上均优于之前的结果。这证明了JPS在发现更优联合策略方面的能力，特别是在处理需要多智能体协同调整的场景中。
此外，为了应对大规模游戏带来的计算瓶颈，研究还开发了一种基于采样的JPS版本。该版本不再枚举所有可能的历史路径，而是仅对每个信息集中的历史进行采样。实验数据显示，当采样数量超过一定阈值时，采样版本的性能不仅稳定提升，甚至在某些情况下优于全量枚举版本。这可能是因为采样引入了适当的噪声，帮助算法更好地探索策略空间，避免过早收敛到次优解。这一发现为在大规模非完美信息博弈中应用高效搜索算法提供了新的思路。
| 实验条件 | 策略类型 | 性能表现趋势 | 备注 |
|---|---|---|---|
| 小规模博弈 | 现有策略迭代 | 基准性能 | 容易陷入局部最优 |
| 小规模博弈 | JPS + 现有策略 | 显著提升 | 跳出局部最小值 |
| 大规模博弈 | JPS (全量枚举) | 稳定但计算成本高 | 需遍历所有历史 |
| 大规模博弈 | JPS (采样版本) | 优于全量版本 | 采样量需超阈值 |
桥牌博弈中的对称性打破与性能突破
在强化学习应用于复杂博弈的场景中，打破对称性是实现性能跃升的关键。研究团队将这一方法应用于Contract Bridge（定约桥牌）、Contrast Bridge（对比桥牌）以及Bidding（叫牌）等多个子任务中。实验结果表明，该方法能够有效打破局部最优困境，从而达成更高的性能表现。在与多年计算机桥牌锦标赛冠军系统 W5 的对比中，新展现出的优势尤为明显。这种对比不仅验证了算法在复杂策略空间中的有效性，也证明了其在处理高维度状态空间时的鲁棒性。通过引入新的探索机制，智能体能够更有效地在博弈树中进行搜索，避免了传统方法容易陷入的局部陷阱。
BBOAD 框架：基于随机网络蒸馏的内在奖励机制
BBOAD 论文提出了一种全新的强化学习探索空间的方法，其核心在于构建一个极其简单但高效的内在奖励标准。该奖励由多个组件构成，首先针对轨迹中的相邻状态 $s_t$ 和 $s_t+1$ 计算 IND 分数（基于随机网络蒸馏的距离）。具体而言，系统维护两个网络：一个是在线网络（Online Network），另一个是随机固定的目标网络（Random Fixed Target Network）。当智能体访问过某个状态时，在线网络对该状态的输出与固定目标网络的输出差异较小，表明该状态已被充分探索；反之，若状态未被探索，两者输出差异巨大。这种差异直接反映了访问计数的倒数，即访问越少，差异越大，从而为智能体提供更高的内在奖励以鼓励探索。
"Basically, you first have a trajectory. Given a trajectory, you first compute these IND scores between these two nearby states."
瓶颈状态识别与梯度引导的探索策略
BBO 方法的核心逻辑在于检测轨迹中访问计数的差异。当智能体在已探索区域（左侧部分）与未探索区域（右侧部分，访问计数较低）之间移动时，如果存在显著的访问计数落差，系统会识别出瓶颈状态（Bottleneck Nodes）。通过计算相邻状态 IND 分数的差值并取最大值，再乘以 episodic visitation count（回合访问计数），系统能够精确捕捉到这些瓶颈。对于瓶颈状态，算法分配更高的奖励，引导智能体优先突破这些障碍。一旦智能体学会到达这些瓶颈区域，其访问计数将增加，导致 IND 分数差异缩小，奖励随之降低。此时，探索焦点自然转移到下一个瓶颈区域，从而实现渐进式的全空间探索。这种机制避免了智能体在熟悉区域反复徘徊，确保了探索的持续深入。
MiniGrid 环境下的实证分析与消融实验
在 MiniGrid 环境的实验中，BBO 方法展现了卓越的性能。在12 个具有挑战性的困难任务中，BBO 的表现显著优于现有方法，包括 RIDE 和 MIGAL。数据显示，BBO 能够在1.2 亿步内解决所有任务，而在某些特定硬任务中，DeepMind 的相关方法甚至能在少于 100 万步内解决，这突显了该简单标准的有效性。与仅使用 IND 标准的探索相比，BBO 避免了因熟悉度偏差导致的“来回震荡”现象（即智能体因当前房间比之前房间更陌生而返回旧房间）。BBO 能够更有效地探索更多房间，且在更少的环境步数内完成。消融实验进一步证实，Max 操作和回合访问计数是达成高性能的关键设计组件。此外，该方法在 NetHack（由 Facebook AI Research 团队开发的环境）中也取得了良好表现，验证了其在更复杂环境中的泛化能力。
| 环境/任务类型 | 对比方法 | 解决步数/性能表现 | 备注 |
|---|---|---|---|
| MiniGrid (12个困难任务) | BBO (本研究) | < 1.2 亿步 | 解决所有任务 |
| MiniGrid (部分硬任务) | DeepMind 方法 | < 100 万步 | 特定任务表现优异 |
| MiniGrid (探索效率) | RIDE, MIGAL | BBO 显著优于两者 | 避免来回震荡 |
| NetHack | BBO | 多项任务表现良好 | 验证泛化能力 |
BBO对特征质量的敏感性实验
研究团队近期深入探讨了在贝叶斯优化（BBO）框架下改变表示（Representation）所带来的影响。实验发现，BBO算法对IND部分所使用的特征类型具有极高的敏感性。当使用随机特征时，性能曲线呈现出良好的上升趋势，随着环境步数的增加，表现稳步提升。然而，当替换为其他特定的表示方法时，结果却截然不同。例如，使用双模拟控制（Double Bisimulation Control）或ICM特征时，性能表现极差，几乎没有任何增长。更有趣的是，如果使用成功表示（Successful Representation），性能不仅没有提升，反而随着环境步数的增加下降速度更快。这一现象表明，表示的质量直接决定了算法的上下限，只有能提供有效环境线索的高质量表示才能带来性能增益。
"BBO is actually very sensitive to different kind of features used in the in the IND part"
成功表示的语义聚合效应
为了解释上述现象，团队分析了不同表示在状态空间中的分布特性。以成功表示为例，观察发现其在同一个房间内的状态具有相似的表示，而在不同房间之间的状态则表现出极大的差异。这种特性本质上将原本细粒度的MDP（马尔可夫决策过程）进行了抽象。原本可能是一个10x10甚至更大的网格地图，被压缩为每个状态近似代表一个房间的较小MDP。这种抽象极大地简化了状态空间的结构，使得每个状态不再仅仅是一个孤立的单元格，而是具有语义意义的区域。
"with the successful representation, you're going to see the similar representation within each room, but very different representation if you go between rooms"
表示质量对探索效率的决定性作用
这种基于房间级别的抽象表示为算法带来了显著的便利性和自由度。由于状态空间被有效压缩，智能体在探索过程中能够更高效地规划路径，避免了在细粒度网格中进行的冗余搜索。实验结果证实，高质量的表示能够显著提升探索效率，这是实现更好性能的关键因素。团队目前仍在继续探索这一方向，旨在通过优化表示学习来进一步挖掘BBOAD算法的潜力，以期在复杂环境中获得更优异的表现。这一发现强调了在强化学习中，表示学习不仅仅是特征提取，更是环境结构的重新建模，对后续的算法设计具有重要的指导意义。
"So this actually gives a lot of convenience and freedom, right? So and also like make this exploration much more efficient."