基于分解的多智能体协作学习

演讲者背景与多智能体协作的核心挑战

本次演讲由 Facebook AI Research (FAIR) 的研究科学家兼经理田元东（Yuandong Tian）主讲，主题聚焦于通过分解学习多智能体协作。田元东的研究方向涵盖强化学习与深度学习理论理解，本次演讲将重点介绍其在强化学习领域的最新成果，特别是关于学生-教师模型及自监督学习黑盒机制的理论探索，但本次主要聚焦于多智能体协作的三个具体论文工作。其中第一个核心工作是多智能体临时团队游戏（Multiagent Ad Hoc Team Play），该研究已与加州大学伯克利分校、加州大学圣地亚哥分校及清华大学合作完成，且代码已开源。

近年来，OpenAI 和 DeepMind 等机构通过大规模计算资源和多智能体竞争训练取得了显著进展，但在理论层面，多智能体协作面临两大核心挑战：一是如何高效地同时训练协作智能体；二是如何避免智能体对特定任务过度拟合，使其具备在测试时无需微调即可适应新团队配置的泛化能力。传统的联合价值函数 $V_{joint}$ 直接建模存在三个主要缺陷：指数级样本复杂度导致估计困难、缺乏去中心化执行能力（即每个智能体需仅凭局部观测行动），以及难以泛化到新智能体或队友。为解决这些问题，研究者提出基于第一性原理的协作 Q 学习，旨在从底层逻辑推导协作模式与计算模型。

基于奖励分配的价值函数解耦机制

针对联合价值函数的建模难题，本研究提出了一种基于奖励分配（Reward Attribution）的解耦思路。其核心动机在于分解智能体协作的驱动力，将联合奖励分解为分配奖励（Assigned Rewards）。具体而言，每个智能体 $i$ 拥有一个去中心化的价值函数 $V_i$，该函数以分配奖励为条件。分配奖励由一个中心化机制生成，一旦分配完成，每个智能体仅根据自身状态和分配奖励进行决策，从而实现智能体间的解耦。这种机制允许智能体在局部观测下独立行动，同时通过分配奖励间接协调全局行为。

为了实现这一机制，研究团队构建了一个优化问题，旨在最大化所有局部价值函数之和，同时确保分配奖励的总和不超过外部可获得奖励。该优化问题的约束条件防止了奖励分配的无限膨胀。然而，直接求解该问题在联合执行的每个时间步都极为困难，且由于需要整合所有状态信息，仍不具备去中心化特性。尽管如此，研究团队发现存在一种特定的奖励分配方案，称为 $\hat{R}_i$，该方案具备两个关键性质：首先，它仅依赖于智能体 $i$ 的局部观测（包括其能看到的其它智能体状态 $S_i^{local}$），而非全局状态；其次，这种局部依赖关系证明了在特定条件下，可以通过局部信息实现有效的奖励分配，从而为去中心化执行提供了理论依据。

局部依赖性与去中心化执行的理论证明

在奖励分配的理论推导中，研究团队证明存在一种局部奖励分配（Local Assignment），即 $\hat{R}_i$ 仅取决于智能体 $i$ 的局部联合状态 $S_i^{local}$，而不需要访问整个系统的完整状态。这一发现至关重要，因为它打破了传统多智能体强化学习中对全局状态信息的依赖，使得去中心化执行成为可能。在这种框架下，每个智能体只需维护自身的局部价值函数 $V_i$，并根据接收到的分配奖励 $\hat{R}_i$ 进行策略更新。这种设计不仅降低了计算复杂度，还增强了系统的可扩展性和鲁棒性。

"We think about each agent has a decentralized value function, Vi, and that Vi is actually conditioned on assigned rewards, I."

这种基于奖励分配的方法不仅解决了联合价值函数建模中的指数级复杂度问题，还为多智能体系统在动态环境中的快速适应提供了理论基础。通过解耦智能体的决策过程，系统能够在无需重新训练整个团队的情况下，灵活应对新加入的智能体或变化的协作任务。这一理论突破为后续的实验验证和实际应用奠定了坚实基础，展示了第一性原理在解决复杂多智能体协作问题中的强大潜力。

基于局部状态的Q函数分解与正则化

传统多智能体强化学习往往试图一次性解决所有智能体的全局状态问题，但这需要获取所有智能体的完整状态信息，计算复杂度极高。为此，研究提出了一种替代方案：让每个智能体仅基于其局部状态进行决策，然后将所有智能体的局部决策组合起来，直接学习从局部状态组合到奖励分配的函数。这种奖励分配机制用于引导智能体的移动行为。通过这种分解，可以将Q函数展开为两个不同的项：第一项称为 Q-alone，它仅建模依赖于特定智能体自身局部状态的Q函数分量，无需输入其他智能体的状态；第二项称为 Collaboration，它依赖于智能体的局部观测，即不仅包含自身状态，还包含其感知范围内的其他智能体状态。这种分解具有自然的正则化特性：当智能体处于孤立状态（无法感知其他智能体）时，Collaboration项必须为零。这种结构使得算法可以在训练过程中同时优化这两个分量，从而简化了学习过程。

CollabQ在星际争霸II基准测试中的表现

为了验证该方法的有效性，研究团队在 StarCraft II Multi-Agent Challenge 这一实证基准测试中应用了CollabQ及其带注意力机制的变体。该任务要求强化学习智能体控制多个小型单位，与由计算机或人类规则控制的对手群体竞争。实验结果显示，CollabQ在相同环境步数下取得了更高的胜率。具体性能数据对比如下表所示，其中紫色和棕色曲线分别代表CollabQ及其变体，它们在多个高难度任务中均表现出显著优势，远超简单方法。

此外，在 Ad-hoc Team Play（临时团队配合）场景中，即使测试时添加、交换或移除单位，CollabQ仍能保持合理的性能。这表明该分解方法学习到了结构化的分解逻辑，具有良好的 适应性 (Adaptability)，能够灵活应对环境变化。

消融实验与正则化的必要性

为了证明Q函数分解及正则化项的必要性，研究进行了消融实验，移除了要求Collaboration项在孤立状态下为零的损失函数。结果显示，移除该正则化项后，性能大幅下降，仅与现有基线方法相当。这证明了分解结构和正则化在提升多智能体协作性能中的关键作用。原文明确指出："So if we could get rid of that, we actually see that the curve is actually doing much worse. So it's actually become comparable with existing approaches. But with this loss function, our approach is doing much better, showing that this decomposition makes sense and regularisation is also doing a very good job." 这一结论确立了CollabQ在结构分解上的理论优势。

不完全信息博弈中的联合策略搜索挑战

在介绍完CollabQ后，演讲转向了另一篇关于 联合策略搜索 (Joint Policy Search) 的论文，重点关注 不完全信息博弈 (Imperfect Information Games)。在这些游戏中，玩家无需也不一定能看到彼此的状态。例如，Alice和Bob的博弈中，Alice持有私牌（如黑桃A或红桃A），并通过公开信号告知Bob。由于信号选择有限，存在多种对称解。然而，当游戏规则微调（如发送特定信号获得额外奖励）时，单方面改变策略风险极高。因为如果一方改变策略而另一方未变，沟通可能完全失效，导致奖励归零。这种 策略依赖的脆弱性 使得纯多智能体协作游戏面临严峻挑战，需要更复杂的联合策略搜索机制来应对。

单侧优化的局限性与局部极小值陷阱

在多智能体协作场景中，单侧优化策略往往无法提升整体价值。传统的实证算法通常将环境视为常数，仅从单个智能体的视角优化其策略，这种做法在复杂交互中极易陷入困境。例如，在涉及语言沟通的博弈中，若两名玩家分别只会英语和法语，他们可能因不愿切换语言而陷入局部极小值，导致沟通失效。这种情形对应于不完全信息博弈中的特定游戏树结构，其中每个玩家的状态对其他玩家而言是隐藏的，双方需共同寻找非局部极小的联合策略。

"unilateral optimization of policy doesn't really improve overall values... usually what people do is we fix, we basically treat the environment as a constant and try to optimize the policy from one agent point of view."

在这种设定下，若双方均选择“法语-法语”策略，可能形成一个值为0.15的局部纳什均衡，因为其中一方法语并不流利。然而，全局最优解实际上是“英语-英语”。单侧优化难以跳出这一陷阱，因为改变单方策略可能暂时降低收益，从而阻碍向全局最优的收敛。

策略变化密度与联合策略搜索理论

为了解决上述问题，研究提出同时改变两个智能体的策略，但这需要精确量化策略变化带来的价值增量。在不完全信息博弈中，游戏树可能退化为有向无环图（Digraph），使得状态间的依赖关系复杂化。为此，研究者引入了策略变化密度（Policy Change Density）这一关键概念，该密度具有两个核心性质：

1. 总和等于价值差：所有策略变化密度的总和等于当前策略 $\sigma$ 与新策略 $\sigma'$ 之间的价值差，即 $V(\sigma') - V(\sigma)$。
2. 非活跃区域为零：在策略未发生变化的信息集区域，无论上游或下游状态如何变化，该规则自动为零。

"if you sum all this policy change density together, you actually will get the overall value changes... if you check this rule in a region where the policy didn't change, then this rule is actually automatically become zero."

基于此，研究得出主要定理：整体价值变化可分解为策略变化规则之和，且仅需累加策略发生改变的活跃信息集中的规则。这一发现使得计算整体价值变化变得高效，其复杂度仅与活跃信息集的数量成正比，而与未改变策略的信息集数量无关。基于此理论，研究者开发了联合策略搜索（Joint Policy Search）算法，通过深度优先搜索遍历策略变化后果，并利用上述定理高效计算价值变化。

实验验证：从小型博弈到桥牌竞技

该联合策略搜索方法被应用于多个小型博弈及经典游戏桥牌（Bridge）中，以验证其跳出局部极小值的能力。在小型博弈中，该方法在联合奖励（Joint Rewards）方面显著优于传统方法。在桥牌这一拥有巨大状态空间、包含四名玩家（两队对抗）的不完全信息游戏中，传统自对弈方法（如H2C）容易收敛至局部极小值且难以提升。

研究将训练后的模型与多年计算机桥牌锦标赛冠军WR5进行了对比评估。评估指标为双 dummy 评估（Double Dummy Evaluation）下的叫牌表现。以下是关键性能对比数据：

"without training with WR5, with just train by ourself and also without using any human knowledge we actually is able to beat WR5's bidding phrase in a double dummy evaluation by a large amount."

实验结果表明，无需与WR5对弈或引入人类知识，仅通过联合策略搜索，模型即可在桥牌叫牌环节大幅超越现有冠军系统，证明了该方法在处理复杂多智能体协作中的有效性。

稀疏奖励环境下的探索困境

在强化学习中，稀疏奖励（Sparse Reward） 环境是极具挑战性的场景。演讲者介绍了一个简单的迷宫环境案例：智能体（Agent）具有部分可观测性，目标是到达紫色圆圈标记的终点。为了达成目标，智能体必须先探索空间，在角落捡起钥匙，再用钥匙打开锁住的门，最后进入房间。然而，智能体无法直接看到目标，且在中间步骤（如绕路、捡钥匙、开门）中没有任何奖励，只有在到达终点时才能获得奖励。这种机制使得探索变得极其困难，因为智能体缺乏即时反馈来指导其行为。

"So the agent, in order to achieve the goal, the agent first need to explore the space, and needs to pick the key in the corner, and then use that key to open this locked door, and enter then into this door to reach the goal."

为了解决这一问题，通常的做法是引入内在奖励（Intrinsic Reward），鼓励智能体访问那些访问频率较低的状态。然而，当状态空间呈指数级增长且缺乏临时表示时，传统方法往往失效。这引出了对更先进探索算法的需求，特别是能够处理复杂路径依赖和瓶颈问题的方法。

RND算法的局限性与理论实验

一种常见的内在奖励方法是随机网络蒸馏（Random Network Distillation, RND）。该方法训练两个网络：一个是固定的随机教师网络，另一个是可学习的学生网络。学生网络试图预测教师网络的输出，预测误差越低，表示该状态被访问的次数越多。尽管RND在理论上看似合理，但在实际应用中存在明显缺陷。在迷宫实验中，智能体初期会探索一些有趣区域，但随后会在两个已探索区域之间来回移动，因为策略已经被训练为只倾向于这两条路径，导致无法探索其他区域。

为了验证这一问题，演讲者进行了一个多走廊（Multi-corridor）理论实验。从状态S0出发，有四条不同长度的走廊可选。运行基于RND或计数器的探索算法时，智能体会陷入其中两条走廊，永远无法访问其他走廊。通过计算访问不同走廊的熵，结果显示RND方法的熵值远低于即将介绍的B-BOLT方法。这表明传统内在奖励机制在平衡探索广度上存在严重不足，容易陷入局部最优。

"If you actually run this following a maze... after a while you actually move back and forth into two already explored regions, because the policy is already being trained to only go to these two paths heavily."

B-BOLT算法的核心机制

针对上述问题，演讲者介绍了B-BOLT算法。其核心思想在于改变内在奖励的计算方式：不再使用访问计数的倒数，而是使用轨迹中访问计数的差异（Difference of visitation counts along the trajectory）。具体机制包括：

1. 正则化处理：使用ReLU函数截断负的内在奖励，确保奖励信号的正向性。
2. 集计访问计数：将上述差异乘以集计访问计数（Episodic visitation counts），该计数通过哈希函数在每个环境中计算。
3. 防止重复刷分：集计访问计数的引入旨在防止智能体通过多次访问同一状态来重复获取内在奖励。

该算法的直觉是：在探索初期，智能体会发现一些访问计数极低的关键瓶颈（Bottleneck）。通过给予这些瓶颈高奖励，智能体的访问计数会增加，从而降低后续的内在奖励，促使智能体越过瓶颈进入下一个房间。尽管目前尚无完整的理论解释其为何有效，但实验表明其性能显著优于传统方法。演讲者指出，"There's no theory on top of that, and we are still exploring why that's the case"，这为未来的理论研究留下了空间。

性能评估与基准测试

B-BOLT算法在MiniGrid（程序生成的探索评估环境）和NetHack（1980年代经典游戏）中进行了评估。在MiniGrid中，B-BOLT成功解决了12个最具挑战性的任务，而之前的先进方法仅能解决其中的一半。在硬任务中，B-BOLT（浅紫色曲线）在环境步数与平均回报的关系上表现出显著优势，而其他方法未能取得有希望的结果。

在纯探索实验中，B-BOLT在环境步数上表现更佳。相比之下，RND方法在双倍的环境步数后仅能到达第五个房间，而B-BOLT能够更有效地推进。在NetHack环境中，B-BOLT在6个任务中取得了良好成绩。以下是具体的性能对比数据：

未来工作将基于B-BOLT方法进一步探索其理论解释，并可能扩展到其他多智能体协作或更复杂的探索场景中。

简单方法的有效性及其背后的直觉

在演示的最后部分，演讲者 Yuandong Tian 回归到对实验结果的深层思考。尽管采用了相对简单的策略，但系统依然取得了良好的性能表现。这一现象引发了学术界和业界的普遍好奇：为什么如此简化的方法能够奏效？演讲者指出，理解这一现象背后的原因至关重要，这不仅是为了解释实验结果，更是为了提炼出可复用的设计原则。他提到，人们经常会问：“我们对此有多少理解？为什么这种非常简单的策略实际上能取得良好的性能？”这种对基础原理的追问，是推动算法从“黑盒”走向“白盒”的关键一步。

因子马尔可夫决策过程（Factor MDP）的探索视角

为了解释上述现象，演讲者提出了一种基于因子马尔可夫决策过程（Factor MDP）的理论假设。其核心逻辑在于，现实世界的环境本质上具有因子化（factored）的特征，即由大量相互关联但相对独立的组件构成。在这种结构下，简单的探索策略之所以有效，可能是因为它们无意中契合了环境固有的因子化结构。演讲者强调，现实世界的环境是因子化的，其中包含大量组件。因此，未来的研究方向将聚焦于在因子MDP框架下，需要做出哪些关键假设，才能确保此类探索策略在理论上成立并有效工作。这被视为一个正在进行中的研究工作，旨在为简单而有效的多智能体协作提供坚实的理论支撑。

演示总结与问答环节

随着理论探讨的深入，演讲进入了尾声。Yuandong Tian 对听众的关注表示感谢，并开放了提问环节，欢迎任何关于演示内容的疑问。随后，主持人 Mengdi Wang 对 Yuandong 和 Shai 的演示给予了高度评价，称其结果为“一组令人印象深刻的成果”。鉴于现场问题较多，Mengdi Wang 宣布将把针对两位演讲者的提问推迟到最后一场演讲结束后统一进行。她提醒听众在休息期间“请留到结束”，以便完整参与后续的互动环节。这一安排体现了会议对深度学术交流的重视，也确保了每位演讲者都能获得充分的反馈。