Uri Shalit 探讨如何利用存在混杂因素的离线数据辅助在线强化学习，解决高成本探索问题

动机：高风险任务中的在线学习与离线数据困境

本次演讲由 Technion 的 Uri Shalit 主讲，核心议题是因果强化学习（Causal Reinforcement Learning）在复杂场景下的应用。研究动机源于自动驾驶、机器人控制乃至未来的医疗治疗等高风险领域，这些任务具有动作空间大、长期依赖性强以及状态空间高维的特点。在这些场景中，纯在线学习（Online Learning）从因果角度看是最优的，因为必须通过实际交互来确保决策的安全性。然而，在线学习往往伴随着高昂的成本、时间消耗以及潜在的错误风险。

"Learning online is often expensive. It might require a lot of money or people or time to do that."（在线学习通常很昂贵，可能需要大量的资金、人力或时间。）

因此，自然的问题产生：能否利用海量的离线数据（Offline Data）来节省成本或避免可预防的错误？ 演讲设定的具体场景是：我们在进行在线学习的同时，能够访问大规模的离线数据（如驾驶日志或人类演示）。但挑战在于，离线数据与在线环境之间往往存在不匹配（Mismatch），包括混杂因素（Confounding）、部分可观测性（Partial Observability）以及分布偏移（Distribution Shifts）。这些现实问题使得直接利用离线数据变得极具挑战性。

基线对比：纯在线与纯离线的局限性

在探讨如何结合两者之前，首先需要明确两种极端基线方法的局限性。第一种是忽略离线数据，仅依靠在线学习。这是大多数上下文赌博机（Bandit）和强化学习文献所关注的设置，系统直接部署自动驾驶汽车或机器人进行实时交互。虽然这种方法在因果推断上具有优势，但其样本效率极低。

第二种是忽略在线数据，仅使用离线数据。这属于离策略强化学习（Off-policy Reinforcement Learning）的范畴。然而，这种方法极易受到隐藏混杂因素和分布偏移的影响。尽管已有研究尝试使用代理变量（Proxies）来缓解这一问题，但在面对大型动作空间和复杂状态空间时，仅靠离线数据通常难以获得可靠的结果。

"If we make no further assumption, the offline data is almost useless... Maybe all the important information is in the hidden vector."（如果不做进一步假设，离线数据几乎毫无用处……也许所有重要信息都隐藏在向量中。）

因此，演讲的重点在于如何在存在挑战性的场景下合并离线和在线数据。这并非全新概念，已有相关工作引用（如 UAI 2021），但本次将深入探讨两个具体项目，首先聚焦于线性赌博机（Linear Bandit）交互模型。

线性赌博机模型与部分可观测的离线数据挑战

我们首先回顾经典的在线线性赌博机（Online Linear Bandit）模型。在该模型中，从第 $t=1$ 轮开始： 1. 观察上下文：观察到来自某个分布的上下文向量 $x$。 2. 选择动作：根据策略选择一个离散动作空间中的动作 $a_t$。 3. 获取反馈：获得带有噪声的奖励，假设为上下文与未知最优向量 $w^$ 的内积加上噪声项。 4. 最小化遗憾*：目标是累积遗憾（Regret），即所选动作与最优动作之间的差异。理想情况下，我们希望获得次线性遗憾（Sublinear Regret），通常为 $O( ext{poly}(d) imes \sqrt{T})$，其中 $T$ 为轮数。

在此经典模型基础上，我们引入了历史离线数据。理想情况下，如果离线数据完全可观测且与在线环境匹配良好，我们可以使用日志赌博机反馈（Logged Bandit Feedback）或经典观察性研究技术来初始化在线算法。然而，演讲关注更具挑战性的设置：历史离线数据是部分可观测的（Partially Observed）。

例如，离线动作由人类执行，而人类的感知与机器不同；或者数据记录不完整（如 Google 的上下文赌博机系统有时不记录所有决策相关数据）；亦或是受隐私限制无法获取全部信息。在这种设定下，上下文向量 $x$ 被分解为可观测部分 $x_o$（维度 $l$）和隐藏部分 $x_h$（维度 $d-l$）。离线数据中仅包含 $(X_o, A, R)$ 三元组，而 $x_h$ 在离线阶段不可见，仅在在线交互时可见。若无额外假设，由于重要信息可能完全隐藏在 $x_h$ 中且与观测部分无关，离线数据将变得几乎无用。因此，必须引入额外的假设才能使这些数据发挥作用。

从经典Bandit到线性约束的扩展

研究突破了经典的Bandit文献和因果Bandit领域，将两者结合，提出了一个尚未被充分探索的带线性约束的Bandit问题。核心思路是将使用离线数据的问题转化为近似线性约束。通过仅利用向量的可观测部分，对给定动作的奖励进行最小二乘估计（BLS）。虽然这是最佳可用估计，但由于仅回归可观测部分，该估计存在偏差。这类似于20世纪50年代提出的误设OLS模型。对于任何给定动作，我们学习一个向量 $b$，并定义两个相关矩阵：$R_{OO}$（可观测轴之间的协方差）和 $R_{OH}$（可观测与隐藏轴之间的交叉协方差）。在无限数据极限且假设 $R_{OO}$ 可逆的情况下，向量 $BLS_A$ 呈现出特定的三角矩阵结构：

利用伪逆投影降低遗憾界

如果已知上述结构矩阵 $M_a$，我们可以使用其伪逆（pseudoinverse）将估计值投影到约束上。通过反复应用这种基于离线数据推导出的必然成立的线性约束，可以显著改善性能。理论证明表明，这种方法可以将遗憾界（regret）从 $O(d\sqrt{t})$ 降低到 $O((d-l)\_sqrt{t})$。这里的 $l$ 是上下文向量中可观测部分的维度，意味着遗憾界的有效维度精确减少了可观测部分的维度。然而，实际应用中存在巨大障碍：我们虽然能估计 $BLS$ 和 $R$，但无法直接获得 }^{-1$R_{OH}$（可观测与隐藏数据的关联），因为隐藏数据不可见。因此，必须引入额外假设来近似这一部分。

行为策略查询与估计挑战

为了解决隐藏组件 $R_{OH}$ 未知的问题，研究假设在在线操作期间可以查询行为策略（behavior policy）。即在每一轮中，询问“如果在这里你会做什么？”，虽然不需要执行该动作，但需要访问策略模型。这类似于John和Baron在2016年论文中提出的直觉概念。基于此假设，可以近似难以计算的伪逆 $M_A$（尽管伪逆通常不连续，但因其特殊结构而可行）。最终证明可以获得次线性遗憾界，其中常数因子再次减少了 $d-l$。额外的因子取决于行为策略 $\pi_b$ 的均匀程度以及矩阵的条件数。

"In the worst case, this bound is meaningless... In the best case, we can get actually improved performance."

在最坏情况下，该界限可能毫无意义，意味着使用离线数据没有价值；而在最佳情况下，尽管仍依赖于偏差 $b$，但能获得实际的性能提升。这取决于隐藏部分在上下文向量中的重要性及其与可观测部分的关联程度。

模仿学习作为强化学习的补充

最后，简要介绍ICLR 2021/2022接受的论文中涉及的更复杂场景：模仿学习（Imitation Learning）。这是一种直观的思路：如果有人在示范如何做某事，我们只需模仿其在任何给定时刻采取的动作。这本质上将问题简化为监督学习问题——即“当处于该状态时，执行此动作”，无需奖励信号。如果环境不变且一切顺利，模仿者可以达到与示范者相同的水平。这种方法在较难的强化学习问题中被广泛使用，例如DeepMind在StarCraft II中的应用案例。

模仿学习与部分可观测性的现实困境

强化学习领域常借鉴人类专家数据进行初始化，例如 AlphaStar 仅通过模仿学习便打破了当时的技术极限。然而，这种将问题简化为监督学习的做法在面对部分可观测性（Partial Observability）时面临巨大挑战。以自动驾驶为例，人类驾驶员感知的信息远超机器传感器所能捕捉的范围；在推荐系统中，产品库存、用户偏好随时间剧烈变化（如2019年与2020年的差异），导致离线数据收集环境与在线部署环境存在显著偏差。此外，隐私限制也迫使我们在无法完全掌握专家内部状态的情况下进行决策。

"What if we have partial observability? ... the human perceives things that the machine does not, and we have to account for that."

在这种设定下，我们假设专家拥有基于状态 $s$ 和上下文（Context）$x$ 的最优策略 $ heta^$，但观测者只能看到状态-动作轨迹（State-Action Trajectories），无法直接观察到上下文 $x$。这意味着我们面对的是一个混合分布模型*，其中状态-动作的联合概率由不可见的上下文变量 $x$ 加权混合而成。由于无法观测到这些混合系数，且专家数据分布可能与在线环境不同，传统的模仿学习方法难以直接适用。

模糊集理论与策略不可区分性

为了解决上述信息缺失问题，研究引入了模糊集（Ambiguity Set）的概念。该集合包含所有能生成与专家相同状态-动作分布的策略。由于我们仅能通过观测到的轨迹来推断策略，任何在模糊集内的策略在统计上都是不可区分（Indistinguishable）的。这意味着，即使某些策略并非真正最优，只要它们产生的状态-动作频率与专家一致，我们就无法通过离线数据将其排除。

"We define this ambiguity set, which is the set of all policies... any policy in this ambiguity set can be an optimal policy."

这一发现揭示了问题的核心难点：仅凭状态-动作频率分布，我们无法排除次优策略。即使在没有覆盖（Coverage）问题的情况下，由于上下文 $x$ 的缺失导致的信息模糊性，使得从离线数据中恢复真正最优策略变得极其困难。虽然存在算法能保证性能不低于最坏情况，但在缺乏额外假设时，理论界限较为宽松。这种不可区分性表明，部分可观测性极大地增加了从离线数据中学习最优策略的难度。

上下文独立性对推断能力的决定性影响

进一步分析表明，上下文的性质决定了学习的可行性。当专家策略与在线环境的上下文分布存在重叠（即满足覆盖条件）时，状态转移概率是否依赖上下文成为关键分水岭。如果状态转移独立于上下文 $x$，则意味着观测到的状态变化完全无法反映策略对上下文的响应。在这种情况下，最坏情况的策略也无法被排除，因为状态转移这一唯一观测窗口对上下文变化“视而不见”，导致我们处于完全黑暗的状态。

"If the transition probability is independent of the context... we have no clue what's going on."

相反，如果奖励函数独立于上下文和策略（即无混淆情况），则学习过程将变得可行且高效。这揭示了一个从“完全不可知”到“良好可学习”的光谱：当上下文影响状态转移时，信息缺失导致推断失败；而当上下文仅通过奖励或独立于策略的方式影响结果时，我们仍能获得有效的学习信号。这一理论界限强调了在离线强化学习中，明确上下文与状态转移及奖励之间的因果结构对于确保策略有效性至关重要。

上下文依赖性与模仿学习的可行性光谱

在分析如何利用离线数据进行在线强化学习时，首先需要理解奖励函数（Reward）与状态转移（Transitions）对上下文（Context）的依赖程度，这决定了模仿学习的可行性。如果奖励与上下文无关，即使存在混淆（Confounded）因素，模仿依然可能成功。例如在一个迷宫场景中，专家在一种墙壁布局下行动，而智能体处于另一种布局中；只要目标仅仅是“向左移动”，且该动作在两种布局下均能导向左侧终点，智能体便无需知晓墙壁细节即可从专家行为中学习。然而，如果状态转移完全依赖于上下文而智能体无法观测到这些变化，模仿将导致灾难性后果。在现实世界中，大多数情况处于这两者之间：奖励和转移都具有一定程度的上下文依赖性。此时需要进行敏感性分析（Sensitivity Analysis），因为在这种情况下，模仿虽然可能实现，但会产生偏差，且偏差程度取决于上下文影响的具体细节。因此，单纯模仿专家轨迹并非万能解，必须根据部分可观测性（Partial Observability）的程度来评估策略的有效性。

基于正则化的在线优化与无偏算法设计

当智能体不仅尝试模仿，而是结合离线数据进行在线行动（Online Action）时，简单的正则化方法存在缺陷。左侧的优化目标仅为最大化奖励，完全忽略离线数据；右侧则引入正则化项 $D_f$（如总变差距离），试图让智能体的轨迹分布逼近专家分布。然而，这种方法存在两个致命问题：一是它是有偏的（Biased），二是由于无法知晓专家在上下文上的分布，该正则化项甚至不可计算。为了解决这一问题，研究提出了一种更具复杂性的优化问题，其结构类似于生成对抗网络（GAN）：一个“生成器”负责生成分布，另一个“判别器”用于判断两者相似性。关键在于该算法对上下文不敏感（Not Sensitive），从而保证了无偏性。理论上存在两种算法：一种是证明收敛但计算缓慢、不切实际的版本；另一种是基于梯度的非凸目标优化算法，虽无法提供严格的理论收敛证明，但在实践中表现良好。这种校正轨迹采样（Corrective Trajectory Sampling, CTS）方法旨在利用离线数据加速在线学习，同时克服分布偏移带来的偏差。

辅助健身环境实验与性能对比分析

为了验证CTS方法的有效性，研究使用了Assistive Gym环境进行实验。该场景模拟机器人照顾人类的任务（如喂食、穿衣），其中状态包含机器人与人的物理参数，上下文包括人的体重、身高、性别及偏好。实验设置中，专家在密集奖励下训练，而智能体使用更具挑战性的稀疏原始奖励进行在线学习。上下文参数以概率 $eta$ 发生变化，模拟分布偏移。

下表展示了不同任务中CTS方法与标准在线强化学习（RL）的性能对比数据：

实验结果显示，在分布偏移较大时，标准RL往往失效，而CTS方法利用离线数据中的先验知识，成功学会了如何在新条件下正确执行任务。尽管智能体的最终表现尚未完全达到专家水平，但离线数据显著加速了学习过程并提高了鲁棒性。正如研究者所言：> "Offline data might make online learning more efficient... but often, offline data does not match online data." 这表明在处理真实世界问题时，必须仔细考虑离线数据与在线环境之间的差异（Discrepancies）。

结论：从理论边界到实际应用

本研究映射了部分可观测性和分布偏移下的失败模式及成功严格条件。在线性赌博机（Linear Bandits）场景中，如果离线数据与在线策略的采样条件不是“极其糟糕”，结合部分可观测性即可加速学习。而在模仿学习（Imitation Learning）场景中，答案取决于上下文如何影响问题细节，研究通过映射可能性的光谱来界定边界。最终结论指出：> "We looked at partial observability and distribution shifts specifically in linear bandits... we saw that offline data plus the ability to sample from the offline policy sometimes allowed us to accelerate online learning." 虽然理论证明仍在完善中，但实验证实了利用混淆的离线数据进行在线强化学习是可行的，关键在于设计无偏且对上下文鲁棒的算法机制。

致谢贡献者与学术传承

演讲者在结束主要陈述前，特别感谢了参与该研究的团队成员。他指出，这项工作的核心贡献者包括 Guy 以及最重要的 Guy Tenholte。这两位研究人员的工作成果构成了本次演讲所讨论的两篇论文的基础。目前，Guy Tenholte 正在完成他的博士学位论文。演讲者高度评价了 Guy Tenholte 作为学生的优秀表现，并预测 他在未来学术界会有更广泛的影响力。这种对年轻研究者的公开认可不仅体现了学术共同体的协作精神，也强调了该研究成果的深厚根基。演讲者明确表示：“I just want to thank the people who did this work, Guy, and most of all, Guy Tenholte.” 这一致谢环节将技术讨论回归到对人的肯定，为后续的技术细节铺垫了人文背景。

算法收敛性的实证与理论现状

在技术层面，演讲者坦诚地分享了当前研究的状态。虽然存在一个背景专家辅助的算法框架，但目前的验证主要集中在 经验性的加速收敛效果 上。演讲者指出：“We have an algorithm which shows empirically accelerate has accelerated convergence.” 这意味着在多个实验场景中，该算法确实表现出了比基线更快的收敛速度。然而，演讲者也明确区分了“经验证明”与“理论证明”的界限：目前 尚未从数学理论上严格证明这种加速收敛是必然成立的。现有的证据主要来源于有限的实验案例，例如演讲者在之前展示的一个具体例子。尽管可以证明该算法 不会损害原有的性能表现，但关于其加速效果的严格理论保证仍是一个待解决的开放问题。这种诚实的科学态度揭示了当前研究的边界，即 实证结果优于理论推导 的现状。

问答环节的组织与过渡

随着主要演讲内容的结束，会议进入了讨论阶段。主持人 Yuri 感谢了演讲者的分享，并宣布开始 问答与自由讨论环节。他邀请所有听众提出问题或展开深入探讨。为了便于交流，主持人特别安排了一位名为 Frederick 的参与者坐到前排的位置：“So if you could go with a chair here in front.” 这一细节表明会议现场正在进行 实验环境的调整或设备测试，可能涉及投影、麦克风或其他演示设备的校准。这种现场的组织工作反映了学术会议或技术研讨会的典型流程，即从单向的知识传递转向双向的互动与质疑。演讲者准备接受关于算法细节、实验设计或理论局限性的提问，标志着本次分享正式进入 互动反馈阶段。