在线学习项目的组织概况
本次视频片段来自一个名为“Online Learning with A Lot of Batch Data”的系列讲座，具体属于强化学习理论项目的最后一场研讨会。该学期举办了两项完全在线的项目：“高维中的概率、几何与计算”以及“强化学习理论”，吸引了约两百名参与者，规模超过常规学期。活动由 Ashley Hassan 负责后勤协调，Omid Far 担任摄像师，核心组织者包括普林斯顿大学的 Mengdi Wang、斯坦福大学的 Emma Brunskill 以及佛罗里达大学的 Sean Mines。Sean Mines 特别指出，本次研讨会具有极强的跨学科性质（interdisciplinary nature），涵盖了统计学、仿真控制论和排队理论等领域。他鼓励参与者积极参与讨论环节（如 Gather Towns），以激发新思想。
"This is a the entire program. One of the things that's been excited about it is that it's very multidisciplinary..."
演讲者背景与核心议题引入
本次开场由 Technion（以色列理工学院）电气工程教授 Shai Shalev-Shwartz 主讲。Shai 拥有 MIT 博士学位，曾作为富布赖特学者在 McGill 大学任教，目前担任 NVIDIA 的杰出科学家。他的研究涵盖强化学习的基础工作及工业应用，曾获得 AAAI 2019 最佳论文奖。本次演讲的主题聚焦于拥有大量批量数据的在线学习（Online Learning with A Lot of Batch Data），这被视为因果推断与强化学习两个领域的新兴融合（emergent marriage）。Shai 强调，这是一项正在进行中的工作（work in progress），旨在探索这两个学科之间的深层联系，并提供一个翻译词典，帮助研究者将因果推断论文转化为强化学习框架下的成果。
离线数据中的偏置与混淆问题
演讲的核心动机源于自动驾驶等实际应用场景。Shai 指出，虽然我们在不同领域拥有大量离线数据（offline data），但这些数据通常是部分可观测的（partially observable）。以自动驾驶为例，传感器仅能捕捉车辆状态，而无法获知驾驶员的视觉、触觉或心理活动。这种部分可观测性导致估计结果容易受到虚假相关性的混淆（confounded by spurious correlation）。Shai 警告称，由于存在混淆因子或数据的不完全可见性，直接使用离线数据进行强化学习可能会导致严重的错误。因此，社区亟需解决因部分可观测性导致的估计偏置（biased estimates）问题。
"The problem is that you do have a lot of offline data, but it's just the offline data is partially observable... your estimates can be confounded by lots of spurious correlation."
离线策略评估的基本挑战
当试图利用离线数据进行强化学习时，核心问题归结为离线策略评估（Off-policy Evaluation）。具体而言，研究者拥有一组由旧策略记录的数据集，但希望评估一个新策略的性能。Shai 指出，由于上述的混淆和偏置问题，简单的直接比较往往失效。这一挑战要求研究者必须深入理解因果结构，以区分真正的因果关系与数据中的统计假象。后续内容将围绕如何结合因果推断方法来解决这一强化学习中的经典难题展开，旨在为处理大规模批量数据提供更稳健的理论框架。
"When you want to use offline data for RL, then you basically the basic problem is what we know as off-policy evaluation."
在线学习与混合数据场景概述
本次演讲旨在解决一个经典问题：如何基于已有的离线数据进行新策略的评估。虽然这是一个被广泛研究的领域，但演讲将聚焦于一种混合场景：既拥有大量离线数据，又具备进行少量在线模拟或交互的能力。演讲内容分为两个技术部分：第一部分讨论 Bandits（老虎机问题），第二部分涉及 POMDPs。为了在有限时间内传达核心思想，演讲者将略去部分技术细节，但所有幻灯片将在会后公开供深入研读。核心议题是：在数据存在混淆（confounded）的情况下，离线数据能为线性老虎机问题带来什么价值？
"This is an age-old problem, has been studied at length. People have looked at it and.at at many situations..."
线性上下文老虎机与 Regret 定义
首先明确基础设定：这是一个线性上下文老虎机（Linear Contextual Bandit）问题。系统经历 T 次在线试验，每次试验中环境提供一个离散动作和一个独立同分布（IID）的上下文向量 $x \in \mathbb{R}^d$。奖励由上下文与未知权重向量的内积给出。如果已知该权重向量，问题将变得极易解决。标准目标是最小化 Regret（遗憾值）。Regret 定义为最佳策略在时间 t 内获得的累积奖励与实际获得奖励之间的差值，通常关注期望 Regret。在线设置下的理论界限已被证明是紧的（upper and matching lower bounds），但引入离线数据后，问题性质发生变化。
部分可观测的离线数据与维度缩减
关键挑战在于数据的混淆性。虽然在线阶段可以观察到完整的 d 维上下文，但离线数据仅由未知的固定行为策略 $\pi_b$ 生成，且在离线记录中只能观察到 L 个特征（记为 $x^o$），其余 D-L 个特征被隐藏（记为 $x^h$）。这意味着离线数据存在信息缺失，导致特征间可能存在强相关性。
若忽略这种部分可观测性并直接对离线数据进行最小二乘拟合，在拥有无限多离线数据且假设行为策略满足一定条件时，最小二乘解实际上将需要处理的特征空间维度从 d 降低到了 D-L。这是因为离线数据提供了 L 个线性依赖关系，从而消除了不确定性。具体而言，在线算法的 Regret 依赖性从预期的 $d\sqrt{t}$ 降低为 $(D-L)\sqrt{t}$。如果观察到的维度 L 接近总维度 D，问题复杂度将显著降低。
结论：离线数据的价值与 "Never Throw Data Away"
基于上述分析，演讲者提出核心结论：即使离线数据与在线数据的分布不完全一致（存在混淆），它依然具有巨大价值。通过利用离线数据中可观测部分提供的线性约束，我们可以有效减少在线学习过程中的探索复杂度和 Regret。因此，"Never throw data away"（永远不要丢弃数据） 是处理此类混合在线-离线学习问题的关键原则。这部分内容作为热身，旨在证明在存在混淆变量的情况下，合理利用部分可观测的离线数据可以实质性提升在线策略优化的效率。
"The conclusion of the story here is that you can use offline data. It reduces your uh, your actual online complexity... So conclusion is never throw data away."
"If d and if l is very close to d... then your problem become much much easier."
完全可观测下的成熟理论与部分可观测的困境
在马尔可夫决策过程（MDP）中，评估新策略是一个研究充分且相对成熟的问题。业界已建立多种标准方法，包括直接法、重要性采样（Importance Sampling）以及双重稳健估计等。这些方法不仅被广泛认可，还能计算估计值的方差并提供误差界限。在MDP设定下，这被视为一个理解透彻的问题。
然而，当环境从完全可观测转变为部分可观测时（即POMDP场景），原有的评估框架面临根本性挑战。演讲者指出，在部分可观测的情况下，甚至难以明确定义离线策略评估（OPE）问题。因为智能体无法直接访问真实状态，传统的基于状态的估计方法不再适用。> "So the question that I'm asking is... how do I even define off-policy estimation under partial observability?" 这种定义上的模糊性使得直接套用MDP中的解决方案变得不可行，必须寻找新的理论路径。
概率维护案例：从状态到观测的估计偏差演示
为了具体说明问题，演讲者引入了运筹学中的经典概率维护案例。假设有一台机器每月需由专家检查，专家能确切知道机器是“正常”还是“损坏”，并据此决定是否维修。该系统的状态空间极小：机器要么工作正常，要么损坏。动作包括“修复”或“不修复”。若选择修复，机器状态变为正常；若不修复且当前为正常工作，则有0.9概率保持工作，0.1概率损坏。奖励设置为负成本：修复花费-1，机器故障损失-10。
历史行为策略（专家政策）设定为：在正常状态下以0.9概率修复，损坏状态下也以0.9概率修复。但在实际评估中，我们无法看到真实状态（State），只能获得带有噪声的观测值。例如，若机器正常，观察到“高温”的概率为0.1，“正常温度”概率为0.9；反之若机器损坏，观察到“高温”的概率则更高。这种部分可观测性导致我们无法直接使用基于状态的重要性采样，只能退而求其次使用基于观测值（如温度高低）的估计方法。
重要性采样在POMDP中的失效与因果推断视角
实验结果显示，当我们将基于状态的精确重要性采样替换为基于观测值的朴素重要性采样时，估计误差随时间 horizon 的增长而急剧发散。在简单的两状态、两观测值模型中，随着评估时间跨度增加，基于信念的估计变得随机且不可靠。> "Our importance sampling estimation... becomes worse and worse as the horizon becomes longer, which means that basically our belief becomes random." 这表明，在部分可观测环境下，简单的基于观测的重要性采样无法收敛到真实值，导致评估完全失效。
为了解决这一根本性定义问题，演讲者引入了因果推断（Causal Inference）的符号体系。在标准MDP中，状态 $s_0$ 影响动作 $a_0$、奖励 $r_0$ 和下一状态 $s_1$，且行为策略直接感知真实状态。但在POMDP中，智能体仅能观测到由 $s_0$ 生成的观察值 $o_0$，并基于此生成动作。奖励和下一状态仍由真实隐状态决定。这种结构差异意味着，传统的因果图假设在部分可观测下不再直接成立。必须重新构建评估框架，以处理隐状态与观测值之间的不确定性映射关系。
重新定义部分可观测下的策略评估框架
面对上述挑战，核心任务转变为如何在缺乏完整状态信息的前提下定义和计算策略价值。在因果推断的视角下，POMDP的结构表现为：隐状态 $s_t$ 生成观测值 $o_t$，智能体基于 $o_t$ 选择动作 $a_t$。然而，奖励 $r_t$ 和下一状态 $s_{t+1}$ 依然由隐状态 $s_t$ 决定，而非观测值。
这种信息不对称导致了估计偏差的来源。传统方法试图通过重要性采样修正策略差异，但在POMDP中，由于分母（行为策略的概率）是基于观测值计算的，而分子涉及隐状态的真实轨迹概率，两者无法直接对齐。随着时间步长增加，信念分布（Belief Distribution）的熵值增大，导致估计量的方差爆炸。因此，必须开发新的算法或理论框架，专门针对部分可观测环境下的离线策略评估进行设计，而不能简单地将MDP中的重要性采样技术平移至POMDP场景。
决策依赖性与因果图结构
在部分可观测马尔可夫决策过程（POMDP）中，理解奖励与状态的独立性假设至关重要。标准假设指出，条件于动作时，奖励是独立的。这一前提允许我们推导状态转移并进入下一个时间步。在策略评估中，动作的生成并非仅依赖当前观测值。动作 $a_t$ 原则上可以依赖于整个历史观测序列，而不仅仅是当前时刻的观测值 $o_t$。例如，时间步 1 的动作可以结合时间步 0 和 1 的观测值来形成。这种依赖关系通过因果图直观呈现：决策的条件独立性揭示了概率故事，即哪些变量依赖于其他变量。值得注意的是，尽管动作可以依赖历史观测，但它不能直接依赖于未观察到的实际状态 $s$。这种因果结构图不仅描述了数据生成的过程，也为理解策略评估中的信息流提供了基础框架。
"This diagram, which is the conditional independence of the decisions, tells us the probabilistic story... those diagrams tell a whole different story of what depends on what."
POMDP 策略评估的核心目标与因果推断的介入
POMDP 的策略评估旨在利用可观测轨迹来评估目标策略 $ ilde{ au}_e$ 的价值。由于我们通常无法直接访问底层状态，评估必须基于由观测、动作和奖励组成的序列。这里存在一个关键区别：行为策略（Behavior Policy）依赖于状态，因此状态影响动作；而我们要评估的目标策略 $ ilde{ au}_e$ 仅依赖于观测值。数据生成的过程是：状态 $s_0$ 生成动作 $a_0$，进而与 $s_0, a_0$ 共同生成下一个状态和观测值。一旦状态和动作确定，观测值的选择不改变这一过程，这正是 POMDP 模型的特征。面对离线数据中存在的混杂因素（Confounders），因果推断提供了重要见解。在 ICU 治疗等场景中，医生可能受未观测状态影响做出决策，这些潜在原因即为混杂因素。尽管我们不知道具体的混杂变量是什么，但因果推断理论允许我们在不完全信息下进行策略评估。
术语映射与因果层级体系
为了系统化地解决 POMDP 中的离线评估问题，研究者建立了一套术语字典，将强化学习概念与因果推断语言对应起来。状态（State）被称为混杂因素或观测/未观测变量，动作（Action）对应治疗（Treatment），奖励（Reward）对应结果（Outcome）。行为策略被称为处理过程，而观测值则被视为代理变量。在因果层级体系中，有三个关键层次：关联（Association）对应观察，干预（Intervention）对应在环境中执行动作，而反事实（Counterfactuals）则涉及想象或回顾性推理。强化学习研究者必须清楚这些层级的含义及其对离线评估的影响。因果推断不仅提供了工具，还明确了理论边界：一方面存在不可行性的下界结果，另一方面在某些特定条件下（如动态可逆性假设），利用足够的观测数据可以推导出用于离线评估的函数。尽管对于一般 POMDP 而言，由于需要逆运算大型矩阵且结构复杂，通用解法仍属未知甚至被认为不可能，但这一理论框架为理解部分可观测环境下的决策问题提供了坚实基础。
"Causal inference can offer quite a bit of insights to RL, especially to off-policy evaluations and to problems of partial observability."
耦合PMPs的引入：从因果视角重构POMDP结构
演讲者首先引入了耦合部分可观测马尔可夫决策过程（Coupled PMPs）这一特定类型，旨在通过因果推断的视角对传统POMDP进行简化与重构。在传统的POMDP模型中，状态（State, $u$）生成观测值（Observations, $z$），行为策略（Behavioral Policy，即历史策略）依赖于实际状态，而待评估的策略则仅能依赖观测到的信息。这种结构虽然通用，但在处理离线策略评估（Off-Policy Evaluation, OPE）时面临复杂性。为了解决这一问题，演讲者提出了一种解耦POMDP（Decoupled POMDP）的框架。在这个新模型中，状态被明确划分为两个部分：一部分是可观测的状态（$z$），另一部分是不可见的隐藏状态。这种划分使得我们可以更清晰地界定哪些信息是策略可以依赖的，哪些是不可见的。通过这种方式，我们不再面对最一般化的复杂POMDP形式，而是针对这种特定类型的解耦结构进行优化。演讲者指出，虽然这并非最通用的形式，但这种解耦为后续执行离线策略评估提供了可行的路径。通过分离观测状态与隐藏状态，我们能够在因果框架下更清晰地定义变量间的依赖关系。
解耦机制与策略依赖性约束
在具体的模型构建中，演讲者详细阐述了观测值、隐藏状态与可观测状态的解耦逻辑。一旦某个观测发生，后续的过程不再直接依赖于该特定观测值本身。行为策略（Behavioral Policy）可以依赖状态的两个部分（即可观测的$z$和隐藏的$u$），但明确不能直接依赖于当前的观测值。相反，待评估的策略（Evaluated Policy）则可以依赖实际看到的观测值$z$以及部分状态信息，但被严格禁止依赖于状态的隐藏部分。这种设计创造了一种新的POMDP形式，其核心在于通过解耦观测、隐藏状态和可观测状态来简化评估过程。这种结构允许我们在已知部分信息的情况下，对策略性能进行更精确的推断。演讲者强调，这种解耦并非随意设定，而是为了在因果推理术语下获得一个干净的解决方案（clean solution）。通过将状态空间划分为“可观察”和“不可观察”两部分，我们能够在数学上更清晰地界定因果链条。然而，这也意味着模型牺牲了一定的通用性以换取评估的可行性。
离线策略评估中的固有偏差与因果推断的价值
尽管解耦方法提供了清晰的解决路径，演讲者指出离线策略评估中仍存在固有的偏差（Inherent Bias）。在简单的Bandit问题中，这种偏差较为直观：你看不到的东西，你不知道如何处理，但你仍可利用看到的部分。然而，在MDP或POMDP等序列决策问题中，情况变得更为复杂和有趣。演讲者坦言，采用因果推断术语进行状态划分是一种“取巧”的方式（easy way out），但它确实帮助我们在理论上获得了清晰的解。尽管如此，该领域仍有漫长的道路要走，特别是在量化观测程度（measuring how much something is observed）以及统计验证不同对象间的因果关系方面。演讲者总结道，从这一系列研究中得出的核心结论是：因果推断与强化学习（Causality and RL）结合得更好。这种跨学科的融合为解决离线评估中的根本性难题提供了新的视角。虽然演讲因时间原因未能深入探讨所有细节，但他希望这一关于因果与RL结合的见解能引发听众的兴趣。最后，主持人朱帅将提问环节推迟到休息期间，并介绍了下一位演讲者——来自Facebook AI Research的袁东田（Yuan Dong Tian），一位兼具深厚理论功底与工程能力的硬核研究者。