我们通常每学期运行两个项目，吸引大量长期访客，包括训练营和多个研讨会。本学期我们要举办两场完全在线的项目：“高维空间中的概率、几何与计算”以及“强化学习理论”。这两个项目总共涉及约两百名参与者，比平常学期更多。欢迎来到强化学习计划最后一场研讨会——在线决策的数学。非常感谢我们的活动协调员阿什利·哈桑在后勤方面所做的一切工作，以及摄像师奥米德·法尔。同时也非常感谢我们的组织者孟迪·王、艾玛·布伦斯基和肖恩·迈因，他们为本周的研讨会策划了一个令人兴奋的项目。
现在我将把时间交给孟迪，请她谈谈本周的研讨会。大家好，欢迎来到我们的最后一场研讨会。我是孟迪·王，普林斯顿大学教授，从事强化学习研究。接下来我将把时间交给艾玛和肖恩。嗨，我是艾玛·本斯基尔（Emma Brunskill），斯坦福大学计算机科学助理教授，专注于强化学习以及在将其应用于涉及人类的问题时出现的技术问题，例如医疗和教育。
肖恩，太好了，谢谢。是的，我是来自佛罗里达大学的肖恩·迈因（Sean Mines），从事强化学习、控制系统及其在能源系统中的应用研究。我被要求代表我们三人说几句话。首先，最好的总是留到最后。这是整个项目的介绍。人们对此感到兴奋的一点是它非常跨学科，我认为这次研讨会可能是迄今为止所有研讨会中跨学科性最强的。有人可能会问，什么是批量方法？这主要是离线方法的同义词，因为人们一直强调在线分析（如在赌博机问题中）。虽然这里也会看到很多相关内容，但讨论范围要广泛得多，并且涉及许多本质上属于离线的基于模拟的技术。
再次强调这些材料的跨学科性质：我们有来自统计学、仿真、控制系统和排队论等领域的人参与，这意味着进行对话可能变得更加重要。因此，请务必参加讨论、小组座谈和 Gather Towns 会议，我们可以进行交流并获得新想法。谢谢肖恩。这是给大家的提醒：网站上列出了完整的日程安排。
好的，请随时在问答环节提问。大多数演讲者在讲座结束时都会留出一些时间进行现场提问以及 Gather Towns 交流。曼吉亚·沙尔达，我们忘了什么吗？还是继续介绍 Shai 吧？那就开始吧。我想你应该来介绍 Shai。太好了，我们非常高兴由 Shai Shalev-Shwartz 今天早上为我们拉开序幕。Shai 是以色列理工学院电气工程教授，他在那里获得电气工程博士学位，随后作为富布赖特学者在麻省理工学院与 John Tsitsiklis 合作了几年，之后担任麦吉尔大学的加拿大机器学习研究讲席教授。
后来他回到以色列理工学院，据我所知在那里待了大约十年。除了在强化学习领域做出许多基础性工作外，他还参与了多个不同的工业研究项目，目前担任英伟达的杰出科学家。他和他的实验室的工作赢得了众多奖项，他也获得了多项教师奖。最近的一个是 2019 年 AAAI 的最佳论文奖。我一直密切关注他们实验室的工作，我认为他们在多个领域做了很多非常有趣的研究，我很期待今天听听他会告诉我们什么。感谢你们的参与。
谢谢艾玛，也谢谢肖恩和孟迪策划了如此精彩的项目。今天我要讲一个对我实验室来说不太寻常的话题，这是我们过去几年才开始研究的课题。这次演讲将关于拥有大量批量数据的在线学习，但这实际上涉及两个学科的融合：因果推断与强化学习。我一直从事强化学习研究，而在这条研究线上，我与另一位以色列理工学院教授 Uri Shalit 合作，他是因果推断领域的专家。这项工作试图弄清楚这两个学科之间的联系是什么，我们甚至将展示一本字典，说明如何将因果推断论文转化为强化学习（URL 应为 RL），反之亦然，这样也许你可以花一份钱得到两篇论文。
另一位合作者是我出色的学生 Guy Tanenholz 和 Jonathan Ephroni。Jonathan Ephroni 是前学生，现在在微软研究院（MSR），而 Guy Tanenholz 在这项工作中承担了大部分繁重的工作。言归正传，我要开始讲了。我想说的是，这确实是一个正在进行中的工作，我会告诉大家一些我们仍在进行的事情，我觉得这对于这样的研讨会来说更为合适。动机是非常自然的：我们在不同领域拥有大量数据。
过去几年我从事自动驾驶方面的工作，先是福特汽车，后来是英伟达。问题在于你确实拥有大量离线数据，但这些离线数据只是部分可观测的。你真的不知道发生了什么。想想自动驾驶汽车；你并不确切知道车到底怎么了，你不知道司机看到了什么、感觉到了什么、闻到了什么或听到了什么。你只得到传感器数据，而周围发生了很多事情，你却缺乏这种感知能力。
众所周知，当你拥有大量离线数据时，你的估计可能会受到许多虚假相关性的干扰。事实上，今天我们将展示，由于混杂因子或部分可观测性问题，情况可能会变得非常糟糕。我认为作为社区的一员，我们需要弄清楚如何纠正由于部分可观测性导致的估计偏差问题。因此，当你想要使用离线数据进行强化学习时，基本问题是所谓的离策评估（off-policy evaluation）。基本上，我有一个策略，所有数据都是基于该策略记录的；我有另一个我认为……
原因是评估效果相当不错。我希望基于他们之前拥有的数据来评估新策略。这是一个古老的问题，已经得到了深入研究。人们已经在许多情境下对此进行了考察，我们将稍后讨论一种特定情况：即你拥有大量离线数据，同时也具备进行一些在线操作的能力。因此，本次演讲将包含两个主要部分：第一部分是关于老虎机问题（bandits），第二部分我将深入探讨 POMDPs。
让我们从最简单的情况，即老虎机问题开始，看看在运行老虎机算法时离线数据能为你带来什么。这次演讲原计划只有二十五分钟，但由于幻灯片会发布在网站上，我不会深入某些技术细节，因为我不确定它们在展示整体思路时是否必要。不过，如果对细节感兴趣，演讲结束后不久幻灯片就会上线，你也可以随时给我发邮件提问，我会尽量尽快回复。
第一部分涉及当数据存在混杂因素时的线性老虎机问题。这是一个混合设置：你拥有大量离线数据，同时也能访问一些在线模拟和视频资源。具体而言，这是线性上下文老虎机问题。为了确保大家理解一致：共有 T 次试验，这些是你拥有的在线试验；存在离散动作集；上下文是独立同分布（IID）的。
可以将上下文看作 R^d 空间中的向量，其维度为 d；奖励由上下文与某个权重向量的内积给出。如果你已知这个权重向量，问题就迎刃而解了。这属于经典的线性上下文老虎机设定，你的目标是最小化遗憾（regret）。这个问题在在线设置中已经通过上下界匹配得到了解决。
现在的关键问题是：当我们拥有离线数据时，还能做什么？为了明确遗憾的定义：它是指最佳策略所能获得的收益与你实际在时间 t 内获得收益之间的差值。通常我们关注期望遗憾。这里我给出一个技巧：你不必直接解决线性老虎机问题，因为我还提供了离线数据。
这些离线数据由某个未知的固定行为策略 pi_b 生成。但只有 L 个上下文特征在数据中可见，在线情况下有 D 个特征，而离线记录的数据中只有 L 个特征。为了记号方便，我们用 x_observed (x^o) 和 x_hidden (x^h) 分别表示上下文的观测特征和非观测特征。
为了看清整体情况：离线数据很多，但在这些数据中我们只能看到 L 个特征（抱歉，应该是 d-l 样本不可见或类似表述，原文稍显混乱，意指部分特征缺失）。而在在线数据中，我们可以看到所有 d 维样本。现在我们要理清这一切。基本问题是：如果能使用那些离线数据，你会如何利用它们？
一种方法是直接忽略部分可观测性。在这种情况下，我们可以求解最小二乘问题。假设我们现在拥有大量离线数据，甚至是无限多个数据点。在关于行为策略 pi_b 的一些轻微假设下，这里不存在采样不确定性问题。关键在于：最小二乘问题的解对于原始老虎机问题是否有意义？
记住，老虎机问题的难点在于不同特征之间存在相关性，这些不同的特征可能高度相关。你可以证明的是：在满足某些轻微条件时，通过最小二乘问题求解的解，本质上将你需要处理的空间维度从 d 降低到了 d-l。也就是说，你获得了 l 个线性观测依赖关系。
那么，接下来能做什么呢？你可以实现的遗憾不再依赖于 dsqrt(k)，而是变为 (d-l)sqrt(k)。这需要一些数学细节，我不想深入展开。但这一练习的重点（详见幻灯片后续部分）是：你可以将遗憾从关于 d 的线性因子降低到关于 (d-l) 的线性因子。
如果 d 很大且 l 非常接近 d，即你掌握了大部分观测维度信息，那么你的问题就会变得容易得多。我将跳过这些部分。主要结论是：你可以运行一种类似 OFU（不确定性下界优化）的算法，其遗憾依赖于 (d-l) 而不是 d。
这个故事得出的结论是：你可以利用离线数据，它降低了实际的在线复杂度。混杂因素很重要，因此拥有离线数据至关重要。即使这些离线数据与在线数据不完全相同，它们仍然具有价值。结论是：永远不要丢弃数据。这只是一个热身环节，旨在展示离线数据的价值。
现在让我们谈谈一般强化学习中的离线策略评估（OPE）。我将从解释问题开始。假设我们拥有由行为策略 pi_b 生成的数据，即不同的轨迹。这些轨迹仅仅是状态、动作、奖励的序列：状态-动作-奖励，如此往复。
所以，如果你想的话，你可以构建一个模型。在马尔可夫决策过程（MDPs）中评估新策略是一个研究充分的问题。你可以使用重要性采样，也可以尝试降低其方差，有很多方法可以做这些处理。我认为这些都是相当成熟的方案。你可以计算估计的方差，甚至可以得到误差界等等。因此，在马尔可夫决策过程的问题设定下，虽然我不确定是否能称之为“已解决的问题”，但这绝对是一个被深刻理解的问题。存在直接方法、重要性采样方法以及双重稳健估计，这些都是重要且备受珍视的贡献。
但我提出的问题在于：假设我们已经解决了MDPs的问题（这一点稍后我们可以争论），那么在部分可观测性下，我该如何定义离线策略估计呢？当我不具备完全可观测性时，即不是MDP情境，而是部分可观测马尔可夫决策过程（POMDP）情境时，甚至不清楚该如何进行。我如何评估？我又该如何定义离线策略估计问题呢？让我们从一个例子开始，这是一个概率性维护的例子，也是运筹学中的经典案例。
假设我们有一台机器需要每月进行维护。每个月专家会来检查、倾听并敲击机器，然后告诉我们是否应该维修它。专家实际上知道机器的状态是否正常，从而决定是否修理。这是一个模拟例子：机器要么正常工作，要么损坏；动作是修复或不修复。其动态过程大致如下：如果机器正常且我们进行维修，它就被修好了；如果是损坏状态并决定修复，它也被修好。
假设如果机器正常且我们不维修，它有0.9的概率保持正常工作，有0.1概率损坏。为了讨论方便，设定如果维修则代价为-1；如果机器损坏且未修复，代价为-10。这意味着只要机器处于损坏状态就会带来成本。假设历史策略是：当机器正常时，以0.9的概率维修（注：原文此处逻辑似有口误或特定语境，通常正常不修坏才修，但依原文翻译为“当它工作时以0.9概率修复...当它损坏时以0.1概率修复”这一表述在原文中较为混乱，结合后文“当它损坏时以0.9概率修复”，修正理解为：正常时维修概率低，损坏时维修概率高）。
我们只能看到有噪声的观测值。我们无法直接获取专家看到的真实状态，而是例如观察机器的温度。如果机器正常工作，我们观察到“热”的概率为0.1，“正常”概率为0.9；反之，如果机器损坏则相反。因此，我们无法完美观测机器的真实状态。我们可以基于（对我们未知的）状态的函数进行重要性采样，或者在POMDP环境中、即我们实际拥有的基于观测值（热或冷）的函数进行重要性采样。
现在我们可以比较这两种估计器，例如关于视界（horizon）h的情况。这里的计算是精确的，估计结果与此无关。我们观察视界与估计值的关系。这是如果我们能看到状态时的真实重要性采样估计。这里$\pi_b$是专家策略，$\pi_e$是其他东西（不重要），而被称为“朴素”的估计是基于观测值的函数。我们可以看到这里存在发散现象。
基本上，随着视界变长，基于策略值的重要性采样估计变得越来越差。这意味着我们的信念变得随机化。一旦信念变成随机的，我们就不知道自己在做什么，只是在盲目地做出估计错误。这个精确计算的例子表明：即使在这个非常简单的两状态、两观测值、两动作的问题中，如果用基于观测的重要性采样替代基于状态的估计，效果也不会好。
因此我们要问的第一个问题是：如何在部分可观测性下定义离线策略评估（OPE）？现在我们来谈谈POMDPs，并引入因果推断领域朋友使用的符号。在MDPs情境中，存在状态$s_0$（假设目前它是非随机的）。有人观察到状态$s_0$，使用行为策略的人（在维护例子中即专家）将选择动作$a_0$。
现在，$a_0$和$s_0$共同影响$r_0$（时间零的奖励），然后$s_0$和$a_0$共同影响$s_1$。这实际上是MDP的表示，在因果推断图中称为因果图，它告诉你哪些变量影响哪些变量。在这种情况下，$s_1$受$a_0$和$s_0$影响。即时间一的状态受零时刻动作和时间零状态的影响。但注意，例如$s_0$不受时间零奖励的影响，这是标准的MDP符号约定。
我们可以继续到下一步、下下一步等。这里的假设是行为策略能够感知状态本身，因此它实际上能看到状态本身，这个过程可以持续下去。那么在部分可观测性情况下会发生什么？现在存在一个状态$s_0$，它影响时间零的观测值。我们或代理（即我们要评估的对象）能看到观测值，但看不到状态本身。
因此他们可以使用这个观测值来形成动作$a_0$。结果是，奖励$r_0$现在取决于$s_0$和$a_0$。
因为奖励不依赖于零，或者说在给定动作的条件下，奖励是独立的。这是马尔可夫决策过程（MDPs）中的标准假设。我们可以继续移动到下一个状态，然后是下一个动作。因此，理解这一点非常重要：当我评估策略时，我可以查看时间零的观测值和时间一的观测值，并利用这两者来形成时间一的动作。所以，时间一的动作不必仅依赖于 o1，原则上它可以依赖于整个历史。
现在我可以继续通过该图表得到 s1、s2 等，与之前类似，时间二的动作可以依赖于观测值的整个历史，但不能依赖于实际状态。因此，这个展示决策条件独立性的图表告诉我们概率故事，这也是因果推断领域的人最关心的内容。如果本次演讲你只带走一件事，那就是这些图表讲述了一个关于“什么依赖于什么”的完全不同的故事。
为了确保我们达成共识：行为策略可以依赖于状态，因此状态会影响动作。你可以看到 s0 与 a0、s1 与 a1 之间的连线等。然而，我们要评估的策略 pi_e 仅依赖于观测值。在此示例中，我省略了 o0 与 a1、a2 之间的连线，但这只是为了清晰起见。现在我们有了 POMDPs 和 MDPs 的图像：行为策略依赖于状态而非观测值，而 pi_e 依赖于观测值而不只是状态。
我们看到的是：观测产生动作，观测产生动作……但数据的生成过程略有不同。s0 产生了 a0，然后 s0 和 a0 共同产生了 o1，依此类推。观测值本身……一旦状态确定且动作被选定，在此时点观测值就不会改变任何东西了，这就是 POMDP 模型。
POMDP 中策略评估的目标是利用可观测轨迹（即仅包含状态、观测值、动作、奖励的序列）来评估 pi_e 的价值，因为我们可能无法获知状态本身。这就是 POMDP 评估的目标。此时我们不确定该怎么做，于是向从事因果推断的朋友请教。对我来说，这是你需要记住的另一页幻灯片：因果推断可以为强化学习提供大量见解，特别是针对离线策略评估和部分可观测性问题。
当你进行离线策略评估时，你无法获得智能体所拥有的相同数据。一个很好的例子是重症监护室（ICU）中医生的治疗行为。基本问题在于存在状态，这种状态甚至可能未被医生观察到。但即使他观察到了，我们通常能看到的也只是观测值——即由医生做出的测量和动作。但我们并不确切知道医生为何做出这些观察，而这些导致决策的潜在原因被称为混杂因素（confounders）。
这就是我们不知道、可能拥有也可能永远无法知道的原因，但我们仍然希望能够进行策略评估。这看起来有点像魔法，因为我们甚至不知道混杂因素是什么。但尽管如此，我们仍希望做一些有趣的事情。这里有两个基本问题：首先是你不能做什么（即不可能性结果或下界，告诉你利用这些离线数据无法做到什么），其次是正性结果（即在哪些情况下你实际上可能出乎意料地利用离线数据做点什么）。
我们创建了一个字典以便处理这些问题，这真的是一个供你使用的词典。你可以这样理解：我们将“状态”（无论是否被观测到）称为他们所说的“混杂因素”，将“动作”称为他们的“治疗”，将“奖励”称为他们的“结果/结局”。我们将“行为策略”称为他们的“治疗过程”，将我们的“观测值”称为他们的“代理变量”。使用他们的语言虽然有点奇怪，但他们先入为主，所以我认为我们应该给予他们应有的认可。
在你能做的事情方面，有一些典型的活动可以思考。他们有特定的语言：他们将“关联”称为我们所说的观察；将“干预”称为我们的动作。而反事实（counterfactual）我认为更像是想象或回顾，这通常不是我们做的事情。这也是重要的部分：这是因果层次结构的三个层级。作为强化学习领域的人，我认为我们应该意识到他们在做什么，并理解这对我们的影响。
在最近的一篇论文中，我们表明在某些可逆性假设下（我将在下一张幻灯片中展示这些假设，但为了节省时间不进行详细讨论，感兴趣的读者可以稍后查阅），如果动态过程是可逆的且有足够的观测值，你基本上可以进行反向传播。并弄清楚到底发生了什么。因此，你可以推导出一个函数（可能很复杂），它仅是可观测数据的函数，从而为你提供离线策略评估的结果。
这是一个定理，我只是短暂地展示一下，因为你可以稍后阅读它，这只是一个技术性内容。但我认为这里更有趣的是：POMDP 的因果结构有些 unnatural（不自然），在某种意义上它过于描述性。因此，从技术上讲我们需要反转大型矩阵，而且结构本身也不太适合处理。所以我们不知道如何解决一般的 POMDPs 问题。我们不知道如何对一般 POMDPs进行离线策略评估，我们怀疑这是不可能的。但有一件事我们可以做……
定义一种特定类型的部分可观测马尔可夫决策过程（POMDP），我们称之为耦合 POMDP。这正是我想深入讲解的幻灯片内容。左侧展示的是标准的 POMDP，右侧则是解耦后的 POMDP。我们从因果推断的视角来呈现这一结构：在 POMDP 中，观测值记为 z，状态记为 u。这里简要回顾之前关于 POMDP 的内容：存在一个状态 u，它生成观测值；行为策略（behavioral policy）依赖于实际的状态，而待评估的策略则依赖于我们所能观测到的信息。这是 POMDP 的一般结构。
我们在右侧尝试简化这一模型，将状态解耦为两部分：一部分称为 Z（可观测部分），另一部分仍为非直接可见的状态。同时，我们拥有完全被观测到的变量 z。这种解耦意味着：一旦某个事件发生成为历史，后续决策不再直接依赖它；行为策略可以依赖于状态的两个部分但不能直接依赖观测值 z，而待评估的策略则既依赖于实际看到的观测值 z，也受限于无法直接访问状态的隐藏部分。
通过这种将状态解耦为观测状态、隐藏状态和独立观测值的处理方式，我们得到了一种特定形式的 POMDP。虽然这并非最通用的形式，但这种解耦使我们能够对这类特定的 POMDP 进行离线策略评估（Off-policy Evaluation）。正如预期，我的时间已用完。我想得出的结论是：在使用离线数据进行评估时存在固有的偏差。
在 Bandit 问题中，这种偏差相对简单直观：你看不到的东西确实无法处理，但你仍可利用看到的信息。然而在 MDP 或 POMDP 中情况变得复杂得多。我们选择了一条“捷径”，利用因果推断术语，通过将状态划分为可观测和不可观测部分来获得清晰的解决方案。
然而，要衡量事物的被观测程度、厘清不同对象间的因果关系以及进行统计验证，仍有很长的路要走。基于这一系列研究，我认为因果推断与强化学习（RL）的结合更为紧密和有效。感谢大家的聆听，虽然时间稍长，但希望内容至少具有一定的趣味性。
接下来我们将把提问环节推迟到休息时间，并进入第二个演讲。Yuan Dong Tian 是 Facebook AI Research（FAIR）的首席研究科学家。他既是一位硬核的理论学家，也是一名优秀的工程师。Yuan Dong 的研究领域涵盖深度学习理论、强化学习理论以及众多机器学习基础理论话题，同时他也是一位极具实力的工程师。