好的，接下来我们将讨论强化学习以及因果强化学习。正如 Elias 简要提到的那样，我很高兴邀请到来自以色列理工学院（Technion）的 Uri Shalit。Uri，现在交给你了。好的，非常感谢。谢谢你的邀请，真的很抱歉我无法亲临现场，希望我们很快能恢复旅行。
那么让我们谈谈激发我今天所讲研究的动机。我们在思考诸如自动驾驶、机器人技术，或者未来可能的医疗处理等任务，我们希望这些任务能够自动学习。在这些场景中，存在许多动作、长期依赖关系以及高维状态空间。这属于相当困难的 AI 任务，而在这些任务中，在线学习至关重要。
因为我们都知道离线数据混杂性以及相关问题带来的挑战，对于这种复杂且高风险的任务，我们必须进行一些在线学习。从因果角度来看，某种意义上在线学习是最优的。Elias 在这方面问题上有很多工作。但正如我们也所知，在线学习往往成本高昂。它可能需要大量的资金、人力或时间来进行操作。
因此，一个自然的问题是：海量的离线数据能否通过节省金钱、交互次数或避免本可通过从离线数据学习中犯下的错误来提供帮助？具体来说，我希望你在听这场演讲时脑海中设想的情景是：我们正在在线学习，但能够访问大量离线数据。例如，这可能是来自驾驶日志或人类对机器人任务的演示等数据。
我们将在此背景下解决的主要挑战，基本上就是离线数据和在线环境之间存在某些不匹配的情况。例如，我们可能会遇到混杂因素、部分可观察性或分布偏移等问题。如果我们要在这种在线情境下进行学习，现实中我们将不得不面对所有这些难题。抱歉，我需要调整一下设备。好的……哦，对不起，效果还是不好。
如果我们要利用一些离线数据进行在线学习，有一些非常明显的基线方法以便我们达成共识：首先，我们可以完全忽略离线数据。既然假设我们可以在线学习，我们就可以设定自动驾驶汽车或机器人策略。强化学习和多臂老虎机文献中的大部分内容都是关于这种设定的。
另一种选择是完全忽略在线数据，仅使用离线数据，这属于离策略强化学习的范畴。然而，这种方法容易受到隐藏混杂因素和分布偏移的影响。虽然代理变量可能有所帮助，我们和其他人在这方面有一些研究，但通常来说，仅使用离线数据是困难的，特别是当动作空间很大且状态空间复杂时。
在这场演讲中，我们将讨论如何在具有挑战性的场景中融合离线和在线数据（注：原文口误为 offline and offline，结合上下文应为 online）。当然，我们不是第一个这样做的人。还有其他工作如引用所示，以及更多研究。好的，我将介绍两个具体的项目。让我们从第一个开始，该项目作为论文在 UAI 2021 上提出。
这属于多臂老虎机领域，具体而言，我们讨论的是线性老虎机的交互模型。我将简要介绍这个模型，假设大多数人都见过它：我们从第 t 轮开始（从第一轮起），观察到来自某个分布的上下文 x。我们采取一个动作，该动作是 x 的函数，出自离散的动作空间 A 中的 a 个动作。
我们获得一些带有噪声的反馈或奖励，假设这是上下文与某个最优未知向量 w 的内积加上一些噪声。我们会得到一些后悔值，即我们选择的动作 a_t 与最优动作之间的差异。当然，如果我们知道所有的向量 w，那么我们就可以采取最优行动。但我们不知道它们，必须在线学习它们，并且我们希望最小化累积后悔值。
因此，在轮次中我们要最小化这种后悔值。最优动作依赖于上下文，但没有状态的概念，也就是说没有从一轮传递到下一轮的状态延续。这里存在经典的探索与利用权衡问题。通常目标是获得次线性后悔值，通常是 O(sqrt(T)) 乘以各种常数，这些常数依赖于维度和动作空间大小等。
其中 T 很大代表我们可以采取的动作、交互或轮次的数量。除了经典的在线线性老虎机假设外，我们还拥有历史数据的三元组形式：上下文、动作和奖励。如果这些历史数据是完全可观察的，并且离线与在线设置完全匹配，我们可以使用所谓的“从记录的老虎机反馈中学习”或经典观察性研究技术。
并利用这些数据来初始化在线老虎机，但我们正在考察一个稍微更具挑战性的设置：历史离线数据仅部分可观察。假设我们在历史数据中的动作是由人类采取的，而人类的感知方式与机器不同。或者可能当时并没有完全记录下来，这种情况经常发生。
即使是使用上下文老虎机进行在线学习的 Google，也不总是记录下其算法决策所涉及的所有数据。此外，可能存在隐私限制，导致我们无法访问所有这些数据，因为其中一些是私密的。好的，那么我们要考虑的模型如下：环境生成我们看到的上下文向量（例如描述用户），有一个策略 pi_b 生成动作。
还有一个对应于该动作的向量 w_a，我们看到的是这个内积加上噪声。而那个红色的部分（指代隐藏变量）是世界的一部分，并且这种情况一般持续发生。如果我们有完全可观察的数据，我们就会看到所有的三元组 X, A, R。但我们假设数据是部分可观察的，因此用于做出决策和获取奖励的部分上下文向量对我们隐藏。
我们在历史数据中看不到这部分，只有在在线交互时才能看到。我们将这个向量 x 分解为可观察部分 x_o 和隐藏部分 x_h，维度分别为 l 和 d-l。我们假设离线数据具有给定 x 的某种策略 pi_b。现在，如果我们不做进一步的假设，离线数据几乎毫无用处，对吧？
也许所有重要信息都隐藏在向量中，并且与向量的可观察部分没有相关性。那么我们就无能为力了。因此我们必须假设其他东西，一些额外的假设来使这些数据变得有用。具体来说……
因此，我们超越了经典的赌博机文献和因果赌博机文献，进入这种融合领域。首先，我们要提出一个通用的赌博机结果，即带有线性约束的赌博机问题，这之前可能因为缺乏实际应用场景而未被深入探索。但我们表明，如果我们对奖励有一些已知的线性约束，就可以将使用离线数据来近似这些线性约束的问题进行转化。我将在接下来的几张幻灯片中简要说明我们是如何做到这一点的。
那么，我们能得出什么结论呢？让我们看看给定任何特定动作时奖励的最小二乘估计器。这里只使用了向量的可观测部分，因此我们知道这是目前最好的估计值。然而我们也知道它是有偏的，因为我们仅对向量的可观测部分回归奖励。这类似于自20世纪50年代以来就存在的误设普通最小二乘法（OLS）模型。我们将这种回归记为BLS，对于给定的动作a，我们有一个向量b，它是通过离线数据学习得到的。
接着定义这两个相关矩阵：Roo和RoH，它们分别是可观测轴之间的协方差以及可观测轴与隐藏轴之间的交叉协方差。我们可以证明，在数据无限且假设可观测协方差矩阵可逆的极限情况下，向量BLSa具有这种优美的结构：它是由单位矩阵、Roo逆乘以RoH以及最优向量w构成的三角矩阵。正如我提醒过的，理想情况下我们希望能知道每个动作对应的w。这基本上是一个线性代数结果。
那么如何利用这一点呢？对于每一个动作a，我们都有向量bls和矩阵Ma（这是一个具有上述优美结构的矩形矩阵）。如果我们已知M，就可以利用其伪逆数，将我们的估计值w*投影到M乘以BLS上，因为我们必须遵守这些约束。我们可以反复向这个由离线数据得出的必然发生的约束进行投影（假设拥有无限的离线数据）。如果已知这一点，我们可以将遗憾值从O(d乘以根号t)降低到O(d-l)。
这样，我们基本上将维度精确地减少了可观测部分的维数l，从而获得了改进的遗憾界。然而问题在于，我们当然不知道M，因为M包含一个棘手的部分。虽然我们能得到BLS和Roo逆数，但我们没有RoH。可观测数据与隐藏数据的关联性是隐藏的，因为我们看不到这些数据。因此，虽然我们希望使用这些线性约束，但由于仍存在隐藏分量而无法直接实现。
这里是我们必须做出假设的地方：我们必须假设有一种方法来估计这个隐藏的RoH部分。我们可以提出各种各样的假设，我会讨论其中一种（尽管我们有更一般的结果）。其中一个假设是：在在线操作期间，我们可以查询行为策略。这意味着我们虽然看不到隐藏分量且不知道确切的政策，但在每一轮中，我们可以询问行为策略：“你当时会怎么做？”我们不需要采取相同的行动，但这假设我们能访问该模型。
正如因果推断中的常见情况一样，你可以论证这种假设在何时何地是合理的或不可行的。我想指出这与John和Baron在他们2016年论文中提出的直觉概念相似。我们表明，如果我们能做到这一点，实际上可以近似Ma的伪逆数（通常这很难做到，因为伪逆运算不是连续算子）。但由于它具有特殊结构，我们可以实现这一点。
随后我们证明了这一结果：这是一种次线性遗憾界，其中再次节省了d-l项，即我们将常数因子精确地减少了隐藏部分中可观测维数的大小，并加上一个额外的因子。这个额外因子基本上说明了估计线性约束的难度，它与策略pi_b的均匀程度以及这些矩阵的条件数有关。所有这些复杂的因素都包含在这个因子中，粗略地说，在最坏情况下这个界限是无意义的（意味着使用离线数据没有意义）。
在最好的情况下，我们实际上可以获得改进的性能，尽管仍然依赖于b。这真正取决于上下文向量中隐藏部分的重要性以及它与可观测部分的关联程度如何。在理想场景下，这非常有用；而在糟糕的场景下，它基本无用，即使我们假设可以从pi_b中进行采样。总之，这是关于使用离线数据以获得更快收敛的一个结果：在理想场景下，我们可以利用这些数据减少达到最优奖励所需的交互次数。
这是针对上下文赌博机的讨论，现在我想简要谈谈强化学习中一个稍微复杂一点的场景。这是一篇刚刚被ICLR 2020和2022接收的论文。我们将讨论这个更复杂的场景，并涉及模仿学习。如果我在现场，我会请听说过“模仿学习”的人举手。也许有人能告诉我大概有多少人举起了手？大约有十五人，我不确定房间里总共有多少人。我真的很不擅长估算人数。所以可能只有五分之一的人听说过。好吧，大多数人没听过。
模仿学习是强化学习中一个非常直接的想法：它指出强化学习的核心在于优化奖励等，但如果有人向我们演示如何做某事，我们就学习去模仿他们。也就是说，只需学会在任何给定时刻他们会采取什么行动即可。这里没有奖励参与，这基本上简化为一个监督学习问题：你只需学习“当处于这种状态时，执行这个动作”。如果你能解决这个问题且环境没有变化、一切正常，那么你的表现就能达到演示者或你正在模仿的人的水平。
这种方法实际上被广泛使用，特别是在更困难的强化学习问题中。例如，DeepMind在《星际争霸》……
模型AlphaStar，他们仅使用来自人类玩家的模仿学习来初始化它。即便这样也已经打破了当时的最先进水平。随后，他们在其基础上构建了强化学习，以取得更好的效果。基本上，这相当于将其转化为监督学习问题。近年来，强化学习社区在这方面做了大量工作：如何更好地进行模仿学习？我不打算深入探讨这一点。同时，我们也在挑战这些方法。我们要问：如果存在部分可观测性该怎么办？
假设一个模型从人类驾驶员那里学习驾驶技能，人类的感知能力是机器所不具备的，我们必须考虑到这一点。此外，数据可能是在不同的环境中收集的。例如在推荐系统中，产品、可用选项和客户群体都在不断变化。因此，我们虽然是从专家那里学习离线数据，但所处的情况却不同。而且隐私限制也是我们必须面对的问题。
接下来看看时间：15分钟，好吧，稍微少一点。如果你们需要我停下请告诉我。我们转向Bandits问题，在每个时间点有一个变量x作为上下文，仅动作与环境交互。这比简单情况更复杂。我们考虑经典的马尔可夫决策过程（MDP），包含状态和动作。这里有一个笔误，这是动作空间而非状态空间。我们还有上下文空间，这样可能对在场的人更容易理解。
假设有一个状态和一个动作。然后获得奖励（在模仿学习中我们可能忽略它），接着动作导致下一个状态，这是前一个状态和动作的函数。此外还有变量x。我们可以将其视为分类变量，表示一切可能随上下文变化。例如雪地驾驶不同于沙漠驾驶，2019年的推荐系统与2020年也不同。
我们将采用此模型，并研究x不一定可观测的情况，以及x的分布可能发生改变的情形。我们假设看不到专家的奖励（这是模仿学习的常态），只试图学习他们的动作。专家拥有基于状态和上下文的最优策略，但我们看不到该上下文，只能看到其状态和动作。这是建模部分可观测性的一种方式。
此外，专家情境与在线情境之间x的分布可能不同（e代表专家，o代表在线），这是一种覆盖性问题。标准的强化学习概念中，最优策略是最大化价值的策略。我们有一组想要实施的最优策略，但无法总是做到这一点。专家策略pi*生成轨迹（如驾驶员驾驶），但我们看不到x，只能看到随时间发生的状态-动作序列。
这些数据在离线数据中具有概率分布。此处仅涉及标准概率论，即分解分布。注意这是一个混合分布，包含关于上下文的某种概率（我们稍后假设其可能改变且不可见）。因此我们有这种混合，但不知道混合系数，它们可能会变化。这生成了状态-动作的分布，也就是我们所拥有的信息：我们知道轨迹，且智能体处于环境中。
专家有其轨迹，在线情境也有其轨迹，它们可能匹配也可能不匹配。我们定义了一个模糊集（ambiguity set），即所有生成相同状态-动作分布的策略集合。这是我们的可观测对象，我们无法区分该集合中的策略。如果任何策略诱导的状态-动作分布与专家策略相同，那就是我们能知道的一切极限。
我们可以证明该模糊集中的任何策略都可能是最优策略，仅凭状态-动作频率分布无法排除它们。但其中一些可能次优。这是我们能力的极限，但这并不理想，因为有些策略并非最优，且即使没有覆盖问题我们也无法知晓。这是第一个结论：由于看不到上下文，这个问题有点难办，增加了难度。
对于这种情况我们有一个算法，证明其表现不至于太差（比最坏情况好），但无法证明更多。接着我们让问题更难：不仅看不到专家上下文，还假设存在覆盖性（expert和online在上下文中分布不同但有重叠支持）。我们证明如果转移概率独立于上下文，则最坏情况策略无法被排除。
这看似违反直觉：如果上下文不影响状态转移，意味着我们毫无头绪，因为状态转移是我们观察策略的唯一途径。若其与上下文无关，则完全黑暗，无能为力，这实际上是 worst case（最坏情况）。另一方面是 best case：如果奖励独立于上下文，则我们可以做得很好。这意味着没有混淆效应（confounding），若上下文不影响奖励，情况就好得多。
如果奖励与上下文无关，那么模仿甚至可能是混淆的。想象这样一个迷宫场景：我们观察到人们在无墙可见的情况下行动，假设专家在一个特定的墙壁布局中表现良好，而我们现在处于不同的墙壁设置中。但如果目标仅仅是到达左侧，我们仍然可以从专家那里学到“向左移动是好的”这一结论。即使我们没有看到墙壁的细节，这反而变得有益。正如我们之前所说，这是方程的一方面；另一方面则是如果状态转移与上下文无关，那么成功模仿在理论上就是完全不可能的。
这意味着虽然我们可以尝试模仿，但结果将是灾难性的。在这两种极端情况之间存在着中间地带：奖励和状态转移都在某种程度上依赖于上下文。针对这种情况，我们进行了敏感性分析，结果表明在这些情况下模仿是可能的，但会产生偏差，且根据具体细节的不同，这种偏差可能非常显著。因此，我们大致描绘了在不观察上下文时模仿行为的频谱范围。
现在假设我们可以获得奖励信息，我们不再仅仅试图进行纯模仿，而是在世界中采取行动，并将离线数据作为辅助。这更像我们在多臂老虎机问题中所做的工作：拥有离线数据，但不单纯模仿它；我们可以主动在世界中行动，虽不强制使用这些数据，但希望利用它们来提升性能。我们尝试的方法之一是引入正则化项。
左侧部分仅最大化奖励，我们可以在线进行此操作而不必使用离线数据；右侧项则是正则化项。其中 Df 表示某种 f-散度（如总变差距离），用于衡量我们的策略轨迹与专家轨迹之间的差异。我们认为专家是 optimal 的，因此尝试模仿他们。然而，这种方法是有偏差的，且由于我们不知道专家在上下文上的分布，甚至无法计算该项。
为此，我们开发了一个稍复杂的优化问题（此处略去细节），证明其实际上是无偏的。它具有类似生成对抗网络（GAN）的特征：虽然不是 GAN，但我们学习生成交替轨迹（即 Generator），并有一个判别器（Discriminator）。我们要求两者相似，但对这种敏感性不敏感。我们可以证明该方法最终会收敛到最优策略且无偏差。
针对此问题，我们提出了两种算法：一种是理论上可证明收敛但速度较慢且不实用的方法；另一种是基于梯度的非凸目标优化，虽无法提供理论保证但在实践中有效。因此我将跳过算法细节，仅展示一个实验结果。虽然我们的理论保证较弱（未证明收敛速度更快或存在不可能性），但在实践中表现良好。
我们使用 Ericsson 等人提出的“辅助健身环境”（Assistive Gym）进行实验，该环境中机器人需要照顾某人，包括喂食、穿衣、洗澡和协助饮水等。状态空间包含机器人与人的状态；上下文则包括人的体重、身高、性别、残疾状况以及他们偏好的被帮助方式。动作空间为机器人的关节力矩，奖励由任务成功度和用户偏好组成。
在此实验中我们没有现成的专家数据，而是基于对任务的深入理解构建了一个密集奖励函数来训练一个专家模型。随后，我们的模型使用更稀疏的原始奖励进行学习，这更具挑战性。我们通过概率 beta 改变上下文参数（如体重、身高等）。图中虚线表示未使用我们开发的算法的情况，实线则表示使用了离线数据辅助。
我们可以看到，随着时间推移，使用我们方法的表现更好（尽管仍不及专家水平）。其中虚线代表的纯强化学习未利用先验数据。在多种任务中，我们的“校正轨迹采样”（CTS）方法通常表现更佳。当 beta 值较大即覆盖偏移程度较高时，左侧纯 RL 基本失败，无法帮助特征与离线数据不同的人；而使用样本校正的方法则成功学会了如何正确执行任务。
简而言之，很抱歉未深入算法细节，我很乐意私下交流其中有趣的数学内容。离线数据可能使在线学习更高效，这显而易见；但通常离线与在线数据不匹配，存在大量差异。在现实世界中应用时，我们必须考虑这些差异并映射其失效模式及成功所需的严格条件。
我们特别研究了线性老虎机中的部分可观测性和分布偏移，发现离线数据加上从离线策略采样的能力有时能加速在线学习。这取决于部分可观测性的性质，只要不是过于糟糕即可。在模仿学习中，当上下文发生变化时，答案取决于细节：我们映射了可能性和不可能性的频谱。
最后指出，如果拥有专家数据并在有奖励反馈的在线环境中工作（而非单纯模仿），我们是在独立学习，同时利用离线数据作为辅助。
背景中有一位专家试图帮助我们。我们有一种算法，经验表明它加速了收敛速度。我们可以证明它不会造成损害，但我们尚未证明这种加速收敛是理论上可证的加速。我们仅在少数实验中展示了这一点。我刚才只举了一个例子。好的，我只想感谢完成这项工作的各位，特别是Guy，以及最重要的Guy Tenholte。这两篇论文是他博士研究的一部分。他目前正在完成博士学位论文，是一位非常优秀的学生。我相信未来我们会更多地听到他的声音。以上就是全部内容。非常感谢大家的时间，现在欢迎大家提问或开始讨论。
非常感谢您，Yuri。那么我们将先进行讨论，稍后统一收集所有问题以解答大家。Frederick，是的，请您坐到前面的椅子上来。现在我们正在进行一项实验。