广义Expected Sarsa的背景与定义
本次讨论聚焦于一种自2011年提出以来却未获足够关注的算法形式：广义Expected Sarsa (General Expected Sarsa)。我们将问题建模为马尔可夫决策过程（MDP），智能体根据策略π与环境交互，从状态s转移到s'并获得数值奖励。在强化学习控制中，主要有两种解决MDP的方法：Sarsa和Q-learning。Sarsa是一种on-policy控制算法，其行为策略μ等于其正在评估的策略π（即 μ = π）。相比之下，Q-learning是一种off-policy控制算法，其行为遵循策略μ，但通过最大化操作评估一个贪婪策略。而Expected Sarsa则是另一种著名的控制算法，最早由Richert和Andrews在1988年提出。虽然教科书仅将其作为练习提及，但通过检查动作价值更新的目标函数可以发现：目标策略π不必与行为策略μ相同。这意味着我们可以将Expected Sarsa设置为on-policy或off-policy。当其为on-policy时，μ等于π；但我们希望进一步推广：如果不固定目标策略，允许其随时间步变化，用一系列策略替换单个固定策略π和μ，这将带来更大的灵活性。
算法的灵活性与收敛性证明
这种广义形式具有极强的包容性。如果状态-动作对(s_t+1, a_t+1)是根据行为策略μ在相同s_t, a_t下采样的，且目标策略π针对该状态-动作对的概率为1，则广义Expected Sarsa退化为Sarsa。如果选择π_t相对于Q_t是贪婪的，则退化为Q-learning。广义Expected Sarsa比Sarsa和Q-learning更通用，因为它将动作价值更新与智能体行为分离开来。Sarsa缺乏灵活性，因为选择下一个状态的动作以进行更新后，必须在该时间步承诺该动作。而Expected Sarsa允许在off-policy设置中使用，行为可以是任意的，只要评估感兴趣的目标策略即可。Q-learning允许智能体根据与其实际评估不同的策略行为，从而在动作价值更新和行为之间实现分离。这种分离意味着智能体可以采取非常探索性的行为，同时学习不同的内容，并提供了选择非贪婪目标策略的灵活性。该算法由Inka Doses在2011年的博士论文中首次提及（称为广义Q-learning），并证明只要行为策略导致无限探索且目标策略在极限下是贪婪的，该算法就能收敛到最优策略。这里“无限探索”指状态-动作对被无限次访问，“贪婪”指策略总是选择关联最大动作值的行为。
目标策略的构造与应用场景
为了使目标策略在极限下成为贪婪策略，有两种建议方法：一是使用ε-贪婪策略序列，其中非递增的ε_t衰减至零；二是使用softmax策略，其中温度β_t随时间增加（或倒数形式）并衰减至零。然而，目标策略是否仅在极限下才需要贪婪？ 如果世界环境在某些时期是静态的，随后发生变化，当世界变化时，学习从更探索性的目标策略中受益，而不是基于上一阶段最优动作值的贪婪策略。另一个更具说服力的例子是多目标优化场景：需要在两个或多个冲突的目标之间进行权衡，并受限于可实现的目标组合。例如在自动驾驶中，既要最小化事故风险又要最大化驾驶体验；或在买房时，既想最小化街道噪音成本又想最大化房屋面积和 proximity。在这些复杂场景中，广义Expected Sarsa提供的策略分离能力允许我们动态调整目标策略以适应环境变化或多重约束，而不仅仅是依赖单一的贪婪或探索机制。
目标冲突下的策略选择困境
在经济学视角下，消费者面临多重相互冲突的目标：需求由效用最大化决定，但受限于收入和价格约束。理想状态下人们希望消费更多商品，但在资源有限时，增加一种商品的消费往往意味着牺牲其他商品。通用期望Sarsa（General Expected Sarsa）因其灵活性，比传统的Q-learning更具优势。演讲者指出，贪婪算法无法完全捕捉这种多目标冲突的现实情况。因此，研究重点在于如何制定有效的目标策略 $\pi_t$。通用期望Sarsa被认为比Q-learning更灵活，未来研究应利用其灵活性，或许能说服社区采用该方法以实现更好的整体决策。
动态规划范式的桥梁作用
通用期望Sarsa在理论定位上处于策略迭代（Policy Iteration）和价值迭代（Value Iteration）之间。经典动态规划中，策略迭代将评估与改进分为两个独立阶段；而价值迭代则将两者混合在一次更新中。Sarsa可视为策略迭代的随机版本，Q-learning则是价值迭代的随机版本。通用期望Sarsa可能结合了两者特点：既可以在固定策略下进行多次评估再改进，也可以在每个时间步根据动作值直接改进策略。这种介于两者之间的特性使其成为一种更通用的框架，能够适应不同复杂度的决策需求。
算法对比与实证观察
在2009年的研究中，作者通过网格世界（Windy Grid World）等仿真领域进行了实证和理论调查。虽然该研究主要对比Sarsa与期望Sarsa，发现期望Sarsa具有更低的方差并优于Sarsa，但并未全面对比三者。在随机性较强的环境中，期望Sarsa的表现与Q-learning没有显著的统计差异。演讲者提到：“he actually did in an investigation empirical and theoretical investigation of expected sarsa... he said I get it performed quite similarly”。这提示我们需要更包容地对比所有三种算法，特别是在改变目标策略的贪婪度时。软Max或epsilon-greedy政策下的行为变化使得分析变得复杂，但通用期望Sarsa的灵活性为解决这些问题提供了新路径。
SARSA算法中的策略更新与偏差分析
在强化学习的讨论中，SARSA（State-Action-Reward-State-Action）算法的一个显著特征在于其策略更新的同步性。当我们在当前世代更新动作价值（action values）时，下一世代的策略也会随之发生变化。这种动态变化导致了一种被称为“off-policy”（离策）的细微偏差，尽管说话者表示目前尚不完全确定如何精确捕捉或定义这种行为模式。为了更清晰地理解这一机制，一种可行的方案是将策略视为SARSA的一种形式化表达：首先利用它作为策略估值算法（policy valuation algorithm），随后基于学习到的价值执行一步改进。这种思路在Prepopescu等人的相关论文中曾被提及，尽管具体的参考文献可能未被直接引用，但这种将策略用于估值并随后改进的方法在理论上是自然且合理的。
通用框架下的模拟方法比较
当我们将视野扩展到更广泛的强化学习框架时，可以发现基于梯度的方法与SARSA等模拟方法之间存在本质区别。说话者指出，很难想象存在一种基于梯度的方法能够像SARSA那样处理所有这些片段（fragments）。这表明，模拟基底的强化学习方法在处理特定类型的策略更新时具有独特的优势。虽然说话者并未对基于梯度的方法做出强烈否定，但他强调了SARSA在处理策略与价值函数联合更新时的独特性。这种区别不仅体现在算法实现上，更体现在对策略迭代和价值迭代这两种经典模式的超越或融合潜力上。
介于策略迭代与价值迭代之间的行为定位
关于SARSA的具体理论性质，说话者认为其表现可能介于策略迭代（Policy Iteration）和价值迭代（Value Iteration）之间。然而，目前尚缺乏足够的理论工具来确切地描述这一行为，即无法断言它究竟生成了这两种方法中的哪一种。这种不确定性也反映了强化学习领域中对于更灵活学习模式的探索需求。如果我们将SARSA视为一种通用的模拟框架，它可能比传统的动态规划（DP）方法提供更大的灵活性。因为在这种框架下，策略的选择可以相当任意（arbitrary），这为研究者提供了超越传统两种迭代模式的更多可能性。正如说话者所言：
"I'm thinking that it's gonna behave somewhere between a policy iteration value iteration but I'm not sure how to capture that yet like how to characterize it to say for sure"
这种介于两者之间的特性，使得SARSA成为一个值得深入研究的对象，尤其是在需要平衡探索与利用、以及处理非确定性环境时。
结论
广义Expected Sarsa通过解耦行为策略与目标评估，显著超越了Sarsa和Q-learning的灵活性。其核心优势在于允许动态调整目标策略，从而有效应对多目标冲突及环境突变等复杂场景。实证表明其方差低于Sarsa，且在随机环境中表现与Q-learning相当。
尽管该算法在理论上具备介于策略迭代与价值迭代之间的潜力，但缺乏精确的理论刻画。目前主要局限在于对目标贪婪度变化的分析尚显复杂，且相较于传统算法缺乏全面的对比验证。其实际价值取决于能否利用策略分离能力优化整体决策，而非单纯依赖贪婪机制。