研究背景：分布外问题的双重挑战
本次演讲介绍了一篇来自威斯康星大学麦迪逊分校（University of Wisconsin-Madison）的论文，题为《Feed Two Birds with One Scone: Exploiting Wild Data for Both Out-of-Distribution Generalization and Detection》。这是一项与Hao Yue, Greg, Xiaofeng, Jianjie, Rob 和 Sharon合作的联合研究成果。在现代机器学习模型部署到真实世界（the wild）时，它们通常会遇到两种类型的分布偏移：协变量偏移（covariate shift）和语义偏移（semantic shift）。这两种现象分别引出了两个核心问题：分布外泛化（Out-of-Distribution Generalization, OODG）和分布外检测（Out-of-Distribution Detection, OODD）。
"Modern machine learning models deployed in the wild can encounter both covariate and semantic shifts. This gives rise to the problems of out-of-distribution generalization and out-of-distribution detection, respectively."
OOD泛化要求模型能够推广到具有协变量偏移的OOD数据上。例如，在自动驾驶场景中，如果模型是在晴天（in-distribution data）下训练的，那么当遇到雪天这种协变量发生变化的情况时，模型需要保持性能。而OOD检测则旨在识别那些来自未知类别的、具有语义偏移的OOD数据。例如，模型在训练时只见过长颈鹿和狗（已知类别），但在测试时可能会遇到从未见过的未知类样本，模型需要能够检测出这些样本不属于已知类别。
核心动机：利用野生数据的统一框架
研究人员提出的一个关键问题是：能否设计一种统一的学习框架，同时解决OOD泛化和OOD检测问题？
本工作的动机在于利用无标签的野生数据（unlabeled wild data）来同时服务于这两个目标。在训练模型时，我们不仅使用有标签的数据，还利用无标签的野生数据。
"The motivation of our work is to exploit unlabeled wild data for both out-of-distribution generalization and detection."
具体而言，有标签数据（labeled data）来自已知类别。而对于野生数据的处理，我们采用了一种广义的特征描述：将其视为由三种数据分布混合而成的组成成分——在分布内（in-distribution）数据、协变量偏移的OOD数据以及语义偏移的OOD数据。这种野生数据具有显著优势：它 abundance（丰富）、不需要任何人工标注，并且包含了真实测试时遇到的、同时涉及协变量和语义偏移的OOD分布。
我们的学习框架旨在通过利用来自有标签ID数据和无标签野生数据的信息，构建一个OOD检测器和一个多类分类器。在评估模型时，我们关注三个关键指标：ID准确率（ID accuracy）、OOD准确率（OOD accuracy）以及误报率（False Positive Rate, FPR）。这三个指标分别共同捕捉了ID泛化、OOD泛化和OOD检测的性能。
方法论：SCoon框架与能量边界优化
为了解决这一挑战，我们引入了一个新的学习框架，称为SCoon（Semantic and Covariate Out-of-distribution learning via Energy margins）。该框架联合学习一个对协变量偏移OOD数据具有泛化能力的鲁棒多类分类器，以及一个能够检测语义偏移OOD数据的可靠OOD检测器。
其核心思想是：基于能量函数（energy function）显式地优化一个二分类器，在满足两个约束的前提下，尽可能将野生数据中的样本分类为“分布外（out）”。这两个约束分别是： 1. ID数据的能量值必须小于一个负边界值（negative margin value）。 2. 多类分类模型必须保持高准确率。
"The key idea is to explicitly optimize for a binary classifier based on the energy function, classifying as many samples as possible from wild data as out, subject to two constraints."
从数学上讲，我们的学习框架可以形式化为以下约束优化问题。在论文中，我们用红色和紫色高亮显示了来自野生分布的样本和ID数据。通过这种基于能量的边界优化，我们试图拉开已知类别与未知/偏移样本在能量空间中的距离。
理论洞察：协变量偏移与能量边界的关系
我们提供了关于改进的OOD泛化能力与能量边界之间关系的理论见解。研究结果表明，尽管我们的方法在训练过程中无法访问协变量偏移数据的真实标签（ground truth labels），但只要每个协变量偏移的数据点都足够接近其对应的ID数据点，那么适当设置ID能量阈值（Ada），就能确保协变量偏移的数据被正确分类。
"even though our method does not have access to the ground truth labels of covariate shifted data during training, we expect that as long as each covariate shifted data point is close to a corresponding ID point..."
这意味着，通过强制ID数据具有较低的能量值（即更负的值），我们可以利用野生数据中那些与ID数据在特征空间上接近的协变量偏移样本，从而提升模型对这类数据的泛化能力。关于理论的更多细节，请参阅我们的论文。
实验结果：性能优势与可视化分析
实验结果显示，SCoon在常见的基准数据集上取得了优越的性能。我们强调几个有趣的观察结果：
- 优于事后检测方法：SCoon的表现超过了具有竞争力的后处理（post-hoc）OOD检测方法的性能。
- 优于泛化基线：SCoon也超越了常见的OOD泛化基准方法。
- 优于利用野生数据的检测方法：与那些同样利用野生数据进行OOD检测的方法相比，SCoon显示出显著更好的OOD泛化性能。
为了验证方法的有效性，我们可视化了施加边界（margin enforced）与未施加边界时的能量分数分布。在右侧的图中，我们观察到ID数据的能量分数确实向更负的值移动，这表明了我们基于边界的机器学习框架的有效性。此外，ID数据与协变量偏移OOD数据之间的能量分数分布变得更加对齐（aligned），这有利于OOD泛化。
"In the right figure, we observe that the energy scores for ID data indeed shift towards more negative value..."
最后，我们展示了使用SCoon（带边界）与不使用边界时学到的特征嵌入的t-SNE可视化。该可视化表明，使用我们的基于边界的优化方法后，ID数据和协变量OOD数据的嵌入变得更加对齐。这一观察结果也支持了我们的理论见解。
结论
本研究提出了一种名为SCoon的新颖学习框架，旨在通过利用丰富的无标签野生数据，统一解决分布外泛化（OODG）和分布外检测（OODD）这两个关键问题。通过基于能量函数的边界优化，SCoon不仅提高了模型对未知语义偏移数据的检测能力，还显著增强了对协变量偏移数据（如天气变化）的泛化性能。实验结果证实，该方法在多项指标上均优于现有的事后检测方法和泛化基线。
"Thank you for watching. Please refer to our paper and code if you are interested in learning more about the paper."
这项工作证明了在训练阶段引入无标签野生数据并结合严格的能量边界约束，是提升模型真实世界鲁棒性的有效途径。对于希望深入了解理论推导和代码实现的读者，建议参考论文原文及开源代码。