大家好，在本次演讲中，我将介绍我们的论文《一石二鸟：利用野生数据同时解决分布外泛化与检测问题》。这是我们在威斯康星大学麦迪逊分校与Hao Yue、Greg、Xiaofeng、Jianjie、Rob和Sharon合作的成果。部署在现实世界中的现代机器学习模型可能会遇到协变量偏移和语义偏移两种情况，这分别导致了分布外泛化和分布外检测两个问题。

分布外泛化要求模型能够推广到具有协变量偏移的OOD数据，而分布外检测旨在识别来自未知类别的、存在语义偏移的OOD数据。例如，在自动驾驶场景中，在晴天分布内数据上训练的模型可能会因雪天天气而经历协变量偏移。此外，模型还可能遇到语义偏移，即样本来自训练期间未接触过的未知类别。这就引出了一个关键问题：我们能否为这两种OOD任务设计一个统一的学习框架？

我们的工作动机在于利用未标记的野生数据来同时解决分布外泛化和检测问题。在训练模型时，我们既使用标记数据也利用未标记的野生数据。标记数据来自已知类别（如长颈鹿和狗）。我们将野生数据进行广义表征，将其视为由三种数据分布混合而成：分布内（ID）数据、协变量偏移的OOD数据和语义偏移的OID数据。

野生数据不仅丰富充足，无需任何人工标注，而且包含了真实测试时存在的、具有协变量和语义偏移的OOD分布。我们的学习框架旨在通过利用标记ID数据和未标记野生数据，构建一个OOD检测器和多类分类器。在评估模型时，我们关注三个指标：ID准确率、OOD准确率和误报率（FPR）。

这些指标分别共同捕捉了ID泛化、OOD泛化和OOD检测的性能。现在介绍我们的方法论。为了解决这一挑战，我们引入了一个新的学习框架SCoon（Semantic and Covariate Out-of-distribution learning via Energy margins，基于能量边界的语义和协变量分布外学习）。SCoon联合学习一个鲁棒的多类分类器，使其能泛化到协变量偏移的OOD数据；以及一个可靠的OOD检测器，用于检测语义偏移的OOD数据。

核心思想是显式地优化基于能量函数的二分类器，在满足两个约束的前提下，尽可能将野生数据中的样本识别为“非分布内”。第一个约束是ID数据的能量值小于负边界值；第二个约束是多类分类模型必须保持高准确率。从数学上讲，我们的学习框架可以形式化为以下约束优化问题。这里我们用红色和紫色分别高亮显示来自野生分布的样本和ID数据。

我们提供了关于改进OOD泛化与能量边界之间关系的理论见解。结果表明，尽管我们的方法在训练期间无法访问协变量偏移数据的真实标签，但只要每个协变量偏移数据点都接近相应的ID点，适当设置ID能量阈值Ada就能使协变量偏移的数据被正确分类。关于理论的更多细节，请参阅我们的论文。

现在展示实验结果。实验结果显示SCoon在常见基准数据集上取得了优越的性能，我们强调几个有趣的观察结果：首先，我们发现SCoon优于具有竞争力的事后OOD检测方法。其次，SCoon也优于常见的OOD泛化基线方法。第三，我们将方法与利用野生数据的OOD检测方法进行了比较，SCoon显示出显著更好的OOD泛化性能。

我们可视化了施加边界与不施加边界的能量分数分布。在右图中，观察到ID数据的能量分数确实向更负的值移动，这表明了我们基于边界的框架的有效性。此外，ID数据与协变量偏移OOD数据之间的能量分数分布变得更加对齐，这有利于OOD泛化。

最后，我们展示了由Woods（无边界）与SCoon（有边界）学习到的特征嵌入的t-SNE可视化。这种可视化表明，使用我们的基于边界的优化方法后，ID数据和协变量OOD数据的嵌入变得更加对齐，从而提高了OOD泛化性能。这一观察结果也支持了我们的理论见解。感谢观看，如果您有兴趣了解更多关于该论文的信息，请参阅我们的论文和代码。