大家好，欢迎来到今天的“数据学习”讲座。今天我们非常荣幸地邀请到了来自 Meta 的 Ren Dong Tian，他是在对比学习领域享有盛誉的研究人员。因此，今天他将就“如何更深入地理解深度对比学习”这一主题进行分享。现在把时间交给观众，有请。
大家好，感谢各位参加本次讲座，也感谢邀请。今天我将探讨对比学习这一话题，演讲题目是“迈向更深入地理解深度对比学习”。我目前在美国 AI 研究所（FAIR）担任研究科学家兼经理。本次演讲主要带有一些激进的观点，旨在深入理解对比学习为何有效，以及其内部的运作机制。
这基本上是我们过去四年致力于深入理解深度学习的一系列介绍的一部分。众所周知，深度学习已经取得了巨大的实证成功。从 AlphaGo 到各种风格，再到不同的关系、语言、语音应用，以及近期出现的 Chinchilla 等模型（虽然我没提到 Chinchilla 图像，但这无疑是 AI 搜索的另一种方式），展示了使用人工模式在各种领域取得的令人印象深刻的结果。这非常令人鼓舞，考虑到历史背景，这简直难以置信。
当前人工智能的一个重要组成部分是“自监督学习”。自监督学习的核心在于，我们不再要求人类标记数据，而是希望数据能够自我学习。实现这一点的一种基本方法是：从整个数据集开始，然后移除数据的一部分，要求模型学习并预测缺失的部分。这实际上是许多现有工作提供的常见场景，涵盖了从视觉到自然语言处理，再到语音，甚至对于 DPT 的鲁棒性，你都能看到这种趋势，即模型基本上只是进行简单的下一个词预测。
语言模型操作表明，这种方法对于训练能够学习良好表示的模型非常强大。这既令人惊讶，同时也充满神秘感。我认为本次演讲的主要主题是理解这种自监督学习方法的工作原理，以及如何使其变得更好。今天我将重点关注的主题之一是对比学习。
通常发生的情况是，你有一个来自数据集的图像，或者任何模态的数据，这些数据基本上会经过不同的增强处理。例如，在自然图像中，图像可能会经过旋转、缩放或裁剪。一旦你得到两个图像 x_i 和 x_i'，这些图像将被发送到不同的神经网络中。在对比学习中，人们通常将这两个图像发送到具有相同参数的同一网络中，然后这两个图像经历对比损失。
这是一个非常简单的框架。在训练这个模型一段时间后，你会神奇地看到良好的表示从多层网络中涌现出来。这就是它的工作原理。以下是损失函数的设计方式，称为对比损失。我以最著名的对比损失 InfoNCE 为例。在这里，你想要做的是最小化同一样本的两个不同视图的表示之间的距离。
在这里，你可以看到给定样本 i，它可以经过两种不同的增强，这两种不同的数据增强将给你两个表示 f_i 和 f_i'。你希望这两个距离尽可能接近，因为你要使表示对分布不变。另一方面，如果你有另一个样本 j，那么你要做的是最大化 f_i 和 f_j 之间的距离，这两个表示分别属于两个不同的样本。
这些被称为负样本对，你希望最大化它们之间的距离，这也是合理的，因为你希望获得良好的表示，以便能够区分两个样本。因此，你有这两个不同的目标函数。为了将它们结合起来，人们已经发现了许多不同的方法。一个例子是我提到的著名的 InfoNCE 损失，你将这两个距离（视图内距离和视图间距离）放入这个方程中。
自然地，通过最小化这些损失函数，你同时最小化了正样本对的距离并最大化了负样本对的距离。这种损失已在许多场景中得到利用。对于本次演讲，我们将稍微探讨一下对对比损失的理解。大多数致力于理解对比损失的工作通常将神经网络视为黑盒函数逼近器。
这意味着你将神经网络视为一大类网络中的一个函数，属于一大族假设空间。一旦有了这个，你基本上想说，你可以选择一个函数，即预训练模型，该函数能够学习良好的表示，从而在下游任务中表现良好。在语言数学方面，你实际上想要证明的是对比损失和下游分类损失具有以下属性。
你想要证明，如果对比损失很小（这是预训练或自监督训练的目标），那么下游分类损失也会很小。这基本上是人们通常在下游任务上证明事情的方式。然而，如果你检查，实际上还有额外的项，即所谓的界限。界限通常取决于族的复杂性，因此你考虑的族越大，界限就越宽松，因为在训练过程中可能选择的函数太多了。
其次，需要对预训练和下游任务之间的关系做出假设。也就是说，直观上，你真的要思考这种预训练必须与下游任务相关联。
为了建立这些连接，我们需要降低损失函数的上界，从而使这两个损失函数相互关联。如果预训练与下游任务无关，那么这种关联是如何成立的？沿着这一思路，我们发现这种情况并不总是遵循那种紧致的界限，或者该界限变得过于宽松而失去实用价值。因此，为了理解对比学习的作用，我们必须思考神经网络能够利用哪些属性。我们不能将神经网络视为黑盒，以下一个反例表明，这种界限可能并不那么有用。
例如，在 Anand Kumar 等人以及微软的研究人员提供的论文中，他们展示了存在反例。他们展示了一个特殊情况：对比损失函数非常接近，但下游任务的性能却截然不同。基本上，他们构建了这样一个数据集，并构造了两个函数 f 和 g。在预训练阶段，f 和 g 具有相同或非常相似的损失函数，但在下游任务中，g 的损失远大于 f 的损失。
这意味着对比学习不一定能为您提供对下游任务有用的良好表示。这是一个非常有趣的现象。他们还展示了一张图，该图主要显示了相同的对比损失。例如，您可以构建两个表示函数，一个具有完美的下游准确率（100%），而另一个的准确率几乎接近随机猜测（50%）。
这种情况不仅发生在构造案例中，而且如果您运行不同的损失函数或进行不同的优化尝试，您也会观察到相同的行为。您会发现，即使使用相同的对比损失，使用 Adam 训练的那个难以获得良好的下游结果，而使用 SGD 训练的那个则取得了合理的良好结果。
如果使用 Adam 加上权重衰减，实际上也能给出很好的准确率。这基本上表明，我们不仅需要思考对比损失的结构，还要思考神经网络所遵循的规则，并找出其中的奥秘。这一点非常重要，因为如果您思考为什么深度学习实际上比以前的方法更好，您会发现所有这些损失函数以前就已经被提出并在以前的文献中被利用。
不同时代模型之间的唯一区别在于，我们使用了深度模型，而深度模型拥有秘密。因此，我们需要打开黑盒来研究深度模型。基本原则是我们希望打开黑盒，同时分析损失函数和架构，以便更好地理解对比学习在不同网络中的工作原理。这就是为什么我们将标题定为“深度理解”而不是“对比理解”。
让我们从第一篇论文开始，这篇论文是我们去年在 NeurIPS 上的论文。我们尝试使用坐标-wise 优化来理解对比学习。在这篇论文中，我们首先预测并构建一个通用的损失函数。该函数遵循如下形式：损失函数有两个参数 V 和 Phi，只要这两个函数是单调递增的，它们就会给出一个对比损失。
人们可能会想知道这个对比损失家族覆盖的范围有多大。实际上，它涵盖了许多不同类型的对比损失。以 InfoNCE 为例，我们从这个损失函数开始，经过一些简单的双曲函数操作，我们能够构建或得到这种等价形式。在这种形式中，Phi 定义为对数函数，Psi 定义为指数函数。
因此，我们可以得出结论，InfoNCE 损失是该家族的一部分。在下一步中，我们可以看到一个大表，显示了落入该家族的许多不同损失函数。这篇论文的主要观点是表明，最小化对比损失这种对比损失优化过程等价于以下的坐标-wise 优化。
在这种坐标-wise 优化中，发生的事情是，您不再仅仅优化一个参数 Theta，而是可以发现两个不同族的参数进行优化。首先，您有一个最大玩家，试图学习表示以最大化对比性。这个 E 函数是另一种可以表示对比性的形式。这是我们熟悉的，我们知道所有对比损失都在做这件事。
但在我们的分析之后，我们还发现了另一个最小玩家。可以证明，最小玩家可以在正则化因子的约束下最小化对比损失。这个最小玩家的意义在于找到具有相同表示或非常相似条件的不同样本对。这基本上就是实际发生的情况。
这基本上表明，InfoNCE 损失或落入该损失家族的其他许多损失，实际上是在进行隐式的对抗性发现和对对抗性学习。这是其证明。在这里，我们基本上用几句话描述了什么是 E 函数。E 函数实际上是表达对比性的另一种方式。
与其定义一个复杂的损失函数，不如说 E 函数具有非常清晰和优美的形式，人们也许能够使用它。它是对比协方差的迹。您有两个特征，基本上 f 是输入 X 的表示，您取对比协方差并取其迹，从而成为您的……
能量函数，好的。所以，这基本上是一个图表，展示了由这一族函数表示的对比损失是什么。你有两个函数 f 和 Phi，它们决定了损失函数。对于所有的对比损失，它们实际上都是其中的一部分，这其实非常有趣，因为它可以涵盖很多内容。
我们的框架实际上表明，对于这些不同的函数，它们都对应着相同的能量函数。这个能量函数 Epsilon 并没有改变，唯一的区别是最小化器（minimizer）不同。因此，最小化器实际上在不同的结构上运行。为什么会这样？因为最小化器实际上有一个分量，即正则化项 r。
所以，这些不同的正则化项实际上决定了最小化器 Alpha 在这个角落的行为方式。通过这样做，我们可以将许多不同的损失函数统一到一个框架中，并利用该框架来理解这些对比损失函数在做什么。这里有一个切片来讨论最小化器是如何确定的。
我们要展示的一个结果是，如果 Psi 是一个指数函数，那么我们确实可以证明 Alpha 是能量函数与正则化项之和的最小化。这个正则化项以及 Alpha 的可行集也是不同的。Alpha 可以在不同的可行集等中定义，正则化项是熵项，并且取决于你选择的可见集，你会得到不同的 Alpha，这就是不同对比损失之间的区别。
这里有一个例子表明，例如，你可以直接计算 Alpha，Alpha 实际上会给表示距离较小的样本对赋予更多的权重。这意味着这些表示实际上需要彼此分离。我们在那里放置了很多权重，以强调这一点。顺便说一下，Alpha 实际上是一个 N 乘 N 的矩阵，定义了批次中的 N 个样本。
一旦我们理解了对比损失，下一个问题就是：我们能做得更好吗？我们能否在此基础上设计有趣的算法？既然这是自然的，遵循这一分析，这里的 Alpha 是相对于正则化项对能量函数的最小化。但这在某种意义上是一种定义 Alpha 的间接方法。
因此，我们提出了 Alpha CR，称为加权对比表示（Contrastive Representation）。另一种想法是，也许我们应该彻底摆脱 Alpha，直接说 Alpha 应该由当前的函数 Theta 或网络的参数 Theta 直接确定。因为这基本上会给你更广泛的函数族，可以在对比损失函数中尝试，以解决条件损失问题。
以前，Alpha 被约束为一个参数，但现在 Alpha 可以是 Theta 的任何函数。因此，我们在新维度上扩展了对比损失的设计空间。我们实际上在 CIFAR-10 和 STL-10 上尝试了这一点，结果表明，使用 Alpha CR 直接方法实际上能给出合理的性能，略优于现有方法。
这种 Alpha 直接设置是将 Alpha_ij 设为指数函数。这非常有趣，我们可以直接尝试，而且效果相当不错。我们还可以在更多数据集以及不同的网络骨干网上进行此操作，并表明 Alpha 直接方法略优于 InfoNCE 损失，特别是在前 100 个 epoch 中，Alpha CR 在收敛速度上似乎比 InfoNCE 快约百分之二。
一旦有了这个框架，我们就可以思考该框架的不同应用。一种应用是，也许你应该为性能找到最佳的 Alpha。也许我们应该利用这些思想应用于更多领域，比如图网络。在另一个分支上，我们也希望利用我们的框架来理解对比学习。
在接下来的内容中，我们将首先简要讨论 Alpha CR 的理解，其次是当神经网络是非线性时 Alpha 的理解。这是非新组件，之后会有更多工作。首先，我们基本上想研究当网络是线性时对比学习的行为。
有趣的是，在深度线性情况下，当 Alpha 固定时，即 Alpha 不随时间变化，是一个固定参数，那么我们实际上可以证明对比学习将简化为 PCA 目标。这是一个有趣的观察结果。当网络实际上是深度线性网络时，我们可以证明以下定理。
几乎所有局部最优解都是全局最优解，你可以证明它实际上是 PCA。事实上，有一个定理三告诉你对比学习的确切结构或最终解。在这种情况下，当你有多个线性层堆叠在一起时，你可以证明收敛后所有权重都是秩一的。这基本上是一个等价的表示。
最优解基本上是我们基本上寻找对比协方差矩阵 X 的最大特征向量。是的，总之，对于这篇论文，我们在理论部分基本上说，如果我们固定 Alpha 且 Theta 是线性的，那么这将变成 PCA。所有这些权重将变成秩一，这基本上是一个非常简单的模拟，表明情况确实如此。
目标函数将跳转到 PCA 解的目标函数，所有奇异值显然与奇异向量对齐。因此，这些是建立的秩一，所有奇异向量彼此对齐。这个先前的结论实际上是我们之前发表在 ICLR 2022 上的论文的扩展，在那篇论文中我们分析了对比学习中的动态坍塌问题。
基本上，如果你使用 SSCL 训练一个自监督学习模型，我们实际上会看到很多坍塌问题。
对于对比部分，我将在论文中分析单层和双层的情况，并在报纸（注：此处可能为误听，指代后续工作）中将该理论扩展到多层神经网络。好了，这结束了演讲的第一部分，也是第一篇论文。请问有什么问题吗？
如果没有问题，我将继续。
在演讲的第二部分，我将讨论这一线性对比表示和线性对比模型的后续工作。如果网络是非线性的，会发生什么？这是一个问题。首先，我们要分析对比协方差 alpha 的含义。人们可能会想，从数学表达式来看，这看起来很像方差，实际上这是一个非常关键的组成部分。从某种意义上说，它具有变体结构。确实，你可以证明，当 alpha 满足某些有趣条件时，对比协方差 cr5 等价于方差。
这里有一个有趣的定理，展示了当 alpha 满足核结构时，基本上 R 可以计算为增强样本 x_i 和 x_j 之间的核。在这种情况下，当批次中的样本数量趋于无穷大时，cr5 将收敛于各种项的总和。这基本上是对比 alpha 的一个有趣属性。如果没有增强，我们直接去掉这个期望项，它将是 gr_file，基本上就像任何函数场的方差。
这里的关键问题是，当模型实际上是非线性时，我们如何理解对比学习？我们都知道，魔法发生在非线性网络中。这篇论文是我们之前 alpha cr 论文的后续工作，它今年将被接受在 ICLR（国际学习表征会议）。我还没有更新这部分。对于这篇论文，我们分析了单层和双层学习网络，并假设这两个网络具有同质激活函数。
我们基本上假设激活函数 H(x) 可以写成 H'(x) * x。这个表达式在许多激活函数中都成立，包括线性 ReLU、Leaky ReLU、Valu 以及带有额外常数的单项式激活。这些在现实世界的神经网络中特别有价值并被利用。这篇论文还重点关注训练动力学以及临界点分析，包括局部最优的统计和权重的动力学趋势。
让我们从单层线性网络开始。假设我们只有一个线性单层网络，F(theta) 基本上是一个线性网络，即 W 的转置乘以 X，然后应用激活函数 H。使用我们的框架，我们可以立即将对比学习的目标函数应用到这个单层非线性网络上。一旦写下来，利用同质性原理，我们可以将 W 的转置从两项中提取出来，留下这一部分。
这里的 x 是门控数据点。所谓门控数据点，是指如果该数据点位于节点的激活区域内，则该数据点是活跃的，门控数据点等于原始数据点；如果数据点位于激活区域之外，则将该数据点设置为零，即原点。一旦有了这个定义，我们可以将其写成以下形式。
如果你检查其结构，它实际上与 PCA 结构非常相似。你仍然有 W 的转置乘以 A 乘以 W。如果 A 是常数，这实际上变成了 PCA 目标，解显然是 A 矩阵的最大特征向量。这就是区别所在。如果你写出趋势，对 W 求导并检查权重如何随时间演变，你会发现这实际上与矩阵 A 的对比学习中的幂迭代非常相似。
但是，这里的 A 现在随 W 变化，这是这种方法与计算矩阵特征向量的幂迭代方法之间的区别。你可以看到，在线性网络中，当 A 是常数时，A 基本上包含所有门控权重。如果没有门控，所有门控权重都是常数，我们进入常数 A regime。在这种情况下，最大特征向量只有一个最大特征值，线性函数只收敛到单个特征向量。
然而，在非线性的情况下，因为 A 现在随不同的权重变化，通过输入 W 的不同方向，你可以在不同的维度上创建多个最大特征向量。这是线性网络与非线性网络在对比学习中的关键区别，至少对于单层网络而言。
以前我们也分析了特征向量，第二个向量可以显示为原始问题动力学的临界点。但我们都知道，临界点不一定等于局部最优，因为临界点是一组点，在实际训练中，你可能会逃离这些点集。我们在论文中有一节试图定义一些辅助度量，当矩阵度量是局部粗糙度时，如果显示局部粗糙度很小且两个特征向量之间的间隙很大，我们可以说 W* 实际上是稳定的，这是一个局部最优。
然后我们分析了两种损失函数的局部粗糙度度量，一种是均匀损失，另一种是高斯损失。
我们证明了这种局部粗糙度的测量值由该结构的上界所限制，而该上界的一部分实际上取决于用于损失函数的 Alpha 参数。我们展示了这种 Alpha 具有有趣的性质，例如高斯分布下的粗糙度上界远小于均匀分布下的粗糙度上界。这是因为上界越低，条件成立的可能性就越大。该条件基本上指出，如果 Lambda 的间隙大于该规则，且该值较小，则任何驻点更有可能成为局部最优解。
这表明，与均匀分布的 Alpha 相比，高斯 Alpha 可能拥有更多的局部最优解。这也解释了为什么这种影响力损失（influency loss）的表现优于定性损失（qualitative loss）。因为如果存在更多的局部最优解，网络就能从原始数据中保存更多的模式，而这些小模式对于网络的表征能力非常有用。
通过相同的分析，我们还可以在非线性情况下考虑多节点（multi-node）的情况。正如我在单个非线性案例中所说，数据中存在多个模式，对于非线性网络，模型可以捕捉到多个局部最小值，每个局部最小值对应于局部模式。对于这种非线性网络中的多个节点，我们可以证明，经过对比损失优化后，我们要优化的目标函数基本上是一系列独立的单节点目标的总和。
这基本上就是单层情况下的原始目标，而在多节点情况下，你基本上是将所有独立的单节点目标相加，每个 WK 对应一个。这清楚地展示了一个图景：即使对于多节点的非线性网络，如果是线性的，会发生什么情况呢？即使你有很多不同的权重，它们都会收敛到全局最大值，因为算子函数本质上是特征值问题。
在这种情况下，所有权重都会收敛到相同的特征向量，基本上无法捕捉数据中的丰富结构，增加节点数量也无济于事。另一方面，如果你优化非线性模型并进行对比学习，至少在一层的情况下，你将拥有多个局部最优的特征向量，每个向量可能捕捉数据中的特定模式。
数据中的这些特定模式将覆盖数据的不同多样性，它们将从中学习更多的模式，从而使表征更加丰富。这基本上是该论文的主要贡献之一，旨在分析使用对比学习训练的非线性网络中发生的事情。随后，我们将这一思想应用于两层网络，其中我们也有多个感受野，并且还有一个覆盖所有感受野的额外层。
我不想深入探讨所有的数学细节，只想谈谈从分析中发现的一些思想。首先，我们需要做出假设：基本假设是均匀 Alpha、非常大的批次以及没有数据增强，这样我们可以简单地说 V 等于 C，即对比方差变为方差，这将使分析变得更容易。
我们还假设顶层训练速度快，并且在给定隐藏变量 Z 的条件下具有条件独立性。对于第三个条件，我将用额外的幻灯片进行讲解。因此，这里我们基本上假设存在一个分类变量 Z，给定该分类变量，你可以将输入 X 分解为多个区域，每个区域对应输入对象的一部分。
这就是基本思想。给定这个变量 Z，它决定了对象的整体形状，意味着对象的每个小组成部分基本上可以彼此独立地变化。这是非常简单的假设。你知道，在训练过程中并没有给出这个 Z，它基本上隐藏在数据中。我们知道存在某个 Z，那么 Z 实际上会在数据的组合方面帮助你，但我们并没有针对 Z 的任何形式的监督。
有趣的是，如果你使用更深的神经网络和对比损失来训练模型，你可能能够从分析中自动发现 Z。首先，我们基本上证明了线性网络无法学习许多有趣的特征。如果网络是线性的，我们实际上可以证明，由于动力学原因，它们无法从这种动力学中学习任何多样化的特征。
但非线性网络能够摆脱这些约束。其次，有一个事实称为全局调制（global modulation）。调制发生的情况是，如果你真正写下权重在某个位置的动力学，你会看到我们仍然有这个 A，它基本上是这个底层协方差矩阵，但它会有一个额外的项。
这一项基本上与这里的隐藏变量 Z 有关。当你拥有一个对于隐藏变量 Z 来说是独特特征时，跟踪该数据的项会很大，因为特征在 Z 等于 1 和 Z 等于 0 之间会有所不同。然后，你会在动力学中添加额外的项，这基本上表明它将鼓励学习能够区分两个隐藏变量 Z 等于 0 和 Z 等于 1 这两种情况的隐藏特征。
这表明，虽然 A 可以作为局部最大特征向量包含许多特征，但这些数据实际上可以帮助其他训练过程进行区分，并找到真正能够将数据分解为多个组件的特征。这是一个非常有趣的结论，这也展示了调制是如何发生的细节，我将跳过这部分。
总之，我们看到了特征涌现的这种有趣的结构。进行对比学习训练时，我们不需要指定任何关于最新隐藏变量的信息，我们只是放入数据，然后让模型自动学习。它试图学习与 Z 敏感的特征，而 Z 是全局结构中的一些东西，它将尝试学习一些局部特征。
这些特征与全局结构相关，而对于那些不再与全局结构相关、或者仅仅是局部噪声的特征，它们将在训练过程中被优先考虑。这实际上是一个非常有意思的结论，表明神经网络可能会自动发现变量，并鼓励学习支持高层概念的低层支撑特征。这与贝叶斯网络（BSN）形成了鲜明对比。如果你考虑贝叶斯网络，所有的隐藏变量都需要预先指定，机器学习的任务是估计它们的条件概率。
但神经网络不需要这样做，有时它会自行发现其他隐藏变量，而不是依赖人类去识别额外的环境。在现实世界中，通常可能存在成千上万个隐藏变量，人们对此一无所知，但对于贝叶斯网络或图形网络来说，要实际发现所有这些变量是非常困难的。
为了证明我们的理论发现，我们在这种实验设置下进行了一些非常简单的分析。我们构建了一个非常简单的数据集，该数据集基本上是一串令牌。我们准备了一个可以生成正样本对和负样本对的生成器。每个生成器都有几个固定的字母，而在标记为星号的所有位置上，将随机替换为任何符号，从而形成输入序列。
对于正样本对，它们对应于同一个生成器，但实例化时使用了不同字母表中的不同星号。而对于不同的样本，它们基本上是由不同的生成器生成的。这就是构建正负样本对的方式。对于每个符号，都存在一个环境。
对于每个生成器，实际上有一种构建方法。例如，对于你的生成器，某些符号在中心位置是固定的，如 c、b、a、d，它们固定在不同的位置。对于不同的生成器，这些符号可以改变，但对于每个区域或每个位置，只允许使用有限数量的符号作为生成器的固定符号。
例如，对于位置 R2，即从 R0 开始的第三个位置，我们只允许使用 a、b 和 c 符号作为生成器的固定符号。因此，在那个特定位置，你会看到这两个符号是相关的，可用于确定它是哪个生成器。还有另外三个符号 D 和 F，它们仅在生成实际序列时使用，因此这三个被定义为无关符号，仅由通配符生成。
我们想知道是否只需要学习那些对确定生成器有用的符号，即训练集输入中的底层符号或数据点。我们使用这种双塔网络架构进行了训练，并计算学到的权重是否与令牌嵌入相匹配。如果这两者非常接近，则表明我们可以从前端数据中重构令牌。我们采用的指标是这些匹配分数的平均值，越高越好。
有趣的是，首先，如果没有多样性模式且没有或 prime 转换，线性网络实际上比双塔网络更好，因为线性网络无法学习多样化的符号。但当只有一个符号模式时，线性网络的表现要好得多。
另一方面，如果存在映射，即每个位置都有多样化的相关模式，有三个允许的模式可以出现在不同的生成器中，那么当你看到线性网络的表现不如 Sigmoid 网络时，这一点就很明显了。但这三个泄漏值以及内源性值实际上比其他方法表现要好得多。有趣的是，这些是同质激活函数。
我们还计算了负匹配分数，即评估匹配分数尽可能慢的情况，并显示该值具有最小的无关匹配分数。这里有关于它学习到的特征类型的可视化。你可以看到，对于每张图像，如果它代表一个感受野，从 R0 到 R9，因为我们有 10 个不同的位置，对于泄漏值，它清楚地表明每个激活或权重实际上只捕捉单一模式。
这非常清晰。对于嵌入中不属于相关集的模式，没有任何激活捕捉到它。但在我们的线性设置中，情况变得非常复杂，我们不知道如何解释它。我们还测试了二次损失在效率方面是否有任何优势，反之亦然。
我们看到二次损失具有非常清晰的模式，与信息对比损失非常相似，但性能稍差。这基本上表明我们的分析可以应用于不同的损失函数，因为在我们使用的 Alpha-CR 框架中，该框架涵盖了信息对比损失和生产力损失。
总之，在这次演讲中，我主要介绍了 Alpha-CR 框架。我们首先讨论了如何将最小化各种对比损失函数转换为 Alpha-CR 框架，然后讨论了其应用以及对线性设置和非线性设置中 Alpha-CR 的理解。
作为未来的工作，我刚才提到的一个点是，我们的分析表明神经网络或传统图形模型层和网络可能存在潜在优势。在这种情况下，分子可能能够自动发现随机变量，至少在两层情况下是这样，而图形模型只能在人类定义的随机变量上操作。因此，在未来我们……
我们还希望利用训练动力学工具来分析其他架构，我的示例包括自注意力和Transformer，这些在近期涉及计算机视觉和自然语言处理等不同场景的工作中非常流行。我们的长期目标肯定是探索如何迈向一种统一的机制，以鼓励特征的涌现，我相信这是神经网络在实证环境中取得巨大成功的关键。谢谢，这是我的演讲，如果您有更多问题和想法，请告诉我。
非常感谢Random带来的精彩且令人印象深刻的演讲，我也觉得这些观点非常具有理论深度。在座的各位如果有问题，请随时提出，您可以举手或在聊天框中输入问题。首先，我想向您提问，谢谢您的演讲。我想知道，您如何提升这种表示方法从预训练过程到下游任务的有效性？
这是一个很好的问题。在这篇论文中，我们尚未进行这一步骤，因为分析的重点在于特征在预训练过程中是如何被学习的。因此，如果要进一步证明这种预训练能带来良好的下游任务表现，您可能需要假设下游任务也会使用由预训练步骤学到的特征。
一旦做出这个假设，您肯定可以证明一些有趣的内容。但我认为，我们首先应该深入理解特征的学习过程，然后才能假设这些特征在下游任务中得到了细化。谢谢。
之前在一篇论文中您提到，对比学习本身已经存在，但深度对比学习使其真正变得强大。您刚才讨论了当神经网络深度增加时的情况。我想在演讲中讨论的是，当深度增加时，例如深度网络和非线性网络，特征是从数据中学习到的。
一旦我们知道了特征是如何学习的，如果您想分析为什么这适用于下游任务，您可以假设这些下游任务想要使用这些特征，然后您可以证明优化边界。关键不在于优化，关键在于我们应如何以及能否理解特征的学习过程。
我想知道您的解决方案或结论是否适用于其他形式的学习，例如非对比性的学习，比如BERT和GPT。对于非对比性学习，我们实际上在去年的论文中讨论过BERT。
但我的意思是，如果要分析BERT或GPT，还有更多工作要做。是的，虽然不完全适用，但有一些共同点。谢谢。
好的，谢谢。请继续。
大家好，谢谢您的演讲。我只有一个关于您幻灯片开头的问题。您提到在强增强下，对比学习将收敛到低秩潜在空间。那么，如果我们能获得全秩的潜在空间，是否有益？
首先，这个结论是在网络已经收敛时得出的。所以，如果您有一个线性网络，您可以证明对比学习将收敛到低秩结构。这就是确切的结论。
例如，为了学习丰富的结构，您可能需要添加非线性激活函数，这将帮助您捕捉多样化的特征集。这是从这些讨论中可以得出的第一个结论。
其次，对于线性网络，即使您希望它是高秩的，基本上也很困难。我的意思是，即使您有过参数解，训练也会使内部秩坍塌，因为在线性结构中确实没有什么可学的。
基本上，线性结构会具有这种“赢家通吃”的结构。因此，任何方向都比其他方向更强，所有方向都会汇聚到它那里。您将无法学习多样化的结构，但如果您加入非线性激活，这种激活将帮助您学习更多样化的特征，这就不会那么低秩了。
我可以认为在高秩潜在空间中，非线性阶段会给我们提供更丰富的表示吗？是的，是的，我想是这样。您可以这样认为。谢谢。
好的，谢谢。Joe，谢谢你的提问。我想现在已经是下午两点多了，只是为了看看观众是否还有最后的问题。
是的，如果有的话，我想还有更多问题。哦，也许我只是有一个非常简短的问题。谢谢您的演讲，非常精彩。我刚刚想到，Hinton最近强调了负样本对的重要性。如果没有这些负样本，即使是像Bootstrap Your Own Latents这样的论文，最终也只是建模网络的动态以进行自我训练。
那么，负样本对对比学习来说有多重要？我认为这对于对比学习来说始终非常重要。这实际上是使其起作用的关键部分之一。
我的意思是，即使是对于非对比性学习，我们的分析也表明存在一个隐式的阈值，该阈值由权重衰减决定。这个阈值将区分正样本对。
所以这实际上也非常有趣。即使在非对比性学习方法中，实际上在某个地方也存在隐式的负样本对，隐藏在训练阶段中。
例如，对于BERT或任何其他自回归模型，比如BERT或GPT-3，它们的做法是，为了预测某个缺失的标记，您使用Softmax损失。Softmax也是对立的，因为您希望最大化该标记的概率，同时最小化其余标记的概率。
因此，那里也存在对比，以便学习良好的表示和特征。所以它实际上无处不在。有时论文的标题试图让您感到惊讶，但实际上它总是隐藏在某个地方。
谢谢，这太棒了。是的，谢谢Harry。让我们看看是否没有其他问题了。
再次感谢 Random 接受我们的邀请，并带来如此精彩的演讲。同时也感谢各位观众参与，期待下周在数据学习讲座中再次见到大家。在此，向欧洲的各位致以晚安，祝大家度过愉快的一天。再次感谢各位的参与。