欢迎来到深度学习最后一场会议，我是菲利普·格兰维尔。我和菲利普·伊索拉将共同主持这场会议，和其他场次一样，我们将进行三场演讲，随后是三分钟问答时间。会场内设有三个麦克风：一个在侧边，另外两个分别在每一层楼。因此，请在最后一场演讲接近尾声时，排队等候在麦克风后提问。你们的问题会比我和菲利普提出的更有趣，所以请在演讲结束后踊跃提问。另外一件事是：最后一场演讲后请不要离场，请等到最后一个问答环节结束再离开。我和菲利普会看到你们，并认出谁在提问。好了，如果大家对这些安排没有异议，我们就开始吧。大家好！
现在请拿出手机拍张照片，你很可能使用的是有损图像压缩算法。传感器输出的数据经过编码器保存为比特流，当你稍后查看这张照片时，看到的实际上是原始拍摄内容的轻微降级版本。然而，也许你并不希望这样：如果你是专业摄影师，或者正在处理医学图像等应用，我们就必须保留图像的完整性。这就是无损图像压缩的用武之地：你的解码器输出将与输入完全一致。本次演讲将介绍我们的工作，即首个实用的学习型无损图像压缩算法，它能生成较小的比特流且速度极快。为了解释其原理，让我们从通用无损压缩开始讲起：这里有一些根据概率分布P分布的符号。
你获得了一条消息，这仅仅是一串独立同分布的符号流。你想将它们编码为比特流，以便稍后解码时能还原出原始符号序列。为此有多种算法被称为熵编码算法，你可能知道的例子包括霍夫曼编码或算术编码。这些算法根据符号的概率分布输出比特：概率越高的符号获得的比特数越少，因此我们需要知道P或其估计值。我们的问题是自然图像的分布P是未知的，所以我们旨在学习一个概率模型$\tilde{P}$。我们的目标是最小化$\tilde{P}$的负对数似然，这等价于使用$\tilde{P}$压缩实际按分布P生成的符号时的比特成本。请注意，无论这个$\tilde{P}$有多糟糕，你始终可以进行无损压缩，只是可能会使用更多的比特。
那么我们如何学习这个$\tilde{P}$呢？首先，我们将图像的像素作为符号流。与默认的无损压缩情况不同，这些像素之间并非相互独立，而是高度相关的。因此，我们希望以某种方式学习图像所有像素的联合概率分布$\tilde{P}(X_1, ..., X_n)$。我们必须对这种联合概率进行某种分解，否则学习将变得不可行，熵编码也无法实现。因子化的一种选择是对像素进行因果分解：这里$\tilde{P}(X_i)$取决于左侧和上方的所有像素。我们希望得到某种类似的东西，并用一个黑盒来表示它：我们如何利用这个黑盒进行熵编码？
由于$\tilde{P}$在符号流中的每个位置都会变化，我们使用自适应算术编码。这是一种熵编码算法，其概率分布可以在编码过程中发生变化，只需确保解码时也能知道该分布即可。为了压缩图像，你会逐像素遍历：在每一步中，将所有先前的像素输入黑盒得到$\tilde{P}$，然后将其馈送到自适应算术编码器以更新比特流。稍后解码时，你可以再次使用黑盒，但这次输入的是已解码的像素。通过这种方式，你从黑盒中逐像素地获取信息。如果你对自回归生成模型熟悉，你可能会注意到PixelCNN使用了这种因果分解。
事实证明，图像生成文献研究的问题与无损图像压缩非常相似：它们也学习模型$\tilde{P}$，同样旨在最小化负对数似然，只是它们使用$\tilde{P}$进行采样。那么我们就此大功告成了吗？我们可以直接使用PixelCNN进行无损图像压缩吗？理论上可以，但速度会很慢，因为这些方法需要每个像素进行一次前向传播。这就是我们方法的切入点：与其对数千个像素进行分解，不如对少数几个可学习的辅助变量进行分解。我们首先从X中提取一个学习到的低维表示$Z_1$，然后在解码时对$Z_1$进行条件预测。
现在我们可以并行预测所有像素的$\tilde{P}$，但等等：我们需要从解码过程中获取$Z_1$。为此，我们使用自适应算术编码保存它。通过学习$\tilde{P}$得到第一个$Z_1$后，我们对另一个更低维的表示进行条件预测。我们递归地执行此操作，直到最终得到一个极小的表示，我们可以直接保存它而无需再学习$\tilde{P}$。这里我展示了与多尺度PixelCNN的运行时间对比，以及基于最快PixelCNN方法的性能比较。我们取得了超过三个数量级的巨大加速。
此外，尽管这是首个实用的学习型无损图像压缩算法，但我们已经超越了主要的非学习类方法：PNG、JPEG 2000和WebP。我想强调的是，学习算法的美妙之处在于你可以针对特定领域（如医学图像）进行适应，我们相信前方将有更多令人兴奋的成果。因此我们发布了所有代码和预训练模型。感谢大家的关注，我们在海报一号见。（掌声）大家好，我将介绍我的论文《图像到图像的翻译：通道白化与着色变换》，作者是Jo等，以下是我论文的合著者。首先我将描述我们要执行的任务：图像到图像的翻译任务是将给定图像转换为目标域，无需成对数据集。
我们还执行了基于示例的图像翻译任务：根据一个示例将给定图像转换为目标域。在本文中，我们专注于如何结合给定的内容和风格作为基线：当向内容注入风格时，AdaIN利用通道均值和方差的匹配来发挥作用。从这一角度来看，如果不同通道之间的协方差也包含在匹配统计量中会怎样？我们假设风格信息可能会更深层地反映出来，如响应中的比较所示。我们的目标是匹配通道间协方差。
除了通道均值和方差外，我将简要描述原始协方差匹配过程。首先执行白化变换，使其协方差矩阵变为单位矩阵；接着获取着色矩阵并与白化特征相乘，使得输出特征的协方差与风格特征相同。然而，由于白化和着色变换计算密集且反向传播非平凡，我们直接通过新型正则化方法近似 WCT 的输出。因此内容编码器自然编码协方差矩阵为单位矩阵的内容特征，而风格编码器编码着色矩阵。
为了内存和时间效率，我们进一步以组 wise 的方式扩展该方法。因此内容编码器自然编码协方差矩阵为分块对角线且每块为单位矩阵的特征，风格编码器直接包含表示为分块对角线的着色矩阵。我们进行用户研究以基于人类感知比较输出，左图展示了样本问题：哪一张最好地反映了示例的风格同时保持内容的身份。
我们评估了 60 组图像比较，表格最右列的结果表明我们的方法在大多数转换情况下具有优越性能。接下来我们评估分类准确率以衡量整体翻译质量，为此利用预训练分类器并在 CelebA 数据集上进行微调。我们检查生成的图像是否被正确分类为目标域，表格所示结果证明我们的方法在大多数情况下表现优越。
我们还应用该方法到艺术作品数据集，行表示指示器数据集，列代表模型，结果验证我们的方法显示出更强的风格反映能力。例如蓝色矩形中的河流颜色是从示例中提取的黑色，而情况下的河流颜色保持不变。同样第一行的结果说明了比其他基线更好地体现了示例的艺术风格。
该图显示了 CelebA 数据集上的比较，转换情况在标题中描述。右宏观列第三行的结果比基线更自然且头发更多，左矩阵第二行 Aalam 的结果显示出比其他基线更大、更自然的微笑。这些结果验证了我们方法的优越性能，左图第三列可视化了白化过程的效果，表明组 wise 深度白化变换使内容特征失去包括颜色在内的风格但保持内容的底层结构。
最后，右图在各种数据集上的表现验证了我们提出方法的鲁棒性。感谢聆听，详细信息将在海报环节提供。接下来是第二个报告：大家好，我是来自伊利诺伊大学厄巴纳-香槟分校的 Renton。我将讨论最大化的 Wasserstein 距离及其在生成对抗网络（GANs）中的应用。
在这项工作中，我们首先分析了当前 GAN 训练方法的局限性，重点关注样本复杂性。作为替代方案，我们引入了最大切片 Wasserstein 距离（Max-Sliced W Distance）。最后我们通过理论和实验展示了其优势。许多训练过 GAN 的人可能会看到类似的结果，这取决于初始化、训练有时成功有时失败。
针对这一问题提出的解决方案大致分为两类：首先是改进网络架构，例如 StyleGAN 和渐进式增长；其次是优化动力学，例如 WGAN 及其更新规则。我们的方法与第二方向相关。早期研究训练目标的是 Jostock等人的工作，他们指出了原始意图和散度的局限性并提出了 Wasserstein 距离。
然而高维空间中的 W Distance 由判别器估计，这引入了训练不稳定性，切片 Wasserstein 距离解决了这一问题。切片方法通过平均将样本投影到许多一维空间来计算 W Distance，在一维中计算很容易。此外如果所有的一维投影匹配则两个高维分布相同。
为了说明这一目标，考虑从红色和蓝色所示的两个不同分布中抽取的样本。当将数据投影到黑线上时，我们得到右侧的边缘分布直方图。不难计算该投影方向的 W Distance，这显著提高了训练稳定性因为它减少了对判别器的依赖。事实上原始的切片 Wasserstein GAN 没有判别器，但存在什么问题呢？
让我们考虑需要多少随机高斯方向才能区分两张图像。幻灯片上的示例中两张图片完全不同，注意角落的像素。用随机方向投影意味着每个像素与从正态分布中抽取的数字进行逐元素乘法运算。对于具有足够多像素的示例，两张图片投影到相同的值，导致训练信号很少且需要大量随机投影才能区分它们。
为了解决这个问题我们提出了最大切片 Wasserstein 距离（Max-Sliced W Distance）。与其平均随机选择的投影方向，不如使用一个信息量最大的单一最大方向。由于使用了最 informative 的方向它在迭代次数上收敛得更快，我们提供了展示该方法理论优势的细节。
现在这种方法在实践中表现如何？在学习高斯分布的均值时，我们在十、一百和一千维空间中比较了修剪距离与学习到的均值的差异。我们展示了不同投影数量的切片 Wasserstein 距离，观察到所提出的方法在高维情况下有显著改善。
我们还使用最大切片 Wasserstein GAN 进行图像生成，在 CelebA-HQ 数据集上训练标准卷积 GAN。
在512的分辨率下，我们能够使用渐进式增长或智能架构来训练网络。定量地看，我们也从中获得了益处。我们研究了无监督语言翻译，展示了使用Mute按钮词典在五对语言中达到的一精度。我们很高兴能在三号海报上向大家详细介绍我们的论文，感谢大家的驻足聆听。（掌声）
好的，提问环节。我有一个问题想问第一位演讲者关于压缩的故事。在90年代后期，有很多这类方法被使用，例如来自纹理文献的方法，像1997年Poppet和Picard提出的方法，他们基本上做了非常相似的事情，但使用的是非深度学习的方法，比如基于K-means的聚类。请问你们怎么看？这些方法是否只是回归了旧路，还是说深度表示才是让它们现在工作得更好的秘密武器？我不确定你们指的是哪些作品，但我会说这里的好处是你学习了特定数据集的统计特性，并且可以适应不同的领域。我假设这样做会得到更好的性能，尽管他们之前只是用K-means做到了这一点。嗯，我不确定，我需要比较一下。还有其他问题吗？
我有一个问题想问第三位演讲者：你们是否研究过生成式联邦串行网络在其他应用中的使用，不一定是为了生成内容，而是用于域内标注？这对其他应用有影响吗，还是主要仅用于生成？嗯，我认为这是一个好问题。我们正在研究条件生成，这具有域转移的能力。但目前在这项工作中，贡献在于提出了一种新的度量标准来比较分布之间的距离。所以我想它适用于所有真正需要估计两个分布之间距离的应用场景。谢谢大家，好的，让我们再次感谢我们的演讲者。（掌声）
大家好，我是Quanzhen。我将展示关于“使用可微凸优化的元学习”的研究。这是与AWS的Super Ensue、Avinash和Stefano合作的联合工作。在这项工作中，我们研究了少样本分类问题。在这个问题中，给定一个元训练集，我们希望计算出一个能泛化到未见测试集的分类模型。“少样本”指的是每个类别的训练样本数量。首先，让我们看看一个名为原型网络（Prototypical Network）的示例方法是如何工作的。在推理阶段，首先我们使用嵌入网络f_θ对训练样本进行嵌入；接着通过取每个类的嵌入平均值，我们可以计算出代表每个类的原型表示。最后，给定测试样本的嵌入，通过选择最近的原型类来完成分类。元学习的目标是学习特征嵌入f_θ，使其在与最近邻原型分类器一起使用时能很好地泛化。让我们看看如何实现这一点：一旦计算出分类模型，你可以计算元损失（meta-loss）。这里的阿尔法是一个衡量在保留测试样本上泛化误差的指标。f_θ是通过反向传播错误信号来进行元学习的。这是在单个测试级别发生的情况，你可以通过学习跨任务的总体集合来优化泛化误差。
在我们的工作中，我们提出使用判别性线性预测器（如SVM、逻辑回归或回归）来计算分类模型。为此，我们在深度网络中集成了凸优化求解器以解决SVM目标函数。我们将这种方法命名为MetaNet。为什么SVM求解器比基于最近邻的方法更好？第一，它具有适应性：能够在推理时利用正负样本进行依赖测试的决策。第二，它可扩展性更好：基于梯度的元学习方法（如MAML）容易过拟合，因为嵌入网络需要更大。而且已知SVM在高维空间中通常能表现得像最近邻一样，因此整合SVM求解器允许我们使用更大的嵌入网络。从网络图中我们可以观察到，为了训练嵌入网络，我们需要通过SVM求解器反向传播错误信号。由于问题的复杂性，我们观察到无需对Tamiya过程的荣誉进行微分即可获得必要的梯度。（注：此处原文语音识别可能有误，意指无需对求解过程进行显式微分）。设θ为SVM目标函数的解，那么方程中的红色路径表示一旦我们计算出θ，我们就可以获得一个闭式解，该解来自对输入数据关于θ*的梯度的表达式。然而，这涉及反转目标框中的Hessian矩阵，其大小为DK乘以TK，当嵌入维度较大时这可能是禁止性的（计算不可行）。为了解决这个问题，我们提出求解对偶公式。由于我们可以将分类模型表示为训练样本嵌入的线性组合， resulting optimization variables of size K times n + is small for the case of few-shot learning on mini imagenet and image net datasets.
在测试准确率方面，我们并没有看到不同学习算法之间的巨大差异。然而，当嵌入维度较高时，MetaNet将原型网络基线的结果提高了约3%，尽管推理时间增加了30%到50%。我们还在框架内实现了基于回归的学习，你们注意到MetaNet-RR，并观察到它显示出可比的测试准确率且计算开销更小。在C4 FS数据集上，我们并没有看到不同学习算法之间的巨大差异；然而，在更困难的FC100数据集上，其中元训练和元测试之间的类语义差距较大时，MetaNet将原型网络基线的结果提高了3%。我们观察到，我们的模型在单样本和五样本设置下的性能通常随着元训练样本数量的增加而提高。这使得该方法更加实用，因为我们可以使用单样本嵌入来应对所有元测试的少样本情况。更多详情请访问我们的海报。
大家好，我是Ari。我在这里展示我们关于“改进卷积滤波器训练”的工作。我们都知道CNNs已经取得了广泛的成功，但这种成功是以我们的参数化和增加的复杂性为代价的，这意味着推理速度更慢，并且需要大量数据来训练。因此，在网络剪枝和模型压缩相关工作中有很多研究。当你查看剪枝的结果时，这表明从较大的网络中将其修剪为较小尺寸比训练相同大小的网络更容易。
从这里从头开始，你可以看到黑三角形与趋势的对比。我们研究了这些卷积层中滤波器的重要性，发现许多滤波器对网络性能几乎没有贡献。这种图表对于像 VGG 这样拥有数百万参数的网络来说是预期的，但我们惊讶地发现，即使在 Cell 或 Tiny 这样的微小置信度下也会出现类似的图表。因此，我们想问的问题是：这两个问题是否相关？即无法从头训练小型网络，以及即使在小型网络中，许多滤波器在任务性能上几乎不贡献，尽管它们已经处于欠拟合状态。
这受到剪枝大量结果以及最近假设的启发，该假设认为训练更深的网络更容易，因为它拥有许多子网络的集成，你只需要一个好的子网络来完成这项任务。因此，我们的关键见解是训练一个滤波器重要性更均匀的网络，并在训练过程中剪枝和重新初始化滤波器，以探索大量子网络。当你查看 Reaper 训练过程时，它看起来像这样：首先初始化网络并迭代训练一定次数。
然后我们根据某些标准（我稍后会讨论）测量滤波器重要性，接着剪枝网络。在接下来的几次迭代中，我们只训练这个子网络，然后初始化深度剪枝的网络。在这里你可以看到在点 A 时一定百分比的滤波器被剪掉，而在点 B 这些滤波器被重新引入，并带有新的权重集而不是旧的相同权重。你可以看到这与标准训练（橙色线）相比具有较低的训练准确率，然而我们更感兴趣的是泛化能力。
即测试准确率，当你看到这些剪枝滤波器重新引入时（即在点 D），你会发现它们找到了更有用的新特征，并且具有更好的泛化能力。你可以多次重复这个过程，尽管边际收益递减。因此，问题是如何对这些滤波器进行排名以执行此过程。当我们查看滤波器时，我们发现同一层的滤波器之间存在大量相关性。在这里你可以看到第二层有很多相关性。
我们的第二个关键见解是最小化这些滤波器之间的相关性，即找到给定层中所有滤波器的正交投影，然后对行求和（不包括对角线），从而给出该层中每个滤波器与其他滤波器的重叠程度。我们发现这种排名与如果你能访问 oracle 时的排序具有非常好的相关性，并且其表现与 reco 相当，甚至不需要像 oracle 那样大量的计算。
因此，我们提出的最终解决方案是使用 Reaper 训练方案进行训练，然后使用滤波器间正交性排名。在这里你可以看到右侧的滤波器相关性在进行这种类型的训练后显著降低，特别是在后期层中。我们看到了 Reaper 与各种其他排名方案相比的结果差异，我们可以看到 Reaper 和正交性的组合带来了最佳结果。我们在海报中有更多感兴趣的结果。
虽然这项技术可能与 dropout 相似，但此过程无论网络是否有 dropout 都能工作（后者通常对卷积效果不佳）。与 DenseNet、Dense Prune 和 BAN 等类似技术相比，我们的方法表现良好。尽管这是为自编码器设计的，但我们发现即使在 ResNet-100 和 ResNet-152 等更深网络中也能带来小幅改进。
总之，我们要通过减少相关性来最小化滤波器的低效性，并通过执行此 Reaper 训练方案允许模型探索大量网络。请前往我们的七号海报，我们可以进一步讨论。谢谢。（掌声）
大家好，我是来自北京大学的 Sinful，代表我的同事展示我们的工作 Tenjin：半监督学习中的虚拟正则化。首先回顾 SSL 的设置，即我们旨在利用大量无标签数据和少量有标签数据来学习模型。我的重要方法称为流形正则化，即我们可以通过无标签数据找到低维数据流形，然后学习分类器。
为了澄清事情，我们总结了三个重要假设：第一是数据分布在低维流形周围，但观察到的数据包含偏离流形的噪声；第二是分类器误差假设沿着流形平滑变化。因此，期望分类器应沿流形平滑并对流形噪声具有鲁棒性。为此我们引入了 Tenjin 虚拟正则化，这张图显示了我们要提出的模型：基本上我们将使用两种训练策略来分别识别分类器沿流形和平行于法线方向的平滑性。
让我们首先回顾几个符号，其中大多数是常见的约定，我们只强调由生成器 G 的雅可比矩阵列空间定义的切线空间 txm。使用这些符号，提出的两个损失如公式一所示：基本上有两个正则化项添加到交叉验证监督损失中，即切向和法线方向。它们本质上是沿切线空间和正交空间的虚拟损失项。
为了实现我们的模型，我们需要首先学习并找到数据流形，然后分别在切线方向和法线方向执行服务或调整。为了学习流形，我们使用生成模型发送额外编码器，因为我们需要知道当今数据的流形表示。实际上有相当多的模型满足这些要求，例如在我们的论文中我们使用变分自编码器并对其进行局部化。
现在我们要详细阐述它们在虚拟多样损失属性方面的意义，它们实际上可以通过泰勒展开中的平方项来近似。因此它们变成了方程 5 和 6，考虑到切线空间
这实际上是生成器 G 的雅可比矩阵图像，因此我们可以将公式 7 重新表述为公式 8。通过进一步消除 R（由八式），我们得到公式 9。事实证明，该方程实际上是一个广义特征值问题，因此可以通过幂法和共轭梯度法求解。如迭代 10 所示，借助一些梯度交换技巧，迭代 10 仅通过几次反向传播即可完成。这部分总结了信任区域（TR）的内容，而对于其他正则化部分，主要技术相似，源自任何 RS 方程 12。这再次是一个广义特征值问题，我们可以通过几次反向传播利用幂法求解。最后，我们在最终提出的损失函数中添加了一个额外的熵正则化项，公式 14 即为我们最终提出的模型。
首先进行的是纹理分类实验，我们有六个标记为蓝色的数据点和大量未标记的灰色数据点。曲线表示学习到的决策边界，我们可以看到它们实际上学习了确切的真实情况。接下来是在标准半监督学习（SSL）基准上的实验，我们在 Post、SVHN 和 Citibike 上测试了我们的方法。我们可以看到解决了文档问题，在所有情况下，所提出的方法结合虚拟正则化都达到了最先进的性能。更多细节欢迎查阅海报，ID 为 6。谢谢。
现在我们有提问时间，请两位演讲者上台。这里还有麦克风，我想另一侧也有问题。由于我无法完全看到每个人是否在使用麦克风，如果你们不在麦克风范围内，请大声喊出来。我有一个关于元学习演讲的问题：第一个演讲中，你们是否研究过任务分布之外的泛化能力？即你们学习的表示或嵌入是否可以转移到其他任务，比如超出 TAS 分布的任务。我不确定我是否正确理解了你的问题，但使用支持向量机（SVM）而不是最近邻的一个好处是，当任务差异很大时，如 SPM 能够在一定程度上适应噪声嵌入。
我的意思是，你们将 Mini-ImageNet 作为 TAS 分布之一，但在其上学习后转移到其他地方呢？可能泛化效果不会很好，因为即使是元学习方法如 MAML 也在某种程度上过拟合了。所以它并不是什么神奇的解决方案。还有其他问题吗？也许是关于第二个演讲的：你们是否研究过权重退出的时间表以及它如何影响性能？退出过滤器权重的时间表。是的，时间表取决于网络的大小和参数数量。我们主要实验了普通的坐标下降法，在论文中我们有关于频率和次数的分布建议。但对于更深的网络，找到最佳数量非常棘手，但希望适用于普通坐标下降的 ballpark 数字可以转移到其他更深的网络中。例如，20% 到 10% 的退出率是一个不错的数字。好的，再次感谢演讲者，然后我们将进入下一节。
大家好，今天介绍的 TopPika 是用于图像描述的音频编码场景图。这是我们方法的动机：我们想利用语言内在偏差将简单的视频模式转换为更具描述性的字幕。当我们观察到某些时间模式时，我们可能无法恰当地使用常规语言来描述它们，但我们可以利用语言内在偏差将这些简单的视频模式转换为更具描述性的解释。这里有一个实际例子：给定一张图像，我们可能观察到某人拆包裹的模式。通过适当的替换词我们知道这也是一个人正在拆包。“人正在拆包”是一种语言内在偏差，而“某人正在拆包”则更具描述性和人性化。
另一个例子是：在观察到黄色香蕉并结合常识推理后，我们知道黄色的香蕉也是一种成熟的香蕉。这里，“成熟的香蕉”更具人性化。再举一个例子：我们可能观察到许多行人和车辆，人类将其总结为“繁忙的街道”。这里，“繁忙的街道”更具人性化、描述性。为了实现这项研究的动机，即利用语言并激发更富有内在含义的更具描述性的字幕，我们提出了用于图像描述的音频编码场景图。在此模型中，我们将语言中的内在偏差从文本转移到视觉语言，并在物理上保留这种语言的完整性。
此外，我们使用它来生成更具描述性的字幕：给定额外的视觉模式，首先保留这种语言知识在巨大的附加中。之后，给定一些作为查询的视觉模式，我们使用这些视觉模式从保留的语言附加中搜索知识以生成更具描述性的字幕。以下是我们方法的更简单流程：我们将场景图作为桥梁，将语言中的内在偏差转移给视觉。给定句子 S 和图像 I，我们使用场景图 G 作为段落到段落的兴趣点。之后，我们使用图卷积网络将此图形嵌入为向量，并保留这些包含附加牙齿的嵌入。
这项技术是通过重建句子 S 来学习的。在学习字典 T 后，我们将移除除稀疏性之外的所有其他部分。给定图像 I，我们首先生成其场景图，然后使用此图像场景图作为查询，从退化字典中找到相应的知识语言。最后，我们使用这种淀粉状的语言知识来生成最终的字幕 S。为了验证我们的方法，首先将其与一系列基线进行比较。从实验结果中我们发现，当使用图卷积网络时，与 PSLAM 方法相比性能有所提高。
此外，当字典是稀疏的时，我们可以发现诸如承诺之类的指标在语义距离方面可以进一步提高。我们还将我们的方法与一些最先进的方法进行了比较，从这张表中可以看出，与以前的 Chomsky 基线或文化最大值的最高水平相比，在语义距离方面我们表现更好。我们还展示了一些质量示例：对于一张图像及其场景图和字幕，通过比较我们可以发现声音描述发生了变化。例如，“路上的汽车”变成了“穿过其他道路的高速公路，交通更多”，这更具人性化且富有创意。
另一个例子是通过比较单字幕和场景图，我们发现“三棵绿色的树”变成了“郁郁葱葱的绿色森林”，这更具人性化。谢谢。欢迎观看我们的海报展示环节。（掌声）
大家好，我是Theia今天的演讲者。我将向大家介绍我们关于基于词性引导的快速、多样且准确的图像描述生成的工作。这是与我的同事Joe Tehan Levy以及来自伊利诺伊大学厄巴纳-香槟分校的导师Alex和David合作的成果。我们的工作涉及图像描述问题，即输入图像通过网络后，网络逐词生成一个描述图像内容的句子。
在这个例子中，描述的文本提到了盘中不同的食物项，正如图片所示。对于同一张图片，五位标注者写出了五种不同的描述。这表明许多描述都是合理的，因为显然有多种方式可以描述任何图像。然而，大多数描述方法的重点仅在于生成一个正确的单一描述。
在我们的工作中，我们力求生成许多正确的描述。束搜索（Beam Search）是从任何描述网络中采样一组多样描述的教科书式方法，以生成许多描述。束搜索在不同的词位置采样不同的单词。然而，在使用束搜索时，通常会观察到相同的单词或相同的n-gram经常出现在相同的位置。
这导致生成的描述集之间高度重叠，最终集中的局部变化很少。在图示例子中，红色高亮的三元组“一盘食物”在许多描述中被重复。人类生成的描述截然不同，它们没有这种琐碎的重叠。我们寻求生成比束搜索等方法的琐碎局部变化更好的多样性。
GANs和VAEs为我们提供了一种机制来生成多样的描述。GANs和VAEs使用如图所示的抽象开关框架，将抽象Z1、Z2、Z3与图像一起输入网络。网络使用此开关并生成对应于该开关的描述。
通常从高斯均匀分布或学习到的混合分布中采样此开关。该开关没有明确的语义。在我们的工作中，我们使用了这种“开关”的概念，但这里的开关具有明确的语义意义：我们的开关是一个词性标签序列的嵌入。
首先，我们生成与图像兼容的几个词性标签序列，然后使用这些词性序列来生成相应的描述。现在我们的描述遵循其对应的词性标签，而词性标签是有意义的句子结构，因此我们的描述具有不同的有意义句子结构。这使我们能够生成良好且多样的描述集。
现在我们来看一些实验结果，我们将把我们的方法与几种描述基线进行比较。我们首先从描述重叠开始看起，因为这是我们方法的动机所在。BLEU-4衡量不同描述之间的四元组重叠程度，较低的BLEU-4更好。我们的方法（词性方法）的BLEU-4最低，为0.63，接近人类基准值0.51。
接下来我们看其他多样性指标，这里分数越高越好。我们发现我们的词性方法为每个描述生成了更多的单字和双字多样性，它还生成了更高比例的在训练期间未见过的新颖句子。除了多样性之外，我们还通过BLEU等指标和用户研究查看了词性方法的准确性。
在描述文献中通常观察到，像VAE这样的多样方法会丧失准确性。我们的词性方法既具有多样性又相当准确，在BLEU等指标上优于VAE。在一项用户研究中，我们的词性方法超越了束搜索和VAE。
这些分数和用户研究评估了排名最高的描述的质量。由于我们的任务是多样描述生成，所以我们测量前K个描述的准确性。X轴表示描述排名K，Y轴指代CIDEr和SPICE等指标。词性方法（蓝色）的表现优于其多样性对手VAE（红色）。
请注意，束搜索方法（绿色）虽然比我们的方法表现更好，但如前所述，束搜索缺乏多样性。此外，束搜索非常慢，它需要在每个词位置进行重复推理。而我们的方法在每个词位置/开关只需要一次推理，因此根据采样的描述数量，我们的方法比相应的束搜索快5到10倍。
总之，我们提出了一种基于词性的描述方法。我们的方法快速且准确。请访问我们的海报编号8以获取更多详细信息，谢谢。
然而，我来自千叶大学初始参数实验室。我之前提到了注意力分支网络（ABN），这是一种用于视觉解释的潜在机制学习技术。解释卷积神经网络是重要的研究课题，为了解释其决策过程，诸如交叉激活映射和Grad-CAM等解释方法使用数字地图突出显示与预测类别最相关的信息丰富区域。
为了进行视觉解释，我们提出了一种新的卷积神经网络解释模型，称为注意力分支网络（ABN）。传统的视频/视觉解释方法使我们能够理解深度网络的决策过程，但它们并不有助于提高ImageNet上分类任务的准确性。
当我们使用注意力机制时，顶部区域的准确率提高了。我们的提案方法ABN通过将用于卷积神经网络解释的注意力图应用于注意力机制，从而通过应用注意力图来提高准确性。我们的注意力分支网络由三部分组成：特征提取器、感知分支和注意力分支。
特征提取器使用卷积层生成特征图，注意力分支基于CAM（类激活映射）生成注意力图。感知分支利用注意力机制将交叉偶尔的点结合起来。（注：此处原文语音识别可能有误，意指融合特征）。
ABN的设计非常简单。首先我们准备基线网络，将其分为特征提取器和感知分支。接下来，我们在特征提取器和感知分支之间添加注意力分支和注意力机制，如图所示。ABN以端到端的方式通过两个损失函数对注意力分支和感知分支进行训练。
注意力分支由卷积层模块和反卷积层组成，与CAM类似。组合层模块提取我们会议分辨率的特征图特征（注：原文可能有误，应为特定分辨率）。在卷积层模块之后，我们使用与顶层输入相同的通道进行反卷积层处理，以生成我们的注意力图。
我们将逐对一的反卷积层应用于第一个偶然特征图（注：原文可能有误，应为特定阶段）。感知分支在不使用注意力机制的情况下输出最终识别结果。为了提高准确性，我们的注意力机制具有旁路结构，以防止特征图丢失（原文fastness应为loss）。
我们的注意力机制强调独特的想法，同时防止特征图的损失。该图显示了最新模型（如ResNet和DenseNet）的准确性。
宽泛起源，除非下一个在……她增肥并且她有100个数据集。在这里你可以看到基线模型的顶层，由蓝色条形图表示，以及奥巴马ABN（此处音译或专有名词），由两个卡林巴琴表示。正如你所见，带有Avian的近期模型的准确率有所提高。让我们回顾一下注意力图：ImageNet在顶部和中间示例中的注意力地图几乎捕获了Grad-CAM的相同区域，而在底部示例中，Command Grad可以突出显示预测类别的不同位置。与Miss Krustacia相比，我们的Avian突出了正确的位置并给出了正确的答案——哇-哇。我们的Avian可以扩展到许多任务，例如面部属性识别。用于面部 beauty 识别的Avian……今晚通过应用马克思主义转向注意力分支和过去的分支，每个任务的注意力图正如你所见，注意力地图突出了与预测面部属性相对应的局部面部区域。现在我想结束我的一些演讲。在这项工作中，我们提出了注意力分支网络（ABN），它在获得视觉解释的注意力的同时提高了准确率。用于图像分类和面部属性识别模型的ABN代码由我们自己提供，Keith Hawks。感谢大家的关注。（掌声）
好的，有问题吗？ 你必须到另一边去，麦克风在这边，不在那一边。 还有你声音大一点。
是的，关于第二篇论文，那么如何确保生成的后验动作是准确的？必须正则化词性命名空间。目前我们并没有完全遵循所生成的后验，我们对部分词性的标签空间进行了量化，但大致来说，如果有三个形容词，它们确实出现在标题中。所以这是一种松散的嵌入方式，用于描述图像中有多少属性、多少对象以及多少动作——这就是我们目前看待词性标签的方式。因此，虽然存在有损的标题生成过程，但它确实能生成多样化的标题。谢谢。还有其他问题吗？
好的，那么我有一个问题问第一作者：你似乎……我一直认为描述性是图像本身的一个函数，你需要更仔细地观察图像才能给出更好的描述。但这似乎表明语言模型也起着重要作用。你能对此稍作评论吗？也就是说，你认为在提高描述性方面有多少是得益于语言模型，又有多少是你必须更仔细地观察图像才能从图像中获得更多信息？是的，如果你想要更具描述性的标题，你需要多仔细观察图像以获取更多信息，还是说这仅仅是添加了华丽的辞藻？或者说只是添加了一个更好的语言模型？在社会方面，使用更好语言的改进可以进一步……从实验结果来看，我可以证实与图卷积网络相比，利用语言归纳偏置的改进是显著的。这确实是一个更好的方法。好的，让我们再次感谢所有演讲者。
今天我介绍的是级联投影（Cascaded Projections），这是一种压缩深度网络的方法，由我与Andreas Ibaka共同开发。随着计算资源受限的边缘设备越来越多地部署深度网络，减少预训练深度网络的内存和处理消耗的方法需求日益增长。在这项工作中，我们提出了级联投影，这是一种端到端可训练的新型网络压缩方法。尽管存在许多不同的网络压缩方法，但在这项工作中我们关注权重分解和剪枝方法，因为它们是最受欢迎的方法之一。这两种方法都通过减少滤波器数量来降低网络中的计算量。分解学习方法学习滤波器的低维投影，以保留最多的信息和特征；而剪枝方法则从网络的每一层以及滤波器和后续层的通道中移除整个滤波器。这两种方法各有优缺点。分解方法的优点在于新的一组过滤器是由原始过滤器的线性组合形成的，因此没有信息被完全丢弃。分解方法的缺点是需要将低维特征图重新投影（reproject），以便由网络下一层的滤波器进行处理，因此需要分配额外的内存用于这些中间特征图。剪枝方法不需要这种重新投影步骤，因为它们直接移除被剪枝的通道和下一层网络的滤波器。然而，剪枝方法的缺点在于它们丢弃了这些被剪枝特征图中可能有用的信息。
在这项工作中，我们提出了级联投影（Cascaded Projections），它形成滤波器的线性组合，但不需要特征重新投影。为此，我们学习了一个联合低维正交归一化（orthonormal）投影，该投影既压缩当前层的滤波器，也压缩后续层滤波器的输入通道。我们施加正交归一化约束以提高优化问题的可处理性。为了优化我们的级联投影，我们在Graspin流形上开发了新的代理矩阵方法（PMO）进行优化。我们的矩阵在环境欧几里得空间中作为无约束变量被优化，然而这个矩阵并不直接用于计算我们的损失函数；相反，它是流形上通过重traction（retraction）找到的最近矩阵的代理。该过程使用奇异值分解完成。在这项工作中，我们使用这个重traction后的矩阵来保护滤波器并计算损失函数，该损失通过奇异值分解反向传播以更新我们的代理矩阵。这种优化方法允许使用一种结合中间监督与分类损失的损失函数，其中中间监督由压缩网络与非压缩网络之间的重建损失提供。在上图所示中，这种混合损失生成了一个具有与未压缩网络相似特征以及高分类准确率的压缩网络。对于基于残差网络架构的网络，我们不在残差块之间压缩特征；相反，我们使用这些中间特征来计算压缩网络的重建损失。这一设计决策的一个好处是它允许同时优化残差网络每一层的所有投影。在这里，我们展示压缩各种ResNet的结果……
在SyFy 10数据侧，您可以看到级联投影对于不同压缩级别的18层和50层残差网络表现相当出色。我们还对56层和110层的ResNet进行了压缩，同样可以看到级联投影表现良好。我们需要指出的一个重要点是，我们通常同时展示微调和不微调的结果，因为我们认为不微调的结果能更深入地揭示每种压缩方法的实际精度。而微调是一个非常耗时的过程，它会掩盖不同方法性能不足的问题。
接下来，我们将ImageNet上训练的VGG-16网络压缩至原始计算量的四分之一。我们首先展示不微调的结果，您可以注意到级联投影仅以顶级性能者三分之一的内存消耗实现了最佳性能。随后我们展示了微调后的结果，在此情况下，级联投影以顶级性能者四分之一的内存实现了第二好的最佳性能。
在本工作中，我们提出了用于深度网络压缩的级联投影方法。通过从一层到下一层级联压缩，该方法消除了对特征图树形投影的需求。我们的方法是端到端可训练的，使用了我们新的代理矩阵优化方法，并利用PMO的灵活性来结合中间监督与分类损失的更高级损失函数。最后，我们的方法允许同时优化残差网络。谢谢，我很乐意回答关于海报的所有问题，代码也将很快提供。（掌声）
大家好，我是来自斯里兰卡莫雷托大学的Justin。在本次演讲中，我将介绍我们当前的深度胶囊网络（Deep Caps）。通过加深网络结构来增强胶囊网络的潜力，这一方向为深度学习提供了新的前景。通过在低层和高层胶囊之间引入动态路由，网络也实现了协方差特性。尽管如我所述，在MNIST等简单数据上性能良好，但在更复杂的数据集上，其表现低于最先进的卷积神经网络。
我们的主要目标是开发具有高级图像理解能力的基于胶囊的神经网络，同时创建实例参数的联合表示。我们还希望构建计算高效的深度神经网络。我们的网络架构深受过去十年CNN从AlexNet到ResNet演变的启发，随着网络加深，理解复杂特征的能力增强。因此，我们需要通过加深胶囊网络来充分发挥其潜力。
我们的网络基于当前的胶囊层构建模块化架构，即“胶囊单元”。胶囊单元包含四个卷积层和旁路连接，通过元素级加法堆叠这些胶囊单元，我们可以使深度胶囊神经网络架构加倍。我们使用3D卷积核在胶囊张量之间应用从低层到高层的变换，利用与胶囊中原子数量相同的核维度生成单个高层胶囊张量切片。
通过使用多个这样的通道，我们可以产生最终的高层胶囊张量；并且通过在3D卷积中使用与每个胶囊中原子数量相同的步幅，我们可以分别对共享相同内核的输入胶囊应用此变换。在所有输入张量上共享内核有助于减少网络所需的参数数量，使其更具内存效率并能在单个GPU中运行。
新的内核集将用于为新的高层张量生成一组新胶囊，并且只需在这些两个胶囊张量的顶部应用动态路由而非针对每个胶囊进行计算，我们就能实现计算高效的Capsule层。解码器网络用作胶囊网络的正则化以及实例参数的生成器。
胶囊网络使用零主积分向量作为解码器的输入，我们仅将激活类的分割向量作为解码器输入。这使我们能够学习跨所有类别的实例参数联合分布，同时也为网络训练提供了更好的正则化项。
Deep Caps在胶囊网络领域取得了超越以往的性能，尽管其在分类精度上仍落后于传统的CNN。然而，在几个基准数据集的胶囊网络内部性能比较中，我们以显著优势超越了所有其他网络。由于实例参数是联合学习的，给定一个实例参数的变化将反映在所有类别中。
在这里我们可以看到跨所有类别发生的垂直拉伸现象。通过联合学习实例参数，我们可以唯一地识别出该参数及其对重建图像的影响。例如，改变张量实例参数会导致重建图像的旋转。此外，我们经验性地发现具有高方差的实例参数会引起全局变换如旋转和拉伸，而其余的实例参数则引起重建图像中更局部的变化。
谢谢大家聆听，请访问我们的海报编号11。大家好，我是来自加州大学伯克利分校的Pitching Woo。今天我将展示我们在VNet方面的工作，特别是针对神经网络架构搜索的高效覆盖设计。
这是与Facebook合作的一项联合工作。首先介绍亚洲同胞，如今许多移动和嵌入式计算机视觉应用需要准确且高效的网络。然而设计这样的网络具有挑战性，挑战来自三个方面：首先是交互式设计空间的问题。假设我们重新设计了VGG-16的卷积层，每层可以从三种核大小和五种通道大小中选择。即使如此简单的搜索空间也已经难以处理。
其次是架构的最优性取决于硬件设备，理想情况下我们应该为不同的目标设备设计不同的配置。但在现实中，由于训练和设计神经网络的代价高昂，我们只能负担得起设计一个版本并部署到其他条件中。
第三项工作主要关注如何提高神经网络效率代理指标的性能，例如参数量或浮点运算次数（FLOPs）。然而，这些代理指标并不总是能反映我们真正关心的实际效率。例如，NASNet-A的FLOPs略小于MobileNetV2，但实际的推理延迟却稍慢一些。现在让我们重新思考搜索流程的设计，看看它如何解决这些挑战。首先是手动设计，这是大家所熟知的：我们从隐式搜索空间开始，人工构思在目标数据集上微调后的网络架构，并利用结果指导未来的迭代设计。然而，这种人工工程化的过程耗时漫长，因此我们无法承受过多的迭代次数，且最终设计往往并非最优。
近年来，人们开始利用神经架构搜索（NAS）技术来自动设计网络结构。我们从一个显式定义的搜索空间出发，使用控制器随机、自动化地采样新的架构，并在较小的代理数据集上进行训练。随后利用结果来优化控制器中的策略分布，从而使控制器随着时间推移学会组装更优秀的架构。这种方法成功发现了超越人工设计模型的模型，但问题在于存在两个竞争激烈的瓶颈：计算成本高昂。因为它们仍然需要枚举并训练数千个神经网络，这限制了其实际应用效率。
我们提出的方法称为“鱼骨”神经架构搜索（Fishbone NAS），也称为DARTS或Dynamic Architecture Explorer。该方法采用分层搜索空间，由随机超网络（Stochastic Supernet）表示。在超网络的每一层中，包含多个候选算子；在前向传播过程中，我们根据由组合Softmax控制的分布随机选择这些算子。选定后，我们在给定数据集上评估损失函数。该损失不仅考虑准确性，还综合考虑网络的效率或成本。
网络的成本是通过将每个候选算子部署到目标设备上并测量其实际延迟来评估的。通过这种方式，我们的损失函数可以考虑到在特定目标设备上的真实延迟情况。这种基于损失的优化不仅尊重未来的架构选择，还影响了采样分布的收敛性。当训练收敛后，从该分布中采样的最终架构兼具高准确性和高效率。与之前的方法相比，我们只需训练一个超网络一次，而不是数千个独立的神经网络，从而显著加快了搜索速度。
超网络的候选算子可以是任意的，但在我们的案例中使用了倒置残差块（Inverted Residual Blocks）。每个候选层的算子是模板的变体，具有不同的卷积核大小、扩张率或宽度；我们也可以保留整个块以节省计算量。使用DARTS，我们发现了一族名为FBNet的模型，其性能超越了之前的最先进水平（State-of-the-Art）。与MobileNetV2相比，我们的模型在延迟上提升了1.5倍，FLOPs降低了2.4倍；与MnasNet相比，在保持相同准确性和效率的情况下，架构搜索成本降低了400倍。
这使得我们能够针对不同目标设备合成不同的网络配置。例如，在iPhone X（搭载A11芯片）与三星手机（搭载骁龙835处理器）之间，我们合成了两个具有相似准确率的网络。然而，当这两个模型部署在同一台iPhone X上时，为iPhone优化的模型实际上实现了1.4倍的速度提升。以上就是我们工作的简要总结，更多细节请参阅我们的海报。谢谢大家。（掌声）好的，有问题吗？我想Mike在这里工作在一楼……
关于胶囊网络（Capsule Networks），性能虽然越来越好，但仍然存在差距。我想知道您认为要让胶囊网络达到与非胶囊网络相当的水平，需要做些什么？性能确实在一点点提升，但差距依然存在。我认为动态路由（Dynamic Routing）的概念虽然不错，但在GPU等硬件上的性能优化还不够好。因此，通过进一步优化动态路由以及实例化参数维度（如我们目前保持为6，即8x8等），可能不足以捕捉高分辨率图像（如ImageNet）中的所有信息。通过增加这类研究，相信性能会得到提升。
您是否尝试过在ImageNet或高分辨率图像上进行测试？我们确实尝试增加图像的分辨率，例如从CIFAR-10增加到64x64，这确实带来了一些性能提升。好的，问题时间可能只够再提一个问题了，因为这将大幅增加内存需求：您是如何处理这一问题的？感谢您的提问。是的，如果我们使用超网络，我们的显存消耗会增加2到10倍，具体取决于使用的分支数量。但在我们的案例中，我们仍然能够使用标准的8 GPU配置进行训练。
当然，有许多方法可以减少显存消耗，例如减小批次大小（batch size）或缩短训练轮数等。在我们的实验中，我们发现这些方法并没有显著改变搜索结果。好的，让我们再次感谢演讲者，接下来开始下一组。（掌声）大家好，我是Ronnie。很高兴能在这里展示我们关于使用分层生成对抗网络从面部照片生成艺术肖像素描的工作。这是与Leo教授、Lee教授和Olsen教授的联合研究成果。
我们研究了点画艺术（Pointillism），这是一种历史悠久且独特的艺术形式，通常使用稀疏的连续图形元素来捕捉人物的独特外观。由于这项工作非常耗时，我们希望利用深度神经网络自动生成为艺术肖像点画。生成对抗网络（GANs）在解决许多图像合成问题上取得了巨大进展，例如PixelCNN和CycleGAN是两项典型工作。然而，它们对于艺术肖像风格的效果并不理想，经常生成模糊或大量的结果。
艺术肖像点画（也称为AP点画）在风格上与Pen-in风格研究有显著不同。首先，它高度抽象；其次，存在强烈的结构约束用于肖像描绘；第三，渲染在不同面部部分之间不一致；第四，元素并非由艺术家精确定位。大多数艺术家放置的是概念性线条，与低级特征无直接关系。因此，即使是最先进的图像风格迁移方法也往往无法产生良好的结果。
为了解决这些问题，我们提出了一种PGM（概率生成模型）分层GAN结构，专门用于面部结构和AP点画风格。该方法有三个亮点：分层结构、法向距离变换损失以及新的AP点画数据集。首先，它涉及多个局部……
专注于面部特征区域，并使用全局网络捕捉整体特性，以学习不同面部区域的联合分布。生成器和判别器均包含一个全局网络和六个局部网络。分层生成器将输入转换为这两种联合分布，而判别器则区分输入的联合数据是真实的还是伪造的。损失函数由四部分组成：感知损失、像素化损失、局部传输损失以及新颖的距离变换损失。
接下来介绍距离变换损失，因为手绘线条在AP联合中并不精确对应图像强度，这源于肉眼观察和概念性线条。仅使用L1损失无法处理这种情况，因为它对微小偏差和大偏差的惩罚相同。因此我们提出了一种新的TT损失来容忍小偏差但惩罚大偏差。DC损失基于距离，计算每个线条上的像素到输出图像中同类型最近像素的距离之和，反之亦然。我们使用距离变换和匈牙利匹配来计算它。
为了训练我们的EPIC联合，我们构建了一个新的AV联合数据集，包含140对人脸照片和相应的AP联合用于训练和测试。我们还使用预训练来弥补数据集中图像对数量少的问题，使用了超过6000对人像照片和NPR结果来预训练我们的模型并作为初始化。接下来展示我们的结果，首先看到某些未收集的人脸照片没有单镜头艺术家联合的研究表明局部网络对于捕捉每个面部区域的风格至关重要，而DT损失对于产生具有精细线条的干净结果至关重要。初始化有助于生成良好的结果。
接下来我们将与现有方法进行对比以捕捉不同面部区域的不同绘画技巧并生成高质量的结果。我们还进行了用户研究，发现我们的方法在71%的情况下排名最佳。总之我们提出了一种基于GAN的架构将人脸照片转换为AP联合，该模型专为人脸和AP联合风格设计并成功实现了AP联合的风格迁移。感谢大家的关注，我们的海报编号是13号。
大家好，非常感谢大家参加CVPR的最后一场会议。我是Eric，在卡内基梅隆大学的软件工程研究所工作。这是我之前在空军研究实验室工作时完成的一项关于允许用户以直观方式操纵生成器输出的研究工作。为了介绍我们的方法，让我首先讨论一下从用户的角度来看与普通的无条件GAN交互是什么样的。
在这里用户只是希望获得来自某个领域的逼真图像，我将使用的运行示例是人物头像数据集中的SLEEF数据集。正如许多人所知从GAN中获取样本只需从一个固定分布中提取随机种子并将其作为输入到生成器，从而输出一张图像。如果这张图片不是用户想要的样子这种无监督的扫描模型并没有提供太多直观的方法来进一步操纵输出。
因此这项工作的目标是开发一种允许用户以直观的方式与GAN生成器交互的方法，以便他们可以根据自己的喜好操纵输出。为此我们开发了一种约束生成对抗网络我们的模型利用了一个预定义的底层语义空间，如右侧所示用于建模用户可以操纵的图像属性。该空间可以表示各种各样的语义包括类别成员资格、属性、图像中描绘的对象以及其他事物。
对于这个运行示例，我们使用诸如头发长度、肤色和性别等属性来操纵图像，并使用属性分类器作为映射到语义空间的工具。因此其中一些属性是购买者眼睛版本的本质上连续的事物，但我们可以同时使用两者来与我们的模型交互。用户以这种相对约束的形式提供输入，这里用户为图像创建了一个更像绿色轮廓的正样本而不是红色轮廓的负样本。
模型将其解释为对底层语义空间的约束，该空间定义了一个区域（此处以绿色描绘），表示图像更接近正样本而非负样本。通过此约束，它与之前给出的约束相结合，其交集定义了一个可行区域生成器的输出应映射到该区域内。生成器接收此约束集和噪声向量并产生一个位于可行区域内的图像，结果是具有用户反馈所指示属性的图像。
相对于语义空间用户可以评估返回的图像并在必要时提供进一步的约束。我想展示一个示例说明人们可以与我们的模型进行何种类型的交互，为此我将专注于特定的视觉属性以作说明但请注意我们的模型可以接受任何非冲突的约束集。我将展示针对三个不同随机噪声向量的生成器输出，有效地从可行区域的不同位置进行采样。
在z1的右侧您将看到使用z1作为输入到生成器产生的图像，底部我将显示用作生成器输入的约束。我将从左向右依次添加约束因此上方生成的每一列图像都是使用下方的约束产生的，最左侧的随机噪声向量。给定底部的每个随机噪声向量的约束我们的模型产生顶部的图像，再给出两个更多的约束后生成以下图像。
现在顶部第三列生成的图像是使用各自的噪声向量和所有三个约束产生的。对于前三个约束我们选择了一个单一属性差异的示例集，即正样本和负样本之间是否存在浅色皮肤。因此我们期望生成的图像具有浅色皮肤根据用作映射到语义空间的属性分类器，这些图像确实拥有浅色皮肤。
大多数生成的图像我敢说90%的滑动实验（抱歉是90%的名人CelebA实验）满足了约束。接下来显示的三个约束具有棕色头发作为正样本和负样本之间的差异属性，因此生成图像的头发变得稍浅或在z1的情况下。
在图像中，人物似乎长出了棕色头发；在最后三张图中，正面和负面图像之间的区别在于：正面图像具有“女性”属性。这三张种子图像的容貌都发生了变化，因此映射到语义空间后赋予了其“女性”性别的属性。所以总的来说，这里所看到的以及我们在实验中观察到的现象是：约束条件定义了语义空间中相对于属性的特征，而Z向量则大致定义了图像的其他所有特征。现在我们有时间提问，但如果您来我们的海报展区参观，我们将讨论许多不同的内容，包括记忆网络架构、我们特定的对抗训练过程以及其他定性和定量实验。非常感谢大家。（掌声）
大家好，我是来自密歇根州立大学的代表。今天我将介绍我们关于“卡通化”的工作。“卡通化”是一种将人脸照片作为输入，并生成具有多样风格和不同程度夸张效果的角色的任务。该模型需要完成三件事：首先，我需要生成艺术纹理风格；其次，它需要对人脸生物特征进行变形夸张；第三个目标是保持输入面部的身份认同。该方法由两个主要模块组成：可形变生成器和判别器。生成器以人脸图像为输入，改变纹理并扭曲图像；判别器则区分输入照片的风格和身份。
与其他任何图像转换方法一样，我们的模型包含编码器和解码器，以渲染输入照片的纹理。我们添加了一个额外的分支来工作并渲染图像。具体而言，我们有一个扭曲控制器，它只是一个两层感知机，用于预测一组控制点和位移。可微分的扭曲模块利用这些控制点和位移来计算密集变形流，以扭曲渲染后的图像。纹理风格由潜在代码s条件化；在训练期间，训练了一个潜在的样式编码器来重建图像。
判别器中有两种类型的损失函数：第一种是补丁损失，它以最后一个特征图作为输入，仅区分真实照片、真卡通和假卡通之间的纹理风格；第二种是全局损失函数（原文误作“a tree through Laos”，实指global loss），其输入是紧凑的特征向量，用于区分风格和身份。这里的“风格”既指纹理风格也指几何风格。最后我们有三个损失函数：我刚才提到的两个，以及一个重建损失，用于确保身份识别信息不丢失于网络中，同时也帮助稳定训练。
可形变生成器可以单独训练，而扭曲控制器中的参数仅通过来自判别器的信号进行更新。我们获得了一个名为“Web Cartoon”的公开可用数据集，其中包含约6000张卡通图和252位名人的照片，用于训练我们的模型。数据集分为两半进行训练和测试。以下是我们将扭曲方法与CycleGAN等其他风格迁移网络在该任务上的结果比较。如您所见，风格迁移网络主要关注纹理风格，而忽略了输入域和输出域之间的几何差异。我们的方法可以改变面部输入的纹理和形状，请注意这里的所有图像均来自测试集分割。
我们将扭曲方法与其它卡通生成方法的结果进行了比较，发现我们的方法在保持输入面部身份方面表现更好。它还基于输入面部的卡通特征生成更夸张的面部效果。我们还可以通过缩放位移来允许用户控制夸张的程度。这不仅适用于名人，也很好地应用于手机自拍照片。以下是我们工作的更多动画结果演示。感谢您的关注，如需了解更多详情，请前往我们的海报展区15号展位。谢谢。好的，我们现在有提问时间。
麦克风在您身后右侧，您可能需要起身去那里。第三位演讲者：在变形控制过程中，您如何确保不发生模式崩溃？答：是的，几何方面。我们没有涵盖我们损失函数中的这一部分，所以我刚才提到的全局损失函数是一种特殊的身份敏感损失函数。我们将每个模态视为一个类，因此通过这种方式，我们可以鼓励模型通过艺术家绘制的卡通的几何分布来夸张和变形输入面部。我不确定您是否认可这个答案。
还有另一个问题，我想问第一作者：我注意到您的数据集中图像对齐得非常好，输入图像和期望的输出图像。对于原始图像中地面真实草图与图像的轻微不对齐，您如何处理？答：我想这包括对应的图像和关节点，但仍然存在未对齐的情况，因为艺术家只是通过肉眼观察连接这些点的。因此可能存在小的测量误差。此外，艺术家经常在较高区域和其他区域放置概念线以显示面部特征的存在。因此数据集中存在小的未对齐现象，这就是我们引入距离变换损失的原因。
谢谢。再来一个简短的问题，如果没有的话让我们再次感谢作者。（掌声）下午好，我是Phil，我将讨论图卷积神经网络的解释性方法。卷积神经网络的可解释性问题众所周知，常见的方法会在像素上产生显著图（saliency map），如上图所示。神经网络是研究热点，因此需要对图形模型进行解释性分析据我们所知，这是第一项解决此问题的研究工作。
存在许多用于卷积神经网络的解释方法其基本思想是将分类信号反向传播通过网络。每种优势都有优缺点，我们将这些方法适应于图卷积神经网络。关于图神经网络至少已有十年的工作历史可追溯至2009年Starcevic等人的研究。关于此主题的良好资源是“几何深度学习”社区以提供直觉理解，我们注意到图像是非常规则的网格图。图卷积神经网络将卷积神经网络推广到处理任意连通性，我们专注于这种架构3（原文截断）。
卷积层后接全局平均池化和softmax分类层。图数据表示为N×n的邻接矩阵和N×d的节点特征矩阵，每个节点关联一个D维向量。我们研究了两个数据集：来自MoleculeNet的分子和来自Visual Genome的场景图。对于分子，原子和键被表示为节点；场景图中对象是节点。目标是识别图中的显著子结构。我们使用三个指标来比较每种方法：对比度、稀疏性和保真度。“Contrastivity”捕捉到显著特征应在不同类别间存在差异的直觉；“Sparsity”捕捉到突出整个图的显著性地图没有用的直觉。第三个指标是保真度，它捕捉到遮挡显著特征应导致性能下降的直觉。
例如对于CNNs，如果我们包含猫的脸部，我们期望分类效果变差；类似地，当我们遮挡图的显著部分时，我们也期望最差的分类结果。准确率的下降是一件好事，因为它表明这些特征是相关的。因此我们在每个数据集上比较了每种方法。以下是分子的结果：显著节点以蓝色高亮显示，我们可以看到稀疏性和对比性激发背景（Contrastive Excitation Backdrop）在中间列中高亮的节点非常少。我们还可以看到对比性激发和Grad-CAM（右侧中列）通过为每个类别高亮不同的节点来体现对比性。
对于场景图，对象或节点的显著部分用彩色边界框显示：红色表示低，绿色表示高。与分子情况类似的现象也可以看到：梯度方法对比性不强，特别是与Contrastive Excitation Backdrop和Grad-CAM相比。这里显示的是跨数据集的平均指标，归一化后的Grad-CAM具有最高的对比度、第二高的保真度和最低的稀疏性。Contrastive Excitation Backdrops具有第二高的对比度、最低的反向保真度和低稀疏性。
相比之下，梯度方法具有高保真度但低于稀疏性和对比性。总之，由于其在解释中重要的对比属性，Grad-CAM通常适用；CEB最稀疏，适合分析大型图；对比梯度具有最高保真度但对比性最差。没有一种方法能捕捉所有相关属性，请根据应用选择其中一种。总之，我们将CNN的可解释性方法扩展到了图卷积神经网络（GCNs）。我们在两个数据集上展示了概念验证：分子和场景图。我们使用定量指标比较了方法，据我们所知，这是第一项研究图卷积网络可解释性的工作。
请前往我们的海报展位16号。最后，我要感谢我的贡献者和合作作者：So Hee、Muhammed、Charles和Heiko。我们在海报见，大家下午好。我叫A Son，我将介绍由Jubn、She和Hangul以及In Cho Lu在AI ML中完成的生成对抗密度估计器工作。使用生成模型，我们感兴趣的是能够解释数据是什么并能够提供密度度量的模型。通常这类方法分为两类：显式概率模型和隐式模型。
其中最好的例子是GAN，它们具有非常好的样本质量，但无法提供我们想要的密度估计。理想情况下，我们要寻找一种方法，既能提供直接的采样方法，又能进行密度估计，并且对过拟合具有鲁棒性，能够建模高度复杂的多元分布，且在计算上高效。为此我们假设给定一个集合并产生良好的样本；对于此目的，我们假设有好的数据X集。这里假设定义一个密度分布，类似于指数族形式，我们有充分统计量和归一化项。
通常归一化器是困难的，因为它包含需要估计的积分，这很难进行。我们必须这样做以确保它是一个适当的密度函数。如果重写这个目标最大化项，我们会看到我们有一个关于数据和密度模型的期望值；如果我们引入替代分布Q，我们可以将归一器重写为页面底部所示的形式。那么我们要计算关于所定义密度的最大似然估计，实际上有三个项需要计算：第一项是充分统计量的期望值。
对于第一个术语，密度是关于充分统计量的期望；我们计算关于充分统计量的期望值。第二个是替代分布Q下充分统计量的期望，这比第一个稍微困难一些；第三个是替代分布的熵。我们希望包含我们可以估计并覆盖整个数据的替代分布。第一个因为唯一的未知数是参数，所以可以使用我们拥有的数据；我们可以对数据进行经验平均并计算该平均值以估计未知的W。
对于第二个稍微困难一点的项，我们可以引入一个确定性函数；类似于GAN，我们从分布中采样并使用该确定性函数的雅可比行列式重写期望。对于熵，我们可以将其写为先验的熵和变换雅可比行列式的形式。当从Z转换到X时，该变换基本上给出了你所考虑的确定性函数的局部属性，并确保了一对一的关系。它不会遭受模式崩溃（将所有内容放在一起），我们有一个交替分布网络优化，介于定义分布本身的充分统计量参数和替代分布的参数之间。
我们可以用它来生成图像样本，就像你使用GAN所做的那样；你可以看到质量相对较好。然后你可以用它们进行密度估计，并确保生成器不会遭受模式崩溃。我们也将其用于视觉对话中。总之，我们的方法弥合了最大似然方法和GAN之间的差距。谢谢。（掌声）大家好，我是Martin，我将介绍我们的工作，称为So Deep。
排序PINET以学习排名最后的代理。许多机器学习任务由你选择用来评估它们的指标定义。例如，如果你使用Spearman相关系数来评估回归问题，这意味着你主要关心分数的相对顺序而不是它们的精确值。如果能使用定义任务的这种指标作为目标函数就好了，然而在大多数情况下它们是不可微的。在这项工作中，我们专注于排名指标，如平均精度、召回率和Spearman相关系数。这些指标是不可微的，因为它们依赖于排名的计算，而排名是一个离散值。从连续的核心域到离散的排名域的转换使它们不可微。我们提出通过学习排名函数的近似值来使这些指标可微。
让我们从一个回归问题的例子开始，我们希望用Spearman相关系数来评估它。我们在左侧有输入图像，它通过我们正在训练的模型A传播，其输出分数为蓝色。通常这会在最后与真实标签（浅绿色）一起使用，但在这里我们建议在分数和损失之间增加一个步骤。所以我们有一个预训练的网络SorterS，用于近似排名函数。将分数通过这个排序器会给出与分数相关的排名。在这个例子中，你可以看到最大的元素0.4获得最低的排名，而最小的配额0.01获得最高的排名。使用这个排名值，我们现在可以用不同的方式表达排名指标。
我们仍然可以使用反向传播：首先通过预训练网络，然后通过训练模型进行更新。现在我们已经概述了整体思路，我们可以进入具体细节。主要思想围绕着一个能够训练模型来近似排名函数的能力展开。我们测试了两种类型的架构：一种是基于循环神经网络，更具体地说是双向LSTM；另一种是基于卷积网络。经过评估，我们发现递归架构在近似排名以及在实际任务中训练这些模型时表现更好。
为了训练那些模型，我们只使用合成数据。所以我们选择不同类型的分布组合：均匀、正态和区间采样。我们对这些分布进行了随机组合，在右下角的图中你可以看到模型是如何训练的。我们在预测排名和真实排名之间使用了L1损失，这可以轻松地以不可微的方式计算。现在既然我们有了排名函数的近似值，推导指标的可微表达式就很简单了。
这里我将展示如何为Spearman相关系数做到这一点，从Spearman相关系数的表达式开始。它是1减去y的排名和Y在i处的排名的平方差之和。现在如果我们想最大化这个Spearman相关系数，我们可以将其重写为如下最小化问题：我们要最小化真实排名和预测排名之间的平方差。
现在为了使这个表达式可微，我们只需要用我们的排序器S_theta_B替换排名函数RK。这样我们就有了可用于作为损失函数的German相关系数的可微表达式。我们对平均精度和召回率也进行了类似的改写。现在让我们谈谈实验结果。我们用不同的任务测试了每个目标函数。对于平均精度，我们选择使用Pascal VOC物体识别挑战，当我们添加我们的SorterPlus到现有方法时，我们获得了具有竞争力的结果。
对于Spearman相关系数，我们选择使用视频记忆预测任务。视频记忆捕捉了人类在第一次观看后记住视频中人物的能力。在这个任务上，当我们使用我们的SorterPlus而不是简单的均方误差（MSE）时，我们获得了最先进的结果，提高了约1%。最后，对于受召回率启发的任务，我们在MS COCO数据集上进行跨模态检索。使用现有的视觉语义嵌入模型，我们用我们提出的方法替换了传统的三元组损失，并在所有指标上都注意到了显著的改进。
这表明可以通过仅使用合成数据学习其不可微部分的近似值来使指标可微，并且通过使用这种方法我们在实际任务中获得了具有竞争力的结果。最后，在这项工作中我们只关注排名指标和排名函数，但我们相信这个想法可以应用于其他不可微的函数。如果你能生成合理的数据，请在海报18处联系我们，并感谢大家的关注。（掌声）
好的，最后几位演讲者的提问环节。请尽量留下来，只剩下几分钟我们就结束了。所以有提问吗？我想这里有一位，这是关于通用密度估计的。我想知道你们是否曾考虑过从由特定标签集强加的分布中进行生成，并查看这是否与语料库范围的统计信息相匹配，以检查生成器是否实际上捕捉到了整个语料库的密度而不仅仅是模式。
我们没有考虑任何标签，所以它是完全无监督的。但我认为这是一个值得做的实验。不过我们查看了雅可比矩阵，因为当你拥有雅可比矩阵时……我的意思是无论如何我们都估计了雅可比矩阵。但如果它是满秩的，你就知道在你正在估计的内容和观察结果之间至少存在一对一的关系。它看起来接近满秩。谢谢，还有更多问题吗？
好的，我有一个关于可解释性的演讲的问题。你有一堆我们想要的代理指标来衡量可解释性，但仍然感觉这不是评估可解释性的最终下游方式。你是否有任何想法最终如何验证这确实更好地向人类或下游用户解释了行为？这是一个好问题。我们仍在寻找评估可解释性方法的原则性方法，你可以最终用一组人类受试者进行测试，看看他们更喜欢哪一个。谢谢。
好的，谢谢。也许还有一个问题？好吧，我想大家都准备好了。这是演讲的最后一场会议，让我们再次感谢所有演讲者以及其他人。（掌声）