会议组织与技术背景引入
本次CVPR 2019深度学习会话由Philip Granville和Philip Isola共同主持，包含三个口头报告及随后的问答环节。会议强调了现场互动的秩序与质量，要求听众在演讲结束后排队提问。本次会话聚焦于深度学习在图像处理领域的最新突破，首先由第一位讲者引入无失真图像压缩的话题。现代手机拍照通常使用有损压缩算法，传感器输出的数据经过编码保存为比特流，用户查看的是略微退化的版本。然而，对于专业摄影师或医学图像应用而言，必须保留图像的原始细节。无失真压缩的目标是确保解码器的输出与输入图像完全一致，而本次演讲展示的是首个实用的学习型无失真图像压缩算法。该算法能够生成较小的比特流，且处理速度极快。
概率模型学习与自回归生成的挑战
传统无失真压缩依赖熵编码算法（如Huffman或算术编码），这些方法根据符号的概率分布P分配比特数，高频符号获得较少比特。然而，自然图像的像素概率分布是未知的。因此，研究目标是学习一个近似模型P~tildetilde{P}，通过最小化负对数似然来降低压缩比特成本。虽然任何模型都能实现无失真，但糟糕的模型会导致巨大的文件体积。为了学习像素间的联合概率分布P(X1...Xn)，必须对分布进行因子化，否则学习将不可行。一种常见的因子化方式是因果因子分解（causal factorization），即当前像素的概率依赖于其左侧和上方的所有像素。这种结构类似于自回归生成模型，但在图像压缩中面临巨大挑战：每个像素的预测都需要一次前向传播。
辅助变量与加速机制的创新设计
由于自回归方法需要逐像素处理，速度极慢，本研究提出了一种新的因子化策略：将数千个像素的依赖关系转化为对少量学习辅助变量（learned auxiliary variables）的条件概率。首先，从原始图像X中提取一个低维表示S1。在解码时，可以并行预测所有像素的条件概率P~tildetilde{P}。为了获取S1，研究使用自适应算术编码将其保存；而S1本身又依赖于更低维的表示S2，这种递归过程一直持续到得到一个足够小的最终表示，可以直接保存而无需进一步学习概率模型。这一创新使得并行预测成为可能，从而解决了自回归方法的速度瓶颈。演讲者指出，图像生成领域与无失真压缩在最小化负对数似然的目标上高度相似，但前者用于采样，后者用于压缩。
性能对比与领域适应性优势
在运行时效率方面，新方法相比基于多尺度的PixelSNAIL和最快的PixelCNN基线方法，获得了超过三个数量级（more than three orders of magnitude）的巨大速度提升。尽管这是首个实用的学习型无失真图像压缩算法，其压缩效果已经超越了主要的非学习类标准格式，包括PNG、JPEG 2000和WebP。该算法的一个显著优势在于其适应特定领域的能力。例如，在医学图像等垂直领域中，模型可以针对数据分布进行定制优化。研究团队认为这一方向充满潜力，因此公开了所有代码和预训练模型。这种可定制性使得深度学习压缩算法在专业应用中具有超越传统通用格式的前景。
图像风格迁移中的协方差匹配研究
第二位讲者介绍了题为《Image-to-Image Translation via Channel-wise Whitening and Coloring Transformation》的研究，专注于无配对数据集下的受损图像翻译（impaired image translation）及基于示例的风格迁移。基线方法通常利用AdaIN技术，通过匹配内容特征和风格特征的通道均值与方差来注入风格。然而，该研究指出仅匹配一阶和二阶统计量（均值和方差）可能不足以捕捉深层风格信息。研究假设，不同通道之间的协方差结构也反映了重要的风格特征。因此，该方法旨在匹配跨通道的互相关矩阵（inter-channel covariance）。
通过对比实验，研究展示了包含协方差匹配的效果。这种更全面的统计量对齐方式被认为能更深入地反映风格信息。该工作扩展了传统AdaIN在图像翻译中的应用，通过引入更复杂的统计匹配机制，提升了内容保持与风格迁移之间的平衡。这一方法为无配对图像翻译提供了新的视角，特别是在需要精细控制风格特征传递的场景中。
WCT风格迁移的协方差匹配与正则化近似
原始的水白变换（Whitening Transformation）和着色转换（Coloring Matrix Multiplication）虽然能精确匹配特征统计量，但计算密集且反向传播困难。为此，研究者提出了一种基于正则化方法的近似方案：内容编码器被设计为自然编码协方差矩阵为单位矩阵的内容特征，而风格编码器则直接包含表示着色矩阵的风格特征。为了进一步提升内存和时间效率，该方法被扩展为组 wise（Group-wise）模式。在这种模式下，内容特征的特征协方差矩阵变为块对角矩阵，且每个块均为单位矩阵；同样地，风格编码器也直接包含由块对角矩阵表示的着色矩阵。这种设计不仅保留了统计匹配的核心逻辑，还显著降低了计算复杂度。
用户研究与分类准确率评估验证优越性
为了从人类感知角度比较输出结果，研究进行了用户研究。在评估中，参与者被问及哪张图片最能反映示例的风格同时保持内容身份的一致性。60 组图像对比的结果显示，所提出的方法在大多数翻译案例中表现 superior（优越）。此外，为了衡量整体转换质量，研究利用预训练分类器并在 CelebA-HQ 数据集上进行微调，检查生成图像是否被正确分类为目标域。表格结果证明该方法在大多数情况下优于基线模型。
"The results illustrated in the rightmost column of the table shows the superior performance of our proposed method in the most translation cases."
艺术数据集与 CelebA-HQ 的具体案例对比
在 Artworks Dataset（如 Mondrian、Monet）上的实验进一步验证了方法的风格反射能力。例如，在 Mondrian 案例中，其他基线方法中的河流颜色保持不变，而本方法的输出（蓝色矩形框内）提取了示例中的黑色；在 Monet 案例中，第一行的结果也比其他基线更好地体现了艺术风格。在 CelebA-HQ 数据集上，右侧宏列的第三行结果显示生成的头发更自然且数量更多；左侧矩阵的第二行结果则显示出更大、更自然的微笑。这些具体案例直观地展示了该方法在细节保留和风格融合上的优势。
最大切片 Wasserstein GAN (Max-Sliced WGAN) 的理论突破
另一项工作分析了当前生成对抗网络（GAN）训练的局限性，特别是简单复杂性导致的训练不稳定问题。虽然 Sliced Wasserstein Distance 通过在一维空间投影并平均计算距离提高了稳定性，但在高维空间中需要大量随机方向才能区分图像。例如，当像素点与正态分布数相乘时，不同图像可能投影到相同值，导致训练信号微弱。为此，研究者提出了最大切片 Wasserstein 距离（Max-Sliced Wasserstein Distance）。
"Instead of averaging randomly chosen projection direction, we use a single yet informative direction which is the max direction."
这种方法不再使用随机方向的平均值，而是利用最具信息量的单一方向（Max Direction）。理论分析表明，这种方法在迭代次数上收敛更快。实验显示，在学习高维空间（10、100、1000 维）中的均值时，所提出的方法相比不同投影数量的 Sliced Wasserstein Distance 有显著改进。在 CelebA-HQ 数据集上的图像生成实验也证实了其在标准卷积 GAN 训练中的有效性。
生成模型与分布距离度量的应用拓展
在关于深度表示优势及元学习应用的讨论中，演讲者强调了深度学习模型能够适应特定领域的数据统计特性。针对早期非深度聚类方法（如90年代的K-means类算法）的提问，演讲者指出虽然基础原理相似，但深度表示通过从特定数据集中学习统计规律，能更好地适应领域差异。在生成联邦序列网络（Generative Federated Seq2Seq Networks）的应用方面，除了内容生成，该方法也被探索用于领域转移（Domain Transfer）等条件生成任务。当前工作的核心贡献在于提出了一种新的度量标准，用于比较两个分布之间的距离。这一指标适用于所有需要精确估计分布间距离的应用场景。正如演讲者所言："> I think it's a good question we are looking at condition generation which kind of having the ability for domain transfer transpiration but right now in this word the contribution is proposing a new metric for comparing to distance of to distribution so I guess it's suitable for all kind of application where you really need to estimate the district other distance between two distribution"。这表明该技术在超越单纯生成的广泛领域具有潜在价值。
Meta-Net：基于可微凸优化的少样本分类框架
Quanzhen介绍了与AWS合作提出的Meta-Net方法，旨在解决少样本分类（Few-shot Classification）中的泛化问题。传统原型网络（Prototypical Network）通过计算类别嵌入的平均值作为原型，而Meta-Net则引入判别性线性预测器（如SVM或逻辑回归）来构建分类模型。该方法将ConGAS优化器嵌入深度网络内部以解决SVM目标函数。相比基于最近邻的方法，自适应能力是其主要优势之一，能够在测试时利用正负样本进行依赖测试的决策。此外，梯度元学习方法容易过拟合且受限于嵌入维度，而SVM在高维空间中常表现优异。为了解决反向传播穿过求解器时的计算瓶颈，特别是避免对大型Hessian矩阵求逆的问题，Meta-Net采用了对偶公式求解。由于分类模型可表示为训练样本嵌入的线性组合，优化变量规模较小（K×N+），从而实现了高效计算。演讲者指出："> we are able to obtain the necessary gradient without differentiating to the honor of Tamiya procedure... resulting optimization variables of size K times n + is small for the case of fuchsia learning"。这种设计使得模型能够使用更大的嵌入网络，同时保持计算效率。
Meta-Net在Mini ImageNet与FC100上的性能表现
实验结果显示，Meta-Net在高嵌入维度下显著提升了原型网络的基线效果。在Mini ImageNet数据集上，当嵌入维度较低时不同算法差异不大；但当嵌入维度较高时，Meta-Net将原型网络基线的准确率提升了约3%。尽管推理时间增加了30%至50%，但通过引入基于回归的学习变体（Meta-Net RR），在保持相当测试精度的同时降低了计算开销。在更具挑战性的FC100数据集上，由于元训练与测试之间的语义差距较大，Meta-Net同样将原型网络基线提升了3%。值得注意的是，模型在1-shot和5-shot设置下的性能均随着元训练样本数量的增加而提升。这一特性提高了方法的实用性，因为可以使用固定硬1-shot训练的嵌入网络来应对所有元测试shot设置。演讲者总结道："> on more difficult fc100 dataset where class semantics over semantics gap between meta training and meta testers are large metal net improves the result of prototypical natural baseline by 3%"。这证明了该方法在处理复杂语义分布时的鲁棒性。
卷积网络压缩与剪枝的趋势反思
最后一部分由Ari介绍，聚焦于改进卷积滤波器（Convolutional Filters）的训练方法。尽管CNN取得了巨大成功，但其代价是参数化复杂度高、推理速度慢以及需要大量数据训练。因此，网络剪枝（Network Pruning）和模型压缩成为研究热点。通过观察现有剪枝结果，一个关键洞察是：从大型网络中剪枝出小型模型，比直接训练同等规模的小型网络更容易。这一现象暗示了初始化策略或预训练大模型的重要性。虽然该片段未提供具体数值对比，但指出了当前研究的一个核心矛盾：即追求效率与保持性能之间的权衡。演讲者提到："> it is easier to take a larger network and prune it to be a smaller size than to Train the same size network"。这为后续关于如何更高效地训练紧凑模型提供了背景依据，强调了利用大网络结构优势进行压缩的潜在价值。
小网络从零训练的困境与Filter冗余问题
研究团队深入分析了卷积神经网络（CNN）中滤波器的重要性分布，发现了一个令人惊讶的现象：即使在参数量极小的网络（如Cell或Tiny Confidence）中，也存在大量对任务性能几乎无贡献的滤波器。这种高度不均的重要性分布通常被认为只存在于VGG等拥有数百万参数的大型网络中，但在小网络中也同样存在。这引出了一个核心问题：从零训练小型网络的困难是否与滤波器冗余有关？尽管网络已经处于欠拟合状态，许多滤波器仍未能有效参与特征学习。这一观察得到了模型剪枝（Pruning）研究的支持，即大多数模型都可以被大幅修剪而不影响性能。此外，最新的假设认为训练更深网络更容易是因为它包含了大量子网络的集成，只需其中一个好的子网络即可完成任务。因此，研究动机在于如何让滤波器的重要性分布更加均匀。
Reaper训练机制：剪枝、重置与泛化提升
为了解决上述问题，团队提出了Reaper训练方案。该过程首先初始化网络并训练一定迭代次数，随后根据特定标准测量滤波器重要性并进行剪枝。接着，在剩余子网络上继续训练一段时间，然后重新初始化并引入被剪除的滤波器。这一过程并非简单恢复旧权重，而是赋予新权重以探索新的子网络结构。在训练曲线中可以看到，虽然引入新滤波器初期会导致训练准确率下降（Point A至B），但这并非坏事。关键在于测试准确率的提升：当剪枝后的滤波器被重新引入时（Point D），它们能够发现更有用的新特征，从而显著提升模型的泛化能力。通过多次重复这一具有边际递减效应的过程，模型能够更有效地探索子网络空间。
滤波器相关性分析与正交投影排序
在Reaper训练中，如何对滤波器进行有效排名是关键挑战。研究发现同一层内的不同滤波器之间存在高度相关性。为了量化这种重叠，团队提出最小化滤波器相关性的策略：计算给定层中所有滤波器的正交投影，并求和行元素（不含对角线），以此评估每个滤波器与其他滤波器的重叠程度。这种基于正交投影的排序方法（Ortho Ranking）与理想情况下的Oracle排名具有极高的相关性，且计算成本远低于需要大量计算的Oracle方法。实验结果显示，采用这种训练方案后，特别是深层网络中的滤波器相关性显著降低。结合Reaper训练与正交投影排序（Ortho），取得了优于其他排名方案的最佳结果。尽管该方法类似于Dropout，但它不依赖于网络是否包含Dropout层，且在卷积神经网络中表现良好。
在ResNet中的泛化应用与总结
虽然该技术最初是为小型卷积网络设计的，但研究团队发现它在更深的网络（如ResNet-100和ResNet-152）中也能带来小幅性能提升。这表明减少滤波器低效性（通过降低相关性）并允许模型探索大量子网络（通过Reaper训练）是一种通用的优化策略。该方法与DenseNet、BAN等类似技术相比具有竞争力，且无需复杂的额外计算开销。总结而言，核心贡献在于通过最小化滤波器相关性来消除低效性，并通过Reaper训练方案增强模型对子网络空间的探索能力。研究建议在海报环节进一步交流详细结果，强调这种机制在提升小模型训练效率和泛化能力方面的潜力。
半监督学习中的流形正则化背景与假设
第二部分演讲介绍了来自北京大学的Tenjin方法，即用于半监督学习的切线空间正则化（Tangent Space Regularization）。在半监督学习设置中，目标是利用大量无标签数据和少量有标签数据训练模型。核心方法是流形正则化（Manifold Regularization），即假设数据分布在低维流形上。研究基于三个关键假设：首先，数据分布围绕低维流形但包含噪声；其次，分类误差在流形上应平滑变化；最后，分类器应在沿流形方向保持光滑性（Smoothness）并对垂直于流形的噪声具有鲁棒性。Tenjin正则化旨在分别优化分类器沿切线空间（流形方向）和法向量空间（垂直于流形方向）的平滑性，从而更好地利用无标签数据中的几何结构信息。
切线空间与法向量空间的损失定义
为了实现上述目标，团队定义了两种虚拟正则化损失：切线空间正则项（Tangent Regularization）和法向量空间正则项。这些损失本质上是虚拟多样性损失的近似，可以通过泰勒展开的二阶项来估算。具体而言，切线空间正则化关注分类器沿数据流形方向的平滑性，而法向量空间正则化则确保分类器对偏离流形的噪声不敏感。为了计算这些损失，首先需要学习数据流形并找到其表示形式。研究中使用了变分自编码器（VAE）和局部线性嵌入等生成模型来近似流形结构。通过这种方式，模型能够分别对切线方向和法向量方向进行监督优化，从而在半监督学习场景中提升分类器的泛化能力和鲁棒性。
半监督学习中的信任传播与正则化机制
该研究提出了一种基于生成器雅可比矩阵图像的新型半监督学习方法。通过重构方程，研究者将信任传播（Trust Region, TR）部分转化为广义特征值问题。这一数学转换使得算法可以通过幂法（power method）和共轭梯度法进行求解。值得注意的是，借助于梯度交换技巧（gradient commutation tricks），迭代过程仅需进行少量次反向传播即可高效完成。此外，研究还引入了类似的正则化技术，同样基于广义特征值问题求解，并最终添加了一个额外的熵正则项（entropy regulation term）到最终的损失函数中。这种组合策略旨在优化模型在有限标签数据下的表现，其最终提出的模型结构如原文所述：“equation 14 is our final proposed model”。
半监督学习在文本分类与基准测试中的表现
为了验证方法的有效性，研究首先在文本分类问题（text classification problem）上进行了实验。实验中使用了6个蓝色标记的标签数据和大量希腊色未标记数据，结果显示学习到的决策边界能够精确拟合真实分布。随后，研究者在标准的半监督学习基准数据集（包括Post、SVHN和CIFAR-10）上进行了测试。实验结果表明，所提出的方法结合了信任传播和虚拟正则化（virtual regularization），在所有情况下均达到了最先进性能（state-of-the-art performance）。这一结果证明了该方法在处理不同规模和类型的数据集时具有广泛的适用性和优越性。
元学习中的泛化能力与权重调度策略讨论
在随后的问答环节中，针对第一个关于元学习（meta learning）的演讲，有提问者关注模型在任务分布之外的泛化能力。演讲者指出，使用支持向量机（SVM）而非最近邻方法的一个优势在于其能够适应噪声嵌入。然而，当涉及从Mini-ImageNet等特定任务分布迁移到更广泛场景时，演讲者坦诚地表示：“probably that wouldn't generalized very well because like even with the meta learning approaches it meant overfits to some degree so it's not't a magical solution”。这表明元学习并非万能，仍存在过拟合风险。针对第二个演讲中关于权重丢弃（drop out weights）调度的问题，研究者建议对于深层网络，“20 to 10 is a good number”，即每层丢弃一定比例的滤波器权重，具体频率需根据网络参数规模调整。
基于语言先验偏置的音频编码场景图描述生成
第三个演讲介绍了一种用于图像描述的音频编码场景图（audio encoding scene graphs）方法。其核心动机是利用语言中的先验偏置，将简单的视觉模式转化为更具描述性的人类化表达。例如，“person unpack”可以通过语言替换偏置转换为更自然的“person right back”，而“yellow banana”基于常识推理可转化为“ripe banana”。该方法通过构建场景图作为桥梁，将语言知识迁移到视觉领域。具体流程包括：首先使用图卷积网络（graph convolution network）将场景图编码为嵌入向量，并通过重建句子来学习字典。在生成描述时，“we use this image sing graph as a query to find the corresponding knowledge language knowledge from the degenerative”。实验数据显示，引入图卷积网络和字典提取后，“the promise can be further improved in terms of the say the disco”。生成的描述更加人性化，如将“car on road”创造性地转化为“highway through other ways more traffic”，体现了模型在语义丰富度上的提升。
基于词性序列引导的多样化图像描述生成
本部分研究旨在解决现有图像描述（Image Captioning）方法在多样性上的不足。传统的图像描述任务通常只生成单一的最优句子，但同一张图片往往存在多种合理的描述方式。虽然束搜索（Beam Search）是生成多样化描述的常用方法，但它往往导致生成的句子在相同位置重复出现相同的词或n-gram（如示例中反复出现的“a plate of food”），造成句间重叠度高且缺乏实质性差异。相比之下，人类生成的描述在结构上截然不同。为了突破这一局限，研究团队提出了一种基于词性标签序列（Part-of-Speech tag sequence）的引导机制。该方法首先生成与图像兼容的词性标签序列，然后利用这些具有明确语义结构的词性嵌入作为“开关”，引导网络生成对应句法结构的不同描述。这种机制确保了生成的句子不仅符合图像内容，还具备多样化的有意义句式结构。实验数据显示，该方法在衡量4-gram重叠度的BLEU-4指标上表现优异，得分为0.63，接近人类基准的0.51。此外，该方法在生成更丰富的1-gram和2-gram以及更高比例的未见过新句子方面，均优于基线方法。
性能对比与效率优势分析
在评估生成描述的准确性时，研究团队采用了CIDEr和SPICE等指标进行对比。通常情况下，追求多样性的方法（如VAE）会牺牲准确性，但该方法在保持高多样性的同时，实现了合理的准确率。在与VAE的对比中，该方法的CIDEr和SPICE得分均优于后者。在针对前K个最佳描述的用户研究中，该方法同样超越了束搜索和VAE的表现。值得注意的是，虽然束搜索在单一最佳描述的准确率上可能略高，但其缺乏多样性且计算效率极低。该方法仅需每次推理生成一个词/开关对应的描述，而束搜索需要在每个单词位置进行重复推理。因此，该方法的运行速度比相应的束搜索方法快5到10倍。这一结果证明了该方法在平衡多样性、准确性和计算效率方面的显著优势，为快速生成高质量多样化图像描述提供了有效解决方案。
注意力分支网络（ABN）用于视觉解释与分类精度提升
另一项由千叶大学研究团队介绍的工作聚焦于深度学习的视觉解释（Visual Explanation）。传统的可视化方法如Grad-CAM或Caffeinate Mapping虽然能高亮与预测类别相关的区域，但并未直接贡献于分类任务准确率的提升。为此，研究者提出了注意力分支网络（Attention Branch Network, ABN）。该模型由三个部分组成：特征提取器、感知分支和注意力分支。其中，注意力分支通过生成注意力图来模拟视觉解释机制，而感知分支则负责最终的分类识别。ABN采用端到端的训练方式，通过两个损失函数同时优化注意力分支和感知分支。其核心创新在于引入了旁路结构（bypass structure）的注意力机制，该机制在强调显著特征的同时防止特征图信息的丢失。实验表明，将ABN应用于ResNet和DenseNet等最新模型时，能够显著提升ImageNet上的分类准确率。这种设计不仅增强了模型决策的可解释性，还通过注意力机制辅助特征学习，实现了视觉解释与分类性能的双重提升。
注意力分支网络（ABN）提升准确率与可解释性
研究者提出了一种名为 Attention Branch Network (ABN) 的新架构，旨在提高模型准确率的同时生成用于视觉解释的注意力图。在 ImageNet 数据集的实验对比中，基线模型由蓝色条形表示，而 ABN 则由两条卡拉姆巴琴图标示。ABN 模型的准确率得到了显著提升。通过对比 Grad-CAM 与 ABN 的注意力图可以发现，在顶部和中间的例子中，两者高亮的区域几乎相同；但在底部例子中，Grad-CAM 错误地突出了与预测类别无关的位置（如误判为龙虾），而 ABN 则准确地高亮了正确的物体位置，从而提供了更可靠的视觉解释。
"our avian can be extended to much both tasks such as facial attribute recognition"（ABN 可扩展至面部属性识别等任务）
该架构同样适用于面部美感识别（facial beauty recognition）。通过应用马尔可夫转换到注意力分支，ABN 生成的注意力图能够精准高亮与预测面部属性相对应的局部面部区域。这项工作证明了 ABN 不仅能提升分类性能，还能为图像分类和细粒度属性识别提供有效的视觉解释依据。代码已开源。
图像描述生成中的语言模型作用与词性标签正则化
在关于图像描述的讨论中，研究者探讨了如何确保生成的描述准确性以及语言模型的作用。针对词性标签（POS tags）的生成，目前并未完全遵循生成的词性空间，而是进行了量化处理。例如，如果描述中包含三个形容词，系统会大致统计属性、对象和动作的数量。这种松散的嵌入方式虽然导致描述生成存在一定程度的信息损失（lossy caption generation），但能有效生成多样化的图像描述。
"the improvement of using language inductive biases isn't it's a matter, it's better"（使用语言归纳偏置带来的改进是显著的）
针对“描述性是否仅取决于图像本身”的质疑，实验结果表明语言模型在生成更具描述性的文本中扮演了重要角色。与图卷积网络相比，引入语言归纳偏置能带来更好的性能提升。这意味着，获得更丰富的描述信息并非仅仅依靠“更难地观察图像”，更好的语言模型能够补充从图像中提取的信息，从而生成更高质量、更具描述性的文本。这证实了语言先验知识在视觉-语言联合任务中的关键价值。
级联投影（Cascaded Projections）：深度网络压缩的新方法
针对边缘设备计算资源受限的问题，研究者提出了级联投影（Cascaded Projections）方法，这是一种端到端可训练的深度网络压缩技术。该方法聚焦于权重分解（Factorization）和剪枝（Pruning）两种主流策略的优缺点：分解法通过线性组合保留原始滤波器信息，但需要额外的内存进行特征重投影；剪枝法则直接移除通道和滤波器以节省计算量，但会丢弃潜在有用信息。
"cascaded projections which forms linear combinations of the filters but does not require the feature reprojection"（级联投影形成滤波器的线性组合，但不需要特征重投影）
级联投影通过学习联合低维正交归一化投影，同时压缩当前层的滤波器和下一层滤波器的输入通道。为了解决流形上的优化问题，研究者开发了代理矩阵方法（Proxy Matrix Optimization, PMO）。该方法在欧几里得空间中优化无约束矩阵，并通过奇异值分解（SVD）将其重映射到流形上以计算损失。这种设计允许结合中间监督（通过压缩与未压缩网络的重建损失）和分类损失进行优化。在基于残差网络（ResNet）的实验中，不在残差块之间压缩特征，而是利用中间特征计算重建损失，从而实现了对整个网络所有层级投影的同时优化。
Cascaded Projection：深度网络压缩的新范式
在深度学习模型压缩领域，Cascaded Projection（级联投影）方法通过消除特征图树状投影的需求，实现了端到端的可训练性。该方法利用新的代理矩阵优化（PMO）技术，将压缩过程从一层级联至下一层。与传统的微调策略不同，研究者强调不使用微调的结果更能揭示压缩方法的真实精度潜力。因为微调是一个极其耗时的过程，往往会掩盖不同方法在基础性能上的不足。
"we generally present our results with both fine-tuning and without fine-tuning as we believe the results without fine-tuning provide deeper insight into the actual accuracy of each compression method"
在 ResNet 系列的实验中，针对 18、50、56 和 110 层网络在不同压缩级别下的表现，Cascaded Projection 均展现出优异性能。特别是在 VGG-16 网络压缩实验中，当计算量减少至原来的四分之一时：
- 无微调情况下：Cascaded Projection 取得了顶级性能，且内存消耗仅为当时最佳表现者的三分之一。
- 有微调情况下：该方法取得了第二好的顶级性能，内存消耗仅为最佳表现者的四分之一。
此外，该方法的 PMO 灵活性允许结合中间监督与分类损失的高级损失函数，并支持对残差网络进行同时优化。代码即将开源。
Deep Caps：胶囊网络的深度化演进
Justin 来自 Sri Lanka，介绍了名为 "Deep Caps" 的工作。尽管胶囊网络（Capsule Networks）通过动态路由机制实现了层级间的协方差，但在处理复杂数据时，其性能仍落后于传统的卷积神经网络（CNN）。为了充分释放胶囊网络的潜力，研究团队借鉴了 CNN 过去十年从 AlexNet 到 ResNet 的演进路径，致力于构建更深层次的胶囊网络架构。
该网络基于现有的 Capsule 层，构建了包含四个子层的模块化 "Capsule Cell"。每个单元通过旁路连接和逐元素加法堆叠，使网络深度翻倍。关键创新在于使用 3D 卷积核进行低层到高层的变换，其维度与胶囊中的原子数相同。这种设计通过在所有输入张量间共享内核参数，显著减少了网络所需的参数量，提高了内存效率，甚至能在单张 GPU 上运行。
"our main goal is to develop capsule based neural network with high level understanding of the images as well as we want to create a joint representation of the instantiation parameters"
解码器网络在此不仅作为正则化手段，还用于生成实例参数。通过仅将激活类的向量输入解码器，模型能够学习跨所有类别的联合分布实例参数。实验表明，Deep Caps 在胶囊网络领域内的多个基准数据集上大幅超越了现有性能。通过分析实例参数的高方差，可以识别出如旋转、拉伸等全局变换效果。
EfficientNet：面向移动端的架构搜索设计
最后，来自 UC Berkeley 的 Pitching Woo 介绍了 EfficientNet。这是一项与 Google Brain 和 Facebook AI Research 合作的联合工作，旨在解决移动和嵌入式计算机视觉应用中准确性和效率平衡的挑战。设计此类网络面临三大难题：
- 搜索空间庞大且难以交互：即使仅考虑 ResNet-50/16 的卷积层，若每层可选三种核大小和五种通道数，搜索空间已变得不可处理。
- 硬件依赖性：架构的最优性高度依赖于目标硬件设备。理想情况下应为不同设备设计不同配置，但受限于训练和设计成本，通常只能设计一套架构并部署到多种条件中。这一矛盾使得通用的效率优化成为研究重点。
该部分主要阐述了设计空间搜索的复杂性与硬件部署现实之间的张力，为后续提出 EfficientNet 的具体解决方案奠定了背景基础。
传统代理指标与手动设计的局限性
以往的研究多集中于通过参数规模或FLOPs（浮点运算次数）等代理指标来提升神经网络效率，但这些指标往往无法反映真实的运行效率。例如，NASA Net A的FLOPs略小于MobileNet V1，但其实际延迟反而更慢。传统的手动设计架构方法虽然直观，但工程师需要针对目标数据集进行微调并迭代优化，由于耗时过长，无法承担过多的迭代次数，导致最终设计往往不是最优解。近年来兴起的神经架构搜索（NAS）方法通过定义显式的搜索空间，利用控制器随机采样并剪枝网络以优化架构。尽管该方法能发现超越手动设计的模型，但其核心痛点在于计算成本极高，因为仍需枚举并训练数千个神经网络。
Fishbone NAS：基于超网的层-wise搜索策略
为解决上述问题，团队提出了Fishbone神经架构搜索（Dinah's Explorer）。该方法采用由随机超网表示的层-wise搜索空间，每个候选算子构成一个变体模板（如不同核大小或扩展率）。在正向传播中，根据由combo softmax控制的分布随机选择算子。其损失函数不仅考虑准确率，还通过部署每个样本算子在目标设备上测量实际延迟来评估效率成本。这种方法的优势在于，只需训练一个超网而非数千个网络，显著提升了速度。实验发现了一种名为FBNet的模型家族，其性能超越了之前的SOTA。
FBNet的性能优势与跨设备适配案例
FBNet在性能对比中展现了显著优势。相比MobileNet V1，延迟降低至原来的1/1.5倍（即快了1.5倍），FLOPs减少2.4倍。与MnasNet相比，FBNet在保持相同准确率和效率代理搜索成本的同时，搜索成本低了400倍。这种高效性使得针对不同目标设备合成特定网络成为可能。例如，在iPhone X上部署时，针对iPhone XS Max（Snapdragon 835）优化的模型比针对普通iPhone X优化的模型实现了1.4倍的加速。这表明通过实际延迟而非代理指标进行优化，能更精准地适配不同硬件环境。
胶囊网络性能瓶颈与超网内存管理讨论
在问答环节，针对Capsule Networks（胶囊网络）的性能差距问题，演讲者指出尽管动态路由概念良好，但在GPU上优化不足。目前的实例参数维度（如6x8）不足以捕捉高分辨率图像信息，增加分辨率或优化动态路由可能缩小差距。此外，关于超网训练带来的内存消耗问题（比常规网络大2-10倍），团队表示在标准8 GPU配置下仍可训练。虽然可通过减小batch size或缩短训练时间降低内存，但在实验中并未发现这会对搜索结果产生剧烈影响。
艺术肖像生成的挑战与PGM方法提出
另一项研究聚焦于使用分层生成对抗网络（Hierarchical GAN）从面部照片自动生成艺术肖像素描。传统点画法（Pointillism）耗时且难以自动化，而现有的图像合成方法如PixelCNN或CycleGAN在处理艺术风格时往往产生模糊或大量伪影。艺术肖像素描具有高度抽象性、严格约束、渲染不一致以及元素定位非精确等特点，导致常规风格迁移方法失效。为此，团队提出了PGM（Probabilistic Graphical Model）分层GAN结构，专门针对面部结构和艺术风格进行优化。
PGM的核心创新与数据集贡献
该PGM方法具有三大亮点：首先是分层结构，能够捕捉从局部到全局的面部特征；其次引入了法向距离变换损失（Normal Distance Transform Loss），以更好地约束线条的几何一致性；最后贡献了一个新的艺术肖像数据集。这种方法旨在解决传统方法无法处理的艺术素描中线条概念化、非低层特征直接对应的问题，从而生成更高质量、更具艺术感的肖像作品。
基于分层网络的素描风格迁移与距离变换损失
该研究提出了一种名为 SketchGAN 的生成对抗网络，旨在将人脸照片转换为高质量的素描风格图像。模型架构采用分层设计，包含一个全局网络（Global Net）用于捕捉整体特征，以及六个局部网络（Local Nets），每个局部网络专门针对特定的面部区域。这种设计使得生成器和判别器能够学习不同面部区域的联合分布，从而区分输入是真实的素描还是生成的图像。损失函数由四部分组成：感知损失（Perceptual Loss）、像素级损失（Pixel-wise Loss）、局部转移损失（Local Transfer Loss） 以及创新的 距离变换损失（Distance Transform, DT Loss）。由于肉眼观察和概念线条的存在，素描中的元素往往不能精确对应图像强度，仅使用L1损失无法处理这种不对齐问题。DT Loss 基于距离计算，容忍小的错位但惩罚大的错位，通过计算生成图像中线条像素到输出图像中同类最近像素的距离之和来评估差异。
为了训练模型，研究者构建了一个包含 140对 人脸照片和对应素描的新数据集（AV Joint Dataset）。由于数据量较小，他们使用超过 6000对 人脸照片和NPR（非真实感渲染）结果进行预训练，以初始化模型。用户研究表明，局部网络对于捕捉每个面部区域的风格至关重要，而DT Loss 则是产生带有精致线条的干净结果的关键。在与其他方法的对比中，该方法能够捕捉不同面部区域的不同绘画技巧并生成高质量结果。用户研究显示，我们的方法在71%的案例中排名最佳。
基于语义约束的交互式GAN生成方法
另一项工作由卡内基梅隆大学 Eric 展示，旨在解决无条件GAN（Unconditional GAN）缺乏直观交互手段的问题。传统的GAN通过从固定分布中抽取随机种子生成图像，用户难以对输出进行精细操控。为此，研究者开发了一种 约束生成对抗网络（Constrained GAN），利用预定义的潜在语义空间来建模用户可操纵的图像属性。该语义空间可以表示类别、属性和对象等广泛语义，例如在本例中使用的 头发长度、肤色 和 性别。通过属性分类器将图像映射到该语义空间，用户可以提供相对约束（Relative Constraint），即指定生成的图像应更接近正样本而非负样本。
"The model interprets this as a constraint on the semantic space underlying the model which defines a region... of image is more similar to the positive image than the negative one."
用户提供的约束与先前给定的约束相交，定义了一个可行区域（Feasible Region）。生成器结合噪声向量和这些约束集，产生位于该可行区域内的图像。实验展示了针对三个不同随机噪声向量（z1, z2, z3）的交互过程。首先，通过指定肤色差异约束（如苍白皮肤），生成的图像 90% 满足了约束条件。随后，通过添加头发颜色（如棕色头发）的约束，生成的图像头发变浅或压缩。这种方法允许用户通过迭代添加非竞争性约束集，直观地引导GAN生成符合其期望的图像属性。
语义空间约束与属性映射机制
在图像生成实验中，研究者通过控制种子图像的潜在向量（Z vectors），成功实现了面部属性的定向改变。实验结果显示，当输入图像被映射到语义空间时，其性别属性发生了显著变化：在前三组对比中，图像似乎长出了棕色头发；而在后三组中，正样本（positive images）明确具备了“女性”这一属性特征。这表明语义空间的映射赋予了图像特定的性别属性，而Z向量则定义了除这些特定约束外的其他所有图像特征。这种机制证明了通过定义语义空间中的属性约束，可以精确控制生成结果的特定外观特性。
WarGAN模型架构与双模块设计
WarGAN是一种以人脸照片为输入，生成具有多样风格和夸张变形的卡通角色的模型。该任务要求模型同时完成三项核心工作：生成艺术纹理风格、夸张面部生物特征变形，以及保持输入人脸的身份一致性。模型由两个主要模块组成：可形变生成器（Deformable Generator）和判别器。生成器包含一个编码器-解码器结构，用于渲染输入照片的纹理；此外还增加了一个分支来渲染图像。其中，变形控制器（Warp Controller）是一个两层感知机，用于预测一组控制点和位移量。可微分的形变模块利用这些参数计算密集变形流，从而对渲染后的图像进行扭曲。纹理风格则由潜在代码 $s$ 条件化控制，训练过程中还引入了一个潜在的样式编码器来重建图像。
判别器损失函数与数据集构建
为了区分真实卡通、假卡通以及输入照片的风格和身份，判别器采用了两种类型的损失函数：Patch Loss 作用于最后的特征图，仅区分纹理风格；Global Tree Through Laos（全局损失）则输入紧凑的特征向量，同时区分风格和身份。这里的“风格”既包括纹理风格也包括几何风格。此外，模型还引入了重建损失（Reconstruction Loss）作为第三个损失函数，以确保输入图像的身份信息不丢失并稳定训练过程。可形变生成器的参数通过判别器信号进行更新，特别是变形控制器中的参数。研究团队公开了一个名为“Web Character”的数据集，包含约6,00个卡通形象和252位名人的照片，数据按一半比例划分为训练集和测试集。
实验结果对比与用户可控性评估
在与CycleGAN等风格迁移网络的对比实验中，WarGAN展现了独特优势。结果显示，其他风格转换网络主要关注纹理风格，而忽略了输入与输出域之间的几何差异；WarGAN则能同时改变输入面部的纹理和形状。在与其他卡通生成方法的比较中，WarGAN更能保持输入人脸的身份一致性，并根据输入的卡通特征对面部进行更合理的夸张处理。用户还可以通过缩放位移量来控制夸张的程度。该模型不仅适用于名人照片，对手机自拍也表现良好。在问答环节，针对模式崩溃（Mode Collapse）问题，演讲者指出全局损失函数是一种特殊的身份敏感损失函数，将每个模态视为一个类，从而鼓励模型通过几何分布来夸张和变形输入面部。针对数据集中存在的轻微错位问题（由于艺术家肉眼观察导致的标注误差），团队引入了距离变换损失（Distance Transform Loss）来解决。
图卷积神经网络的解释性方法探索
另一项研究聚焦于图神经网络（GNN）的可解释性问题。尽管卷积神经网络的解释性方法已较为成熟，通常通过生成像素级的显著图（Saliency Map）来展示分类依据，但这是首个针对图卷积神经网络提出解释性方法的工作。研究团队将现有的CNN解释方法适应到GNN架构中，其基本思想是将分类信号通过网络反向传播。考虑到图像本质上是规则的网格图（Lattice Graph），而图卷积神经网络将这一概念推广以处理任意连接性的结构。该研究基于至少十年的GNN发展历史（始于2009年Starcevic的工作），并参考了几何深度学习社区的资源，旨在为图模型提供直观的解释能力。
图神经网络的可解释性评估与对比
演讲者首先介绍了将CNN可解释性方法扩展至图卷积网络（GCN）的研究，重点在于识别图中的显著子结构。研究选取了来自MoleculeNet的分子数据集和Visual Genome的场景图数据集作为实验对象。在分子数据中，原子被视为节点，键视为边；而在场景图中，物体作为节点。为了评估解释的质量，研究定义了三个核心指标：对比性（Contrastivity）衡量显著特征在不同类别间的差异，稀疏性（Sparsity）确保解释聚焦于关键部分而非全图高亮，以及保真度（Fidelity）通过遮挡显著特征后性能下降的程度来验证其相关性。
实验结果显示，不同方法在各指标上表现各异。Grad-CAM在对比性方面表现优异，能够清晰区分不同类别的显著节点；而Contrastive Excitation Backpropagation (CEB)则在稀疏性上表现最佳，适合分析大型图结构。Contrastive Gradient虽然保真度最高，但对比性较差。研究指出没有一种方法能同时满足所有理想属性，需根据应用场景选择：Grad-CAM适合需要高对比性的场景，CEB适合大型图的稀疏分析。这是首次系统性地对图卷积网络的可解释性进行定量评估的研究。
生成式对抗密度估计器（GADE）的提出与原理
第二位演讲者介绍了Generative Adversarial Density Estimator (GADE)，旨在弥合显式密度模型与隐式生成对抗网络（GAN）之间的差距。传统GAN样本质量高但难以进行密度估计，而显式模型虽能计算概率却常面临归一化常数难估算的问题。GADE通过引入替代分布（Alternative Distribution, Q）来解决这一难题，将最大似然估计的目标函数重写为三项之和：数据期望项、替代分布期望项以及替代分布的熵。
该方法的核心在于使用确定性函数将潜在变量映射到数据空间，通过雅可比行列式（Jacobian）处理变换后的分布。这种设计确保了一对一的映射关系，从而避免了GAN中常见的模式崩溃（Mode Collapse）问题。演讲者强调，GADE不仅能生成高质量的图像样本，还能提供稳健的密度估计，且对过拟合具有较好的鲁棒性。实验表明，该方法在视觉对话（Visual Dialog）等任务中表现良好，成功结合了显式模型的密度计算能力和隐式模型的高样本质量。
技术实现细节与综合优势
在技术实现上，GADE通过交替优化充分统计量的参数和替代分布的参数来训练模型。对于第一项数据期望，直接使用数据的经验平均进行估计；而对于较难处理的替代分布项和熵项，则通过引入确定性变换函数，将其转化为先验分布的期望与雅可比行列式的组合。这种转化不仅简化了计算，还保证了变换后的分布能够覆盖整个数据空间。
"Our method bridges the gap between the maximum likelihood methods and the GANs."
这种架构使得模型在生成样本时兼具计算效率与统计严谨性。与传统基于能量的模型或流模型相比，GADE无需复杂的逆函数计算即可实现密度估计。演讲者总结道，该方法在保持生成质量的同時，提供了明确的概率度量，为需要同时理解数据分布和生成新样本的应用场景（如异常检测、半监督学习）提供了新的解决方案。
解决非可微评估指标的优化难题
在机器学习中，许多任务依赖于特定的评估指标来定义目标。例如，若使用 Spearman 相关系数评价回归问题，重点在于分数的相对排序而非精确数值。然而，像 MinRank、Precision（精度）、Recall（召回率） 及 Spearman 相关系数等排名指标，因其依赖于计算离散的 Rank（秩），从连续得分域到离散秩域的转换导致其不可微分。传统上难以直接将其作为损失函数进行反向传播优化。
"these metric are non differentiable because they rely on the computation of the rank which is a discrete value and the transition from the continuous core domain to the discrete rank domain make them non differentiable"
为解决此问题，本研究提出通过 学习 Rank 函数的近似值来使指标可微。核心思路是在模型输出得分与损失计算之间插入一个额外的步骤：使用预训练的排序网络（Sorter）来近似排名函数。通过该 Sorter，模型输出的连续得分被转换为对应的秩值，从而使得基于排名的指标能够以可微的方式表达。
Sorter 架构设计与训练策略
为了实现对 Rank 函数的有效近似，研究测试了两种神经网络架构：基于 循环神经网络（RNN）（具体为双向 LSTM）和基于 卷积网络 的架构。实验结果表明，循环神经网络结构在近似 Rank 函数以及在实际任务中训练模型时表现更佳。这种架构能够更好地捕捉序列中的排序依赖关系。
在训练 Sorter 模型时，仅使用 合成数据（Synthetic Data）。数据来源包括均匀分布、正态分布以及对区间进行正则采样的随机组合。训练目标是最小化预测秩与真实秩之间的 L1 Loss。由于真实秩可以通过非可微方式轻松计算，因此该过程旨在让 Sorter 学习如何从连续得分映射到离散秩。一旦获得这个可微的 Rank 近似函数，即可将其嵌入到各种排名指标的损失计算中。
Spearman 相关系数的可微化推导与应用案例
以 Spearman 相关系数为例，其原始公式为 $1 - \frac{6\sum d_i^2}{n(n^2-1)}$，其中 $d_i$ 是预测值与真实值的秩差。为了最大化该系数（即最小化误差），可以将其重写为最小化预测秩与真实秩之间平方差的问题。关键步骤是将公式中的 Rank 函数 $R_k$ 替换为训练好的 Sorter $ heta_B$。这样，Spearman 相关系数就转化为一个完全可微的损失函数，可以直接用于反向传播。
"we want to minimize the square difference between the ground to Stronach under predicted 1"
类似地，研究也对 MinRank、Precision 和 Recall 进行了相同的可微化重写。这种方法使得原本不可导的评估指标能够直接作为优化目标，从而引导模型学习更符合人类排序直觉的特征表示。
真实任务实验结果与性能提升
研究在三个不同的实际视觉任务上验证了该方法的有效性，均取得了显著或具有竞争力的结果：
- Pascal VOC 物体识别：在平均精度（Mean Average Precision）任务中，将 Sorter+ 方法添加到现有模型后，获得了 具有竞争力（competitive）的结果。
- 视频记忆性预测：该任务旨在评估人类在首次观看后记住视频的能力。使用 Sorter+ 替代传统的均方误差（MSE）损失，取得了 SOTA（State-of-the-art） 结果，性能提升了约 1%。
- MS COCO 跨模态检索：在基于视觉语义嵌入模型的交叉模型检索任务中，用提出的方法替换传统的 Triplet Loss 后，在所有评估指标上均观察到 显著改进（significant improvement）。
这些实验证明了通过合成数据学习近似 Rank 函数，进而使非可微指标可微分的可行性。该方法不仅适用于排名指标和 Rank 函数，研究团队认为这一思路未来也可扩展到其他类型的非可微函数优化中。
结论
本次CVPR 2019会话展示了深度学习在压缩、生成及可解释性领域的多项突破。学习型无失真压缩通过辅助变量实现并行预测，速度超越传统标准且具备领域适应性；少样本分类引入Meta-Net提升高维嵌入准确率，但泛化能力仍受限。生成模型方面，Fishbone NAS通过实际延迟优化显著降低搜索成本；Reaper训练机制有效缓解小网络过拟合。此外，ABN架构在提升分类精度的同时增强视觉解释可靠性，GADE与Sorter方法分别解决了密度估计不可微及排名指标优化的难题。这些成果证实了针对特定瓶颈的结构创新能显著推动模型效率与性能平衡，但部分方法在跨领域泛化及硬件适配上仍需进一步验证。