课程导言与讲师背景
欢迎进入CS 839深度学习专题课程，尽管疫情给学习带来挑战，但本课程旨在确保每位学生无论身处何地都能获得充实的学习体验。课程首先介绍物流信息，随后概述我们将探索的研究主题及其重要性。讲师Sharon Lee拥有康奈尔大学博士学位（2017年毕业），随后在Facebook AI工作两年，最后在斯坦福大学担任博士后。这种横跨学术界与工业界的职业经历塑造了她的研究视角，使课程不仅关注基础理论的趣味性，更强调实际应用的相关性与意义。她希望将这种兼顾理论与实用的思维模式带入课堂。
"My experiences in both industry and academia has sort of shaped my view in research... many topics that are covered in this course are not only interesting from a fundamental perspective, but also meaningful and relevant from a practical point of view."
为了促进互动，讲师推荐使用Piazza论坛提问，以便课程团队及时解答；若有个别问题需直接联系她，可发送邮件至cs.whisk.edu并务必在主题中标注“CS 839”。课堂鼓励随时举手提问或反馈音频问题，这种开放的沟通机制旨在营造高效的学习环境。讲师的个人背景不仅为课程提供了丰富的案例来源，也确保了教学内容紧跟前沿技术与工业界需求。
教学结构与神经网络架构演进
本课程涵盖七个主要主题，每个主题采用“讲师概述+学生论文展示”的混合教学模式。讲师负责提供宏观视角，梳理不同研究之间的联系；随后由学生进行深入的论文展示（Paper Presentation），以实现广度与深度的知识结合。第一个主题是“神经网络架构的演进”，这是深度学习历史的核心部分。十年前，仅凭照片区分猫狗的程序准确率极低；如今，深度神经网络已 powering 手机图像识别和Google翻译等日常工具。这一进步得益于模型架构设计的持续优化。
"The evolution of neural network architectures is an essential part of this picture... real tools that we rely on a daily basis are powered by these deep neural networks."
讲师列举了关键架构里程碑：LeNet（1988年，首个卷积神经网络）、AlexNet（2012年，ImageNet竞赛突破）、ResNet（实现数百层网络训练的深度突破）以及由康奈尔同事开发的DenseNet（获CVPR最佳论文奖，将在首次展示中讨论）。这些架构的共同点是它们均由人类专家手动设计。从LeNet到AlexNet耗时四年，再到ResNet又历时三年，这种依赖人类直觉和试错的过程往往缓慢且充满挑战。
自动化机器学习（AutoML）与可信深度学习
鉴于手动设计架构的局限性，自动机器学习（AutoML）应运而生。以Google团队为代表的研究者致力于用机器搜索替代人类专家的角色，算法在巨大的神经网络配置空间中自动寻找最优架构。课程的第二篇论文展示将专门探讨这一主题，即“自动神经网络架构搜索”。这标志着从依赖人工经验向数据驱动自动化设计的范式转变。
课程的第二大主题是“可信深度学习”，讲师计划在此主题下涵盖三个子话题，其中第一个是分布外可靠性（Out-of-distribution reliability）。虽然具体细节将在后续章节展开，但这一主题旨在解决模型在遇到训练数据分布之外的样本时的表现问题。通过结合架构演进的历史回顾与AutoML的前沿探索，课程旨在帮助学生理解深度学习从人工设计到自动化、再到可信化的完整发展脉络。讲师强调，了解这些架构的演变不仅有助于掌握技术细节，更能洞察研究背后的驱动力与局限性。
分布外检测：从封闭世界到开放现实的鸿沟
在开发自动识别食物图片的手机应用时，开发者通常会收集训练数据并构建神经网络分类器。然而，在封闭世界（closed world）的假设下，我们往往错误地认为训练数据与测试数据的分布是一致的。这种理想化的设定忽略了现实世界的复杂性，即开放世界（open world）设置。在真实场景中，用户拍摄的图片可能包含任何内容，甚至完全超出预期。例如，当一张鸟的照片被输入到食物分类器中时，模型不应将其强行归类为某种食物，而应识别出该输入属于异常值或分布外（out-of-distribution）数据。
"Your network should be flagging this image to anomaly or out of distribution instead of classifying into one of your food classes."
这种分布外可靠性（out-of-distribution reliability）问题在安全关键型应用中至关重要。例如，在医学影像中区分COVID与常规肺炎X光片，或在自动驾驶中识别街道上的意外物体。在这些场景下，模型需要具备早期预警和预防措施的能力，以应对不可预见的现实数据分布差异。这是从工业界经验中得出的重要教训，也是深度学习部署中的核心挑战之一。
对抗鲁棒性：微小扰动引发的预测灾难
除了分布外问题，对抗鲁棒性（adversarial robustness）也是当前研究社区关注的焦点。Ian Goodfellow等人的研究表明，通过在输入图像中添加人类无法察觉的微小噪声扰动（small human imperceptible noise perturbations），可以操纵神经网络的预测结果。例如，一张被正确识别为熊猫的图片，在经过特定的噪声扰动后，可能会被模型错误地预测为大猩猩（gibbon）。
这种对噪声扰动的不敏感性在部署机器学习模型时令人担忧，特别是在安全关键领域。如果模型缺乏鲁棒性，攻击者可能通过精心设计的输入来误导系统。防御机制（defense mechanisms）的研究旨在增强模型在面对此类对抗性攻击时的稳定性。这一现象揭示了深度学习模型在输入空间的脆弱性，即微小的、不可见的变化可能导致预测结果的巨大偏差。因此，提升模型在对抗环境下的鲁棒性是实现可靠AI系统的关键环节。
公平性与群体鲁棒性：数据偏见导致的算法歧视
公平性（fairness）日益成为机器学习领域的重要议题，其核心动机在于保护用户免受不公正待遇。例如，雇主使用ML系统筛选求职者时，若模型存在偏见，候选人可能遭受不公平对待。由于机器学习模型高度依赖数据，且训练过程本身是客观的（仅反映人类如何教导模型），如果训练数据中隐含偏见，模型便会继承这些偏差信号（bias signal）。
以头发颜色预测为例，若训练数据中女性常与金发关联、男性常与黑发关联，模型会学习到这种标签与性别的虚假相关性。当测试数据中出现罕见的“金发男性”时，模型的准确率会显著下降。这种对罕见关联的低准确性是不可取的。群体鲁棒性（group robustness）旨在解决此类问题，通过设计更公平的算法来缓解数据偏见带来的负面影响。这要求我们在模型训练阶段就引入公平性约束，确保不同群体获得一致的预测性能。
可解释深度学习：连接黑盒与人类的桥梁
可解释性（interpretability）在深度学习中扮演着沟通“是什么”与“为什么”的角色。XKCD漫画生动地描述了当前AI的困境：将数据倒入线性代数的大堆中，若结果错误便“搅拌直到看起来正确”。这并非科学的真实过程。理想的流程是从观察世界到收集数据，再训练黑盒模型（black box model）。可解释性旨在提取模型的内部逻辑，作为人类与黑盒模型之间的接口（interface）。
"Just stir the pile until it starts looking right."
在预测建模中，我们需要权衡“what”（预测结果）与“why”（原因解释）。在欧洲的一次研讨会上，学者们辩论了可解释性在大深度网络中的必要性。虽然预测准确性至关重要，但理解模型决策背后的因果机制（causal mechanism）对于建立信任和调试系统同样关键。可解释性不仅有助于发现模型缺陷，还能促进人机协作，使AI系统的决策过程更加透明和可信。
可解释性在关键场景中的必要性
课程首先探讨了模型可解释性（Interpretability）的重要性。虽然在某些场景下用户仅关心推荐结果，但在其他领域，理解模型背后的推理过程至关重要。讲师指出："But in other settings, this why might matters... you want to kind of learn more about the problem and the data"。在医疗健康领域，当训练分类器预测患者是否患有癌症时，医生不仅关心诊断结果，更会追问模型得出该结论的依据。这种对推理过程（reasoning behind this learning process）的透明性需求，使得可解释性成为关键设置。课程后续将深入探讨相关技术，例如介绍一篇关于GradCAM的论文。GradCAM是一种广泛使用的可视化技术，能够展示图像中哪些部分与最终预测相关。例如在区分猫和狗的图像时，该技术能高亮显示猫的所在区域；对于狗的分类预测，它也能提供更细粒度的信息，揭示标签是如何推导出来的。
生成式模型在现实世界中的广泛存在与应用
在本节课的概览部分，讲师首先强调了生成式模型（Generative Models）在现实世界中的实际存在及其重要性。他指出，这些模型不仅仅是理论上的构想，而是已经在真实场景中产生了深远影响的技术。除了之前讨论过的人脸合成（Synthesizing Faces）这一令人着迷的应用外，生成式神经网络还展现出了在其他领域的强大能力。讲师特别提到，深度神经网络的生成模型具有极高的灵活性和创造力，能够处理多种类型的视觉任务。这种从单一的人脸生成扩展到更广泛的图像处理和艺术创作的能力，展示了该技术在计算机视觉领域的核心地位。通过引入这些概念，课程旨在让学生理解生成式模型不仅是学术研究的热点，更是解决复杂现实问题的有力工具。讲师认为这种从理论到实践的跨越是学习该课程的关键动力之一。
结论
深度学习正经历从人工设计向自动化、可信化演进的范式转变。架构演进依赖人类专家试错，而AutoML通过算法搜索实现自动化设计；但面对开放世界、对抗攻击及数据偏见，模型在分布外可靠性、鲁棒性与公平性上存在显著短板。可解释技术如GradCAM虽能揭示决策依据，但平衡预测精度与因果机制理解仍是挑战。生成式模型已证实具备处理复杂视觉任务的实用价值，这些技术共同构成了当前AI从理论走向工业界可靠部署的核心路径。