VC 理论回顾与核心局限
lecture eleven 作为泛化理论的总结，首先回顾了上一讲中关于 VC (Vapnik-Chervonenkis) 理论的核心结论。我们证明了对于分类器类中的任何分类器 $f$，其训练误差与测试误差存在显著差异的概率有一个上界。该概率随着数据点数量 $n$ 的增加呈指数级减小，但前提是 Shattering 系数（即函数类在有限样本上能实现的二分类数量）不能指数级增长。这一机制类似于彩票理论：单个分类器出现严重过拟合的概率极低，但当存在大量候选模型时，至少有一个模型“中奖”（即严重过拟合）的概率变得很高。VC 理论的建议是通过限制函数类的复杂度来降低这种风险，然而该理论在实际深度学习中存在几个显著缺陷。首先，它过于宽泛地考虑了所有可能的分类器，而实际上我们只关心 优化算法（如 SGD）最终找到的那个特定模型。其次，VC 界限完全忽略了 训练标签的复杂性，无法反映不同标注数据对学习难度的影响。最后，对于神经网络而言，它们往往能在有限样本上实现所有的二分类（即 Shattering 系数达到 $2^m$），却依然能保持良好的泛化能力，这表明 VC 理论可能并未触及深度学习泛化的本质机制。
贝叶斯证据的数学定义与直观理解
在贝叶斯定理中，分母项即“证据”（Evidence），记为 $p(\text{data})$，是一个至关重要的归一化常数。它并非指随机遇到某组数据的概率，而是模型族中任意一个模型生成该观测数据的可能性总和。从数学定义上看，证据是所有可能模型的似然函数与先验概率乘积的加权和：
$$ p(\text{data}) = \sum_{m} p(\text{data}|m) p(m) $$
这一项在文献中常被称为边缘似然（Marginal Likelihood），因为通过对模型族中的所有模型进行边际化（求和或积分）而得到。为了建立直观理解，可以将证据视为从先验分布中随机抽取一个模型，并发现它恰好能拟合数据的概率。正如讲师所言：
"It's the probability of drawing a random model from the prior, and finding that it fits the data."
这种解释将抽象的数学公式转化为具体的概率事件，为后续在神经网络语境下的推导奠定了基础。
分类任务中的模型定义与数据概率
在具体讨论分类问题时，需要对上述概念进行具体化。此时，单个模型被定义为一个特定的权重向量（Weight Vector），而所有可能的模型构成了整个架构的参数空间。数据样本由输入 $X$ 和标签 $Y$ 组成。讲师指出，在分类语境下，“给定模型的数据概率”应被理解为：从先验中采样一个随机权重向量，将其应用于训练输入后，能够准确复现正确训练标签的概率。
针对学生提出的关于 $X$ 是否外生采样以及应写作 $P(Y|X)$ 的严谨性问题，讲师澄清了当前使用的非正式记法。这里的“数据”事件指的是：将固定的数据集输入模型后，模型输出与标签完全匹配的事件。虽然严格来说应区分条件概率，但在此处为了简化推导，将“数据”视为一个整体事件。讲师强调：
"What this event data means is that I pass the inputs... and it reproduces the outputs."
此外，需明确架构与权重的区别：一个特定的神经网络架构包含多个不同的权重向量，这些权重共同构成了该架构下的模型空间。
似然函数的简化与解空间的几何解释
为了进一步推导，讲师引入了一种简化的似然函数（Likelihood Function）。在神经网络分类任务中，定义如下：如果某个权重向量 $w$ 能够完美拟合训练标签（即零错误率），则似然值为 1；否则为 0。这意味着我们将模型空间划分为两类：解（Solutions），即那些在训练集上完全正确的权重子空间；以及非解（Non-solutions），即至少犯一个错误的权重。
将此似然函数代入证据公式后，所有非解项因似然为 0 而被消除，仅剩解空间的贡献。此时，证据简化为所有完美拟合训练数据的权重向量的先验概率之和。从几何视角看，这等同于解空间的体积与整个权重空间体积的比值：
"It's like the volume of solution space... divided by the volume of weight space."
这一比率代表了解空间在整个权重空间中占据的分数。如果整个权重空间都是解（即所有随机初始化的权重都能完美拟合数据），则该比率为 1，贝叶斯证据也为 1。这一几何解释将在后续讲座中反复使用。
针对学生关于“现实训练中无法达到完美拟合”的疑问，讲师承认这是为了简化推导而做的理想化假设。但在理论分析中，这种二值化的似然定义有助于清晰地量化模型复杂度与数据拟合能力之间的关系。
贝叶斯证据的几何定义与积分形式
在探讨神经网络训练时，我们可以将解空间定义为那些能达到特定准确率（如95%或100%）的模型集合。为了简化讨论，我们通常关注那些能达到100%准确率的解空间。从贝叶斯推断的角度来看，证据（Evidence）可以通过对权重空间的积分来形式化表达。具体而言，我们需要在权重空间 $\Omega$ 上对先验概率密度函数进行积分，并乘以似然函数。这里的似然函数被设定为一个指示函数（Indicator Function），用于判断神经网络在给定权重向量 $w$ 下，是否对所有训练数据点 $(x_i, y_i)$ 都能给出正确的预测。
"The integral over omega of the prior probability... Times my likelihood function, but remember my likelihood function is just I've set it to be the indicator function of whether... the neural network with weight vector w applied to input one equals the label one."
这种积分形式揭示了证据的本质：它实际上是解空间的体积与总权重空间体积的比值。如果忽略指示函数，积分结果应为1（归一化条件）；而加入指示函数后，我们只计算那些满足所有训练数据约束的权重向量所占有的体积。因此，证据可以被直观地理解为解空间在总参数空间中占据的比例。这一几何视角将抽象的贝叶斯概率转化为具体的体积度量，为后续分析模型复杂度与数据难度奠定了数学基础。
证据作为数据集难度的度量指标
基于上述体积比值的定义，贝叶斯证据展现出几个极具洞察力的性质。首先，当固定神经网络架构时，不同数据集的证据值反映了数据的难易程度。直觉上，更容易学习的数据集应当对应着更大的解空间体积，因为更多的权重配置能够拟合这些数据；相反，更难的数据集则对应着更小的解空间体积。这意味着我们可以通过计算证据的大小来量化一个数据集对于给定架构的固有难度。如果一个数据集中存在大量能完美拟合训练数据的权重向量，那么该数据集的证据值就较高，表明其相对容易学习。
"If you fix your architecture and you have two different datasets... the easier dataset would have more solutions, and the harder dataset would have fewer solutions."
这一性质提供了一种不依赖于具体优化算法的评估标准。即使不同的训练方法（如SGD、Adam等）可能收敛到解空间中的不同点，解空间的总体积（即证据） 是一个与优化过程无关的几何属性。它告诉我们，对于某些架构而言，存在一个广阔的平坦区域能够完美拟合数据，而对于其他复杂的数据分布，可能只有极少数的孤立点能满足条件。这种度量方式有助于我们理解为什么某些任务在深度学习中表现得更为棘手，因为它们对应的解空间体积极其微小。
证据作为架构优劣的评估标准
除了衡量数据难度，贝叶斯证据还可以用于比较不同神经网络架构对特定数据集的适配性。当固定一个数据集时，如果某个架构拥有更大的解空间体积（即更高的证据值），这意味着该架构的归纳偏置（Inductive Bias）更倾向于拟合此类数据。换句话说，一个更好的架构应当具备更大的解空间体积，因为它在参数空间中拥有更多能够成功拟合数据的配置。这表明证据不仅反映了数据本身的特性，还隐含了架构先验的有效性。如果一个模型结构天然地更容易找到拟合数据的解，那么它的证据值就更高，预示着其潜在的泛化能力可能更强。
"One architecture for this dataset has way more solutions... Then we might be tempted to say that this looks like a better architecture for the problem, because somehow it's a better prior."
这种观点挑战了仅凭验证集性能评估架构的传统做法，转而从参数空间的几何结构出发。它暗示了模型选择问题可以转化为对解空间体积的估计问题。然而，直接计算高维权重空间的积分在计算上是不可行的，因此这一理论框架更多是作为一种指导原则。它提醒我们，架构的设计应当旨在扩大有效解空间的体积，从而降低找到良好解决方案的难度。这种几何解释为理解为什么某些深层结构或正则化技术有效提供了新的视角。
证据的信息论解释与压缩含义
贝叶斯证据还具有深刻的信息论意义。如果我们将随机采样一个权重向量并使其落入解空间的概率定义为证据 $E$，那么根据几何分布的性质，平均需要 1/E 次随机采样才能找到一个解。从信息编码的角度来看，描述一个通过随机搜索找到的解决方案所需的比特数大致等于种子位的数量加上 $\log_2(1/E)$。由于 $E = \text{Volume}{solutions} / \text{Volume}}$，因此 $\log_2(1/E) = \log_2(\text{Volume{total}) - \log_2(\text{Volume})$。这意味着，解空间体积越大（证据越高），描述一个随机解所需的额外信息量就越少。换句话说，高证据值对应着更高的压缩率或更低的描述复杂度。
"The number of bits needed to describe a random solution is roughly like... the number of bits needed to describe the random seed. Plus a log one over the evidence."
这一联系揭示了奥卡姆剃刀原理在贝叶斯框架下的体现。更简单的模型（或更适合数据的架构）通常拥有更大的解空间体积，因此可以用更少的比特来描述其解决方案。这不仅加强了证据作为模型选择标准的合理性，还将其与数据压缩和信息论中的最小描述长度（MDL）原则联系起来。通过最大化证据，我们实际上是在寻找那些最容易被随机搜索发现且描述成本最低的模型配置。这种解释将几何体积、概率统计和信息论统一在一个框架下，展示了贝叶斯证据在理论深度学习中的核心地位。
随机权重的泛化直觉与经验验证
在讨论描述随机解所需的比特数时，直观上人们可能认为这能衡量不同数据集的难度或架构的优劣。David McKay 在 1995年曾指出：“经验上，证据与泛化误差之间的相关性通常很好，但两者之间的理论联系尚未建立。”尽管当时理论基础尚不完善，McKay 仍是这一类思想的重要支持者。随后数年间，包括数学家在内的群体发展出了 PAC-Bayes 理论（Pack bases），正式化了“证据”（即解空间体积除以权重空间总体积）与泛化能力之间的联系。为了理解这一理论，我们首先通过一个思想实验来建立直觉：从权重空间中随机抽取一个权重向量 $w$（例如通过高斯分布），并在新鲜划分的训练集和测试集上运行该网络。 > “你期望这个随机权重向量在训练误差和测试误差上是否相似？”
零初始化差异与大数定律的必然性
对于上述思想实验，核心问题在于：随机初始化的网络在训练集和测试集上的误差差异预期是多少？答案是 期望差值为零。尽管实践中常使用特定的初始化方法（如小值高斯分布），但只要权重是随机抽取且未参考具体数据样本，训练集和测试集的误差都应接近 机会性能（Chance Performance）。例如在 CIFAR-10 的十分类任务中，随机权重的准确率应接近 10%；在二分类任务中则接近 50%。只要数据集足够大，根据 大数定律，这两个经验估计值都会很好地收敛于总体均值。因此，特定函数类的特征不会导致这种差异的显著偏离，除非初始化方案包含了针对数据样本的详细知识。 > “只要训练集足够大，它永远不会偏离那个（机会性能）水平。”
对抗性排除与 PAC-Bayes 的引入
为了进一步深入，我们设想一个对抗场景：观察训练数据后，从权重空间中 排除 5% 的权重向量（将其标记为禁止）。随后，从剩余的权重空间中随机抽取一个 $w$。这一过程旨在探讨在排除部分解空间后，剩余随机权重对训练集和测试集的泛化表现。虽然字幕片段在此处中断，但其逻辑指向 PAC-Bayes 定理的核心：通过量化权重空间中被排除或保留的部分，来形式化地连接经验证据（训练误差）与泛化误差。这一理论框架弥补了早期关于“证据”与“泛化”之间缺乏严格数学证明的空白，为理解神经网络为何能在随机初始化后通过优化找到泛化良好的解提供了理论基础。
排除极端权重对泛化误差的影响
在讨论从权重空间中随机抽取向量时，核心问题在于：如果排除了训练误差与测试误差差异最大的那 5% 的权重向量，剩余的随机权重是否仍能保持相似的泛化表现？直觉上可能认为排除这些“异常值”会改变结果，但论证指出，即使利用训练数据知识排除了 5% 的权重向量，剩余绝大多数权重的泛化误差差异依然很小。这是因为在庞大的权重空间中，具有显著训练与测试误差差异的向量占比极小（vanishingly small amount），排除这 5% 无法对整体分布产生实质性偏移。听众曾提出反例思路，即通过遍历所有可能权重并消除差异最小的向量来增加剩余向量的误差差异，但 Yisong Yue 指出这种对抗性策略在随机抽样框架下并不适用。>
PAC-Bayes 理论的核心不等式与证据项
PAC-Bayes（Probably Approximately Correct - Bayes）理论提供了一种从信息论或熵的角度重新审视机器学习泛化能力的框架。该理论的正式表述涉及对解空间（solution space）的积分，其中被积函数是总体误差（population error）。尽管模型在训练集上可能达到 0% 的训练错误，但我们真正关心的是其在总体分布上的表现。简化版的 PAC-Bayes 结果表明，平均总体误差由证据（evidence）的对数界限控制。具体而言，这一界限与数据点数量 $N$ 相关，形式上包含一个对数项和一个除以 $(N-1)$ 的因子。该结论在概率 $1-\δ$ 下成立，即对于绝大多数随机采样的独立同分布（IID）训练集有效。这里的 $\delta$ 代表极小的失败概率，由于它出现在对数项中，其影响通常可以忽略不计。因此，分析的重点集中在证据（evidence）这一核心项上。
"A simplified version of the PAC-Bayes result says that this is bounded by log one over the evidence."
证据的几何解释与随机性本质
在 PAC-Bayes 框架中，证据（evidence）并非一个固定的常数，而是依赖于具体采样的训练集。当我们从数据分布中随机采样一组 IID 训练集时，以概率 $\delta$ 会发生极小概率的“坏”采样情况（即难以学习的样本），此时理论结论可能不成立；但在概率 $1-\delta$ 的情况下，所有推导均有效。此时，证据定义为该特定训练集下的边际似然（marginal likelihood）。从几何视角来看，证据可以被解释为解空间的体积与权重空间总体积的比值。这意味着，如果某个训练集对应的解空间在巨大的参数空间中占据的比例极小（即证据很小），那么其对数界限就会变大。反之，如果解空间相对“庞大”，则平均泛化误差的界限更紧。这种解释将统计学习理论与高维几何直观地联系了起来。
"The evidence is the, you know, it's the evidence for that training set that you just sampled."
平均泛化误差与 VC 理论的对比分析
PAC-Bayes 理论的一个关键突破在于它关注的是所有解的平均总体误差（average population error），而非单个解的最坏情况。具体而言，我们在均匀测度或先验测度下对解流形上的所有解决方案进行积分并取平均。这与传统的 VC 维理论形成鲜明对比：VC 理论研究的是确保没有任何解能够过拟合的条件，这是一种非常强的要求。而 PAC-Bayes 则证明了一种较弱的结论：只要大多数解不过拟合即可，即使存在少数过拟合的极端情况也不影响整体界限。这种平均视角使得 PAC-Bayes 能够得出比传统 VC 理论更有趣且更具实用性的结果。总体误差在此处等同于在无限大测试集上的测试错误（test error），即模型在真实数据分布下的表现。通过这种平均化处理，我们不再要求每个权重配置都完美泛化，而是关注整体解空间的统计特性。
"VC theory sought conditions such that no solution could be capable of overfitting. But this just says I only care about the average generalization error across all solutions."
理论推导中的分布变换与 KL 散度简化
PAC-Bayes 界限的严格证明依赖于一个关于分布平均值的引理：从一个支持集较大的分布 $P$ 变换到支持集较小的分布 $Q$ 时，平均值的变化受限于两个分布之间的KL 散度（Kullback-Leibler divergence）。在推导中，$P$ 被定义为整个权重空间上的先验测度（prior measure），而 $Q$ 则是限制在解空间内的后验或截断先验测度。通过设置超参数 $\beta$ 为训练样本数量，并令 $H$ 衡量训练集与总体分布间的泛化误差差异，复杂的 KL 散度项得以简化。具体而言，KL 散度简化为证据的对数形式 $\log(1/\text{evidence})$，即解空间先验概率的对数倒数。这一技术步骤是连接抽象信息论界限与具体机器学习模型性能的关键桥梁，它表明平均泛化误差的上界主要由解空间在参数空间中的相对体积（即证据）决定，且该上界随样本量增加而衰减。
"The KL divergence simplifies to be just log one over the prior probability of all solutions, which is just log one over the evidence."
先验平均与证据界的简化
在理论推导中，我们关注的是基于先验分布的平均值，由于该先验不依赖于训练数据，因此其影响通常较小。通过对指数项 $e^{m-1}$ 关于函数 $H(W)$ 的先验平均取对数，可以证明在概率为 $1- ext{delta}$ 的情况下，该值被限制在一个极小的范围内。具体而言，其边界由 $ rac{ ext{log log } 2m}{ ext{delta}}$ 给出，这一项在后续分析中可以被忽略。这构成了证明的核心思路：即通过控制先验分布下的期望值，简化对模型复杂度的评估。
"log of the average over the prior of e to the m minus one.Of H of W is bounded for with probability one minus delta over the trainings that it's bounded by loglog two m over delta"
为了进一步阐述这一概念，我们需要回到证据（Evidence）的定义上。在神经网络的权重空间中，存在一个解流形（solution manifold），它包含了所有能拟合训练集的权向量。我们感兴趣的是解流形的体积与整个权重空间总体积的比值。这本质上是在考察神经网络权重空间的全局属性（Global properties）。接下来的讲座将展示三种实例化这一思想的技术，首先从解的平坦度与尖锐度（Sharpness and flatness）入手。
解空间的平坦度定义与扰动分析
当我们通过随机梯度下降（SGD）训练网络并找到一个特定解时，如果在该解的局部邻域内进行扰动而性质不发生显著变化，则认为该解具有平坦性。然而，仅关注单个解存在缺陷，因为解空间可能由多个独立的解区域组成。如果只分析其中一个解而忽略其他 $k$ 个解，会低估证据值。因此，策略是计算单个解的平坦度贡献，最后乘以 $k$ 来补偿其他解的存在。尽管 $k$ 难以精确获知，但这提供了一个理论框架。
为了量化平坦度，我们引入优化中的平滑性（Smoothness）概念。假设神经网络有 $n$ 个神经元，每个神经元的 fan-in（输入连接数）为 $d$。我们对权重施加约束：权向量之和为零，且权向量的平方和为一。这意味着每个神经元都位于一个维度为 $d-2$ 的超球面（Hypersphere）上。在这种设定下，一个解表现为每个神经元的权向量指向超球面上的特定方向。
高维几何视角下的体积计算
解的平坦度被定义为最大角度 $ ext{alpha}$，在此角度内扰动所有神经元不会导致误分类。这在几何上对应于超球面上的球形帽（Hyperspherical caps）。我们可以扰动权向量在这个“帽子”范围内晃动而不改变分类结果。因此，单个解的体积可以近似为：所有神经元对应的球形帽面积之和与超球面总面积之比的乘积。这里隐含地假设先验分布为 $n$ 个超球面上的均匀分布。
根据几何学结果，维度为 $d-2$ 的超球面上，角度为 $ ext{alpha}$ 的球形帽表面积占比有一个下界。该比例大于或等于 $( ext{alpha} / ext{sine of the angle divided by two})$ 的 $d-2$ 次方。关键结论是：在高维空间中，随着维度增加，球形帽的相对表面积会急剧减小。这意味着在极高维度的权重空间中，能够保持正确分类的区域（即平坦解）所占的比例极其微小。这一几何特性直接影响了 PAC 学习界中的证据项，进而影响泛化误差的估计。
"So that's saying that in high dimensions, the relative surface area of an alpha cap gets smaller and smaller as the dimension increases."
最终，证据（Evidence）被界定为 $k$ 乘以单个解的体积占比。在 PAC 基界（PAC base bound）中，出现的是 $ ext{log}(1/ ext{Evidence})$ 除以数据点数量。由于高维几何特性导致证据值极小，其对数项将显著影响泛化界的松紧程度。这揭示了高维空间中解的稀疏性与神经网络泛化能力之间的深层联系。
第一种尝试：参数计数与解数量的补偿机制
在探讨神经网络的泛化理论时，首先通过数学推导得出一个关于证据（evidence）的对数界限。具体而言，对数逆证据等于 n log 2 + nd - 2log(1/sin(alpha/2)) - log(log k)，其中 n 代表神经元数量，d 为每个神经元的扇入（fan-in），k 表示解的数量。根据 PAC-Bayes 界限，需将此值除以数据点数量。n*d - 2 实际上代表了网络中的自由度，即参数总数减去两个约束条件。这一推导揭示了一个关键现象：泛化界限比较了参数量与数据点数量，但存在一个 log k 的减项。只要解的数量 k 呈指数级增长（即存在大量等价解），即使参数量巨大，这种补偿因子也能抵消参数过多带来的负面影响。这体现了 PAC-Bayes 理论的核心洞察：它并不直接关心参数的绝对数量，而是通过解空间的复杂性来调整界限。
然而，这种解释面临一个根本性难题：我们实际上无法确切知道 k 的值是多少。如果忽略 log k 这一项，转而仅依赖单个解的锐度（sharpness）或平坦度（flatness），得到的泛化界限将与参数计数成正比。对于现代深度神经网络而言，这种随参数量线性增长的界限通常过于宽松且缺乏实际意义。因此，第一种尝试虽然从理论上揭示了参数与解数量的关系，但因 k 的不可知性而难以直接应用于实践。
第二种尝试：打破对称性与局部先验球体
为了解决解数量 k 未知的问题，第二种尝试引入了“打破对称性”（breaking symmetries）的概念。该思路源自多伦多大学的一项研究，其核心观点是不再将先验分布设定为整个权重空间，而是以权重初始化点为中心构建一个局部球体。这个先验分布仅包含由梯度下降找到的那个特定解及其邻域。证据的计算方式也随之改变：不再是整个解流形体积与总权重空间体积之比，而是单个解的平坦度（局部球体中该解所占体积）与初始化点周围先验球体总体积之比。
这种方法的优势在于，由于先验分布被限制在初始化点附近并刻意避开了其他等价解，因此无需知道全局有多少个解。然而，这种方法存在一个显著的缺陷：事先无法确定先验球体的大小。研究者采用了一种“事后选择”的策略，即推导一系列半径逐渐扩大的同心圆环先验界限，然后在事后选择表现最好的那个界限。虽然通过联合界（union bound）和概率分配可以证明这种策略在统计上是有效的，但这使得该界限更像是一个频率学派的界（frequentist upper bound）而非纯粹的贝叶斯先验。这种“不知道先验是什么，所以尝试所有可能并事后挑选”的做法在解释上显得不够自然。这引发了关于优化器角色的争论：PAC-Bayes 理论倾向于认为随机采样即可泛化，而另一派观点强调优化算法本身的特性对找到特定解至关重要。
第三种尝试：无限宽网络与结构简化
鉴于前两种方法在理论严谨性与实际应用场景之间的脱节，第三种尝试转向了无限宽网络（infinitely wide network）的视角。前两种方法面临的共同问题是权重空间中解流形的结构过于复杂，难以精确建模。通过假设网络宽度趋于无穷大，可以简化解流形的结构特性，从而绕过对复杂几何形状的直接依赖。尽管前两种方法（特别是第二种）已经能够得出非空泛化界限，但它们未能完全契合神经网络在实际中的使用方式，且第二种方法中“同心圆环先验”的处理显得较为繁琐。无限宽极限提供了一种更简洁的理论框架，旨在弥合理论界限与实际深度学习实践之间的差距。
在这一背景下，学术界对于优化器的作用仍存在分歧。一方认为 PAC-Bayes 界限表明从解流形中随机抽取的解决方案本身具有良好的泛化性质，优化器的作用仅是采样；另一方则坚持认为优化算法的性质至关重要，因为深度学习实践依赖于特定优化器找到的极小值点。目前，如何将 PAC-Bayes 理论与梯度下降等具体优化过程更紧密地结合，仍是研究的前沿问题。无限宽网络的假设试图通过简化模型结构来回应这一挑战，为理解深度学习的泛化能力提供新的理论路径。
函数空间视角下的证据计算
在神经网络的理论分析中，从权重空间（Weight Space）转向函数空间（Function Space）是理解模型泛化能力的关键。对于二元分类问题，我们关注的是那些输出符号与训练标签一致的权重向量集合。在函数空间中，这对应于一个特定的正交象限（Orthant），即网络在所有训练点上的输出具有特定符号模式的区域。这种几何视角的转换简化了问题的复杂性，因为相比于权重空间中复杂的解空间结构，函数空间中的正交象限是一个更直观的几何对象。
"The observation is that for binary classification, the space of solutions in function space is like the set of networks whose outputs have the correct sign... we're interested in actually just an orthant of function space."
当网络宽度趋于无限时，神经网络在函数空间上诱导出一个高斯过程（Gaussian Process）测度。这意味着，计算神经网络的证据（Evidence）转化为在一个均值为零、协方差矩阵由网络架构和训练输入决定的高斯分布中，采样到的随机函数落在上述正交象限内的概率。这种证据等于高斯测度下的正交象限概率（Orthant Probability）的结论，为理解无限宽神经网络的泛化性质提供了坚实的数学基础。
三种计算证据的方法对比
目前已知计算神经网络证据主要有几种途径，每种方法都有其独特的视角和局限性。第一种方法是直接考察整个解空间，但难点在于无法确定解的数量 $k$，导致难以得出非平凡的泛化界。第二种方法通过引入一个接近权重初始化的不同先验分布，巧妙地避开了对解数量 $k$ 的直接计数问题。第三种方法则是回归到无限宽极限，利用神经网络与高斯过程之间的对应关系来估计所有解的总体积。
"The third approach goes back and tries to estimate the entire volume of all solutions by taking an infinite width limit and using the correspondence to Gaussian processes."
此外，还存在一种理论上最直观但实践中不可行的方法：随机采样权重向量并统计符合训练数据的比例。然而，对于任何合理规模的数据集，这种方法所需的时间可能超过宇宙年龄，因为找到第一个符合训练集的随机权重向量的概率极低。因此，基于高斯过程的无限宽极限方法成为了连接理论分析与实际模型性能的重要桥梁。
PAC-Bayes 在模型比较中的应用价值
PAC-Bayes（Probably Approximately Correct Bayesian）理论不仅提供了后验分布的性质，还能保证单个解（Individual Solutions）的泛化属性。这一特性使其在模型比较中具有独特价值：如果架构 A 的证据（解空间体积）大于架构 B，那么从随机采样的角度来看，A 的泛化性能预期优于 B。这为选择更优的网络架构提供了理论依据，将贝叶斯模型比较从分布层面落实到了点估计（Point Estimates）的预测能力上。
牛津大学的研究团队对此进行了大量实验验证。在一项针对 MNIST 数据集的二元分类任务（判断数字是奇数还是偶数）中，研究者比较了7层多层感知机（MLP）与2层 MLP。通过计算基于无限宽极限高斯过程的 PAC-Bayes 泛化误差上界，并将其与通过 SGD 训练得到的实际测试错误率进行对比。
| 模型架构 | 理论 PAC-Bayes 上界趋势 (随训练集大小) | 实际 SGD 训练测试错误率趋势 (3个随机种子平均) | 观察结果 |
|---|---|---|---|
| 2层 MLP (绿色曲线) | 上界数值较高，泛化性能预测较弱 | 测试错误率相对较高 | 理论排序与实际表现一致 |
| 7层 MLP (紫色曲线) | 上界数值较低，泛化性能预测较强 | 测试错误率相对较低 | 7层网络优于2层网络 |
实验结果显示，尽管 PAC-Bayes 上界完全基于无限宽核的理论推导，而实际曲线来自具体网络的训练结果，但两者在模型优劣排序上完全匹配。这表明 PAC-Bayes 界不仅优于随机猜测（50%错误率），而且能有效预测哪种架构在有限数据下表现更好，验证了该理论在实际模型选择中的有效性。
SGD解分布与无限宽极限的理论闭环
当前深度学习理论的一个核心研究问题，在于建立随机初始化下SGD（随机梯度下降）所发现的解的分布与无信息先验解空间分布之间的联系。一旦确立这种联系，理论闭环即可完全闭合。关键在于处理两种近似：无限宽与有限宽的差异，以及SGD解分布与先验分布的关系。 如果能够将这两者统一，就能从理论上彻底解释深度学习的泛化机制。
"A great research question is to relate the distribution of solutions discovered by SGD with random initialization, with the distribution over... an uninformed prior over distributions over solutions."
这种理论框架试图通过几何视角和统计问题相结合，来理解模型为何能泛化。尽管存在批评声音认为该方法仅关注权重空间中的平均泛化误差，但深入分析表明，SGD不太可能收敛到零测度的低维子空间。因为即使在该子空间中，添加噪声也不会破坏解的性质，这暗示了解空间的“平坦性”（flatness）特征。因此，从几何角度审视这些现象，有助于揭示其背后的统计本质。
非空泛化界与参数计数的谬误
实验结果显示，即使在仅有少量训练样本的情况下，无限宽神经网络依然能产生非空泛化界（non-vacuous generalization bounds）。这一发现对传统统计学习理论构成了挑战，因为经典观点通常认为需要数百万数据点才能获得有意义的泛化界限。然而，实验数据显示模型在极少样本下依然有效。
| 训练数据量 | 网络宽度 (每层参数) | 泛化界状态 |
|---|---|---|
| 500 samples | ~25 million (width=5k) | Non-vacuous |
| 100 samples | ~25 million (width=5k) | Generalizing |
上述表格数据表明，参数计数（parameter counting）并非泛化的决定性因素。在无限宽极限下，尽管每层拥有约2500万个参数（宽度为5000），模型在仅100或500个样本时仍能保持泛化能力。这直接反驳了传统统计学中关于参数数量必须远小于数据量才能避免过拟合的假设，揭示了深度学习泛化机制与传统统计理论的根本差异。
理论应用：架构设计与偏差校正
虽然计算这些泛化界目前并不比直接训练更快，但其理论价值在于理解机制并指导未来设计。例如，利用证据（evidence）优化核函数参数可能成为一种新的架构设计路径。通过最大化边际似然来调整高斯过程核的参数，进而映射回神经网络架构设计，有望发现优于随机搜索的模型结构。
"Once you know that the evidence is important, you can actually optimize the evidence with respect to that parameter... design network architectures by like optimizing their equivalent kernel."
此外，理解泛化理论对于解决机器学习系统的公平性与偏差问题至关重要。目前学界甚至未就基本泛化理论达成共识，更难以解释模型为何对特定群体产生偏见。只有厘清机器学习如何泛化，才能有效校正系统偏差。Pack base理论将期望泛化误差与训练数据排除的权重空间体积联系起来，复杂度度量基于贝叶斯证据的对数倒数，这不仅支持模型比较，还可能用于评估不同数据集的难度。
结论
VC理论因忽略优化算法与标签复杂性，无法解释深度学习泛化；PAC-Bayes通过贝叶斯证据（解空间体积比）提供新视角。实验证实，基于无限宽极限的PAC-Bayes上界能准确预测架构优劣（如7层优于2层MLP），且在仅100-500样本下仍产生非空界限，直接反驳参数计数决定泛化的传统观点。尽管理论闭环（SGD分布与先验联系）尚未完全闭合，且解数量k的不可知性限制直接应用，但该框架成功将几何体积、信息论与泛化能力统一，证明高维空间中解的稀疏性与平坦度是理解模型选择及数据难度的关键。