But what is cross-entropy? | Compression is Intelligence Part 2

语言树与压缩的直觉起源

视频开篇通过一个思想实验引入核心概念：压缩与智能的等价性。假设你正在处理一个巨大的文本文件，目标是将其压缩到最小体积。传统的压缩算法（如ZIP）通过寻找重复模式来工作。例如，如果文本中 "the" 频繁出现，算法会建立一个映射表，用短代码替换长字符串。这种基于频率的编码是理解后续概念的基础。为了更直观地展示这一点，博主构建了一个“语言树”（Language Tree）的概念模型。想象一棵无限延伸的树，根节点代表起始状态，每一层分支代表下一个可能的字符或词元（token）。路径越深，生成的序列越长。压缩的本质，就是为这些路径分配最优的二进制代码。

"Where the loss function for training LLMs comes from."（训练大语言模型的损失函数从何而来。）

在这个语言树模型中，高频出现的路径应当分配较短的代码，而低频路径分配较长的代码。这与霍夫曼编码（Huffman Coding）的原理一致：如果某个字符出现的概率高，它的编码就短；反之则长。这种策略确保了整体编码长度的最小化。博主指出，这种压缩过程不仅仅是数据存储的技巧，更是对数据分布的建模。当你能够最有效地压缩数据时，意味着你准确预测了数据的下一个部分。因此，压缩能力直接反映了模型对语言结构的理解程度。这种直觉为引入交叉熵损失函数奠定了物理基础：训练LLM的过程，本质上就是在构建一棵能够最优压缩目标语言数据的树。

最优编码的回顾与概率映射

为了深入理解交叉熵，首先需要回顾最优编码长度与概率的关系。在信息论中，如果一个事件发生的概率是 $p$，那么描述该事件所需的最优比特数大约是 $-\log_2(p)$。这意味着，概率越高，所需的信息量（比特数）越少。例如，如果某个词出现的概率是 50%（$p=0.5$），描述它需要 1 比特；如果概率是 25%（$p=0.25$），则需要 2 比特。这一公式 $-\log(p)$ 是连接概率分布与信息长度的桥梁。在语言树的语境下，从根节点到某个叶节点的路径长度，等于路径上所有分支概率对数之和的负值。

"Recap optimal codes"（回顾最优编码）

博主进一步解释，当我们说一个模型“学习”了语言，实际上是指它学会了为每个可能的下一个词元分配正确的概率。如果模型预测某个词的概率很高，而该词确实出现了，那么根据最优编码规则，我们只需要用很少的比特就能描述这个结果。反之，如果模型预测概率低，但事件发生了，我们就需要很长的比特来描述这个“意外”。平均编码长度（Expected Code Length）是所有可能结果所需比特数的加权平均，权重即为真实概率。这个平均长度正是衡量模型好坏的关键指标。越小的平均编码长度，意味着模型对数据的预测越准确，压缩效率越高。这直接引出了下一个核心概念：交叉熵。交叉熵在数学上恰好等于这个平均编码长度，当且仅当模型使用的概率分布与真实数据分布一致时，交叉熵达到最小值，即等于数据的熵（Shannon Entropy）。

交叉熵的严格定义

基于上述直觉，视频给出了交叉熵（Cross-Entropy）的数学定义。假设有两个概率分布：$P$ 代表数据的真实分布（Ground Truth），$Q$ 代表模型的预测分布。交叉熵 $H(P, Q)$ 定义为：

$$ H(P, Q) = -\sum_{x} P(x) \log Q(x) $$

这里，$P(x)$ 是事件 $x$ 在真实分布中的概率，$Q(x)$ 是模型预测事件 $x$ 发生的概率。注意，对数项中使用的是模型预测的概率 $Q(x)$，而不是真实概率 $P(x)$。这是因为在训练过程中，我们拥有真实标签 $P$，但我们需要调整模型参数以优化预测 $Q$。交叉熵衡量的是：如果使用基于模型预测 $Q$ 的最优编码方案来编码真实数据 $P$，平均每个符号需要多少比特。如果 $Q$ 与 $P$ 完全一致，交叉熵等于 $P$ 的熵 $H(P)$，这是理论上的最小值。如果 $Q$ 偏离 $P$，交叉熵就会增加，增加的幅度反映了模型预测的“错误程度”。

"Defining cross-entropy"（定义交叉熵）

在机器学习的分类任务中，真实分布 $P$ 通常是独热编码（One-hot encoding）。例如，如果正确答案是类别 A，那么 $P(A)=1$，而其他所有类别的概率为 0。此时，交叉熵公式简化为：

$$ H(P, Q) = -\log Q(A) $$

这意味着，损失函数仅取决于模型对正确类别的预测概率 $Q(A)$。模型对正确类别的预测概率越高，$-\log Q(A)$ 的值就越小，损失越低。反之，如果模型对正确类别的预测概率很低（接近 0），损失值将趋向于无穷大。这种数学性质使得交叉熵成为分类任务的理想损失函数，因为它对错误预测施加了严厉的惩罚，同时鼓励模型对正确预测给予高置信度。这种定义不仅适用于离散的分类，也适用于连续的概率分布，但在LLM的语境下，我们主要关注离散词元序列的建模。

直观理解与具体示例

为了消除数学公式的抽象感，视频通过一个具体的三分类示例来直观展示交叉熵的行为。假设有一个分类问题，有三个类别：猫、狗、鸟。真实标签是“猫”。我们比较两个不同的模型预测分布：

从表格数据可以看出，模型 A 虽然也有一定概率分配给其他类别，但对正确类别的高置信度使其损失非常小。模型 B 虽然猜对了类别，但置信度不高，因此损失显著增加。模型 C 不仅猜错，而且对正确类别的概率极低，导致损失值巨大。这种差异体现了交叉熵的核心特性：它不仅仅关心分类是否正确，更关心预测的概率分布与真实分布的接近程度。

"Intuition and examples"（直觉与示例）

博主强调，这种对概率分布的敏感度是交叉熵优于其他损失函数（如均方误差 MSE）的关键。在分类任务中，输出层通常使用 Softmax 函数将 logits 转换为概率分布。Softmax 确保所有输出概率之和为 1。当使用交叉熵损失时，梯度下降过程会直接调整 logits，使得正确类别的概率增大，错误类别的概率减小。这种调整是沿着概率分布的几何结构进行的，而非简单的数值距离。此外，交叉熵的导数形式非常简洁，便于反向传播计算。对于独热编码的真实标签，损失对 logits 的梯度恰好是预测概率与真实标签的差值，这使得优化过程既高效又稳定。这种数学上的优雅性，加上其信息论基础，使得交叉熵成为深度学习分类任务的默认选择。

语言树中的应用与序列建模

将交叉熵应用于大语言模型（LLM）时，我们需要处理的是序列数据而非单个分类。LLM 的目标是预测下一个词元。在语言树的框架下，每一步预测对应于树的一个分支选择。对于长度为 $N$ 的序列 $x_1, x_2, ..., x_N$，其联合概率可以分解为条件概率的乘积：

$$ P(x_1, ..., x_N) = P(x_1) P(x_2|x_1) ... P(x_N|x_1, ..., x_{N-1}) $$

对应的交叉熵损失则是所有步骤损失的平均值。具体来说，对于训练数据中的每个位置 $t$，模型预测下一个词元 $x_t$ 的概率分布 $Q_t$，真实词元为 $x_t^$。该位置的损失为 $-\log Q_t(x_t^)$。整个序列的总损失是所有位置损失的总和或平均值。这种逐词预测的机制使得 LLM 能够捕捉长距离依赖关系，因为每个预测都依赖于之前的所有上下文。

"Application to language trees"（在语言树中的应用）

在实现层面，LLM 的输出层是一个线性变换加上 Softmax，将隐藏状态映射到词表大小的概率分布。假设词表大小为 $V$，对于每个时间步，模型输出一个 $V$ 维的向量，经过 Softmax 后得到每个词元的概率。训练过程就是不断调整模型参数，使得真实词元对应的概率最大化。这种逐词交叉熵最小化的过程，等价于在语言树上寻找一条最优路径，使得整棵树的压缩效率最高。值得注意的是，由于词表巨大（如 GPT-3 有 50,000 个词元），直接计算 Softmax 的计算成本很高，因此实际实现中常采用近似方法或优化技巧，但数学原理保持不变。交叉熵在这里不仅是损失函数，更是模型学习语言统计规律的直接度量。

预训练大语言模型的损失函数

视频明确指出，当前主流大语言模型（如 GPT 系列）的预训练阶段，几乎全部使用交叉熵作为损失函数。这一选择并非偶然，而是基于其信息论基础和优化特性。在预训练中，模型被暴露在海量文本数据上，任务是预测下一个词元。通过最小化交叉熵，模型被迫学习数据的内在结构和统计规律。这种学习方式被称为自监督学习（Self-Supervised Learning），因为标签（下一个词）是从数据本身生成的，无需人工标注。

"Pre-training LLMs"（预训练大语言模型）

博主解释了为什么交叉熵适合这一任务。首先，它直接对应于最大似然估计（Maximum Likelihood Estimation, MLE）。最小化交叉熵等价于最大化训练数据的对数似然。这意味着模型在寻找一个概率分布，使得观测到的数据出现的可能性最大。其次，交叉熵对概率分布的细微变化敏感，能够捕捉语言的复杂结构。例如，它不仅能学会常见的词汇搭配，还能学会更细微的语法和语义模式。最后，交叉熵的梯度性质使得优化过程稳定。尽管训练过程计算量巨大，需要数千个 GPU 运行数周，但交叉熵损失函数提供了清晰的优化目标，引导模型逐步逼近真实语言分布。

为什么交叉熵是最优损失函数？

视频深入探讨了为什么交叉熵是这一任务的最佳选择，而非其他可能的损失函数。核心原因在于信息论的最优性。根据香农的信息论，任何无损压缩方案的下限由数据的熵决定。交叉熵衡量的是使用模型分布 $Q$ 编码真实分布 $P$ 所需的平均比特数。当 $Q=P$ 时，交叉熵最小，等于熵 $H(P)$。这意味着，最小化交叉熵等价于寻找一个模型分布，使其尽可能接近真实数据分布。任何其他损失函数，如果不完全等价于交叉熵，都可能引入偏差或无法达到最优压缩。

"What makes this loss function best?"（为什么这个损失函数最好？）

此外，交叉熵具有良好的凸性性质（在参数空间的某些变换下），这使得优化过程更容易收敛。虽然神经网络的损失曲面整体是非凸的，但交叉熵与 Softmax 的组合在局部具有良好的梯度行为。相比之下，其他损失函数如均方误差（MSE）在分类任务中表现较差，因为它们对概率分布的尾部敏感，且梯度在预测接近 0 或 1 时可能消失。交叉熵则避免了这些问题，因为它直接作用于概率空间，且梯度大小与预测误差成正比。这种数学上的完备性，使得交叉熵成为连接信息论与机器学习的桥梁，确保了模型在预训练阶段能够高效地学习语言表示。

知识蒸馏与交叉熵

视频随后引入了知识蒸馏（Knowledge Distillation）的概念，展示了交叉熵在更广泛场景下的应用。在蒸馏中，我们有一个大的“教师”模型和一个小的“学生”模型。教师模型经过充分训练，其输出概率分布 $Q_{teacher}$ 包含了丰富的信息（如类别间的相似性）。学生模型不仅学习真实标签 $P$，还尝试模仿教师模型的分布 $Q_{teacher}$。此时，学生的损失函数通常包含两部分：

$$ L = \alpha L_{CE}(P, Q_{student}) + (1-\alpha) L_{CE}(Q_{teacher}, Q_{student}) $$

这里，第一部分是与真实标签的交叉熵，第二部分是与教师分布的交叉熵。通过最小化与教师分布的交叉熵，学生模型能够学习到教师模型内部的“暗知识”（Dark Knowledge），即类别之间的相对关系。例如，如果教师模型认为“猫”和“狗”比“猫”和“汽车”更相似，这种信息会通过概率分布传递给学生。

"Distillation"（蒸馏）

这种技术利用了交叉熵的分布匹配能力。交叉熵不仅衡量分类准确性，还衡量两个概率分布的整体形状。在蒸馏中，温度参数（Temperature）常被引入 Softmax 中，以软化概率分布，使非目标类别的概率也具有一定值，从而传递更多细节信息。交叉熵在此处充当了知识传递的载体，使得小模型能够在大模型的指导下获得超越单纯标签监督的性能。这进一步证明了交叉熵作为损失函数的通用性和强大表达能力。

KL 散度与交叉熵的关系

最后，视频澄清了交叉熵与 KL 散度（Kullback-Leibler Divergence）之间的关系。KL 散度衡量两个概率分布之间的差异，定义为：

$$ D_{KL}(P || Q) = \sum_{x} P(x) \log \frac{P(x)}{Q(x)} = \sum_{x} P(x) \log P(x) - \sum_{x} P(x) \log Q(x) $$

观察公式可以发现，交叉熵 $H(P, Q)$ 等于 $P$ 的熵 $H(P)$ 加上 KL 散度 $D_{KL}(P || Q)$：

$$ H(P, Q) = H(P) + D_{KL}(P || Q) $$

由于 $H(P)$ 是数据本身的熵，对于固定的数据集是一个常数，因此最小化交叉熵等价于最小化 KL 散度。KL 散度衡量的是模型分布 $Q$ 偏离真实分布 $P$ 的程度。当 $Q=P$ 时，KL 散度为 0，交叉熵达到最小值 $H(P)$。这一关系从另一个角度解释了为什么交叉熵是优秀的损失函数：它直接量化了模型分布与真实分布之间的距离。在优化过程中，梯度下降实际上是在最小化这个距离，迫使模型分布向真实分布靠拢。

"KL Divergence"（KL 散度）

博主总结道，理解这一关系有助于深入把握生成模型的本质。无论是 GPT 的自回归生成，还是扩散模型的去噪过程，其核心目标都是让模型生成的分布逼近真实数据分布。交叉熵及其相关的 KL 散度，为这一目标提供了坚实的数学基础。通过最小化这些指标，模型不仅学会了预测，更学会了压缩和理解数据的内在结构，这正是智能的核心体现。视频最后再次强调，压缩即智能，而交叉熵是实现这一目标的关键工具。