大型语言模型训练损失函数的来源。 与此受众相关的就业机会：https://3b1b.co/talent 支持者的早期观看权限及其他福利：https://3b1b.co/support 主页：https://www.3blue1brown.com
Manim 动画由 Aaron Gostein 和 Grant Sanderson 制作 NanoGPT 动画由 Clayton Rabideau 制作 3D 黑盒模型由 Paul Dancstep 制作 音乐由 Vince Rubinetti 创作
时间戳
0:00 - 语言树与压缩 3:02 - 回顾最优编码 5:20 - 定义交叉熵 8:26 - 直观理解与示例 12:59 - 应用于语言树 14:55 - 大型语言模型的预训练 20:38 - 为何此损失函数最佳？ 26:13 - 知识蒸馏 30:12 - 3b1b 人才计划 31:35 - KL 散度
这些动画主要使用自定义 Python 库 manim 制作。请参阅此处常见问题解答评论： https://3b1b.co/faq#manim
音乐由 Vincent Rubinetti 创作。 https://vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown https://open.spotify.com/album/1dVyjwS8FBqXhRunaG5W5u
3blue1brown 是一个关于用动画演示数学的频道，这里的“动画”一词取其所有含义。如果你正在阅读视频描述的底部，我猜测你对这里课程的兴趣高于普通观众。如果你选择通过在此处订阅 YouTube 或在其他你经常检查的平台上关注，以及时了解新课程，那对我意义重大。
邮件列表：https://3blue1brown.substack.com Twitter：https://twitter.com/3blue1brown Bluesky：https://bsky.app/profile/3blue1brown.com Instagram：https://www.instagram.com/3blue1brown Reddit：https://www.reddit.com/r/3blue1brown Facebook：https://www.facebook.com/3blue1brown Patreon：https://patreon.com/3blue1brown 网站：https://www.3blue1brown.com