Hello，欢迎回到深度解析环节。我今天非常兴奋，因为一开始我就有一个严肃且重要的问题想问大家：“如果你现在打个响指就能造出一个机器人好朋友，它会是什么样子的？”这是一个很棒的开场问题。我觉得每个人对此都有不同的答案：“是像推土机那样巨大而强壮？还是像蜂鸟一样微小且极速？”或者是“一只不需要遛的狗”？我想大多数人，包括正在听的你，首先希望机器人是聪明的。没错，你希望它能给你讲故事、回答“为什么天空是蓝的”这类问题，甚至可能帮你在数学作业上出谋划策。

我们要让它们成为天才，无所不知。但这里有个大问题，这也是我们今天深入探讨这些科学论文的主要原因：目前为了让计算机大脑更聪明，科学家们只是单纯地把它做得更大。我不是说稍微大一点，而是巨大无比。这已经成为一个严重的问题：人工智能的“大脑”因承载过多信息而变得极其沉重，运行起来非常困难。让我们描绘一个场景：想象你要去上学，背着书包。通常你会装午餐盒、笔记本、铅笔袋和最喜欢的玩具，很轻便，你可以跑去坐公交或跳跃。

听起来是个正常的早晨。现在想象老师打电话说：“不，今天不一样。你需要把图书馆里的每一本书都背在背上。”哇，那书包比你人都大。你根本走不动路，会像翻过来的乌龟一样趴在地上，手脚乱蹬却站不起来。这正是我们最聪明的计算机所面临的处境：它们试图时刻携带一切，导致运行缓慢且消耗巨大能量。但好消息是，一些聪明的科学家找到了一种卸下沉重书包的方法。他们发明了一种叫STEM的技术。

我知道你在想什么，通常在学校里STEM代表科学、技术、工程和数学。但在本次深度解析中，它的意思是“使用嵌入模块扩展Transformer”（Scaling Transformers with Embedding Modules）。这确实有点拗口，听起来像机器人打喷嚏。我们要不要为听众想个更好的名字？我觉得今天可以把它称为“超级智能捷径”。我喜欢这个称呼。所以，本次深度解析的任务很简单：解释这条捷径的工作原理，展示它如何让计算机更轻、更快，以及它是如何让我们能在机器人大脑中施展“魔法”的。

这真的像魔法一样，改变了计算机思考的基本方式。为了理解这条捷径，我们必须先了解缓慢的旧方法。假设我在电脑里输入“你好机器人”，那个沉重的大脑内部发生了什么？在正常的计算机大脑中，也就是科学家所说的密集模型里，电脑把每个单词都当成一场巨大的数学测试。即使是像“the”或“cat”这样的小词也不例外。想象你在搭建一个巨大的乐高城堡，在旧方法中，每次拿起一块积木，你都必须解一道复杂的乘法谜题才能确定它的位置。

这听起来很令人疲惫。我只想搭城堡，不想为每一块积木做数学题。确实如此，这消耗了大量的脑力或我们所说的循环计算。计算机有一个特定部分叫前馈网络（Feed Forward Network）。你可以把它想象成计算机的肌肉。每次看到单词，它都会收缩这块肌肉来计算词义和接下来的内容。这意味着它在为所有事情发力，就像为了说声“你好”而做俯卧撑一样。是的，它一直在进行高强度工作，这就是为什么书包感觉那么重：计算机对简单的事情进行了复杂计算。

我在笔记中看到科学家之前尝试过解决这个问题，他们试过一种叫“混合专家”（Mixture of Experts）的方法。听起来很高大上。确实，理论上是个好主意。想象一下，不是一个大脑做所有数学题，而是一个充满专家的房间：一个人懂太空，一个懂恐龙，另一个懂数学。如果我问霸王龙的事，只有恐龙专家回答。这是理想情况：你不需要太空专家来帮忙解答恐龙问题，从而节省能量。

但实际情况会变得混乱。“怎么个乱法？”像食堂里的食物大战？有点像。有时计算机会困惑该问哪个专家，或者专家们开始互相争吵。在科学术语中，这被称为训练不稳定性（Training Instability）。就像教室里所有人同时举手，老师——也就是计算机——花费太多时间来决定听谁的。我明白了：沉重的书包因为所有的俯卧撑和数学题而太慢，而那间满是专家的房间则太嘈杂混乱。我们需要一种更好的方法。

于是STEM登场了，这就是超级智能捷径。它如何在不引起嘈杂课堂的情况下解决数学问题？这是最精妙的部分：STEM意识到你不需要做数学题就能理解一个单词，你可以直接查字典。就像查字典？或者把它想象成作弊小抄（Cheat Sheet）。我爱这种好主意。让我们用学校储物柜的类比：想象你在学校，早上8点你需要找到特定的柜子拿运动鞋。我在走廊里了。“沉重大脑”的旧方法是拿出地图，测量走廊长度，计算地板角度，检查风速。

停下！太荒谬了，人们会盯着我看的。我只是想要我的鞋子。没错，极其复杂。但STEM的方法就像寻找一个贴纸。是的，想象你沿着走廊走，看到一个明亮的……

贴着写有你名字的黄标签，砰！你就确切知道储物柜在哪了。你不需要做数学题，也不需要测量什么，只是看到标签就心想：“在那儿呢。” >> 这快多了。我直接走到那个标签面前就行了。

这正是STEM在计算机内部做的事情。在计算机科学中，我们称之为查找表（Lookup Table）。 >> 查找表？听起来很有用。

它基本上就是一个列表。对于计算机认识的每一个词，比如猫、跑、开心、空格键， >> 都有一个特殊的标签或者我们所说的嵌入向量（Embedding）在列表中等待。

明白了。 >> 当计算机看到“猫”这个词时， >> 它不需要进行繁重的肌肉式数学运算。它只是指向那个“猫”的标签，说：“好了，含义就在这里。” 这省去了数学测试。

它跳过了数学考试中最难的部分。研究表明，通过使用这些标签（嵌入），我们可以移除大脑中大约三分之一的繁重部分。

三分之一？哇。这就像把我们之前讨论的那个背包里拿出10本厚重的百科全书一样。 >> 没错。这让模型变得轻得多、多得多。而且不像那间挤满专家的房间，它不会感到困惑。标签总是在同一个位置。“猫”的标签永远在“猫”的位置上。它极其有条理。

所以，我们有一个更轻的大脑，使用标签而不是繁重的数学运算。这解释了我们名字中“快捷方式”的部分。但你答应过我变魔术的。 >> 啊，是的，魔法时刻。这才是真正有趣的地方。

在笔记中，这一节被称为“知识编辑”，听起来有点像脑部手术。我们真的能编辑大脑吗？ >> 这确实有点像脑部手术，但要容易得多、多得多。因为STEM使用这些有组织的标签，我们可以做一些非常有趣的事情：替换它们。

好吧，带我看看他们做的实验。当我读到它时，简直震惊了我的大脑。 >> 科学家拿这个新的STEM计算机大脑问了一个简单的问题：西班牙的首都是哪里？

电脑回答说 >> 它说马德里，这是正确的答案。 >> 好吧，到目前为止很无聊。普通机器人也能做到这一点。我也可以。

确实。但诀窍在于，在普通的沉重大脑计算机中，“马德里是西班牙首都”这一事实是被隐藏的。它混合在那团巨大的数学数字汤里， >> 对吧？

你根本无法触及它。这就像是在蛋糕烤好之后试图把鸡蛋取出来一样。 >> 你做不到。现在它只是蛋糕了，你不能把鸡蛋从蛋糕里“还原”出来， >> 对吧？

但在STEM中，“西班牙”的含义附着在“西班牙”标签上。它就坐在查找表那里。 >> 啊哈。

所以，科学家伸手进去，取出了“西班牙”标签，并用“德国”的标签替换了它。 >> 他们只是交换了标签。就像在果酱罐和花生酱罐之间切换标签一样。

没错，就像切换标签。他们没有教计算机任何新知识，也没有重写代码。他们只是交换了列表中的标签（嵌入向量）。

然后他们再次问道：“西班牙的首都是哪里？” >> 是的。屏幕上仍然显示着“西班牙的首都是哪里”这几个字，但计算机的大脑看向单词“Spain”，进入“Spain”的位置，却找到了那个“德国”标签。

所以它说了什么？是困惑了吗？还是直接说柏林（德国首都）了？ >> 它完全没有感到困惑。它开始讲授关于柏林的历史课。

不会吧，太疯狂了。所以计算机是用眼睛读“西班牙”，但用大脑思考“德国”。 >> 而且不仅仅是一个单词的回答。这才是令人印象深刻的部分：计算机写了一整段话，描述了柏林、它的人口、柏林墙以及历史等一切内容。

哇哦。 >> 因为我们要替换标签，它完全采纳了新的现实。

但这为什么是个大新闻呢？我的意思是，除了给地理老师开个恶作剧玩笑之外——看啊老师，机器人说西班牙的首都是柏林。 >> 这确实很有趣，但更重要的是因为它涉及一个叫做“可解释性”（Interpretability）的概念。

这是个昂贵的词儿，给咱们六岁的小听众解释一下吧。 >> 它的意思就是能够理解。长期以来，人工智能一直是个黑盒子。我们喂给它一个问题，它就吐出答案，但我们并不真正知道它是如何得出这个结果的，对吧？

这就像是一个秘密的魔法咒语。 >> 我们想知道这个戏法是怎么变的，我们要看到帽子里的兔子。

没错。在STEM中，因为事实附着在这些特定的单词标签上，我们实际上可以看到计算机是如何思考的。我们可以说：“啊，就在第500号槽位里，这是计算机存放它关于‘西班牙’概念的地方。”

这听起来对安全超级有用。比如，如果机器人学到了错误的东西怎么办？如果它认为红灯意味着通行呢？那会很危险。 >> 在旧的大脑中，修复这一点会非常困难。你必须重新训练整个大脑。

是的，但在STEM中，理论上你只需找到那个“红灯”标签并替换为正确的定义即可。 >> 修好标签，就修好了机器人。

理想情况下是这样。这给了我们控制权。论文提到他们还用其他东西做了这个实验，比如将“美国”替换为“加利福尼亚”。

让我猜猜，它开始说美国的资本是萨克拉门托（加州首府）了。 >> 确实如此。它完全理解了这次替换。这证明了计算机将其想法保持得非常分离和有组织。

好吧，所以我们有让大脑变轻的标签，还有可以交换来恶作剧的标签。但这个STEM发明还有一个超能力。这与睡前故事有关。

啊，那个永无止境的故事问题。 >> 是的，听众们请想象一下：当有人给你讲一个非常、非常长的故事时。

比如它持续了好几个小时？ >> “从前……”然后三个小时后他们还在说。

没错。等到故事结束时，你基本上已经忘记了开头时的主角是谁了。 >> 这既发生在人类身上，也肯定发生在计算机上。我们称之为长上下文（Long Context）。当故事太长时，普通计算机会感到困惑。

它们沉重的大脑会被所有的数学运算过载。 >> 它们会迷失剧情，字面意义上的迷失。

是的，数学开始变得模糊不清。这就像你把太多颜色的油漆混合在一起一样。想象一下你有鲜红、蓝、黄和绿四种颜色。如果你把它们全部混合在一个桶里，会发生什么？

你只会得到一种恶心、浑浊的棕色。 >> 真糟糕。“棕色油漆大脑”。这就是普通计算机阅读过多文本时发生的情况。

但STEM计算机不使用混合油漆，它使用那些标签（嵌入）。 >> 正确。这导致了研究中一个最令人惊讶的发现：他们用一个叫做“大海捞针”（Needle in a Haystack）的游戏进行了测试。

我知道那个游戏，或者说知道那句谚语：你必须在巨大的干草堆里找到一根微小的针。这几乎是不可能的。在计算机版本中，你取一个

海量的文本，一页又一页的故事。你在中间某处藏了一个微小却关键的事实——那根“针”。哦，好吧。也许那是秘密代码，比如那个神奇数字是42。然后你又加了10页故事。接着你问计算机：“这个神奇数字是多少？”那些沉重的“大脑”计算机对此感到吃力。当故事变得非常长时，是的，它们开始遗忘。棕色的油漆（干扰信息）占据了主导。但STEM大脑表现惊人。随着故事变长，与常规计算机相比，STEM计算机实际上变得更聪明了。“等等，它变得更好是因为测试变难了？这说不通。”“感觉确实不该这样，对吧？”但统计数据表明，在非常长的故事中，STEM比常规密集计算机大脑好约13%。“13%可是个大数目。这就像考试中B和A+之间的差距。”“为什么？当其他计算机遗忘时，它是如何记住那根‘针’的？”这要回到组织中的“贴纸”概念。想象一下玩具箱。“好吧，我在想象我的玩具箱。说实话，那简直是一场灾难。”“没错。常规计算机的记忆就像一个杂乱的玩具箱。你把乐高积木、玩偶、拼图碎片、汽车和蜡笔全都扔在一起。”“如果我让你找一块特定的微小红色乐高积木，祝你好运。你得挖上好几个小时，甚至可能永远找不到。”

但STEM就像一个为每一件玩具都设有独立小格子的玩具箱。红色乐高在这里，蓝色汽车在那里，拼图碎片放在这里。“每件物品都有自己的家。”“是的，每件物品都有属于自己的地方。科学家称这种现象为具有较大的角度分布（angular spread）。但这其实只意味着想法互不干扰，永远不会纠缠在一起。”“嗯……所以当计算机回顾一篇庞大的故事时，不必在一堆杂乱中挖掘。它只需查看那些插槽。”“它会看到写着神奇数字的贴纸坐在它的格子里，然后瞬间抓取它。房间里有多少其他东西并不重要，因为贴纸就在它的位置上。”“这太酷了。它不仅更轻便，而且更整洁。就像机器人界的近藤麻理惠（Marie Kondo）。”“这是一个非常精彩的比喻。”“通过井然有序，它激发了人们的喜悦之情。所以，我们有一个更轻的大脑、一个可随意交换事实的魔法大脑，以及一个超级有组织的大脑。我得问一句：这能节省能源吗？因为如果我试图把我的房间整理得井井有条，我会累垮的。”

对于人类来说，是的，组织整理是艰苦的工作。但对于计算机而言，井然有序能节省巨大的能量。“我们要谈多少呢？”“很多。还记得我们讨论过的FLOP（浮点运算次数）吗？‘Flops’。”“那是数学计算的有趣说法，对吧？”因为STEM使用速查表或查找表。它跳过了最困难的计算较少意味着更少的能量消耗。但这对计算机的内存还有另一个好处。“这是我们要谈论VRAM（显存）的时候吗？是的，VRAM。”“VRAM听起来像个机器人反派。‘我是毁灭者VRAM’。”“确实如此，但它实际上更像机器人的背包空间。它是视频随机存取存储器（VRAM）。通常它很快就会被填满。”“但STEM允许我们进行一种称为CPU卸载的操作。‘卸载？’这听起来像是把你的家务活交给你的小弟弟。”“这正是把家务活交给小弟弟的意思。‘我动一下’。”

看，计算机有一个主脑GPU（图形处理器），它极快且昂贵。就像赛车手一样。然后它有一个辅助脑CPU（中央处理器），稍慢但可靠，像维修站的工作人员。“好吧。所以赛车手想要跑得快？”“没错。”因为STEM的贴纸只是一个静态列表。是的。“它们不会改变。我们不需要赛车手来持有这些列表。我们可以把这个列表交给维修站团队。”“所以辅助脑保存着速查表？”“正确。这使得主脑能够专注于真正重要的思考工作。它使整个系统运行更顺畅、更冷静。”“所以它是高效的，是快速的……”“嗯哼。‘我通常担心当我走捷径时，我的工作会变得马虎。你知道的，如果我为了去玩耍而快速完成作业，我可能会答错一些题目。’”“嗯哼。”

STEM计算机因为使用速查表而成绩变差吗？你本以为会这样。这也是科学家们最初的大担忧：使用查找表算作弊吗？这会让机器人变笨吗？但结果令人震惊。它的实际成绩反而更好了。“做得更少却获得更好的成绩，这不公平。”“我知道。他们在一些极具挑战性的测试中将这种STEM大脑与沉重的密集大脑进行了对比。其中一个是数学测试GSM8K，里面充满了棘手的文字题。”“好吧。”另一个是科学测试ARC Challenge。“它击败了那些沉重的大脑。它的得分比承担所有繁重工作的计算机高出约3到4%。”“这太不可思议了。所以让我总结一下，因为我们涵盖了很多内容。”

“A：我们有一种构建大脑的新方法叫STEM。它通过使用贴纸或查找表来工作，而不是对每个单词进行复杂的数学运算。”“正确。这使得大脑更轻便。就像从背包里拿出书本一样。它使得通过交换事实来施展魔法变得更容易。由于玩具被整齐地存放在小格子里，它有助于记住超长的故事。”“D：它在获得更好成绩的同时节省了能源。‘这是完美的总结。它确实挑战了‘越大越好’这一观念。在人工智能领域，事实证明更聪明、更有条理才是真正的赢家。’”“这就像意识到你不需要背诵整本百科全书，只需要知道如何使用索引来查找所需内容即可。”“正是如此。那么让我们回到听众身上，也许他此刻正坐着玩乐高积木的人。为什么他们应该关心STEM和这些贴纸大脑？这对孩子来说意味着什么？”

“嗯，想想你使用的设备。也许你有给你读书的平板电脑，或者一个会说话、行走的智能玩具机器人。”“是的。目前，这些玩具通常需要连接到互联网才能变得真正聪明，因为它们的大脑太大，无法放入玩具内部。”“没错。大脑实际上位于远方的一台巨型计算机中。如果Wi-Fi断了，玩具就会变笨，无法再回答你的问题。”“一个悲伤、愚蠢的机器人。这真没意思。”但有了STEM，因为它如此轻便高效，加上我们讨论过的卸载技巧，我们可能能够将这些超级聪明的大脑直接放入玩具中。所以我的机器狗即使在车里，或者即使我在森林里露营时也能成为天才。”“是的。这意味着我们的电子设备可以更智能、更快速，电池续航时间会更长，因为它们不需要进行那么多繁重的数学运算。”“这是一个让我兴奋的未来。

一个能辅导作业、讲完美睡前故事，且永远不需要插电的机器人。我举双手赞成。>> 我们还没完全达到那个阶段，但STEM（科学、技术、工程与数学）是朝着这个方向迈出的巨大一步。今天我们聊了这么多内容，从沉重的书包到神奇的贴纸，想到科学家们仍在探索构建“大脑”的新方法，这真是令人惊叹。你本以为他们现在应该无所不知了。>> 这正是科学的魅力所在，总是有新的视角来看待问题。是啊，>> 我们过去认为必须计算一切，现在我们知道只需查阅即可。

在结束之前，我还有一个最后的想法留给听众去深思。我们讨论了如何交换计算机“大脑”中的贴纸。嗯哼。>> 我们把西班牙换成了德国。>> 但想象一下，如果你拥有机器人大脑的控制面板会怎样？>> 哦，这是个危险的问题。让我们看看这会走向何方。>> 如果你能交换一张贴纸来改变计算机世界中的一个事实，你会改什么？>> 这很有趣。

你会让“蔬菜”这个词实际上意味着糖果吗？这样机器人就会告诉你妈妈，他晚餐需要吃更多糖果。这是健康的。>> 或者也许把走路换成飞行？>> 我要飞去学校，我喜欢这个主意。或者也许把睡觉时间换成派对时间？>> 我想如果我把作业换成电子游戏，很多孩子会非常高兴，但很多老师则会非常困惑。

机器人看着你的数学作业单会说：“啊，是的，你们的任务是玩3小时《我的世界》。这听起来挺不错的。”>> 只要记住，如果你那样做，你可能会得到一张非常奇怪的成绩单。>> 确实如此。但这就是STEM的魔力所在，我们可以看到这些事实位于何处。所以，请继续追问事物是如何运作的，因为即使是再聪明的计算机也只是等待被解决的大谜题。

绝对如此。保持好奇心，感谢今天与我们一起深入探索STEM和机器人贴纸的世界。继续学习，保持好奇，我们下次深度揭秘再见。