如果你的整个世界都是由数字构成的，你会看到什么？没错，就像电影《黑客帝国》那样。蝙蝠用声音“看”世界，驯鹿在冬季将视觉切换到紫外线波段。然而，人工智能系统没有眼睛，它所见到的只是一股数字洪流。那么，它是如何理解你的问题的？又是如何通过律师资格考试的呢？我的意思是，这里到底发生了什么？
你看，当今的人工智能系统能够将一堆输入标记转化为几何结构。是的，它在内部悄悄构建出微小的弯曲形状。这些形状代表了区域、概念以及决策边界。如果我们以极大的规模进行这种操作，这些系统就会展现出几乎像魔法一样的特性。在国际数学奥林匹克竞赛中获得金牌表现？小菜一碟。
现在，看看这个。让我们问一个简单的问题：小AI，如果我把“铝”这个词加在这里，它是适合页面还是超出范围？这个简单的任务对它来说 surprisingly 困难。为什么？因为模型既不知道字符数量，也不知道页面宽度。然而，它仍然给出了正确的答案。等等？
它没有眼睛，怎么会做出这种判断呢？即使它获得的输入标记也不包含字符计数信息。因此，在能够数出字符之前，它必须先学会自己计数。然后弄清楚页面有多宽，最后进行减法运算。好吧，好的。现在我听到你在问：“卡罗琳，这有什么关系？为什么这个问题很重要？”
因为它涉及两件事。第一点：每当我们要AI执行它之前见过或做过的任务时，通常表现不错。但如果我们给它一个根本性的新任务——它从未见过的任务呢？那会发生什么？当然，它会失败，对吧？不，不一定。在这些情况下，在训练步骤中，它意识到自己需要一种用于测量行长度的工具，并从头发明了这种工具。没人告诉过它要这么做。
通过这篇论文，我们现在能够剖析它，看到内部存在的这个工具。“哦，这太不可思议了。”我在想，也许这就是智能的火花。第二点：早些时候，研究人员把一只老鼠放进盒子里，记录它四处游荡寻找美味奶酪时的脑部神经活动。他们发现了一些惊人的事情：少数神经元只在老鼠站在特定位置时才会激活。
移动到另一个位置，另一个神经元就会激活，但仅在那时才如此。他们称这些神经元为“位置细胞”，这就像是在老鼠大脑中内置的GPS，是大脑自行构建的。它还有“边界细胞”，当动物靠近墙壁时会激活。现在，各位学者请坐稳了，因为AI也自行生长出了同样的两个概念。
它具有类似神经元的特征，会根据沿行进的进度或接近页面末尾时的状态而激活。当科学家们在论文中描述我刚才所说的内容时，他们的表述如下：“字符计数由低维弯曲流形表示，并由稀疏特征族离散化，这些特征族类似于生物学的‘位置细胞’。”是的，没有人将此内置到系统中。
它发现必须自己学会这一点。就像老鼠感觉到附近有墙壁时，AI中的神经元会识别出它接近页面末尾。这就是为什么整个实验很重要，不是因为愚蠢的“铝”字。不，而是因为现在我们看到了AI系统内部的一些情况，科学家们发现了里面更多令人惊讶的东西：第一点，它并不数数字。
不，它是计数标记并乘以大约四个字符（每个）。就像我们计算书架上的书时，假设每本书大约有1英寸厚一样。第二点，现在听好了：计数器不是一个数字。它是一个波纹状的螺旋体。这到底是什么意思？为什么这样做？这对它有什么好处呢？
各位学者，这里是卡罗利·佐尔瑙-费赫瓦里博士的《两分钟论文》。这是论文中最具挑战性的部分，所以我尽力解释它。想象一下打开一台老式收音机。你转动旋钮，如果两个电台靠得很近，它们的声音就会相互混杂。嗯，如果我们能把电台分得更开一些就好了。
等等，我们实际上可以做到这一点。这些螺旋体正是做这件事的。这样，每个数字都有自己的频道，并且彼此分得更开。再一次强调，没人要求这样做。AI在训练过程中自行发现必须这么做才能变得更可靠。这绝对令人难以置信。“哇。”如果它构建了秘密螺旋体来寻找数字，我想知道里面还隐藏着什么我们尚未探索的东西。
我觉得我们正在成为新型心智的生物学家。也许可以称之为“机器人心理学”，就像阿西莫夫70年前所做的那样。无论如何，这都是一个活着的好时代。现在，让我们让它运行《毁灭战士》吧。我经常使用Lambda在几分钟内复现AI研究论文。它也非常适合训练你自己的模型或微调现有模型。
运行推理、文生图或视频生成，易如反掌。运行深海聊天机器人或智能体？超级快速、超级可靠。Lambda为你提供强大的Nvidia GPU来运行你自己的实验。我测试我在论文中涵盖的想法，片刻之后就能看到结果。太棒了。说真的，现在就去 lambda.ai/papers 试试。