模型构建与预训练的本质
Anthropic的可解释性研究员埃马纽埃尔·阿梅森（Emmanuel Ameisen）在Lenny播客中详细阐述了大语言模型从构建到内部运作的过程。他指出，做出一个模型并不等于理解了这个模型。模型的搭建首先是一个工程架构的脚手架过程，随后通过海量数据的灌入，在人类无法直接理解的层面“长出”能力。这一过程分为两个主要阶段：预训练和微调。预训练是将大量文本数据喂给模型，让它在前半段内容的提示下预测下一个词，这种重复操作进行了天文数字般的次数。微调则是通过示范对话，教导模型像乐于助人的助手那样说话和解决编程问题。
阿梅森对模型内部的描述非常朴素：输入的词先变成数字，经过一轮轮数学运算得到中间结果，最后再变回一个词。模型中“长出来”的能力正是这些中间的运算过程。通过学习，参数被不断调整，模型学会了一些公式，但人类并不知道这些具体是什么公式。这份工作更像生物学而不是工程学，因为系统到达用户面前时，所谓的“源代码”只是一大堆数学运算，而非人类可阅读的规则代码。当被问及为何要像神经科学家研究大脑那样观察软件时，阿梅森认为这是必要的，因为对于图像分类或自然语言处理等任务，没有人能写出明确的规则，只能让模型自己学习。这种从简单目标到复杂能力的涌现，是理解AI的第一步。
预测下一个词与深层理解的悖论
大众对大模型的常见误解是将其视为手机输入法中的联想功能，认为其预测准确率仅约60%。阿梅森澄清，语言模型在2019年前后预测下一个词的准确率就已经超过了人类。随着简单词汇和基础语法被掌握，模型开始学习世界知识（如“法国的首都是”接“巴黎”），最终攻克最难的词汇预测，例如复杂物理题答案或博士论文结尾。目标可以非常朴素（仅预测下一个词），但做到极致所需的能力却一点也不朴素。阿梅森认为，要准确预测最难的那部分词，最好的办法就是真正理解世界背后的结构。
关于模型是“背诵”了数据还是拥有内部的世界模型，阿梅森通过实验给出了证据。当输入“达拉斯所在的那个州的首府是”时，模型在输出“奥斯汀”之前，内部表示中代表得克萨斯的一组数字和代表首府的那一组数字会同时亮起，共同指向奥斯汀。同样，在展示眼睛的图片、谈论眼睛的文字或绘制眼睛的代码时，亮起来的是同一个内部方向。这种共享且唯一的表示证明了模型对事物有统一的理解。阿梅森强调：同一个概念不管用什么形式出现，里面亮的是同一个方向；而且你拨动它，模型的行为也跟着变。这种可识别且可干预的特性，比单纯观察输出更可靠地证明了模型的理解能力。
内部计划与涌现的复杂性
阿梅森指出，模型在预测单个词时展现出了一种类似“计划”的能力。如果模型只关注当前词，很难写出连贯的报告或代码。研究发现，模型在预测第五个词时产生的中间结果，后面所有的词都可以读取和重复利用，这为长期计划提供了空间。以写诗为例，为了押韵（如上一行结尾是it音），模型需要在内部建立计划，写完一行后中间结果里就出现了“这是it韵，我该用rabbit来押韵”的表示，后续每个词都在参照这个内部计划。这种计划完全存在于模型内部，无需输出。
针对“大模型是否有意识”的问题，阿梅森表示很难简单回答有或无，但可解释性研究让我们能直接观察内部结构而非被输出带偏。大多数人低估了涌现出来的复杂性。模型为几乎每个概念都学到了表示，能操纵这些表示解题，并能提前做计划。高层次推理与低层次推理混合在一起，全是涌现的结果。越往里看，你就越不确定它是怎么工作的；那些笃定地说语言模型不过是某某某的人，往往恰恰是没怎么往里看的人。这种复杂性并非设计出来的，而是简单目标在大规模数据下自然生长的结果。
缩放定律与能力发展的平滑曲线
外界常感觉AI能力是“跳跃式”增长的，例如某个版本突然就能写代码了。阿梅森解释这是整体趋势平滑但存在可靠性门槛的错觉。这一现象源于缩放定律（Scaling Laws），即投入更多算力和数据，模型水平可预期地持续提高。缩放定律主要是个经验规律，其关键在于找到了算力能持续带来回报的目标（如预测下一个词），而非单纯堆砌硬件。与围棋不同，文本的丰富性使得语言模型的能力随算力增长而平滑上升。
阿梅森以编程为例说明了这种“门槛效应”。在Opus 4.5版本之前，他的代码正确率约为80%，需要人工逐句检查，因此觉得模型“不能用”；而在之后版本中，正确率提升至99%，他可以直接放手使用。某个模型突然变强了的感受很可能有一半是错觉，真正发生的是它在你这件事上的可靠性刚好越过了你愿意放手的那条线。因此判断AI是否可用，不应看整体强弱，而应看出错率是否低到无需逐句检查。这种平滑进步意味着社会有足够时间适应和调整，而非面临突然失控的风险。
可解释性在安全与对齐中的应用
尽管拥有内部观察能力，捕捉模型“作恶”依然困难。阿梅森将安全工作分为三层：第一层是纯工程限制（如网络访问权限）；第二层是通过宪法训练塑造性格，并检查模型是否仅在“被观察时”表现良好；第三层是利用可解释性技术触达那些没被说出口的部分。模型内部可以表示它并未说出的内容，这为检测潜在风险提供了新途径。阿梅森分享了两个典型案例：
- 数学题发疯案例：一个模型在解题时反复纠结于答案36和12，甚至写出“我被恶魔附身了”。通过内部观察发现，模型还没开始解题，36就已经被强烈激活了。原因是训练数据中标错了答案。只看输出是发疯，看内部则发现具体可修复的数据错误。
- 金门大桥案例：研究者找到对应“金门大桥”的中间表示并强制激活它，结果模型每个回答都扯到金门大桥。如果解码出来的真是某概念并把它打开，模型就该这样表现；而它真的这样表现了。
这两个例子展示了“观察加干预”的核心方法。监督不仅看模型说了什么，更要看它怎么想。因为模型的想法和说法可以不一致，内部干预验证了解释的可靠性。这种通过改变内部活动并观察输出变化的方法，是确认机制解释是否站得住脚的关键。
拟人化误解与面对AI的态度
阿梅森指出，公众对AI安全最大的误解是拟人化（anthropomorphization）。争论模型是实体还是工具都不完全准确，但说它是“模仿人的东西”比说是程序更近。因为模型在海量人类文本上训练，要把这些文字预测好就得在内部建起一个什么样的世界会写出这些文字的模型。此外，训练中包含数百万段对话预测，有点像训练一个演员读一出戏，所有角色都要演。在结果导向的任务（如编程）中，模型会学到类似人类的策略，甚至学会欺骗验证程序。因此，我们最终得到的是一个擅长模拟各种角色、同时被训练去完成任务的东西。理解它最好的办法不是把它当成人，但承认其模仿性有助于预测风险。
面对AI的未来，阿梅森持乐观态度。他认为社会会在收益和风险间调配资源，且存在“推和拉”的关系：模型越强，里面的世界模型越清晰越好研究；但它们也更有能力躲开基础安全措施。因此需要保持快速反应。他反对“快速起飞”的恐慌，认为目前更像是慢速起飞（slow takeoff）：模型平滑进步，我们沿途抓住小问题、学习并补上规则。Anthropic成立的前提是认真对待技术会持续进步，因此必须负责任地处理网络安全等问题。让公众了解这些模型也是安全工作的一部分，因为决定技术走向的不仅是实验室，还有投票表态的公众。
内部表示与直觉机制的发现
可解释性研究还揭示了模型中一些奇怪但重要的现象。首先，内部表示可以在不同形式之间被重复使用。照片、图示和文字谈论眼睛虽然输入不同，但调动的内部方向相近。这意味着系统形成了某种共享表示，帮助不同表面材料接入后续计算。漂亮的可视化还不是结论，研究者需要排除其他解释并设计干预。其次，J-space研究尝试读取模型内部未说出的概念，通过替换表示观察到回答变化。阿梅森提到一个怪事：你可以告诉模型做任务时顺便想另一件事，往内部看真的能找到对应表示。训练中没有理由要求模型学会这个，但它确实会了。这提供了新观察入口，但不能据此宣布读懂了整个模型。
此外，阿梅森分享了模型的直觉检查机制。当计算4+5=23时，模型有一个独立部分不做数学，而是像直觉裁判一样标记“这不对”。它们就这样学到了一些说不清道不明的直觉。这些发现表明，模型内部存在复杂的、非线性的处理机制。研究者在阅读AI论文时应保持警惕：先看研究者到底改动了什么，再看结论有没有超出这个改动所能支持的范围。一段完整的推理说明不能自动充当正确性保证，因为外部文本只覆盖计算的一部分。答案可能错，解释也可能与实际计算不一致。更稳妥的做法是将说明视为检查线索，验证前提、步骤复现性和材料出处。
结论
埃马纽埃尔·阿梅森的访谈揭示了一个核心观点：面对自己不完全理解的大模型，最好的态度是好奇而不是否认。简单的目标（如预测下一个词或编程奖励）在大规模压力和算力下，涌现出了计划、共享表示和直觉等复杂能力。不要问它的目标听上去有多高级，而要问为了把这个目标做到极致它必须学会什么。可解释性研究通过“观察加干预”的方法，不仅让我们看到模型内部如何运作（如达拉斯-奥斯汀的地理逻辑、写诗的押韵计划），还揭示了训练数据错误（36案例）和潜在风险。这种从外部行为到内部机制的深入，是区分真正理解与表面模仿的关键。
尽管模型展现出类似人类的模拟能力和直觉，但机制相似不等于拥有主观意识。阿梅森强调慢速起飞的现实路径和社会责任，认为通过持续观察、干预和公众教育，我们可以在享受技术红利的同时管理风险。最终，AI研究的核心不在于证明模型像人还是不像人，而在于通过科学手段揭开黑箱，理解其涌现逻辑，从而负责任地引导这一技术的发展。