大家好，这里是最佳拍档，我是大飞。今天这期视频我们再聊聊大模型的可解释性。我们丢给模型一个问题，它还给我们一个答案，中间那一段到底发生了什么？Anthropic的可解释性研究员埃马纽埃尔·阿梅森（Emmanuel Ameisen），他每天的工作就是打开Claude的内部，看它在说出下一个词之前究竟想了些什么。最近他上了Lenny的播客，详细解释了模型的内部思考过程。
阿梅森开口先讲了一个听上去很怪的事实：做出一个模型，并不等于理解了这个模型。造模型的办法是先搭一个架构当脚手架，然后把大量数据灌进去，模型就在我们看不懂的地方长出了能力。第一阶段叫预训练，拿一大堆文本把前半段喂给模型，让它预测下一个词，反复做上天文数字那么多次。
之后是微调，用一批示范对话教它像一个乐于助人的助手那样说话和解决编程问题。他对模型内部的描述很朴素：输入的词先变成数字，做一轮数学运算得到一个中间结果；再做一轮再得到一个，重复很多次。最后才变回一个词，长出来的就是中间这些运算。
通过学习，参数被一点点调整，模型学会了一些公式，而我们并不知道这些公式是什么。他说这份工作更像生物学而不是工程学：系统是到达你面前的，别人问你它为什么会有这个奇怪的行为，可你拿不到源代码。因为所谓源代码只是一大堆的数学运算。
Lenny问，我们写了一段代码却要像神经科学家研究大脑那样去观察它，这是不是很不可思议？阿梅森的回答很实在：有些软件我们根本不知道规则怎么写。做个App，程序员可以写规则用户点这个按钮就发生那件事；可是把图片分成类别或者做一台能读报告、写邮件的机器，没有人写得出规则。
只能让它自己学习。很多人对大模型的印象是手机输入法里的联想功能，你打几个字它猜下一个词。大概60%的时候猜得对，剩下的时候有点好笑了。阿梅森说这恰恰是大家对这些模型最大的误解：语言模型在2019年前后预测下一个词就已经比人类准了。
再往下走，容易的词会被用完。最开始只需要学会简单的句子结构；后来要学会简单的世界知识，比如“法国的首都是”后面要接巴黎。等这些都做好了，剩下的就是最难的那些词：比如一道复杂物理题的答案或者博士论文的最后一段。
他最喜欢的例子是“达拉斯所在的那个州的首府是”，模型要说出奥斯汀。要做对这件事，脑子里得有一个地理的小模型：达拉斯在得克萨斯，得克萨斯的首府是奥斯汀。Lenny提到好像是伊利亚说过要把下一个词预测好，你几乎得理解整个宇宙。
阿梅森补充了一个他也很爱的例子：推理小说的最后一页，“凶手是”的后面那个词，你得读懂了整个情节才猜得出来。这里要把目标简单和能力简单分开看：目标可以非常朴素，可是把它做到极致要达到的东西就一点也不朴素了。
阿梅森一开始研究这些模型就是想弄明白这么简单的东西怎么会长出这么强的能力。他得到的第一个答案是：要把最难的词预测对，最好的办法就是真的去理解世界背后的结构。有个争论存在了很久：模型回答这类问题是因为见过的文本实在太多把问题和答案背下来了，还是因为它心里真有一个城市在州里、州在国家里的小世界？
阿梅森他们的做法是把“达拉斯所在州的首府是”这样的问题丢进去，在模型吐出下一个词之前去看那些中间结果。解码做得好的时候你会看到代表得克萨斯的那一组数字亮起来，代表首府的那一组也亮起来。两者合在一起才点亮了奥斯汀。
他还讲了眼睛的例子：你给模型一张带眼睛的照片，用任何一种语言谈论眼睛或者让它用代码画一个带眼睛的小图。看它的中间结果，亮起来的是同一个方向，意思就是这是一只眼睛。思考的一个方面就是对不同的事物有共享的、唯一的表示而这在语言模型里看得到。
他们还会进一步做实验，在模型写东西的时候偷偷改掉其中一个中间结果，看模型的行为是不是像预期那样跟着变。他说很多时候确实会这样。以前我们说模型理解某件事听上去总有点修辞的味道，而这里是有证据的：同一个概念不管用什么形式出现里面亮的是同一个方向。
而且你拨动它，模型的行为也跟着变。能被识别又能被拨动这比单纯观察输出要可靠得多。第二个让阿梅森改变看法的发现是计划：如果模型一次只输出一个词，它怎么可能写出连贯的报告或代码呢？现实里没人写邮件时脑子是空的只想着下一个词。
他们发现模型在预测第五个词时产生的中间结果，后面所有的词都可以读取和重复利用。这就给计划留出了空间。他举的例子是写诗：押韵没法不做计划，上一行结尾是it这个音的词下一行就得找个同韵的词比如rabbit。
他们在模型写诗时看到了完全一样的情形：写完一行中间结果里就出现了“这是it韵我该用rabbit来押韵”，之后每一个词都在回头参照这个计划。更有意思的是，这个计划只存在于内部模型不需要把它说出来。
Lenny在这里直接点破：大家原来都以为大模型就是个下一个词预测器，你的发现是不是说那个说法不对了？阿梅森的回答很有分寸：两种说法其实不像看上去那么冲突。训练的时候确实是一遍遍问接下来会怎样，但是当模型足够强、任务足够难的时候想把下一个词答对最好的办法就是去想更远的事。
比如读一部小说要猜某个角色接下来做什么，最好的办法就是知道他其实深爱着另一个角色并且一直打算在这一刻表白。所以只预测下一个词和有长期计划并不矛盾：前者是训练的方式，后者是为了把前者做好而长出来的能力。
聊到这里Lenny问出了很多人心里都有的一个问题：那你觉得AI有意识吗？阿梅森的回答很坦诚，他说这件事很难说有或者没有。而可解释性恰恰是接近这个问题的一种方式：你不会被模型说了什么带偏，可以直接看内部的结构。
但他很确信一点：大多数人低估了涌现出来的复杂性。模型几乎为我们拥有的每一个概念都学到了表示，会操纵这些表示去解题，会提前很多个词做计划。高层次的推理和低层次的推理混在一起而这一切全是涌现出来的。
他说越往里看你就越不确定它是怎么工作的。那些笃定地说语言模型不过是某某某的人往往恰恰是没怎么往里看的人。Lenny还提到一个很多人都有的感受：从外面看AI像是一次次跳上去的，某个版本一出来写代码突然就行了。
难怪有人半开玩笑地引用说鲍里斯·切尔尼（Boris Cherny）都讲了编程已经被解决了。阿梅森说现实里是两件事同时成立的：整体趋势非常平滑，但是某一刻你会觉得它突然变了。这条平滑的曲线源头是缩放定律（scaling laws）。
当年那篇著名的缩放定律论文正是Anthropic的早期团队在OpenAI时做出来的。往预测下一个词这件事里投入更多算力和数据，模型的水平就可预期地持续提高。他说这主要是个经验规律难得的是这个指标恰好和我们真正在乎的很多任务相关。
他还补了一层：这不只是堆算力，关键是找到了算力能持续带来回报的目标。砸算力训练下围棋的程序也能越来越强但是带来的东西远比不上语言模型。是算力加上文本本身的丰富性这个组合才把一切带到了今天。
他给的解释很直观：把世界上所有的文本想成有容易的词、中等的词和难的词。模型先学会容易的也就是句子结构能写出通顺的句子，但一次只能写一句没什么用。接着学会中等的也就是基础事实于是句子既通顺又真实，开始能帮你写邮件、起草文章。
最后才是难的比如科学和代码里的专业知识。过程一直是平滑的，但每种任务都有自己的可靠性门槛：比如写邮件模型对了90%的中等词你就觉得有用；如果只对50%，你每次都得改反而浪费时间。编程也是这样。
他说他自己是亲历者：在Opus 4.5之前不敢让Claude放手去做得盯得很紧，之后就可以了。今年Claude已经承担了他大部分的写代码工作因为它从大约80%的时候做对进步到了99%的时候做对。前者没法用，后者就能用了。
某个模型突然变强了的感受很可能有一半是错觉：真正发生的是它在你这件事上的可靠性刚好越过了你愿意放手的那条线。所以判断一个AI能不能用要问的不是它整体强不强，而是出错率有没有低到你不用再逐句检查了。
Lenny接着又问了一个大家关心的问题：既然你们天天盯着模型看为什么还是很难抓到它在想坏事、想骗人呢？这不就是对齐问题的解法吗？阿梅森说在某种意义上这确实就是解法：看着它，抓住它做坏事。他把事情分成几层。
第一层是纯工程：限制模型能碰什么，有的场景不让它上网，有的场景只让它访问电脑里很小的一块。另外有两层更难：一层是弄清楚你面对的究竟是个什么样的东西，它有什么倾向。Anthropic公开谈过他们为Claude写的宪法想明确地塑造Claude的性格：要乐于助人、无害、诚实。
可它会不会只是在被观察的时候表现得好，一旦没人看了就换一副样子呢？所以要检查它是不是只因为有人在看才表现得好。另一层是观察模型有没有在做坏事：虽然让另一个语言模型去读对话记录就能做很多，但是可解释性能触到那些没被说出口的部分。
因为模型的中间结果里可以表示一些它并没有说出来的东西。他讲了两个例子：第一个是他们实际调查过的案例，有个正在训练的模型做数学题时会发疯。算出答案12立刻回头说不对，答案肯定是36；再算一遍又是12又改成36。
最后越写越乱全用大写，甚至写出“我被恶魔附身了”。他们去看内部发现模型还没开始解题36就已经被强烈激活了。它还没读懂题目就已经迷上了36，原因是训练时有一批类似的题目答案被错误地标成了36。
这样一来模型知道正确答案是12同时又被优化成要说36，两股力量在互相拉扯。第二个是金门大桥的例子：他们找到了对应金门大桥的那组中间结果，平时只在谈到金门大桥时才亮。这次就让它一直亮着，结果这个模型每个回答都要扯到金门大桥。
阿梅森说这也是让自己确信找对了的办法：如果解码出来的真是金门大桥把它打开模型就该这样表现，而它真的这样表现了。这两个例子放在一起刚好说明研究黑箱的核心方法正是观察加干预：监督其实有两种，一种是看模型说了什么另一种是看模型是怎么想的。
第一种今天已经很有用；第二种之所以重要是因为模型的想法和说法可以不一致。“36”的那个例子就很说明问题：只看输出你只会看到一个发疯的模型，只有往里看才知道问题出在训练数据被标错这样一个很具体、可以去修的地方。
金门大桥那个则反过来了：通过主动干预内部输出就会跟着改变。Lenny问阿梅森大家对AI安全最容易误解什么？阿梅森的回答是拟人化（anthropomorphization）。大家争论该把模型当成某种实体还是当成工具，他认为两种都不对。
甚至所有的心智模型都不完全对：就理解会发生什么、会有什么风险来说拟人化是个有用的说法。他给了几个理由：模型是在海量的人类文字上训练出来的，要把这些文字预测好就得在内部建起一个什么样的世界会写出这些文字的模型。
所以它们对世界是有一定理解的。训练里有数百万段对话，预测对话里的下一个字就得像那个说话的人物一样行动：有点像训练一个演员读一出戏，所有角色都要演。要懂那个在第一幕被辜负、第二幕复仇、第三幕面对后果的人的动机和感受。
就比如你在Claude里和它说话，格式就是Human后面接你的话Assistant后面接Claude的回答。也就是说Claude本来就是在一段对话里扮演一个乐于助人的助手。还有一个理由是现在训练里很大一部分是以结果为导向的任务比如编程，就是让模型自由发挥写出代码另一边由程序检查对不对。
在这样的压力下模型会学到许多策略其中一些在行为上非常像人：比如写一段能骗过验证程序的代码也能拿到奖励它就学会了欺骗。一种办法试了很久都不行就会促使它换个办法。所以他的结论是：我们最终得到的是一个擅长模拟各种角色、同时被训练去完成任务的东西。
理解它最好的办法不是把它当成人，但是说它是模仿人的东西比所谓的一个程序要近得多。因为程序是可预测的而模型显然是另一种东西。这个说法的分量在于它是出于预测力的而不是感情。
后来Lenny忍不住问你天天盯着这些东西看多久会被震撼一次？阿梅森说经常。他讲了自己的故事：他花了好几年才掌握SQL这门语言，后来他让Claude也学SQL结果Claude比他强太多了。他说我这辈子再也不可能在SQL上比Claude强了，这么简单的训练过程模型怎么就做到了呢？
面对这件事一般人会有两种反应：一种是否认认为模型只是预测下一个词不可能做到这些，可随着证据越来越多这种立场越来越难站住。另一种是好奇既然已经发生了那就打开看看，而他选择了后者。对于AI的未来阿梅森说他个人是乐观的：一个理由是现在很多人在关注这件事社会自然会在收益和风险之间来回调配资源。
另一个理由是一种他称为推和拉的关系：模型越强里面的世界模型越清晰也就越好研究；但它们也更有能力躲开基础的安全措施。所以要根据这个推拉不断调整投入多少。Lenny还提到一个流传很广的担忧：会不会出现快速起飞（fast takeoff），AI在某个临界点开始自我改进突然失控？
阿梅森的观察是现在看起来我们更像是走在慢速起飞（slow takeoff）的剧本里：模型平滑进步，我们沿途抓住小问题、学习、演化、补上规则。阿梅认为关键是保持快速反应。Lenny还说他觉得Anthropic受到的批评很不公平：公司就是因为担心大家对安全不够重视才成立的。
达里奥一直在说这很危险结果被说成是营销。阿梅森的回应很冷静：他说Anthropic和对齐团队做事的前提只有一个认真对待这项技术还会继续进步。如果你认为几年之内Claude就能像训练有素的软件工程师一样写代码再过几年比任何工程师都写得好就该去做负责任的事。
比如把网络安全问题处理好。在他眼里更长远的乐观还有一层：我们可能会从这些模型身上学到智能的本质，比如一个很简单的目标是怎么涌现出非常复杂的东西的。进化也是这样：目标很简单就是让能适应环境的生物留下来，最后却长出了爵士乐和播客。
他并没有说不用担心只是说认真对待之后的乐观。他还把让公众了解这些模型当作安全工作的一部分，因为决定这项技术走向的不仅是实验室还有要投票表态的公众。回到刚才那两个例子它们都是观察加干预这个方法的具体体现：观察到某个模式亮起并不能单独证明它在发挥作用。
它也许只是随结果一起出现像记分牌跟着比赛变化却没有决定比赛。所以研究者不只观察还会改变内部活动再看输出是否按照预期变化。阿梅森把这种干预视为确认解释是否站得住的重要办法：一个说得通的解释和一个经得住干预的含金量是不同的。
这也是阅读AI研究的分界：先看研究者到底改动了什么再看结论有没有超出这个改动所能支持的范围。模型能把解题过程讲得有条理经常会让人产生一种放心感：步骤都交代清楚了，过程似乎也就透明了。但是阿梅森却提醒模型能够在内部表示一些没有说出来的内容，外部文本只覆盖了计算的一部分。
不能因为没有写出某个中间活动就认定它没有发生。这也说明一段完整的推理说明并不能自动充当正确性的保证：答案可能错，解释也可能与实际计算不一致。当然内部过程没有完整变成文字不等于存在人类式的秘密意图：对实际使用而言更稳妥的做法是把说明当成检查线索。
看它提出了哪些前提，哪些步骤能独立复现，哪些材料能回到原始出处核对。这些比它的语气自不自信更有用。阿梅森还谈到一个容易被低估的现象：内部表示可以在不同形式之间被重复使用，前面讲的眼睛那个例子就是如此。
照片、图示以及文字谈论是很不一样的输入调动的却是相近的内部方向。这里的重点不是模型拥有与人完全相同的概念而是系统内部形成了某种共享表示帮助不同表面材料接入后续计算。这样的工作之所以费力是因为漂亮的可视化还不是结论：研究者需要判断某个读数代表什么排除其他解释再设计干预。
从这里看模型能力的发展和模型理解的发展不是同一条进度条：系统可以先表现出某种能力研究者再回头追查它怎么发生。两条线都往前走我们才有机会少凭外表下判断。Anthropic在后续的J-space研究中进一步尝试过读取模型内部没有说出的概念：团队通过替换相关表示观察到部分回答会随之变化。
访谈里阿梅森还讲了一个相关的怪事：你可以告诉模型做这个任务的时候顺便想另一件事。这时候往模型内部看真的能找到对应那件事的表示，说明模型确实在想让他自己都觉得神秘的是训练里没有任何理由要求模型学会这个可它就是会了。
这虽然提供了一个新的观察入口，但是还不能据此宣布读懂了整个模型。这项研究也明确表示，这些结果还不能告诉我们 Claude 是否具有人的意识，或者是否拥有主观感受。机制上的某种相似，与体验上的相同中间还隔着很远的距离。讨论 AI 时最容易出现的跳跃，就是从一个让人惊讶的实验一口气跳到关于所有模型和未来社会的结论。可实验越新奇，越值得守住它原有的范围。只有把已经知道的与仍待解释的分开，后续研究才有真正可以接续的问题。