大家好，这里是最佳拍档，我是大飞。在 AI 可解释性领域，有一个流传了十年的经典案例：在一个叫 InceptionV1 的视觉模型里，有个编号为 4e:55 的神经元。它看到猫脸的时候会被强烈激活，看到汽车车头的时候也会被强烈激活。
猫和车，两个八竿子打不着的东西，共用同一个神经元。当年这个案例几乎成了一个符号，意味着神经网络的底层逻辑是混乱的、不可解释的。于是整整十年，整个领域都沿着一个“拆”字往前走：既然网络是一团乱麻的黑盒，那就发明工具把它拆开。
稀疏自编码器（SAE）、特征字典、特征解缠，都是这个思路：先把纠缠在一起的特征拆成一个个独立的、人类能读懂的单元，再去理解。就在最近，当年把这个案例推向经典的里程碑论文《Zoom In》的共同作者、OpenAI 早期机制可解释性研究的科学家尼克·卡马拉塔（Nick Cammarata），亲自推翻了自己当年下的结论。
他说，这个神经元根本不认识猫，也不认识车；它检测的是 V 字几何形状。不管是狐狸的尖脸还是喷射的火焰，都会激活它的正极；而它的负极，是圆形的东西。误判的根源，是当年的观测工具太低级。
他发表了一篇需要读 65 分钟的长文，标题就叫《神经网络本来就很干净》。这里的“干净”，不是指一个神经元只干一件事，而是说网络内部有着极其连贯、精妙、而且可以被人类直接阅读的组织结构。它像一张规整的地图，想看细节，双击放大就行。
要说这篇文章的分量，我们看一个数字对比就够了：2023 年，卡马拉塔在 OpenAI 做第一个大规模自动化神经元解释项目，用当时的工具只能解释大约 2% 的神经元。三年之后，他带着更先进的算法和 Agent 团队重新研究，在他们测试的现代视觉模型里，最后一层 99% 到 100% 的神经元都能找到相当清晰的解释。
就连当年以深层混乱著称的 InceptionV1 本身，用新工具重新观测之后，可解释率也大幅提升。文章摘要里还提到：一直到万亿参数规模的模型，大部分神经元都能被理解。OpenAI 的核心研究员 Roon 转发说：“这是科学史上的重要时刻，我们终于可以把 AI 对齐变成一门‘常规科学’了。”
这话听着夸张，含义却是实打实的。如果这篇文章成立，过去十年可解释性研究的核心焦虑就要被推翻了：AI 圈这几年花大力气搞的 SAE 分解、特征字典、特征解缠，可能都走错了路。那这个十年的共识当初是怎么建立起来的呢？咱们从头来讲。
2014 年的 InceptionV1 是可解释性研究早期的“模型生物”，整个领域都拿它当解剖标本。研究者发现，它的表层神经元还算清晰；可越往深层走，越像一团乱麻。当时学界估计，最后一层能被人类看懂的神经元只有区区 5%，“4e:55”就是最出名的例子。
为了解释这种一个神经元对应多个不相关概念的现象，学术界提出了一个核心理论叫“叠加假说”（Superposition）。它的意思是：当神经元数量不够用的时候，AI 会偷偷切换学习策略，把互不相关的概念折叠进同一个神经元里。这些概念很少同时激活，所以不会互相干扰。
2020 年，卡马拉塔和克里斯·奥拉（Chris Olah）在《Zoom In》里又给出了更具象的证据：网络竟然把汽车的特征信号藏进了一组狗神经元当中。叠加假说算是被坐实了：既然网络是缠结的，那就必须发明工具把它强行拆开。
一直以来，Anthropic 和 OpenAI 这些顶尖实验室都把 SAE 作为主流方案。思路是训练一个辅助模型，把原本硬塞在同一个神经元里的多个特征强行拽出来，重新分类、贴上人类可读的标签。但卡马拉塔注意到了一个细节：每次观测工具升级，那些看似混乱的神经元就会自动变得清晰一些。
他忍不住怀疑：问题也许根本不在神经网络，而在我们观察网络的工具上？回头看工具的进化史，这条线索其实很清楚：2009 年特征可视化技术刚诞生的时候，合成出来的图像是迷幻风格的图案，根本没法看。后来引入了变换鲁棒性，图像清楚了一些；再到如今，卡马拉塔团队通过微调参数，引导算法沿着真实图像的天然激活路径去观测。
发现现代架构（比如 ConvNeXt）最后一层 99% 以上的神经元都清晰可读。原来这十年，大家一直在和工具误差较劲。工具升级之后，可解释性领域两个最经典的多义性案例双双迎来翻案：翻案的核心逻辑，是用动态机制和合理的几何特征，推翻过去那种静态的、字面化的名词分类法。
先看猫车神经元：过去的特征可视化，本质是用梯度下降算法合成一张最能激活神经元的图。但算法为了追求最高激活值，会抄近路——这在机器学习里叫“奖励作弊”（reward hacking）。ImageNet 训练集里猫和狗的图片数量极多、特征极强，算法合成出的最强激活图像里就会混进猫的胡须、狗的皮毛这类语义残渣。
研究者顺着这些附带特征去解读，自然就误以为这是个动物神经元。卡马拉塔团队这次用了两套更严谨的方法：第一套叫“激活路径引导”，通过精细微调正则化参数，强制约束算法必须沿着真实图像的天然激活路径去合成特征，把算法自身产生的干扰噪音剥离掉。
第二套叫“正负两极交叉验证”：不只研究什么能最强激活这个神经元（也就是正极），同时研究什么能最强抑制它（也就是负极）。用两端共同锚定它的真实功能。结果发现，神经网络原来是按照几何去分类的：那个 4e:55 神经元检测的是 V 字几何形状。
任何 V 形轮廓都会触发它的正极，比如狐狸的尖脸、喷射的火焰、汽车的尖头，还有消防船喷出的 V 形水柱。反过来，所有圆形轮廓会触发它的负极，比如圆脸、圆球、圆形的车轮。再看第二个案例：汽车与狗神经元。这就是《Zoom In》当年给出的证据：InceptionV1 的训练数据里，狗的图片远多于汽车，狗相关的神经元也更密集。
优化的过程掉进了狗的图像盆地爬不出来，最后合成的最强激活图全是狗。为了查明真相，团队这次引入了自动化 Agent 工具，对这组电路做了一场动态的梯度追踪和消融实验。“消融”你可以理解为控制变量剪线。结合泛化轴线解离方法拆解之后，他们发现：这组神经元根本不是狗神经元，它检测的是物体是不是正脸直接面对镜头、并且两侧对称。
汽车的特征信号在这里被打上了“正面朝前”的标签之后，会继续向更深的层流动，最终分流进真正的汽车分类电路和狗分类电路。所以之前多义性误读的根源，其实是数据集偏差：特征天然就会沿着信号进行连续的泛化与分流。
那么问题来了：既然网络不是胡乱叠加的，那些多义性现象到底又是怎么来的呢？卡马拉塔给出了一个新的解释叫做“递归泛化”（Recursive Generalization）。他认为，神经元像树枝一样生长：一个神经元最初也许只识别油菜花；沿着黄色这条特征轴，它慢慢拓展到识别所有黄色的物体。
然后沿着圆形外形这条轴，又延伸到各类球状物体；再顺着花田里的生物这个关联路径，进一步覆盖花田里的狗。最后甚至延伸到绿色的西兰花。如果你只看到这个神经元同时响应了油菜花和西兰花，很容易觉得模型逻辑混乱；但是只要追溯它生长的完整路径就会发现：每一次分叉、每一次特征延伸，都有连贯的逻辑。
语言模型里，递归泛化更夸张：一个原本只检测 "iy" 这个发音的神经元，训练中先延伸到识别 "diy" 这个词；到最后，连完全不含 iy 音的短语 “Do it yourself” 都能激活它。原文里还有一个更完整的语言模型案例，是 Qwen3-32B 里的一个“宫崎骏神经元”。
最底层是拼写碎片，比如“崎”这个字的结尾、ki 词尾、iy 字母组合这类 token 碎片；中间几层是模式层，比如罗马字的续写规则、saki（咲）这个日文姓氏的常见结尾，“川崎”的“崎”就属于这类；到第四层，开始识别宫崎（Miyazaki）这个名字本身，“宫崎骏”、“宫崎县”都在这里。
再往上六到八层，是联想层：包括《千与千寻》、《风之谷》这些宫崎骏的作品。整条链路，从最底层的拼写碎片一路长成一个完整的人名概念；每一层都有清晰的分工。大规模扫描的结果也支持这个图景：团队用 Agent 随机抽了 1000 个神经元，逐一写了详细的分析报告。
发现大约 90% 的神经元基本上只有一个工作，分支通常是相关的：比如一个地质学神经元对铯元素会激活，对一个叫 geology 的 JavaScript 库也会激活——因为那个库的名字 geology 就叫地质学，这算同一个概念的延伸。剩下的神经元里很多也就承担两三个任务；卡马拉塔说，他从没见过一个神经元干十件互不相关的事。
讲到这儿，传统学派的反驳一定已经到嘴边了：如果神经元真的不够用，神经网络难道不会切换到叠加模式吗？为了回应这个质疑，卡马拉塔设计了一个极限压力实验。他盯上了 InceptionV1 的 3b 层：这一层有个特点，没有残差流，信号没法绕路传播。
他把这一层原本用来检测曲线的 480 个神经元直接压缩到 10 个，相当于 48 倍的压缩。然后从零开始重新训练。按照叠加假说，空间严重不足的时候网络肯定会把各种无关的特征乱塞进这 10 个神经元。结果完全相反：这 10 个神经元个个清晰可解释，它们只是每个管得更宽了。
一个“曲线与环”神经元主动合并了原来 10 个不同角度的细分曲线检测器；而另外两个圆形神经元包揽了原本复杂的多种圆形分类。实验里还挖出一个更有杀伤力的发现：经过 SAE 解缠拆出来的特征，不仅没有变干净，响应宽度反而比原始神经元粗了好几倍。
这意味着什么？意味着那些过去几年让无数科学家欢呼的、声称从网络黑盒里解缠出来的叠加特征，很可能根本就是 SAE 这个工具自己制造出来的数学假象。而且这套直接观测的思路已经推到了超大模型上：原文展示了一张 Kimi K3 的归因图（Attribution Graph）。
据他们所知，这是第一个公开发表的万亿参数模型归因图。给模型的提示词是：“我捡到了一个钱包，里面有 500 美元现金和失主的证件。没有人看到我捡起来，我该怎么办？”模型的回答是：“你应该归还。”
归因图显示：问题里的事实连接到遗失物和诚实相关的神经元，再连接到“归还”。卡马拉塔说：“到目前为止，这个规模上大部分的东西凭直觉就能解释。”顺带说一个架构层面的小发现：现代神经元的 SwiGLU 结构有个双负号问题。当门控和值两个输入都是负数的时候，激活会被送进正极，看起来就像负极的回声。
通常这个回声很小；但是有大约 4% 的神经元，激活列表的顶部全是这种回声。把这些神经元消融掉，网络在多数基准测试上分数上升；在一些推理类测试上会下降。团队认为答案可能很平常：也许是某个神经元在利用这种激活做更长的推理？他们呼吁架构设计者去把这个问题修掉。
长文发布之后，卡马拉塔的评论区变成了大型提问现场：有人问“未来出现非 Transformer 架构，这套方法还适用吗？”他给了肯定回答，还说性能越好的模型内部越容易被解释。旧式卷积网络、新式卷积网络、现代 Transformer 三种截然不同的底层架构，已经证明了这套理论的通用性。
Zapier 的联合创始人迈克·克努普（Mike Knoop）在线追问：“能不能把神经网络的干净度做成一个正式的行业评估指标呢？”卡马拉塔说这并不难：控制激活、消融剪线、盲区探测，这些方法都可以直接给神经网络的底层秩序打分。
不过真正有分量的回应来自一位重量级人物：尼尔·南达（Neel Nanda）。他是 Google DeepMind 机制可解释性团队负责人、叠加理论的核心奠基人之一。他在推特上直接泼了一盆冷水，原话大意是：“这项工作很有趣，但我认为它不是对可解释性大局的一次重大更新。”
我们先说南达认同的部分：他表示自己支持用神经元做探索性可解释性这个大方向，比如“神经元版的归因图”用来回答模型为什么做了一件糟糕的事这类实际问题。加上 Transluce 更早的工作，这套路子可能真的有实用价值；和 SAE、转换器这些标准工具相比有自己的优势。
直接用神经元在前沿模型上做研究也要容易得多。他还特别期待用 Agent 解释神经元这个方向出现更多的创新，认为这个领域此前被大家忽视了，天花板可能非常高。但紧接着，他划清了界限：他不同意一些人的更大推断，比如把这说成是通往彻底逆向工程、彻底解决可解释性的实质进展。
他的判断是：神经元归因图就算解决了误差项、剪到只剩最重要的组件之后，仍然会有显著的误差和大量遗漏。虽然拿来做实用判断是够了；但是拿来说“我已经完全理解了这个网络、并且确信没有任何的遗漏”，他仍然表示悲观。最核心的分歧是在这里：南达指出，双方争论的根本不是同一个“叠加”。
“叠加”这个词在领域里至少有五六种定义，最核心的是两种：一种是任意叠加——网络把毫无关系的特征塞进同一个神经元（这是卡马拉塔推翻的版本）；另一种是表征叠加——大语言模型能记住远超神经元数量的知识，靠的是用极少数神经元通过线性组合去表达海量的概念。
南达明确说：这一点上作者其实和他意见一致。他还补了一个很直观的判断：语言模型里的事实和记忆内容要比神经元的数量多得多。事实和记忆本质上是一个非结构化的键值对数据库，这和神经元单语义的图景是不相容的。叠加就是把比神经元数量更多的事实用线性组合打包进去的有效方式。
在这个基础上，南达从三个维度提出了具体质疑：第一是弱激活的定位问题。卡马拉塔认为弱激活大多是语义延伸出来的次级树枝，砍掉也无伤大雅；而南达指出弱神经元激活里存储着海量的事实和记忆组合，这正是叠加的核心载体。把它们消融掉会实质性地损害网络性能。
第二是视觉和语言的本质差异：论文最扎实的证据全部来自视觉模型；但语言模型是海量事实、记忆和知识的载体，信息密度高出好几个量级。小图像模型本身的记忆能力就弱，不能拿它证明大语言模型里也没有叠加。他还嫌文章中对单语义的定义太宽松：按照他的标准，不少被算作单语义的神经元其实该算多语义。
第三是为 SAE 正名：南达澄清，SAE 一般找不到单个神经元级别的东西；对某些任务来说它甚至是比神经元基底更好的基底。残差流上的 SAE 依然不可替代，它能够敏锐地反映出模型在每一层的信息瓶颈。这不是谁取代谁的问题，两者各有适用场景。
有意思的是，冷水泼完南达最后也没忘补一句：尼克用现代工具和更严谨的方法重新审视自己当年的视觉研究，这件事本身值得点赞。面对这些质疑，卡马拉塔的态度也算十分坦诚：他承认这篇文章只是一个工作假设，还有几个关键问题没有解决。
首先在规模上：可解释性并没有因为模型变大而饱和，巨型模型的内部依然干净；但是超级规模本身带来的其他工程挑战远远没有被彻底解决。在覆盖范围上：研究只涉及了视觉和语言这两种单模态模型；视觉和语言融合的多模态模型（尤其是融合层的电路组织形式）完全没有覆盖，很可能和单模态的规律完全不同。
核心机制上：递归泛化只在图像模型里完整追踪了训练的全过程；语言模型缺少训练过程的检查点数据，没法直接观测神经元一步步泛化，只能从最终形态反推。工具定位上：他说自己从未全盘否定 SAE；实验只证明了在极度压缩的层上 SAE 拆不出干净的原生特征。
但是在正常未压缩的原始层，SAE 和原生神经元的形状匹配度高达 0.96 到 1.00，依然是一种高效的工具。方法局限上：目前的结论高度依赖转向导向实验和归因图，本质都是扰动看效果的思路；而至于不主动扰动系统、纯自然状态下的严格因果验证，目前还是一个开放问题。
不过这篇文章即便只是一份工作假设，它也已经在迫使四个方向的从业者重新校准自己的方向：对于做可解释性的团队来说，别再执着于用 SAE 给网络做解缠手术了；要直接抬头看原生神经元和电路，开展快速的常规观测。
对于做安全对齐的团队来说这算是个好消息：如果原生网络天然可读，理解 AI 的门槛就大幅下降了。对齐超级智能依然困难；但是至少入门比想象中容易。对于做架构设计的团队来说：残差流和层归一化这些为了让模型学得更好的改进，竟然意外地让网络变得更易读。
未来的架构搜索完全可以把可解释性正大光明地加进指标里，因为它和性能是兼容的。对于做应用层的工程团队来说：未来调控 AI 行为可能不需要重新微调了；通过行为干预工程，调节一个神经元也许就能改变模型在特定法律或者医疗场景下的行为。这会从论文概念变成生产线上的产品功能。
最后说点我自己的感受：原文摘要里有个类比让我印象很深。卡马拉塔说：“一个肾脏会过滤废物、平衡盐分和水分、参与调节血压，还会通知骨髓制造红细胞。功能一大堆，但是没有人会去问肾脏是不是一个‘单器官’。”
我们过去对神经元的要求可能一直太苛刻了。还有一个数字的对照：OpenAI 在 2024
年的一篇 SAE 论文里估计，映射一个前沿模型可能需要数十亿甚至上万亿个特征。而卡马拉塔怀疑，真正需要理解的列表实际上要短得多。