David Bau 讲座开篇，探讨从传统评估到神经元级调试的大语言模型可解释性路径

从准确率到泛化能力的评估范式

本次讲座由东北大学 David Bau 教授主讲，主题聚焦于大语言模型的可解释性（Interpretability）。Bau 指出，当前神经网络研究多关注如何让模型表现良好，但更核心的问题在于理解“为什么”网络会做出特定决策或表现出好/坏的性能。以图像分类器为例，传统评估依赖于在秘密保留测试集（holdout set）上的表现。如果模型能对从未见过的棒球场景图片进行准确分类，我们便认为其具备良好的泛化能力（generalizing well）。然而，这种基于准确率的评估存在局限性：它仅证明了模型能识别概念，却未揭示其内部学习机制。例如，虽然知道网络能认出棒球场景，但我们仍不清楚它具体关注图像中的哪些特征来实现这一判断。

可视化方法的局限与调试思维的引入

过去十年间，学术界广泛采用显著性图（salience map）等可视化技术来探究模型关注点。Bau 展示了使用 Grad-CAM 生成的热力图，其中黄色区域代表网络最敏感的部分。结果显示，模型确实关注到了棒球运动员。尽管这种方法直观且有效，但它仍停留在“是什么”的层面，无法深入解释“为什么”模型关注这些区域。为了突破这一瓶颈，Bau 提出将可解释性视为程序调试（debugging）的过程。在包含数千种神经元的卷积神经网络中，大多数神经元被“关闭”（设为0）后对输出影响微乎其微。然而，少数关键神经元一旦移除，就会导致分类结果发生显著变化。这些决定性神经元（decisive neurons）如同代码中的关键逻辑行，是理解模型行为的核心突破口。

神经元层面的细粒度机制分析

通过定位关键神经元，我们可以进一步追问这些特定单元究竟在“看”什么。Bau 展示了针对第 208 号神经元的可视化结果：该神经元在特定图像中强烈激活，似乎关注人的肘部弯曲、衣物或头部。但仅凭单张图像无法确定其通用语义。因此，研究需扩展到更广泛的数据集上。通过对包含数十万张图像的大规模数据集进行分析，并提取该神经元激活值最高的 1% 样本，研究者可以归纳出神经元的通用特征。这种从单点调试到全局统计的方法，旨在揭示神经网络内部具体的工作机制（mechanism），从而回答模型为何做出决策的根本问题。

神经元激活与“帽子”概念的意外发现

在探索神经网络内部机制时，研究者通过可视化手段观察特定神经元的激活模式。起初，标注程序认为该神经元检测的是“头部”或“人脸”，但人工复核发现其表现并不完美，它漏掉了许多没有戴帽子的头部。例如，当输入包含半张脸或无帽人群时，该神经元并未激活。然而，一旦图像中出现戴帽子的人物（如棒球运动员），神经元便会强烈响应。这种对“帽子”的敏锐捕捉并非因为模型被专门训练去识别帽子，而是因为在棒球场的场景中，“戴帽子”是区分该运动与其他运动的显著特征。

"I did not recognize this at first. And I don't have good annotation data on hats."

这一发现揭示了深度神经网络在弱监督学习（weakly supervised way）下的惊人能力：即使没有显式的标签指导，模型也能从训练数据（如场景分类）中自行提炼出具有判别力的抽象概念。这表明，网络能够发展出自己独特的检测器来识别训练数据中不明显但关键的概念。这种自主概念蒸馏的能力，使得通过解释性研究理解模型行为变得既有趣又充满洞察。

规模扩展带来的持续惊喜与元学习现象

回顾机器学习发展史，从感知机到2012年AlexNet的突破，再到如今的大语言模型（LLM），每一次技术飞跃都伴随着巨大的意外。2012年，神经网络超越传统机器学习方法令人震惊；而当下，我们正经历新一轮的惊讶：仅通过增加模型规模和使用相同的训练技术（如梯度下降），就能涌现出此前被认为需要全新架构才能实现的能力。 这种能力被称为“元学习”（metalearning），即模型学会如何快速适应新任务。

"The thing that's really changed between each of these surprises is we've just been making the networks bigger."

这种变化并非源于算法架构的根本性重构，而是规模效应（scale）带来的质变。研究者指出，我们并未发明新的学习架构，而是通过不断放大现有模型（如自回归语言模型），使其在训练过程中自发习得了复杂的学习策略。这种“规模即智能”的现象挑战了以往对机器学习架构设计的固有认知，表明简单的扩展策略足以激发出高度复杂的智能行为。

上下文学习与少样本学习的内在机制

元学习最直观的表现是“上下文学习”（in-context learning）。以简单的数字序列为例，当输入为 "5, 5, 5" 时，模型能准确预测下一个数字也是 5。人类通过识别模式进行推理，而大语言模型则无需外部参数更新或专门的少样本学习算法（few-shot learning algorithms），仅通过前向传播预测下一个token，就在内部模拟了学习过程。这种在推理阶段（inference）即时适应输入的能力，是此前被认为需要专门架构支持的复杂功能。

"This is just providing input to the language model. And somehow, it does the learning internally without us deriving any external parameter-learning method in it."

这一现象引发了关于大语言模型工作原理的深刻疑问：它们究竟学习了什么样的学习算法？ 传统的少样本学习需要专门的方法论，而LLM仅通过提供示例输入就能完成类似任务。这种“学会学习”（learning to learn）的能力，使得模型能够在无需调整权重的情况下快速适应新任务。目前，学界仍在争论这一过程的具体机制，但它无疑证明了大规模预训练模型具备内在的适应性和泛化潜力，这是当前人工智能研究中最令人震撼的发现之一。

少样本学习与大模型的自我解释能力

传统机器学习中，模型通常需要成千上万甚至数百万个标注样本进行训练。而少样本学习（Few-shot learning）的核心问题在于：能否仅用少量标注对，如十几个或五个样本，就让分类器表现良好？尽管早期研究允许模型在无关数据集（如 ImageNet）上预训练，但面对全新类别时，如何调整参数仍是挑战。然而，随着大规模语言模型（如 GPT-3）的出现，这一范式发生了转变。这些巨型模型内部已经执行并超越了大多数少样本学习方法的效果。

"Instead of supervising a model with many, many labeled pairs... can you get away with a handful?"

演示中，输入序列 "3, 2, fifteen, 8, 14, and thirty-two"，GPT-3 在仅看到少量示例后便能捕捉规律并预测出 "nine"。更令人惊讶的是，模型能用英语解释其推理过程：它指出前一组数字的规律是 "1+2=3" 等。然而，这种解释存在幻觉（Hallucination）成分——模型声称第一组中有 "11"，但输入中并无此数。此外，当被追问是否因为拼写单词 "N-I-N-E" 而得出答案时，模型拒绝承认这一关键步骤。这揭示了一个核心矛盾：模型具备执行某项任务的能力，却无法准确解释其内部机制。这引发了关于自然语言解释是否足以实现模型可解释性的深刻质疑，演讲者认为目前的英文解释远远不够。

扩散模型的灯光偏见与数据缺陷

除了语言模型，图像生成领域也暴露出类似问题。以 Stable Diffusion 等扩散模型为例，它们在渲染场景时表现出惊人的能力，能够自然处理光传输效果（Light transport effects），如灯光在墙壁和其他物体上的反射。为了研究这一特性，研究者构建了一个数据集，要求模型生成 "灯亮着" 和 "灯灭着" 的场景。然而实验发现，无论使用何种提示词（Prompt），扩散模型都无法生成 "灯灭着" 的图像。即使房间里有台灯，生成的结果也总是亮着的。

这一现象并非提示词选择错误所致，而是源于训练数据的强烈偏见（Strong bias）。大型图像模型依赖 Caption 数据进行训练，而人类在描述场景时极少使用否定句式。例如，人们会说 "这盏灯很亮" 或 "有人忘了关灯"，但几乎不会说 "这是一盏没开的灯"。正如演讲者所言：

"People don't talk in the negative when they write captions."

这种数据分布的不平衡导致模型在遇到否定概念时失效。尽管模型技术上能够绘制未点亮的灯，但自然语言作为接口无法引导模型访问这一概念。这证明了数据集是 "世界上最糟糕的编程界面"，其中充满了缺失的概念、错误和偏见。

直接模型编辑与可解释性目标

鉴于自然语言在引导复杂概念时的局限性，研究的可解释性工作转向了直接模型编辑（Direct model editing）。其目标是让人类更紧密、直接地接触模型的内部运作机制，赋予用户访问底层概念的能力。虽然演讲者主要提及了基于 GAN（生成对抗网络）的早期工作——该模型能生成逼真的卧室图像，并允许通过类似棒球帽的案例进行概念操控——但这指向了一个更广泛的方向：绕过有缺陷的自然语言接口，直接干预模型参数或概念表示。这种方法的必要性在于解决当前大模型中存在的 "能做但说不清" 以及 "因数据偏见而无法执行否定指令" 的根本缺陷。

基于因果效应的神经元搜索方法

为了理解神经网络内部单元对特定场景的影响，研究者可以针对图像中的具体对象（如开着的灯）定义搜索程序。首先创建一个掩码，标记出图像中光线反射的像素区域，然后遍历网络中的所有神经元。核心方法是关闭某个神经元的激活状态并重新生成图像。通过计算原始图像与修改后图像的差值，并将该差值乘以掩码求和，可以得到一个量化分数。这个分数反映了神经元关闭后对目标区域产生的实际差异程度。由于只需处理单张图像，这种评分机制非常高效，能够在几秒内完成对数十亿参数网络的排序。这种方法本质上是一个针对视觉效果的搜索引擎，它不依赖大规模数据集的统计相关性，而是直接测量单个神经元在特定生成任务中的因果贡献。

上下文学习的抽象层级与生物学类比

在大型语言模型中，上下文学习（In-Context Learning, ICL） 是一种让模型通过示例而非参数更新来执行复杂任务的能力。这种能力涵盖了从文本摘要、信息提取到逻辑判断等多种场景，例如在长医疗文本中识别相关药物名称或验证陈述的真伪。>

跨任务的注意力头一致性与电路解码

研究团队在收集内联学习（ICL）任务数据时发现了一个令人惊讶的现象：无论任务的复杂性如何变化，起关键作用的注意力头集合是相同的。尽管测试了数十种不同复杂度的任务，结果均指向同一组注意力头。这些注意力头展现出一种与具体任务无关的独特且一致的激活模式。通过可视化热力图可以清晰地观察到，在处理类比推理任务时，这些头部始终聚焦于输出的第二个词。这种一致性表明模型内部的计算电路比预想的更为精简。为了进一步解析这一机制，研究人员采取了“解码”策略：首先对特定任务的多个示例中的注意力头输出进行平均，然后将这10个关键头的平均值相加。这一过程生成了一个被称为“函数向量”（function vector）的数学对象，它代表了该任务在模型中的特定功能表征。例如，“反义词”任务和“英译西”翻译任务各自拥有独立的函数向量，这些向量捕捉了模型在执行相应功能时的核心计算状态。

函数向量的移植与任务泛化验证

为了验证上述机制的通用性，研究者进行了干预实验以测试函数向量的泛化能力。他们选取一个中性句子（如“单词 fast 意味着...”），原本模型会生成类似 “quick” 的预测。然而，当研究人员将“反义词任务”对应的函数向量直接插入到网络最后的隐藏状态位置时，模型的输出发生了根本性改变。原本应预测 “quick” 的句子变成了“单词 fast 意味着 slow（慢）”。这一结果证明，可以将模型执行特定任务的概念封装为一个小向量，并移植到网络中的任何位置以触发相应功能。同样的方法也适用于翻译任务：插入“英译西”函数向量后，模型会将文本翻译成西班牙语。这种通过因果效应识别机制并在新设置下验证其泛化性的方法，展示了从观察到的现象中提取可移动、可复用的计算模块的可能性。研究者强调，这种干预并非简单的模式匹配，而是将任务逻辑直接注入模型的计算流中。

函数向量算术与未见任务的超越表现

研究进一步探索了函数向量的线性组合能力，通过向量算术合成新的任务功能。实验定义了三个基础列表处理任务：first-copy（输出列表中第一个元素，如输入国家列表时输出 Italy）、last-copy（输出最后一个元素，即 France）以及 first-capital（输出第一个元素的首都，如 Rome）。研究者假设，通过执行向量运算 $v_{last-copy} + v_{first-capital} - v_{first-copy}$，可以合成出一个代表 last-capital（输出最后一个元素的首都）的新向量 $v^_{BD}$。实验结果显示，该合成向量确实成功引导模型输出了正确答案 Paris。值得注意的是，这是一个在训练或演示中从未出现过的“未见任务”。在使用 GPT-J 模型时，利用函数向量算术执行该任务的准确率甚至超过了基线内联学习（ICL）的表现。虽然对于更强的模型如 LLaMA 60B，其本身强大的 ICL 能力使得难以通过此方法超越基线，但在 GPT-J 上观察到的性能反超现象揭示了函数向量在特定规模模型中可能具备超越传统提示工程的潜力。这一发现证实了通过因果计算搜索和向量操作，可以精确控制模型执行复杂的新颖任务*。

从机制解析到知识存储定位的延伸

在展示了如何通过函数向量干预模型行为后，研究将视角转向了大语言模型中事实知识的存储位置问题。研究者指出，这与探究“ICL 如何工作”具有相似的逻辑框架：即试图定位模型内部的具体机制。虽然时间有限，但研究者提及了其实验室早期的一项重要成果——ROME 论文。该研究旨在回答一个核心问题：模型究竟在哪里存储其事实性知识？ 这一方向延续了前文关于“解码内部电路”的思路，从关注动态的任务执行过程（如 ICL 和函数向量）深入到静态的知识表征结构。通过识别特定的因果计算路径，研究者试图揭示模型如何将世界知识编码在参数中。这一部分为后续讨论如何修改或编辑模型内部的知识存储奠定了理论基础，强调了理解模型“记忆”机制对于构建安全、可控的大语言系统的重要性。

事实知识的存储机制与因果干预实验

大型语言模型在存储和检索百科知识及常识方面表现卓越，例如能够准确回答“Miles Davis 演奏小号”这类事实性问题。为了探究模型内部存储这些知识的机制，研究人员设计了一项因果干预实验：通过破坏输入信息（如使模型无法识别“Miles Davis”这一名称），观察其是否还能预测出答案“小号”。实验发现，虽然大部分隐藏状态对结果无影响，但某些特定的隐藏状态具有强烈的因果效应。通过绘制热力图来展示哪些组件对输出结果有最强影响，研究人员发现网络末端的隐藏状态（Site B）确实直接解码为最终词汇。正如实验者所言：

"In dark purple, we've shown you the hidden states that when you corrupt the sentence still cause the sentence to output film."

然而，真正令人震惊的发现是在网络的早期阶段（Site A）也存在强烈的因果效应。这些早期的隐藏状态具有高度的特异性，被认为是事实检索发生的关键时刻。例如，模型在此时区分 Shaquille O'Neal 和 Megan Rapinoe，并将概念转化为“足球”这一词汇。通过对 1,000 条事实陈述进行平均分析，结果显示这种因果效应是系统性的。在后期阶段（Late Site），注意力机制（Attention）起主要作用，负责信息的传输；而在早期阶段（Early Site），多层感知机模块（MLP）则主导了因果效应，暗示 MLP 可能承担了更核心的检索功能。

MLP作为关联记忆的假设与直接编辑技术

基于早期阶段由 MLP 主导因果效应的发现，研究者提出了一个假设：MLP 模块可能充当关联记忆（Associative Memory）。这一概念源于 1972 年的研究，认为神经网络层可以通过线性方程组存储输入到输出的映射关系。由于 MLP 本质上是线性系统，理论上可以求解矩阵以将任意输入向量关联到输出向量。例如，模型可以将“埃菲尔铁塔”映射为“巴黎”，或将“太空针塔”映射为“西雅图”。研究者指出：

"If you solve the system of equations, you can get a matrix that solves them."

为了验证这一假设，研究人员开发了一种直接编辑网络的技术。通过线性代数计算，他们确定了改变单个关联关系所需的最小矩阵修改量，而无需使用梯度下降。具体操作中，他们找到代表“太空针塔”的向量，并修改层映射关系，使其指向新目标（如“罗马”）而非原目标。这种直接编辑方法允许研究者精确地改变模型中的特定事实关联。通过这种方式，当输入“太空针塔”时，模型将预测“罗马”，从而验证了 MLP 作为关联记忆存储事实的机制。

编辑后的泛化性与特异性测试验证

直接修改模型权重后，研究者重点评估了这种干预的泛化性（Generalization）和特异性（Specificity）。在泛化测试中，即使以不同措辞提问或提供不同上下文（如建议学习拉丁语、吃意大利面），模型仍能保持一致的新事实输出，证明编辑并非仅针对特定输入片段。然而，研究者也警惕潜在的副作用：如果修改“太空针塔”与“罗马”的关联导致其他无关事实（如比尔·盖茨出生在罗马）也被错误修改，则说明编辑缺乏特异性。更糟糕的情况是模型被完全覆盖，对所有问题都回答“罗马”。因此，实验必须确保仅改变目标关联而不影响其他知识。这种双重测试机制证明了通过直接编辑 MLP 矩阵来修改事实的可行性与精确性，为理解大模型内部知识存储提供了实证支持。

直接矩阵编辑的性能优势与局限

在评估事实修改方法时，研究者对比了传统微调、元学习以及提出的 ROME 和 MEMIT 技术。通过测量特异性（specificity）与泛化能力的权衡，结果显示 ROME 和 MEMIT 位于图表的右上角，意味着它们在高泛化与高专属性方面表现优异。有趣的是，直接编辑矩阵往往比常规方法产生更好的结果。然而，演讲者强调不应过度夸大该方法的有效性，因为其在某些场景下仍显脆弱（fragile）。尽管存在缺点，这种直接操作模型内部结构的方式在性能上令人惊讶地出色。

"Actually, oddly enough, if you just go directly into matrices, and you edit them, you get better generalization specificity than what we typically do for editing things."

扩散模型中的概念编辑与去偏应用

直接矩阵编辑技术同样适用于扩散模型（Diffusion Models），以解决其产生的 undesirable behavior 问题。例如，防止模型模仿特定艺术家、生成色情内容或强化严重的社会偏见（societal biases），如默认医生和CEO为白人男性。通过 ROME 技术直接编辑这些关联，可以显著改善模型行为且保持鲁棒性（robust）。该研究被称为“统一概念嵌入”（Unified Concept Embedding）。在实际操作中，即使同时修改约 150 到 200 个关联项以及移除所有裸露内容等重大项目，大型扩散模型（如 Stable Diffusion）的质量仅有轻微下降，整体效果依然良好。

"By using a ROME technique, we can directly edit these associations and diffusion models. And it actually seems quite good. It's pretty robust."

编辑规模限制与可解释性哲学

随着编辑数量的增加，模型性能会出现退化。当从几百次编辑增加到 1,000 次时，质量下降变得明显。这与在过多任务上微调模型导致的性能退化类似。然而，直接矩阵编辑的优势在于精确控制（precise control）和速度：无需收集新训练数据，几分钟内即可完成编辑。演讲者反驳了“可解释性与性能存在神秘权衡”的谬误，引用 Linus Torvalds 对不可读代码的态度为例，指出在常规代码中不存在这种权衡。对于大型神经网络算法，我们不应预设存在内在的可解释性与性能（interpretability and performance）之间的权衡。目标是证明更好的理解能带来更好的控制和性能。

"There is not a trade-off between interpretability and performance for regular code. And I think it's a reasonable question... Why would we expect there to be some inherent trade-off between interpretability and performance for large-scale neural network algorithms?"

方法论总结与致谢

演讲者总结了技术要点：通过寻找因果效应（causal effects）来学习更好的网络内部结构，这有助于提升模型的可扩展性（scalability）。这一过程与之前讨论的灯光重绘、函数向量及上下文学习中的方法一致，即识别所需变化、查找因果效应并检查泛化能力。最后，演讲者感谢了参与相关工作的学生团队，包括负责场景重绘的 Audrey Cui、函数向量的 Eric Todd 以及统一概念编辑团队的 Rohit, Hadas 和 Joanna，并提及了 ROME、MEMIT 等相关论文的贡献者。

"The goal of what we're trying to do here is see if we can lay an ideal in front of us that, really, better interpretability should lead to better performance..."

模型编辑作为高效修正接口

面对大型语言训练中出现的偏见问题，传统做法往往需要重新投入巨额资金进行大规模训练。相比之下，模型编辑提供了一种更优的编程接口，因为它允许在事后快速执行、无需引入新训练数据即可操作，并能迅速评估和调整效果。这种灵活性使得编辑比单纯依赖数据集更具优势，特别是在不需要模仿训练分布、而是希望改变模型行为时。理解从训练分布到模型行为的转化过程，并能够编辑这一转化机制，被视为极具前景的研究方向。

知识扩展的瓶颈与规模悖论

关于知识编辑（Knowledge Editing）能否扩展到数千甚至数万条日常更新，目前仍存在局限。研究者指出，当前的核心目标并非单纯追求规模扩展，而是深入理解模型的内部组织结构。例如，ROME 假设认为存在从关联到事实的简单键值映射（如“埃菲尔铁塔”对应“巴黎”），但这仅解释了部分因果关系，并非 100%。后续研究（如 LRE 论文）显示，部分事实遵循此映射，而其他知识则通过不同机制存储。这如同早期蛋白质研究初期就试图治愈癌症般复杂，目前我们对模型内部映射机制的认知尚不完整。然而，一个有趣的现象是：随着模型变大，某些在小模型中难以映射的效果反而更容易被解析。这表明更大的参数量和训练数据可能促使模型形成更通用、更像算法的解决方案，从而提升可解释性和可操作性。

对抗攻击揭示编辑的有效性边界

在隐私保护或内容安全（如移除 nudity）场景中，使用模型擦除方法删除不良概念时，关键问题在于：是真正消除了该能力，还是仅仅打了一个补丁？目前我们尚不清楚机制是否完全清除。对抗攻击在此扮演了验证角色：如果通过特定序列（如 11 个奇怪字符）注入提示，模型仍能生成被擦除的内容，则证明编辑并未彻底生效。对抗攻击与微调、模型编辑之间存在有趣的相互作用，前者可以揭示后者的局限性。若发现擦除后的模型仍能被诱导输出违规内容，则说明之前的编辑只是增加了难度而非根除了风险。这种互动有助于我们更准确地评估模型编辑的实际效力。

恶意参数操纵的安全隐患

从安全视角看，直接通过操作模型参数注入恶意偏见（如刻板印象）是绝对可能的。这一风险已在实际交流中被提及，例如在中国实验室中，由于发布语言模型面临困难，对模型编辑技术有浓厚兴趣以应对合规挑战。直接操纵参数注入恶意偏见是一个真实存在的安全担忧。虽然研究者不愿过度政治化，但这一现象引发了对模型编辑技术被滥用的警惕。如果攻击者能够精准定位并修改参数以植入特定偏见，那么模型编辑技术本身就可能成为安全漏洞的来源。因此，理解这些机制不仅是为了改进性能，更是为了防范潜在的恶意利用。

事实编辑的双刃剑效应与伦理责任

在讨论大语言模型的事实编辑技术时，必须正视其潜在的伦理风险。虽然事实更新旨在提高准确性，但同一技术手段也可被用于降低信息准确度、掩盖真相或实现特定政治目的。这种能力是一把双刃剑，因此必须明确其中的伦理关切。尽管 censorship（审查/屏蔽）在所有媒体中普遍存在且可能没有单一的技术解决方案，但我们需要意识到这些问题的严重性。更重要的是，能够直接编辑模型这一事实揭示了一个关于大型神经网络的真相：这些系统表现得非常像大脑，但它们本质上是计算机程序。我们倾向于将它们拟人化，视其为拥有独立意图的实体，但这是一种误解。它们是人类工程师团队的创造物，反映了创建者的价值观、努力和意图。

"These things act so much like brains. We tend to treat them as if they're like people... but they're not."（它们表现得非常像大脑。我们倾向于把它们当作人来对待……但它们不是。）

因此，社区必须吸收这一关键认知：避免以对待人类的方式对待模型。不应赋予它们独立的意图，而应认识到它们是创作者意图的反映。这意味着我们必须为模型的行为承担责任。这种观点强调了技术背后的工程属性，而非神秘化的智能主体性。

功能向量在非语义任务中的适用性与局限

在关于功能向量（function vectors）的讨论中，研究者主要关注基于语义的任务，如反义词映射或首都命名。有学生提出疑问：是否测试过非语义类任务，特别是基于数字的算术任务？研究者承认存在一种偏见，即不愿重复撰写关于算术能力的论文，因此并未在原始实验中测试算术任务。尽管推测许多数字任务可能依然有效，但缺乏实验证据支持。然而，研究确实涵盖了结构性操作，如列表首尾选择等字符串 manipulation 任务，且效果良好。

这表明功能向量在特定类型的结构化和语义操作中具有鲁棒性。研究者推测，如果进一步扩展测试范围，可能会发现某些类别的任务由不同的机制处理。通过观察注意力头（attention heads），可以直接验证这些任务是否使用了相同的神经组件。这为理解模型内部机制提供了直接的可观测性，但也暗示了可能存在尚未被充分探索的任务类别或处理机制。目前的证据支持其在语义和简单结构任务中的有效性，但对算术等数值推理的泛化能力仍需进一步验证。

定位信息编辑（LIE）与因果追踪的争议

针对近期论文《Localization Inform Editing》提出的观点，即在不遵循因果追踪过程建议的位置编辑权重甚至可能提升性能，研究者表达了谨慎的担忧。Peter Haas 和 Bing Kim 的研究指出，如果将映射关系创建在网络的其他位置而非因果效应显著的位置，模型仍能表现出习得新事实的行为。研究者用了一个类比：就像发现可以通过大脑其他部位输入音频让人听到声音一样，这虽然有趣，但提出了一个不同的问题。

研究者担心这种基于训练目标优化的方法可能导致过拟合。原始数据集并非为这类广泛的泛化测试而设计，因此可能无法充分评估在非标准位置插入事实的潜在劣势。从网络结构逻辑来看，如果在网络的后期层放置一个事实，中间层的推理过程将不再能访问该信息。例如，若模型需要在中间层基于“埃菲尔铁塔在巴黎”这一事实进行推理，而该信息被放置在后期层，则中间层的推理能力将受损。这表明当前的评估数据集可能在测试此类泛化问题时不够强大，需要社区共同开发更详细的测试方案来理解这种性能差异背后的原因。

知识编辑中的因果追踪与梯度方法之争

在关于大语言模型（LLM）内部机制的讨论中，知识编辑（Knowledge Editing） 是一个核心议题。演讲者 Dhruv 指出，其团队在 ROME（Rank-One Model Editing）论文中通过 因果追踪（Causal Tracing） 发现，事实或知识主要存在于网络的中间层。相比之下，早期的 "Knowledge Neurons" 论文则利用 集成梯度（Integrated Gradients） 将知识定位到网络的末端。这种差异引发了关于哪种方法能更准确地找到 "知识神经元" 的争论。

演讲者明确表示，他们并不认为集成梯度是最佳方案。虽然 "Knowledge Neurons" 展示了惊人的相关性并启发了他们的研究，但该方法在实际编辑事实时 并未成功。演讲者认为，梯度方法本质上是一种外推法，它基于局部敏感性进行泰勒近似（Taylor approximation），假设微小的变化会累积成显著的影响。然而，这种方法依赖于 数学假设，而非直接观察。

干预式实验：直接改变网络以验证因果性

为了克服梯度方法的局限性，演讲者团队采用了一种更直接的实验方法：直接干预网络。他们不仅追踪路径，还通过 "path-dependent patches" 技术强制启用或禁用 MLP（多层感知机），从而缩小范围，确认 MLP 是中介知识的关键结构。

"We're actually making the change. So my point of view is this is the expensive, slightly costlier experiment to do that doesn't require you to make an assumption..."

这种方法的核心理念是 拒绝泰勒近似。演讲者强调，他们不是通过计算局部敏感度来推测整体影响，而是 实际执行改变 并观察结果。尽管这种方法在计算成本上更高（"expensive, slightly costlier experiment"），但它 不需要做出假设，从而提供了与局部敏感性分析截然不同的视角。演讲者自信地表示，因为他们直接执行了改变，所以 更相信这种基于干预得出的画面。

社区资源与开源工具推广

在讲座接近尾声时，演讲者向观众推荐了一个名为 NNSight 的开源社区网站（nnsight.net）。该社区致力于构建工具，以简化在超大规模模型上进行 可解释性研究（Interpretability Work） 的流程。

演讲者提到，他将在讨论区发布该网站链接，鼓励对可解释性感兴趣的学生和研究人员加入。这一举措旨在通过 开源协作 降低研究门槛，推动大模型内部机制探索的工具化发展。讲座在感谢与告别中结束，强调了学术界对 开放工具共享 的重视。

结论

讲座证实大语言模型具备内在可解释性与直接编辑潜力。通过因果追踪与函数向量技术，研究揭示了上下文学习、知识存储及任务执行的具体神经机制。直接矩阵编辑（如ROME）能在保持高泛化与特异性的前提下，快速修正事实错误并消除扩散模型偏见，优于传统微调。然而，该方法存在规模限制（超千次编辑导致性能退化），且面临对抗攻击下的脆弱性及恶意参数操纵的安全风险。此外，相关性分析（如Knowledge Neurons）虽能定位结构但无法直接用于有效编辑。总体而言，深入理解内部机制是实现精准控制的关键，而非性能与可解释性存在必然权衡。