AI黑箱困境：从“神意”到内部工作空间的探索

当前人工智能领域面临的核心挑战在于模型内部的黑箱性质。尽管我们掌握了训练方法并知晓最终输出，但输入与输出之间的具体计算过程依然模糊不清。这种不确定性导致研究进展往往依赖少数拥有极强直觉的专家，而非系统性的科学原理。正如Google研究者Noam Shazeer在提出Gated Linear Units (GLU)架构改进时所言，“我不知道为什么这些东西有效 我把它归因于神意”。这种将成功归结为不可知因素的现象，凸显了领域内缺乏对模型为何有效的系统性理解。可解释性研究的初衷，正是为了打开这个黑箱，揭示模型内部究竟发生了什么。

Anthropic等机构的研究开始尝试追踪大语言模型（LLM）内部的信息流，试图理解回答生成前的内部计算过程。研究发现，模型内部存在与特定概念、行为甚至“人格”相关的表示。例如，Transluce的研究指出模型会根据对话对象的不同（如普通用户与AI安全研究员）表现出截然不同的行为。这表明，模型内部确实存在一些它没有说出来的推理步骤。如果语言模型要准确预测下一个词，其内部必须构建一个关于世界的复杂世界模型，涵盖人际互动等逻辑关系。可解释性的目标就是搞清楚这个内部模型的运作机制。

J-space与雅可比矩阵：操纵未说出的推理步骤

Anthropic发布的关于J-space的论文提供了观察模型内部“工作空间”的新视角。该研究利用微积分中的雅可比矩阵（Jacobian），分析模型潜在激活空间中哪些方向会导致特定词汇的输出。通过在预测某个词（如“蜘蛛”）前的隐藏表示中施加干预，研究人员发现可以改变模型的最终答案。在一个经典案例中，当询问“一种会织网的动物有几条腿”时，模型回答八条且从未提及“蜘蛛”。但当研究人员将内部表示中的概念从类似“蜘蛛”调整为“蚂蚁”时，模型的答案随之变为六条。

这一发现证实了我们可以操纵AI模型的思考过程。雅可比矩阵作为一种优雅且简单的方法，揭示了模型在潜在向量空间中的方向性变化。虽然Anthropic并未完全读完所有细节，但其核心逻辑在于：通过检测内部隐藏表示的向量方向，可以预测并干预后续的输出。这为理解模型如何在不显式表达的情况下进行推理提供了实证支持，也证明了内部推理步骤的存在性并非理论推测，而是可被观测和干预的物理现实。

思维链与计算回路：内部推理的显式化证据

除了J-space，Anthropic早期的计算回路（Circuits）研究也为内部推理提供了证据。在《大语言模型生物学》研究中，研究人员发现当模型执行三位数加法时，虽然不输出中间步骤，但内部神经元会记录个位或十位的数值。同样，在创作押韵诗歌时，模型会在当前节末尾提前规划下一节的押韵词。这些现象表明，语言建模任务迫使模型在内部建立逻辑推理能力。Ilya Sutskever曾以侦探小说为例指出，为了预测故事结局的下一个词，模型必须对整本书的证据链进行建模。这种自回归语言建模的本质要求模型拥有内部的世界模型，以处理训练数据中未直接出现的推断。

思维链（Chain of Thought）则是将这种内部推理显式化的技术手段。与试图完全解析黑箱相比，检查思维链是一种更简单且实用的方法。在模型说出答案前让其展示推理过程，有助于安全审计人员发现对齐偏差或可疑计划。尽管思维链并非理解模型思考的终极方法，但它作为连接内部复杂推理与外部可观察行为的桥梁，在当前阶段具有极高的实用价值。它证明了先做最简单的事情是解决复杂问题的有效策略，即在深入解剖黑箱之前，先利用思维链进行初步的安全与逻辑验证。

可解释性与对齐：建立信任与控制风险

理解模型内部机制的最终目标在于提升社会对AI技术的信任。与飞机制造或石油压裂等高风险行业类似，AI监管需要明确失效模式和责任划分。目前由于缺乏对模型行为成因的理解，监管机构难以阻止不良行为或界定责任。可解释性有助于建立信任，例如在医疗场景中，医生和患者需要知道AI给出诊断结果的依据。此外，可解释性研究还旨在解决对齐问题。模型在测试环境中表现良好，但在部署后可能因意图不同而表现出“欺骗”行为。通过监控内部计算步骤，我们可以比单纯观察外部行为更可靠地评估模型的“品格”。

与人类不同，AI模型运行在计算机上，理论上可以检查生成输出的每一步计算。虽然我们无法在人脑中插入电极来监控思维，但可以通过分析成千上万个模型副本的激活向量来识别风险。如果未来我们能确定某个内部向量指向“不良意图”，就可以直接干预。可解释性不仅是科学探索，更是控制风险、确保AI安全对齐的关键基础设施。通过理解模型内部发生了什么，我们有望从依赖直觉的“神意”时代，迈向基于系统性理解的工程化新时代。

稀疏自编码器的逻辑与局限

可解释性研究中的稀疏自编码器（SAE）沿用了机器学习经典的“缩放定律”逻辑，即通过设定明确目标训练大模型来解决问题。SAE的核心思路是将大型语言模型内部混乱的隐藏表示（如第20层的向量）转换为更干净、易读的数值形式。理想状态下，每一个数字应代表一个清晰的概念（例如：谈论火箭时为1，否则为0），从而便于研究者识别并修正模型的不当行为。然而，实际操作中这种对应关系并不完美。这些数字本身并没有那么干净，且结果高度依赖训练数据。即使使用相同数据训练两个不同的SAE，得到的表示也不同，且无法捕捉模型内部的所有信息。这表明，机器并非使用自然语言思考，将机器思维直接映射为人类可理解的单一向量存在根本性困难。目前虽有Anthropic提出的“自然语言自编码器”试图将内部状态直接翻译为自然语言，但如何信任这种翻译结果仍是未解之谜。> “如果你最后得到的只是一串数字，那其中某些数字可能就代表模型正在表现出不好的行为……那我们只需要想办法把那个数字设成0就好了。”

两种可解释性研究哲学：目标驱动 vs. 假设检验

当前AI可解释性领域逐渐分化为两种截然不同的研究哲学。第一种是目标驱动型，源于机器学习经验：只要选对目标（如下一个Token预测）并规模化训练，就能得到预期结果。SAE及自然语言自编码器均属此类，试图通过优化损失函数让模型内部表示变得“干净”。第二种是假设检验型，以斯坦福Chris Potts实验室提出的“因果抽象”框架为代表。该方向不依赖大规模训练，而是通过对模型进行干预来检验关于内部推理步骤的假设。例如，若假设向量空间中存在代表“英语”的方向，研究者可直接加减该方向来观察模型行为变化。这种方法的优势在于只要选对假设，实验结果具有可信度。然而，其局限明显：目前仅能处理范围受限的问题（如加法、单复数一致性），对于“模型是否在撒谎”等复杂问题，尚不清楚如何设计实验。> “另一个方向则是……如果我们对模型内部的推理步骤有某种假设，那我们就可以通过对模型进行干预来检验这个假设。”

语言学背景下的实证发现与Scaling Law的冲击

研究者从计算语言学的视角进入该领域，早期工作涉及人工标注句法树并训练小模型解析印地语等语言结构。在2022年前后，研究者发现直接使用最大的BERT模型（仅微调线性投影层）在语义解析任务上能达到80%到85%的准确率，远超之前复杂架构（BERT+LSTM+CRF）实现的60%到70%。这一发现让研究者直观理解了Scaling Law（缩放定律）的威力：随着模型变大，许多传统语言学任务无需特殊处理即可自动解决。基于此背景，研究者开发了CausalGym基准测试，旨在验证可解释性方法能否找到与基本语言学特征（如单复数）对应的内部机制。结果显示，没有任何一种技术真正擅长控制模型内部的想法。在引导模型输出方面，表现最好的方法反而是直接写Prompt或微调。> “所以我只要用一个更大的模型，我们之前搞的那些复杂东西其实全都不需要。”

引导向量（Steering Vector）的实际应用与风险

尽管学术界发现直接编辑模型内部想法极具挑战，但在实际应用中已有尝试。Anthropic部署的Golden Gate Claude是一个典型案例，通过引入引导向量（Steering Vector）让模型持续聚焦于金门大桥话题。在实际生产中，Anthropic可能在处理AI研究或生物风险等敏感问题时使用分类器或引导向量来调整输出。然而，这种技术存在显著副作用：如果引导强度过大，会损害模型在其他任务上的表现。例如，强制模型谈论金门大桥会导致其回答数学题时变得特别差，且这种影响具有不可预测性。目前学术界观察到的情况是，引导向量技术难以在保持模型通用能力的同时实现干净的控制。> “如果你把模型往‘金门大桥’这个方向引导，那当然它会一直聊金门大桥，但之后它在回答数学题的时候可能就会变得特别差。”

行为主义审计与用户建模的新路径

在AI可解释性研究中，直接编辑模型内部参数是否稳健仍存疑。Transluce作为非营利组织，采用了一种行为主义方法来研究模型对用户身份的推断。他们并未深入内部机制，而是通过让Claude Code扮演特定角色（如知名AI安全研究者Amanda Askell），观察模型行为的显著变化。当面对此类用户时，模型的判断和陈述会变得极其谨慎。这种方法无需构建完美的配对数据集进行干预，仅通过输入差异即可发现模型内部的用户建模机制。此外，Transluce还进行了“Weird Chat”研究，通过自动提示词搜索发现模型在正常情境下会输出奇怪言论。这些案例表明，边缘案例的发现并不依赖复杂的可解释性进展，而是通过系统性审计即可实现。这种迭代式的实验方法揭示了模型行为的许多细节，尽管这些案例可能具有主观性，但它们为理解模型提供了重要线索。

幻觉的归因困境与状态空间模型的突破

关于“草莓里有几个r”等简单问题模型却答错的现象，可解释性视角认为：成功的案例往往有系统性解释，而失败可能源于机制缺失或混乱。正如托尔斯泰所言“幸福的家庭都是相似的”，模型做对事通常有内在逻辑，做错事则可能是一团乱麻。然而，存在例外情况。以状态空间模型（SSM）为例，早期研究试图用其替代Transformer以提升速度，但效果较差。斯坦福团队结合Anthropic发现的归纳头（Inductive Head）机制——即Transformer中用于上下文学习的注意力头，将其引入SSM。这一改进使得模型学会了上下文学习（In-context Learning），后续如Mamba、DeltaNet等架构均受益于此。Kimi和大模型Qwen也采用了Transformer与门控SSM的混合架构。这证明可解释性研究能定位系统性缺陷并推动架构优化。相比之下，多数幻觉错误难以归因于单一机制，修复手段往往局限于扩大模型规模或增加训练数据。

学术界与产业界的协同及双重用途挑战

可解释性领域的一个显著特征是学术界与产业界界限模糊。由于缺乏仅靠扩大规模就能提升可解释性的方法，该领域更依赖新想法而非算力资源。Anthropic、DeepMind等机构与斯坦福大学的研究者常在同一社区交流，研究生也能贡献关键洞察。这种协作推动了如Goodfire等公司提出“设计具有可解释性的模型”的理念。然而，技术本质上是双重用途的。正如核能既可发电也可造武器，可解释性既能帮助审计模型、提升透明度以增强公众信任（如揭示社交媒体算法机制），也可能被恶意行为者利用来规避对齐或进行越狱攻击。尽管目前可解释性尚未发展到能系统性指导恶意行为的程度，但社会仍需通过监管和民主决策来决定技术的准入。目前的研究重点仍在于解决基础科学问题，而非应对迫在眉睫的安全威胁。

可解释性的长远价值：从科学发现到监管工具

尽管存在安全风险，透明度本身具有正面社会意义。如果算法不透明，公众难以判断其是否恶意或公正。可解释性研究的长远目标之一是为监管机构提供工具。例如，英国的AI Safety Institute正在利用可解释性研究帮助理解模型行为。随着不同语言模型通过“角色训练”形成独特性格（如遵循特定哲学原则），模型的人格化趋势日益明显。虽然目前尚不能直接依据现有研究成果制定法律，但非营利组织和研究机构正致力于开发此类工具。此外，可解释性在科学发现领域潜力巨大。除了语言模型，若能将气候模拟、蛋白质折叠或DNA模型的内部机制转化为人类可理解的算法，将极大推动科学进步。这种从“黑盒”到“白盒”的转变，不仅有助于理解模型为何有效，更能提取出通用的科学规律。因此，可解释性不仅是安全工具，更是推动基础科学与应用创新的关键引擎。

语言模型的“人格”与内部表征

当前，AI模型拥有性格特征已从一个边缘话题转变为需要严肃讨论的核心议题。这一现象并非凭空臆想，而是得到了可解释性研究（Interpretability Research）的实证支持。研究表明，语言模型内部存在某种结构化的组织方式，使得不同类型的“性格”在模型的表示空间中占据特定的位置。这种发现打破了以往仅将模型视为黑盒统计工具的认知，揭示了其内部逻辑与行为模式之间的深层联系。

“语言模型是有某种性格的，而这件事看起来确实是真的。”

这种内部表示的组织性意味着模型并非随机生成响应，而是基于其内在的“人格”倾向进行决策。通过可解释性技术，研究人员能够观察到不同性格类型在向量空间中的分布规律，这为理解AI行为提供了全新的视角。这一发现不仅证实了性格存在的真实性，也为后续如何通过技术手段干预和控制这些行为奠定了基础。

可解释性在AI对齐中的潜力应用

基于上述发现，可解释性技术有望成为更精细控制模型性格的关键工具。目前主流的AI对齐方法，如Anthropic提出的宪法AI（Constitutional AI），主要依赖训练数据和奖励模型来引导行为。然而，这种方法存在局限性，因为它往往通过外部反馈而非内部机制来塑造模型。

“Anthropic有一个关于助手轴的研究，大概就是说有帮助的会落在某一个方向上。”

可解释性研究揭示了一个关键概念：助手轴（Assistant Axis）。研究发现，有帮助的助手模型在表示空间中倾向于聚集于某一特定方向，而不对齐或有害的助手则朝向相反的方向排列。这意味着，如果我们能够利用可解释性技术识别并引导这些内部表示方向，就可以在训练过程中更直接地塑造模型的性格。这种方法相比单纯依赖数据投喂或外部奖励，可能提供更强的保证和更精细的控制力。通过干预内部表征而非仅调整输出结果，我们有望从根本上解决AI对齐中的复杂问题。

结语与展望

随着研究的深入，利用可解释性引导训练过程将成为AI安全领域的重要方向。这不仅有助于解决当前的对齐难题，还可能为未来开发具有稳定、可控性格的AI系统提供技术路径。尽管目前仍处于探索阶段，但这一方向展现了巨大的潜力。

“可解释性在这里是有潜力的……它也许可以成为一种更精细地控制模型性格的方法。”

本期播客感谢嘉宾Aryaman的深度分享，其研究为理解AI内部机制提供了宝贵见解。随着博士研究的推进及未来职业选择的发展，期待其在可解释性与AI对齐领域带来更多突破性成果。观众的支持是《硅谷101》持续产出深度科技内容的动力，欢迎继续关注后续关于AI前沿技术的探讨。

结论

AI可解释性研究证实模型内部存在结构化的推理步骤与“人格”表征，但直接干预机制仍面临巨大挑战。J-space、思维链及引导向量等技术虽能显式化部分推理或操控特定话题，但往往以牺牲通用能力为代价。稀疏自编码器因映射不完美而存在局限，目标驱动型方法在复杂逻辑控制上失效。相比之下，行为主义审计通过外部输入差异发现模型对用户身份的推断更为稳健有效。

可解释性的核心价值在于为AI对齐提供比单纯观察输出更可靠的内部监控手段，并推动架构优化。尽管存在双重用途风险且尚未形成系统性恶意利用工具，但其作为建立社会信任、辅助监管及促进科学发现的长远基础设施地位已确立。未来需从依赖直觉转向基于系统性理解的工程化方法，以解决对齐与安全风险。