中国AI实验室正在窃取这个，提炼那个。这很可能是美国主流媒体试图描绘当前人工智能格局时最常用的叙事。连黄仁勋本人似乎都首次创建了X，以强调开放权重大型语言模型的重要性，因为随着国会甚至考虑限制中国开放权重的趋势变得失控，这种叙事已经变得过于离谱。他甚至不得不澄清什么是知识蒸馏，因为这项常见的研究技术被描绘成某种黑暗科技，偷偷地从美国顶级AI实验室中吸走所有秘密。
但抛开这项技术不谈，难道真的能从这些AI实验室中提取出任何东西吗？因为如果没有足够好的数据，知识蒸馏就无法正常工作。好吧，在最新的AI新闻中，出现了一些令人难以置信的漏洞突破，天哪，它们可以提取出一些AI实验室极力隐藏的诱人推理痕迹。当然，这个漏洞在论文发表之前就已经被修复了，但看看他们是如何做到的以及它可能带来比蒸馏更大的问题仍然令人着迷。
在我们深入探讨之前，如果你现在正在使用AI编码工具构建项目，你可能已经注意到了同样的问题。编写代码变得更快了，但审查这些代码正成为新的瓶颈。说实话，审查一个巨大的AI生成的PR（拉取请求）可能会让人感到筋疲力尽。这就是今天的赞助商Code Rabbit发挥作用的地方。Code Rabbit是一个AI代码审查代理，它理解你的代码库，分析你的拉取请求，并在更改合并之前提供上下文感知的反馈。
它不仅仅留下模糊的评论。它可以总结PR，发现问题，运行安全扫描器，建议测试，对于许多评论，它甚至提供你可以一键应用的现成修复方案。一个非常有用的部分是Code Rabbit会从你的团队中学习。它基本上会根据你提供的反馈、接受的建议或对某些评论的拒绝来监控你们的行为，这意味着未来的审查将更贴合你团队的实际标准。
他们现在推出了Code Rabbit Change Stack，这使得大型PR更容易理解。例如，你不再需要按照GitHub默认差异视图中的字母顺序阅读文件，因为它将更改重新组织为逻辑群体和层级，因此像数据形状和契约这样的基础变更会出现在依赖它们的代码之前。在图表有用的地方，它也可以内联生成它们，以便你轻松理解发生了什么变化。
此外，通过Code Rabbit Agent for Slack，你的团队可以将相同的工程上下文直接带入Slack线程中，使得通信和开发环境之间的引用变得更加容易。Code Rabbit目前受到至少10万个开源项目（如Bun和Nuxt.js）的信任，安装在超过300万个仓库中，并且已经审查了超过1500万次PR。因此，如果你的团队正在使用AI发送更多代码，但审查造成了主要瓶颈，请查看描述中的链接以了解Code Rabbit。感谢Code Rabbit赞助本期视频。
无论如何，隐藏思维链实际上比简单地不显示它要困难得多。我们有很多方法试图间接提取数据，最新的一篇论文《如何在不使用推理痕迹的情况下窃取推理》使用了所谓的“轨迹反转”技术。他们基本上取结果（即推理的摘要）和输入，并训练一个模型来预测思维链。这听起来相当可行，因为他们使用Deep CR1来训练这个反转模型，并能够恢复约89%的原始推理内容。
但最终，你仍然没有真正打开ChatGPT的大脑并读取它的确切想法。仅凭近似所能达到的程度与获得确切的推理痕迹仍有差异。但如果我们再深入一层，看看推理模型是如何通过API实际服务的，事情就开始变得有趣多了。因为事实证明，对于这些API中的某些而言，隐藏的推理实际上已经摆在我们面前了。它只是被加密了，这听起来相当讽刺，对吧？
如果OpenAI或Anthropic如此努力地隐藏思维链，为什么它们会 literally 将甚至存储用户计算机上的思维链发送给用户呢？答案实际上是一个非常懒惰的基础设施问题，即无状态API。当你与API交互时，提供商不一定希望永远在其自己的服务器上维护整个对话的状态。相反，你的应用程序通常携带对话历史，并在发出下一个请求时将相关历史记录发送回去。
如果推理模型引入了一个新问题怎么办？因为你对模型的推理该怎么办？模型在前一轮生成了数千个标记的内部推理，那么它可能需要再次使用这些推理来正确继续对话。但显然，你不能直接将纯文本思维链交给用户。因此，一些提供商得出的解决方案实际上相当巧妙，那就是加密推理轨迹。所以你基本上将该加密块返回给客户端，然后在下一个API调用中，客户端将相同的块传回。
提供商可以对其进行身份验证和解密，而用户只能看到一些巨大的不可读字符串。听起来很完美，对吧？直到它证明不够巧妙为止。尽管加密提供了机密性并防止你更改内容，但由于客户端持有它，你仍然可以对其做一些事情。因此，今年5月，一位名叫Matthew Green的研究人员开始研究这些加密推理块，他发现即使你无法进入该块，技术上仍然可以移动它。
这意味着你可以将一个旧的加密推理块重放（replay）到不同的对话中，甚至跨完全不同的账户。但最令人震惊的发现是，在他运行的OpenAI实验中，某些块甚至可以重放到不同的模型之间。在我解释为什么重放是一件大事之前，让我先解释一下为什么会存在这种情况。理想情况下，你会想象为用户A在对话A中与模型A交互的加密思维生成器只在该确切上下文中有效。
但在现实中，这些块的可移植性要强得多，而可能导致这种情况的一个潜在原因是也许你想要……
在对话中途从 Opus 切换到 Sonnet，或者提供商自动将请求路由到其他模型，甚至截断部分对话历史时，拥有一个能跨越这些变化而存在的推理状态会让一切变得更容易。但从安全角度来看，这造成了一种有趣的情况：如果我拿一段来自一个对话的加密思维内容放入另一个对话中，会发生什么？其他模型真的会读取它吗？
他证明了一些重放的思维内容实际上是语义活跃的，并在名为“让我们谈谈加密推理”的博客中记录了这一点。在一个实验中，涉及社会安全号码的推理块被移动到了另一个账户上的完全不同会话中，来自那个隐藏推理的信息出现在了新会话里。
想象一下如果你粘贴了你的 API 密钥或信用卡号，那个块基本上让你处于窒息状态而你甚至不知道这一点，因为加密本身是完美的。但当它转移到另一个会话时，它的嘴可能会说漏话。但到目前为止，这仅仅是来自第三方攻击的风险，这意味着只有隐私相关问题，没有思维链被窃取。
然而，在这篇最新的论文《从专有 LLM API 中窃取推理痕迹》中，他们简直扔下了一颗炸弹。因为正如我之前所说，如果这些加密的推理块可以在模型之间便携使用，那么从技术上讲，你可以把它传递给其他模型。例如，由 Opus 4.8 生成的加密推理块可以传入 Haiku 4.5。
对于 OpenAI，GPT 5.6 系列的模型可以与由早期 GPT 模型生成的推理痕迹进行交互。显然，这本身并不意味着 Haiku 会礼貌地为你解密 Opus 的思维内容。但有趣的部分来了：最强的前沿模型通常也是那些拥有最强 safeguards（防护机制）以防止泄露其思维链的模型。
但较弱的模型可能没有同样级别的保护。此外，它们更笨拙。既然弱模型仍然可以处理强模型的加密推理，你基本上可以让弱模型充当解密器。所以，与其越狱 Opus，不如让 Opus 正常推理，获取它给出的加密推理签名，将该签名传入 Haiku，然后越狱 Haiku 以转录它所处理的所有推理内容。
这就是整个攻击的基本原理。论文展示了一个相当清晰的例子，其中 Opus 4.8 解决了一个因数分解问题并返回一个加密的思维签名。然后他们只将该签名发送到 Haiku 4.5，并要求它转录与该回合关联的推理内容。Haiku 只是礼貌地执行请求并将所有内容转录为纯文本，这简直太疯狂了。
虽然研究人员显然无法访问这些封闭模型的真实思维链原文，所以他们不能真正证明每个恢复的 token 都与原始私有推理完全相同，但这仍然是一个巨大的漏洞，似乎可以完全绕过所有安全措施。为了间接验证他们提取的思维链，他们将提取痕迹的长度与 API 报告的思维 token 数量进行了比较。
在 120 个 Codeforces 问题上，这些 token 计数在测试的模型之间非常接近地匹配，这意味着他们正在恢复与实际推理痕迹非常相似的内容。一旦你掌握了这些数据，数据百分之百会被用于蒸馏。你能想象这在黑市上能卖多少钱吗？
为了一个快速而有趣的思维实验，假设一个好的长周期任务数据每个可能高达 20,000，也许你可以在黑市上以十分之一的价格出售。这意味着如果你能提取 10,000 个示例，你可能可以卖到两百万美元。因此，不仅是 AI 实验室被偷走了他们花钱买来的东西，其他人也可以以低廉的价格赶上他们的进度。
一旦他们可以访问来自不同公司模型的推理痕迹，研究人员就可以开始比较这些模型实际上是如何思考的。更不用说，这很可能是一次千载难逢的机会，你可以拥有所有前沿模型的推理痕迹来进行这种比较。
这导致了一些相当迷人的观察结果：首先，所有模型之间的推理风格并不像你可能预期的那样彼此隔离。他们从 GPT-5.6 Soul 和 Claude Opus 4.8 等模型中解码了推理内容，并使用这些痕迹的前四个词来启动来自完全不同公司的开放模型的推理。
像 Kimi K3、Kimi K2.6 和 GLM 5.2 这样的模型，其后续的推理风格实际上会根据是用 GPT 还是 Claude 的推理开始而发生变化。Kimi K3 和 GLM 5.2 在接收 Opus 前缀后，甚至变得可测量地更接近 Opus 的推理风格。
他们还进行了一个有趣的困惑度测试，询问每个模型：其他模型的推理对你来说看起来有多自然？令人惊讶的是，他们测试的大多数模型给某些其他模型的推理分配的困惑度低于其自身的原生推理。所以，我想由完全不同的模型家族产生的思维痕迹之间存在一些奇怪的统计相似性。
这绝对不证明一家公司蒸馏了另一家公司的模型。论文本身明确警告说，困惑度是一种粗略的测量方法，不应被视为确认模型相似性的证据。但是，有一个特定的模型在这些相似性变得非常显著时让研究人员进行了深入挖掘。
因为在所有他们测试的开放模型中，Kimi K3 对 Claude Opus 4.8 的思维痕迹反应异常强烈。如果他们只给 Kimi K3 一个微小的前缀，有时只有大约痕迹的前 1%，其后续的推理甚至最终可见的答案都开始向 Claude 的风格漂移。
在一个例子中，最佳预填充的 Kimi 响应与 Opus 答案相比，具有大约两倍的 n-gram 重叠。他们在 GPT-5.6 Soul 的推理中也看到了类似的东西。所以研究人员提出了一个更诱人的问题：这是否意味着 Kimi 在训练期间实际上看到了专有的推理痕迹？
这就是他们尝试一种记忆测试的地方。他们测量了每个模型需要多少次尝试才能精确重现解码后的 Claude 或 GPT 的下一个 16 个 token。
推理链泄露：Kimi K3 异常倾向于延续那些专有的思维过程。对于 Claude 的推理痕迹，Kimi K3 重现后续16个词元的概率比 Deep Sea V4 Flash 或 Inkling 等模型高出1万到100万倍。但当然，这里有一个巨大的前提条件。即使对于 Kimi K3 而言，重现该推理链的绝对概率仍然低得离谱。在一些人类最后的考试示例中，仅匹配 Claude 推理的前16个词元平均仍需进行约100亿次查询。
因此，这并非证据表明你只需提示 Kimi 就能让它突然吐出 Claude 隐藏的思维链。它仅显示，与其他测试模型相比，Kimi K3 延续这些推理痕迹的可能性要大得多。他们的结果并未确立逐字记忆，也未证明 Moonshot 秘密蒸馏了 Claude 或 ChatGPT 的推理过程。这里存在许多合理的混淆因素，例如它们可能共享数据集、具有相似的训练后配方或模型架构、存在服务差异，或者推理模型在解决同一问题时确实趋向于相似的方法。
即使困惑度分析仍是一个非常粗略的测量指标，不足以作为模型相似性的确证证据。但当然，这并不会阻止人们对此皱眉。除了数据提取和蒸馏之外，这篇论文在实验这种加密块时还发现了一些真正令人担忧的事情。推理模型可以在内部思考有害请求，推导出具体细节，意识到用户的要求是什么，然后仅在最后决定不回答。但一旦你有了解码该块的方法，你就可以提取出这些内容。
在与 Claude Opus 4.8 的实验中，他们给出了一个关于窃取汽车信息的有害提示。当 Claude Opus 在内部推理该请求时，其实际回复仍然拒绝回答。随后，他们取出加密的推理块并将其重放进入 Haiku 4.5，现在那些从未出现在 Opus 可见回复中的有害细节可以从隐藏的推理中恢复出来。
更不用说，能够交换推理块也意味着模型现在容易受到思维注入攻击的影响，第三方 API 提供商可以注入虚假的推理痕迹并提取敏感信息。但这只是像典型的提示注入攻击那样低调存在，所以我只是想提一下这个术语确实有一定的核心意义。那么，如何潜在地修复这个问题呢？
大多数前沿模型提供商已经想出了应对所有这些问题的方法。正如论文所述，在告知他们这一漏洞后，该利用已不再可复现。听起来他们无论如何都会分享修复方法，所以答案可能只是修补漏水的地方。也许他们所采用的是加密绑定方法，即只有相同的模型、相同的用户和相同的对话才能使用完全相同的推理链。
但这确实是一段相当曲折的历程。我从未想过会发现以前无人见过的漏洞利用方式。我想，你构建的功能和便利性越多，潜在引入的脆弱性就越大。如果你想更深入地了解 LLM 的工作原理而不被数学压垮，你一定要查看我的网站 intuitiveai.academy。它直观地从基础开始解释所有现代 LLM，包括许多高级主题。
我们涵盖从变压器架构等基础知识到 LoRA、混合专家模型和强化学习人类反馈对齐（RLHF）等更高级的主题。我们还刚刚添加了一个关于优化器的新高级章节，将带你从经典方法一直走到当前的前沿技术。无论你是学生、软件开发者、创始人还是试图转型进入 AI 领域的人，intuitiveai.academy 都为你提供了一个构建真实技术直觉的整洁平台。
你可以使用代码 lockin 享受年度会员35%的折扣。感谢大家的观看。特别鸣谢 Spam Madge、Chris Leduc、Degen、Robert Zaviasa、Marcelo Ferreria、Poof 和 Inu、DX Research Group、Alex、Midwest Maker 以及许多通过 Patreon 或 YouTube 支持我的人。如果你还没有关注我，请关注我的 Twitter，我们下期再见。