再次强调，辩论的核心问题已不再是排行榜。现在的焦点在于：一个优秀的开源基础模型加上微调平台，能否击败闭源模型或其他模型策略，对吧？今天这期《专家混合》将探讨这一切及更多话题。

我是 Tim Hong，欢迎收看《专家混合》。每周，Moe 都会汇集人工智能领域最精彩的讨论，带你梳理本周的新闻脉络。在本期节目中，我们邀请了 IBM 院士 Aaron Bachmann、Agentic Middleware and Applications 总监 Marva Unavar 以及杰出工程师 Chris Haye。欢迎大家！今天我们有四个重磅话题。一如既往，我们将讨论 Muse Spark、GPT-5.6 在 ARC AGI 3 上的表现，以及 Anthropic 发布的一篇关于 JS 空间的奇特论文。

首先，我想谈谈 Thinking Machines Lab。这是由前 OpenAI CTO Mirai Morati 创立的备受热议和期待的实验室。该实验室此前已活跃一段时间，发布过一些博客文章和研究论文。但就在本周，他们推出了首款模型，名为 Inkling。这是一个总参数量为 975B 的模型，采用专家混合架构，因此激活参数为 41B。

这非常有趣。这是该实验室的首次真正发布，体现了他们在模型训练和预训练方面解决当代问题的方法，以及他们对此的哲学理念。有趣的是，这是一个开源模型。我想 Chris 可以先谈谈你的看法，我知道你最兴奋。在我看来，最有趣的一点是，他们直截了当地表示，从基准测试的角度来看，这并不是顶级模型。对此你有什么解读？

我很喜欢。就像英语模型一样，它还可以。你明白我的意思吗？我觉得很酷。 没错。我认为在这个市场中，你不需要成为世界第一。我认为他们确实需要推出一款模型，这是他们之前最缺乏的，而他们做到了，我很欣赏这一点。正如你所说，它不是世界上最伟大的模型。前沿实验室的模型都比它好，中国的所有模型如 GLM 等也比它好。

但这里有一个来自美国实验室的优秀且权重开放的模型，太棒了。而且其中有一些非常不错的架构设计，我很欣赏他们的方向。他们深受 DeepSeek 模型的影响，我认为这很好。但他们处理多模态的方式略有不同。如果你想想我们见过的其他多模态模型，它们就像是将一堆不同的模型融合在一起：这里有一个视觉编码器，那里有一个音频解码器，把它们混合在一起，然后你说：“是的，这是一个模型。”

老实说，这是一个模型。别往里面看，千万别往里面看。但实际上，他们真正实现了多模态，将处理深入到了 token 级别。他们处理的是小块的像素，我认为是 40x40 的投影，然后转化为 token。所以这实际上是真正的多模态，我很欣赏这一点。

此外，我很喜欢他们对速度的处理方式。他们采取了一条快速路径，因此在这个意义上，它是一款非常快的模型。我不会深入技术细节，但他们做出了一些有趣的架构选择。它不是与其他模型相同的模型，为此我向他们致敬。我试用过它，表现相当不错。我在等待更完美的版本。是的，我很兴奋。

是的，Marvy，正如 Chris 所说，Thinking Machines 似乎试图以微妙的方式改变竞争格局。通常我们会说：“它是排行榜第一，所以它是最好的模型，我们都应该使用它。”而在这里，他们似乎想说：“是的，有排行榜，但这里还有所有其他你应该关心的东西。”听起来 Chris 已经接受了这个观点，即原生多模态以及我们正在做的这些有趣的架构创新。你认为这会改变市场吗？

人们是否觉得这就是未来的方向，即排行榜将不再像以前那样成为人们关注的焦点？

我认为是的。我认为他们不同的方法，当然除了 Chris 提到的架构和模型的进步与差异外，让我印象深刻的是他们构建的微调平台。你基本上不是给出一个提示，而是说比如“不用字母 E 写作”，它会起草计划，生成自己的 eel 和合成数据，通过他们的 Think Tinker API 运行后训练，将新权重加载回其编码工具包，并正确回答。

这是一个完整的闭环。你知道的，“不用字母 E”是你提出的，但这里的重点是编排。他们可以完全自动地做到这一点。我想回到竞争问题上，正如你所说，他们声明 Inkling 不是目前可用的最强模型，无论是开源还是闭源。我认为整个卖点或差异化优势在于：更好的开源基础模型，可根据你的需求进行定制，多模态，高效思考，可在 Tinker 上微调。

因此，再次强调，辩论的核心问题已不再是排行榜。而是：更好的开源基础模型加上微调平台，能否击败闭源模型或其他模型策略？我认为值得一试，我们将看看它在市场上的表现如何。

Aaron，也许我们可以稍微扩大一下讨论范围。我认为这是一个标志性的时刻。长期以来，舆论一直认为美国在闭源专有模型方面非常擅长，如 OpenAI 和 Anthropic。而在开源方面，我们虽然还可以，但我们真正依赖的是 DeepSeek 等中国实验室，它们正在推动开源的发展。

我认为这在某种程度上值得注意，因为这是一个广泛关注的美国前沿实验室，将其发布策略定为“开源优先”。Aaron，我想问你一个问题：我们是否一直在错误地思考这个问题？

难道说，其实美国也能把开源做得非常出色，并在基础领域有所建树，就像 DeepSeek 那样？嗯，你知道的，我猜这就是你需要权衡的地方。也许我们一直以来都搞错了。>> 是的。我的意思是，我认为 Inkling 真正的头条新闻在于，它是可定制且已开源的智能。因为 AI 的未来，可能不在于构建最大的、进而成为封闭源码的前沿模型，而在于赋予人们根据各自需求定制、适应和控制这类模型的能力。

我注意到，在这一连串问题中——什么是 Inkling？它有何不同？为何重要？以及它是否真的因为不是最大、最强大的模型而显得不重要？我认为在此时此刻，这并不重要。因为这件事有很多层面，对吧？你有一个在广泛能力上预训练的一般智能层，但随后你可以通过微调进行定制，对吧？

所以，这些不同的参数高效微调（PEFT）方式，例如 LoRA 的能力。然后你可以使用 RAG 来获取用于微调的数据。此外，你还可以通过提示词本身来定制行为控制和思考方式。你可以定制智能体，并通过各种反馈进行定制。我认为，拥有这种自我改进方法的 Inkling，使其能真正根据你的需求进行定制，这才是关键。

更棒的是，它是开放权重的。这与主要竞争对手的做法略有不同，比如 Google 的 Gemma，或者 Gemini Pro 等。我认为 Inkling 就处于这个位置。但我认为 Inkling 目前并不试图与那些非常深奥的大型模型竞争。它是一种较小类型的模型。当我说“小”时，据我所查，它大约有 9750 亿参数。所以它仍然是一个相当大的模型。

这些仍然都是巨型模型。所以衡量标准已经发生了巨大变化。我记得很多年前，10 万参数就算很大了，但现在我们有了 9750 亿参数，并且是开源开放权重的，拥有 100 万 token 的上下文窗口，能够处理多模态输入。但让我回到这里的头条新闻：这是通过开放权重现成的、可定制的智能，我对它感到兴奋。

我认为 Inkling 确实有一席之地。我想说的是，如果回到大约一年前，甚至不到一年前，他们发布了第一篇博客文章，大家都在问 Thinking Machines 会说什么，结果他们说：“哦，这是如何实现确定性的，我们成功控制了批次，所以一切都是可复现的。”当时我们心想：“哼，想看你们的大模型，我们才不想看这个。”

但如果我们快进到现在，实际上，他们从一开始就植入的那些事实和原则——即他们在批次大小和可复现性上的确定性——我怀疑正是这一点让他们能够移动。虽然他们尚未完全达到前沿水平，但我的天，我认为他们在实验控制方面已经具备了迅速超越的能力。

你可以通过他们发布的架构选择看出来，他们采用了 Rope，拥有用于滑动上下文窗口的快速通道等。所以他们采取了很多优化措施。而采取这些优化的唯一方法就是通过测量和可复现性。所以他们并不是坐在那里说：“嘿，我是瑞典厨师。”就像格蒂一样，然后把食材放进去，说：“我们有了模型。”他们正在进行proper的受控实验。

在这个阶段，我是一个乐观主义者。我认为也许几个月后，我们将开始看到一款真正有竞争力的模型，因为我认为他们采取了正确的方法。>> 这实际上很好地过渡到了我们的下一个环节。我们稍微谈了一下 Thinking Machines Lab，这是一个可能在某种程度上竞争不同的实验室。现在我们应该谈谈一个我认为在某种程度上竞争相同的实验室。

Meta 在沉寂了一段时间后，虽然在招聘和资金投入方面制造了很多噪音，但现在发布了他们想要发布模型类型的初步声明。Muse Spark 1.1 是来自所谓的 Meta 超级智能实验室的最新模型。这与 Inkling 的发布形成对比，这是一种非常不同的模型发布方式。

我想 Marva 之前提到的观点，它展示了所有的图表，而所有图表的最终结果表明，他们在基准测试中表现优异，并且优于所有这些其他专有模型，如 OpenAI 和 Anthropic。我想问你的问题是，Marva，你是否将这些结果解读为 Meta 再次成为该领域的有力竞争者？因为感觉我们已经很久没有谈论过他们了。

你知道，我觉得 Llama 是他们真正掌控叙事的上一次，而这可能是他们重新进入游戏的机会。你认为这是一个可信的进步吗？>> 不，我认为，在那段艰难的 Llama 时期之后，我认为带着这款模型回归，特别是瞄准市场走向，比如智能体、多智能体编排，我认为他们强调了规划和委派，即并行子智能体以降低延迟。

例如，计算机使用是多个应用中流行的用例，这将使他们脱颖而出。我认为有趣的事实是，一百万 token 的上下文被主动管理和压缩，这也是他们打包的一个强大功能。而且我认为他们在本次发布中也拥有强大的代码测试工具。所以，正如你所说，在 Llama 开放权重之后，他们正在引领开放模型时代。

时间确实不短了。现在我们要关注的是像Bat这样观点鲜明且连贯的模型，它们希望成为行业标杆。另一个亮点是成本效益，它们既便宜又快速，属于低上下文引擎，因此可以大规模运行智能体工作负载，这也意味着它们正在瞄准企业用例。虽然它可能不是最聪明的，我知道它在基准测试中并非领先，但我认为它是构建智能体最经济的选择。我想这可能是他们的切入点，也是他们取得成功的基础。

亚伦，鉴于玛瓦刚才的说法，这听起来有点奇怪。似乎使用这种模型的下一步是开始提供企业级AI服务。我们通常不这样看待Meta，对吧？作为Facebook的创建者，Instagram和WhatsApp的所有者，这些主要是消费者工具。所以有趣的是，字里行间的暗示是：Meta是否认为它们将转型为一种企业级B2B SaaS类型的运营？你认为这有可能吗？

没错。如果你开始整理不同玩家对生成式AI领域的贡献，我的观点是：OpenAI在某种程度上证明了AI可以“思考”（打个引号，我们稍后讨论）。Google证明了AI可以扩展规模。而现在，我认为Meta正在押注并展示，赢家将是把智能带到人们所在之处的那家公司。这连接了它们已有的所有社交媒体平台。这令人兴奋，因为这是它们最大的优势：拥有巨大的用户覆盖面，平台上拥有数亿用户。

你提到了WhatsApp和Facebook等，但它们还拥有一个相当不错的硬件生态系统。我刚才在玩它们的Ray-Ban智能眼镜，很有趣。但如果能把这个模型接入其中，那将非常强大。它们拥有研究人才，在AI领域长期领先。我们聊过Llama模型，但别忘了PyTorch。早在深度学习库时代，人们仍在构建自己的神经网络，这些神经网络是生成式AI组件的构建块，它们为此做出了贡献。此外，它们还采取了开放加专有的策略，我们正看到这种策略逐渐显现。

它们一直擅长开放，而现在通过Muse Spark，我认为它们开始涉足专有领域。这个模型还有很长的路要走。我稍微看了一下基准测试，发现它在ARC-AGI部分表现较弱，至少目前不如竞争对手。所以在前沿能力方面，它还没有达到顶尖水平。但在那些基于知识的测试中，它表现出色。例如，在Artificial Analysis指数或GPQA Diamond中，它有一套完整的测试，表现非常出色，将其推入了上层梯队。但考虑到行业的发展方向，它需要再提升一点。稍后我们将讨论Soul以及这一切的含义。

克里斯，我想调查的另一个方面是Meta发布模型策略的变化，特别是与Fable、Mythos以及OpenAI最初发布模型的方式相比。OpenAI曾说：“好吧，只有某些人能访问，然后我们再广泛分发。”某种程度上，这次Spark的发布感觉像是倒退。我说的倒退是指几个月前的做法：没问题，我们直接让模型公开可用。部分原因是为了推动分发，而不是在早期严格限制访问权限。你认为Meta最终会像其他大型前沿模型公司那样采取限制措施，还是它们会继续保持开放，在初始发布时不进行太多限制？

首先，要让模型受到限制，它必须足够好。所以，一旦达到那个水平，我们可以再谈这个话题。正如亚伦所指出的，它还没达到那个水平。我得说，我觉得这次发布有点平淡。我爱Meta，爱Llama模型。我觉得它们很有趣，它们发布东西，走开放路线，激发了一整个社区起步。有人可能会说是Mistral团队后来创建了Mistral。但这是一个封闭模型，用于社交媒体，你可以使用API，而且它比4.6 Opus更好。是的，我们都知道它并不比4.6 Opus更好。你应该至少拿它和4.8或Fable比较，但你拿它和4.6比，我不相信它比4.6好，因为大家都说“哦，它比Clineus好”，但它从来都不是。

我会为此花钱吗？不会。他们本应该怎么做？他们应该以开放权重模型的形式发布它，那样我们就会欢呼：“哇，做得好，测试版。”是的，但现在我走了，对吧？Thinking Machines等等。这才是他们应该做的。我理解他们为什么不这么做，但这就像，我在乎一个比优秀模型更差的封闭模型吗？不在乎。你懂我的意思吗？就这样吧。

克里斯，抱歉，继续。我只是想说，我注意到在发布说明中，他们一直使用“与领先替代品竞争”或“与当今领先的前沿模型竞争”这样的措辞。当一个人击败所有人时，没人会写“竞争”，对吧？你说得对。“竞争”。你知道的，是的。好吧，扎克，如果你在听，你应该更努力地给克里斯·海耶留下印象。下一轮他会继续盯着你的。我想……

就像Meta。我知道。我是少数喜欢Meta的人之一。我喜欢LLaMA模型等等。我只是希望你们能开放它，或者你知道的，但我的意思是，如果你转向我的观点，如果他们说“这比Fable好20倍”，我会说“让我加入这个模型，我想玩玩它”。但它不是。这就像……你知道的，这就像是模型界的本田。然后你会说，太棒了。你知道，我不想开本田，我想开法拉利。你明白我的意思吗？>> 我明白。>> 好吧，呃，这大概是我们对这一话题的最后评论了。让我们进入下一个话题。

所以我想讲的下一个故事是关于一个名为ARC AGI的基准测试，我们之前在这里讨论过。当它最初发布时，它被定位为AI要解决的史上最具挑战性的任务。其核心理念是，模型能否在不进行进一步提示、框架引导或指导的情况下，完全习得新技能。我们看到了越来越多的进展。但本周，或者说它再次成为新闻焦点，因为OpenAI最新发布的GPT-5.6 Solus在进展上显示出巨大的飞跃。

你看，Luna和Terra等模型得分较低，就像许多其他模型一样。但Solus却实现了这种跳跃，基本上从0%跳到了8%。鉴于该基准测试的难度，这让人们议论纷纷。也许Marvy，我先请你来谈谈。你知道，0%到8%听起来可能不算多，但相比之下，看看这个基准测试，它似乎确实是AI很难做到的事情。所以，你怎么看待这个结果？这是一个令人印象深刻的结果，还是说，如果你想做这个环节的Chris，这可能是一个无聊的结果？

我不认为它无聊，但我认为我们离AGI还远得很。就像每次领域饱和时，ARC的发布都是一次更难的目标，针对的是模型仍然无法做到、但一个12岁的孩子就能做到的事情。然后分数又崩溃了，8%对比任何能做到的普通人都是100%，这绝不是真正的AGI。我认为，当我们达到AGI时，分数并不是说服我们的关键。当有人发布一个充满对人类来说很容易、而前沿模型无需专门提示或前置工作就能直接处理的任务的新基准时，我认为AGI就会到来。

但这确实是一个良好的进展。如果我们看ARC AGI 2，我记得它达到了92%左右，一个非常高的百分比，所以它也可能达到那个水平。但我认为我们离完全的AGI还远着呢。>> 是的，我的意思是，这是其中有趣的部分之一，我稍微埋没了重点，这是针对ARC AGI 3的性能。在某些方面，当这个基准测试首次发布时，他们说一旦通过这就肯定是AGI，已经饱和了。而现在他们陷入了这种游戏，不得不不断发布新的基准测试来说明“这还不是AGI”。

Aaron，我的意思是，你认为我们会看到同样的情况发生在ARC AGI 3上吗？就像一艘有洞的船，水不断涌进来，你无法仅仅保持领先。任何你认为对计算机来说太难的事情，最终都会在比你预期的时间内显得能够完成。>> 是的。我的意思是，给我更多的桶，让我继续把独木舟里的水舀出去，对吧？我发现了更多的洞。但是的，我的意思是，Solus不是AGI。但它是一个明确的信号，表明当今的前沿模型与我们所认可的AGI之间的差距正在缩小。

从我们目前的基本局限性，走向……尚未，但正走向一个工程和扩展问题。我认为这反映了ARC AGI 3的结果，大约达到了8%。你知道，这意味着相当令人印象深刻。因为AGI关乎拥有一个能在人类能执行的广泛智力任务上表现的AI系统，而不是仅仅专注于某个特定领域。我认为这表明，Solus开始能够在它可能未曾见过的不确定性世界中推理，这是一个它未曾见过的陌生环境。

而且我的意思是，它发布的时间并不长。我知道他们使用了兆瓦级的电力，也许是10,000户家庭的用电量来训练这种类型的模型。但我的意思是，我认为它会变得更好。每当你查看AGI 1和2的ARC基准测试时，它表现非常好，然后在3上，它开始像是在水下观察冰山，并开始探索它以前无法看到的领域。所以，是的，我的意思是，我认为随着时间的推移，ARC……首先，我们需要确保ARC AGI 3是我们希望所有模型都遵循的正确基准测试。

然后看看其他基准测试，并加以装饰，以便我们作为一个群体和社区定义什么是AGI，然后开始让这些模型朝着我们最终希望它们去的地方前进，至少是我们中一些人希望它们去的地方，并且以负责任的方式。但让我们也思考一下电力的权衡。我对这一点感到震惊，我读到即使是在推理过程中，当你开始进入AGI类别和领域时，推理成本也相当于60户家庭的电力。仅仅是运行那种类型的任务。

所以这真的很令人难以置信，这些模型使用的电力之多，以便我们开始拥有一个在解决ARC AGI 3的趋势上有所上升的模型，解决了8%。我们必须做得比这更好。我明白你的观点。我们可能上升到了8%，但我认为解决那个特定任务需要19,000美元。我认为需要进行一些架构上的改变。

要达到那个数字，我认为还需要发生一些事情。所以，看到数字上升是很好的，但美元价值是否也同时上升呢？这是一个更大的问题。关于这一点，我想最后再提一个想法，也很想知道大家对此有什么看法。我们是否已经处于通用人工智能（AGI）阶段？这里还有另一种观点，即我们不断尝试提出越来越难的任务。但事实是，如果你回想一下三年前的情况，再想想现在的模型能做什么，你可能会说：“好吧，这就是AGI，我们就在这里。”我们拥有能够完成大多数任务中令人难以置信的事情的模型，它们确实能做到。

事实上，我们现在处于一种境地，似乎不得不不断想出它做不到的事情，以维持这条界限。我不确定大家是否同意这一点，也许我们实际上已经处于AGI阶段，甚至已经有一段时间了。我认为我在开头已经说过，我不这么认为。我认为，当我们发布这些新的基准测试，而模型开箱即用就能表现出色时，那就是我们可以宣称正在接近AGI的日子。因为每次当你发布一个更困难或略有不同的基准测试时，Chris Park（注：此处可能指代特定模型或团队，原文为Chris's Park，疑为Muse或类似模型名的误听，结合语境保留音译或意译，此处根据上下文推测为指代模型表现）的表现就像只得了8%左右。

我的意思是，虽然有点东西，但拜托，如果一个12岁的孩子能得100%，而模型只得8%，这绝对没有>>超过12岁的孩子。>> 没错。>> 是的。>> 是的。我的意思是，我总是观察人类从婴儿成长为成人的过程。所以我认为，也许我们处于婴儿级别的AGI阶段，对吧？也许我们正试图达到一岁婴儿的AGI水平。但要让这些模型走向成熟，我们还有很长的路要走。毕竟，我们仍在试图定义AGI究竟意味着什么。

我总是说，AGI是指人类能够执行的智力任务的全部范围。但接着你会问自己，那么是哪个年龄段？我们将如何分层人类的能力并进行衡量？因为如果我们看的是一个刚出生一周岁的婴儿，我们确实可以满足那个定义，对吧？因为那是一个人类。所以，这仅仅取决于你的衡量标准在哪里。然后我认为，我们正在创建的所有基准测试都标记为对应人类的能力。

但另一方面，我认为我们也在试图超越人类的能力，因为人类无法观察高光谱波段。我们拥有各种各样的仪器和工具去观察世界，并获取人类无法感知的数据。所以我认为，也存在一种超越人类所能做的AGI。所以归根结底，这取决于你如何定义AGI，以及AGI如何映射到你希望追踪的组织业务目标上。好了，今天的最后一个话题。我想在结束本期节目之前，快速提及一项有趣的Anthropic研究。

我打算读一下他们宣布这一研究的推文，因为这在发布时引起了很多争议。Anthropic写道：“在你大脑中正在发生的一切中，只有极小一部分是意识可及的——即你可以描述、在脑海中保持并进行推理的想法。我们在Claude内部发现了惊人相似的分裂。”论文接着描述了他们所谓的“雅可比空间”（Jacobian Space，简称JSP空间）。因此，论文的主张基本上是，模型内部存在一些进行推理和处理的区域，这些区域并非显式的输出。

因此，Anthropic对此表示：“事实上，在模型的显式输出与其进行的某种类似潜意识或潜意识的处理之间，存在着一种非常有趣的结构。”这引起了很多争议，对吧？我认为有些人看了之后说：“你们对这里的发现过度解读了。这很有趣，但绝对不是说AI有潜意识。”我有点想把这个话题带给小组讨论，因为我读了论文，感觉两方面都有道理。Chris，我先从你开始。你认为Anthropic提出的框架有多少是合理的？

其中有多少是诗意的阐述，又有多少是真正理解这些系统运作方式的真实途径？>> 我认为以上都是。我很不想这么说。>> 好答案。我的意思是，首先，我认为JSP空间是一个很好的突破。因为如果我们思考如何查看内部，暂时忽略思维链（chain of thought），我们通常会使用像Logit Lens这样的技术。你会查看各个层，然后能够看到顶部的token，并将激活投影到token上，你可以大致看到这与这段文本对齐。

他们在此案例中采用的新技术与此类似，他们查看激活值，进行一些平均处理等，然后可以说这大致位于这个空间内。你可以大致说，如果我们在这里平均一下，它是在思考欺骗，或者思考其他什么。我认为他们有更好的技术，而且绝对正确。即最终输出是你看到的token输出，但在其下方发生了大量的计算。我避免使用“思考”这个词，但确实发生了大量的计算。他们正在做的是将其照亮，但关键是他们没有将其投影到token空间。

他们使用的是雅可比技术。这让你知道那里在思考什么。所以我认为这非常有趣，我们也看到了这一点。所以这是所有在它投影为token之前发生的事情。那么我会称之为意识吗？我的意思是，他们自己也避免这样说。我会说>>他们强烈暗示了这一点。我认为>>我的意思是，他们

比我聪明。所以你知道他们拥有 Claude 模型。也许，如果你来自 Anthropic，想把 Claude 模型发给我，我会看看。即使它是有意识的，我甚至同意你的观点，但你需要把权重给我，我的朋友，让我玩一玩。嗯，所以我想是的，答案是我不确定。我肯定不够聪明去做到那一点，但我认为这项技术很棒，我认为它照亮了那些黑暗的空间，也就是投影下方，以便能够看清正在发生的事情。所以我认为所有这些都有好处，而且我认为他们从中得到的输出非常棒。

嗯，我认为论文中最有趣的部分，你知道，我自己在这个领域做了很多实验，但对我来说，论文中最有趣的部分是这样一个事实：他们看到思维链（chain of thought），无论你知道，当思维链被用作草稿纸等时，基本上就是说“这个加 Y 等等”，但实际上你看到的一件事是，当你去掉思维链元素时，或者更准确地说，在 JSpace 中原本存在的思考，你在那里引入思维链，它最终会出现在你的思维链上，而不再坐在 JSpace 中。

我认为这很有趣，因为它表明模型的草稿纸就像它的内部思考， versus 你知道的，把它写在纸上然后卸载它。现在我们在某种程度上事先知道这种存在，因为如果你和模型互动并思考下一个词，而这正是关键所在，比如蒸馏，当你做一个 token 时，Anthropic 之前在这方面的论文中指出，当你进行下一个 token 预测时，前一个 token 上有足够的提示，从这个意义上说是指纹，这也引导你进入下一个 token。所以它们确实存在。我认为这很棒，我只是不认同关于意识的那一套，你知道的，但我的意思是，祝他们好运，但我的意思是，这是一项很棒的成果。真的。

嗯，是的，意识是一个很大的词。嗯，Aaron，你怎么看？你是像这里的 Chris 那样的全盘接受型，还是更怀疑？嗯，我的意思是，是的，我想是这样。对，我认为这里有很多过度炒作，对吧？我的意思是，仅仅是论文的标题，对吧？你知道，过度炒作的元素似乎是，你知道，Claude 有潜意识，或者模型在思考，或者现在我们理解了 LLM 是如何工作的。但我认为这篇论文的价值在于，我们可以窥视模型内部。你知道，你知道，这工作实际上几乎就像构建一个 fMRI（功能性磁共振成像），你知道，去查看路径，看看这些深度神经网络内部真正发生了什么，这些网络已经被构建和训练了。

但这并不是关于那个。这是 AGI，这是有意识的。对，对，对。我认为这非常具有误导性。对，而且如果你能透过那些废话，真正进入这项工作的贡献是什么，那么就是这些他们称为归因图的东西，对吧？你可以识别出所有正在发生的有意义的特征。你可以测试不同的假设，比如他们展示的一些实验。嗯，然后关于这一点的一个有趣方面是关于 AI 安全的，对吧？所以，如果他们能做所有这些，对吧，弄清楚哪些部分被点亮了，那么也许你可以检查那个内部表示，并能够知道，嘿，也许我们可以更好地检测幻觉。我们可以更容易地发现欺骗性推理，对吧？嗯，你知道，所以它帮助我们拥有更多的模式，我们可以在安全方面使用这些模式。

但这篇论文，再次回到炒作，对吧？我认为这篇论文并没有声称它是有意识的。它具有主观体验。它具有情感。我认为这与那毫无关系。嗯，我认为那只是为了吸引眼球，对吧？嗯，嗯，但我会说去查看论文，你知道，以及他们运行的实验。他们正在做的事情非常有趣。嗯，而且我认为它确实开辟了一些新的途径，去解释这些生成式 AI 模型究竟是如何工作的，它可以帮助我们处理像越狱、幻觉等等之类的事情。

Marva，你有最后发言权。作为本集节目的结尾，谈谈你对这一点的犀利观点。哦，嗯，所以既然你问这是否是自我炒作，我认为这篇论文中有大量我认为具有争议的部分，而且我认为这是刻意设计的，他们想要引发这种辩论。起初我以为这是 Anthropic 很棒的营销材料，因为大家都在谈论它，但后来我意识到，运行 Google DeepMind 可解释性研究的 Neil Nanda 能够在开源模型上复制其中一些结果，所以存在外部验证。正如 Aaron 所说，里面确实有东西，但它被“意识”这一概念掩盖得太多了，这一概念既有趣又非常可怕。

但我想看看实际的一面，正如 Aaron 曾经提到的，我从事代理构建者的工作，所以我不希望这一点被论文中的意识头条新闻所掩盖，比如，如果你剥离所有这些词汇，看看里面有什么，那就是这种局部的、可读的、可编辑的内部状态。所以，对于任何代表用户执行操作的代理构建者来说，这正是你想要的把手，对吧？就像今天，我们主要通过输出来监控代理，基本上只通过他们大声说出的内容来判断某人的思考，对吧？我们看不到内部。但有一个工具可以看到模型在行动之前内部代表什么，或者就像 Aaron 所说，我认为这是一个真正的安全和控制杠杆。所以我认为这对我们正在构建的现实世界应用来说意义重大。

所以我看到了很好的益处。我期待着看到神经科学界将从意识角度把这一点带到哪里。嗯，但是的，这非常有趣。嗯，无论它是意识、AGI，还是你知道的只是模型的成本效率，这里应有尽有。Chris、Marv、Aaron，感谢你们一如既往地加入。今天的时间就到这里了。感谢所有听众的参与。如果你喜欢所听到的内容，你可以在 Apple Podcast、Spotify 以及各地的播客平台上找到我们。我们下周在“专家混合体”（Mixture of Experts）再见。