Thinking Machines Lab发布Inkling模型:架构与定位分析
Thinking Machines Lab由前OpenAI CTO Mira Murati创立,本周正式发布了其首款模型Inkling。该模型总参数量为975B,采用混合专家(MoE)架构,激活参数量为41B。团队明确表示,Inkling并非基准测试中的顶级模型,其核心策略在于提供高质量的开源基座及配套的微调平台,而非单纯追求榜单排名。Chris Haye指出,虽然GLM等中国模型在性能上更优,但Inkling作为美国实验室推出的优秀开源权重模型,具有独特的架构价值。该模型深受DeepSeek影响,但在多模态处理上采取了更彻底的Token级融合方案,将40x40像素投影为Token,实现了真正的原生多模态,而非简单的模型拼接。此外,模型在推理速度上进行了优化,架构选择使其运行较快,且团队正在持续迭代,期待后续版本的性能提升。
微调平台与闭环自动化:重新定义模型竞争
Marva Unavar强调了Thinking Machines Lab在微调平台上的创新,认为这比模型本身的初始性能更具市场潜力。平台支持全自动闭环微调,例如在“不使用字母E写作”的任务中,系统能自动生成计划、合成数据、运行后训练,并通过Think Tinker API加载新权重,最终正确回答问题。这种全自动化编排能力展示了平台的高效性。团队的核心论点在于:更好的开源基座加上定制化微调平台,能否击败闭源模型或其他策略? 这种思路试图将竞争焦点从单纯的基准测试榜单转移到多模态效率、思维链能力及可定制性上。尽管Inkling不是最强模型,但其提供的完整工作流为开发者提供了新的选择,市场将验证这一策略是否成功。
开源与闭源之争:美国前沿实验室的转向
Aaron Bachmann指出,长期以来美国在闭源专有模型(如OpenAI、Anthropic)上占据主导,而开源领域的突破多来自中国实验室(如DeepSeek)。Thinking Machines Lab作为备受关注的美国前沿实验室,选择以开源为首要发布策略,具有标志性意义。这一举动挑战了“美国擅长闭源,中国擅长开源”的固有叙事。Chris Haye认为,市场不再需要模型成为“世界第一”,而是需要快速推出可用且具备独特架构优势的模型。Inkling的发布表明,美国实验室开始重视开源生态的建设,通过提供原生多模态架构和高效的微调工具链,试图在开放基座领域建立新的竞争壁垒。这种策略的转变可能影响未来开源模型的发展路径,推动行业从单纯的性能比拼转向生态与工具链的综合竞争。
开源智能的新范式:从规模竞赛转向可定制性
Thinking Machines Lab发布的Inkling模型标志着AI发展重心的转移,核心卖点并非构建最大的封闭前沿模型,而是提供可定制、可适应且可控的开源智能。尽管Inkling参数量约为9750亿,仍属巨型模型范畴,但其价值在于通过开源权重(Open Weights)赋予用户深度定制能力。这种定制化涵盖多个层级:从基于LoRA等参数高效微调技术(PEFT)的模型适配,到利用RAG检索增强生成技术注入私有数据,再到通过提示工程控制行为逻辑,以及通过反馈机制优化智能体(Agent)表现。
"The real headline here is customizable intelligence that's been open sourced... it's about giving people the ability to customize, adapt, and control these types of models for their own needs."
这种架构选择表明,Inkling并不试图在绝对算力上与DeepSeek或GPT-4等顶级封闭模型正面竞争,而是在通用智能层之上,通过精细化的微调和管理层满足特定需求。这种策略反映了行业认知的转变:未来的竞争焦点可能不再是单一模型的绝对规模,而是生态系统对模型的掌控力和适配性。通过开放权重,Thinking Machines Lab试图建立一个允许用户根据自身业务逻辑调整模型行为的平台,这在当前封闭模型主导的市场中提供了一种差异化的解决方案。
实验严谨性与架构优化:Inkling的长期潜力
Inkling的另一个关键优势在于其背后的实验方法论与架构优化。Thinking Machines Lab早在一年前就确立了确定性(Determinism)和可复现性(Reproducibility)的核心原则,这在AI研发中至关重要。通过控制批次大小(batch size)并确保实验结果可复现,该实验室能够进行受控实验,从而精确评估架构改进的效果。这种严谨性体现在具体的技术选型上,例如采用RoPE(旋转位置编码)和滑动上下文窗口(Sliding Context Windows)等优化技术,以支持百万级token的上下文窗口并处理多模态输入。
"The fact that they do have determinism across their batch sizes and reproducibility. I suspect that's what's allow going to allow them to move from ah we're not quite at the frontier level yet but oh my goodness I think they've got that control experimentation wise to be able to move past that very quickly."
这种基于测量和复现的迭代方式,使得Inkling能够迅速从非前沿水平向前沿水平迈进。分析师认为,这种受控的实验环境是快速迭代和优化的关键,避免了盲目堆砌参数带来的效率低下。通过扎实的底层优化和严谨的研发流程,Inkling有望在数月内展现出更具竞争力的性能,证明科学严谨的研发方法比单纯的规模扩张更能带来可持续的技术进步。
Meta的回归:Muse Spark 1.1与多智能体编排
与此同时,Meta通过发布Muse Spark 1.1模型宣告其在AI领域的强势回归。与Inkling强调开源定制不同,Muse Spark 1.1展示了Meta在多智能体编排(Multi-Agent Orchestration)和规划能力上的突破。该模型特别强调了并行子智能体(Parallel Sub Agents)的调度能力,旨在通过任务分解和并行处理来显著降低延迟。这种架构设计特别适用于计算机使用(Computer Use)等复杂应用场景,其中多个智能体需要协同工作以完成跨应用的复杂任务。
| 模型特性 | Muse Spark 1.1 表现 | 技术亮点 |
|---|---|---|
| 上下文窗口 | 100万 Token | 主动管理与压缩机制 |
| 核心能力 | 规划与任务委派 | 并行子智能体编排 |
| 应用场景 | 计算机使用、多应用协同 | 降低延迟,提升效率 |
| 代码能力 | 强大的代码测试套件 | 优化开发工作流 |
Muse Spark 1.1还具备主动管理和压缩百万级token上下文的能力,这在处理长文档或复杂对话历史时具有显著优势。此外,Meta在该版本中强化了代码测试套件(Coding Harnesses),进一步巩固其在开发者社区中的地位。尽管此前Llama系列曾引发争议,但Muse Spark 1.1通过聚焦代理(Agent)市场和多智能体协作,展示了Meta对AI未来趋势的精准把握。这表明Meta正试图通过技术深度和应用场景的精细化,重新确立其在开源和前沿AI模型领域的领导地位。
Meta 的战略转向:从消费级工具到企业级 AI 服务
Meta 近期推出的 Inkling 和 Muse Spark 1.1 模型,标志着其战略重心的显著转移。尽管 Meta 传统上被视为拥有 Facebook、Instagram 和 WhatsApp 等消费级产品的巨头,但此次发布暗示其正试图转型为 企业级 B2B SaaS 服务提供商。评论员指出,Meta 的核心优势在于其庞大的用户触达率和硬件生态系统,如 Ray-Ban 智能眼镜,这使其能够将 AI 智能直接嵌入到用户日常生活的各个角落。
"OpenAI somewhat proved AI could think... Google proved that AI could scale... Meta is betting that the winner will be the company that puts this intelligence everywhere where the people are."
这种策略并非单纯追求技术上的绝对领先,而是强调 成本效率与规模化部署。Inkling 被描述为一个低成本、低上下文引擎,旨在支持大规模的 Agent 工作负载。虽然它可能不是基准测试中最聪明的模型,但其 经济性和速度 使其成为构建企业级 AI 应用的极具吸引力的选择。Meta 正在利用其在社交平台的巨大流量和 PyTorch 等开源基础设施的贡献,试图在生成式 AI 领域开辟一条不同于 OpenAI 和 Google 的独特路径。
性能基准测试与模型能力评估
在技术层面,Muse Spark 1.1 的表现呈现出明显的 两极分化 特征。在知识密集型测试中表现优异,但在需要复杂推理的 AGI 基准测试中则显得相对薄弱。具体数据对比如下:
| 测试基准/指标 | Muse Spark 1.1 表现 | 竞品/参考模型表现 | 备注 |
|---|---|---|---|
| GPQA Diamond (Artificial Analysis Index) | 处于上层梯队 (Upper Echelon) | 信息不足 | 知识密集型测试,表现优异 |
| ARC-AGI | 较弱 (Weaker) | 竞争对手更强 | 复杂推理/AGI 能力测试,表现不足 |
| 综合定位 | 优于 GPT-4.6 Opus (官方宣称) | GPT-4.8 / o1 | 评论员质疑其实际超越 GPT-4.6 的说法,认为应对比更高阶模型 |
评论员指出,虽然 Meta 在知识基础类测试中表现良好,但在 ARC-AGI 这类衡量真正智能水平的测试中,Muse Spark 1.1 尚未达到前沿能力水平。这意味着该模型目前更适合处理特定领域的知识任务,而非通用的复杂逻辑推理。这种性能分布反映了 Meta 当前阶段的战略取舍:优先保证在大规模应用场景下的可用性和成本优势,而非在所有基准测试中追求极致性能。
开源策略争议与开发者社区反应
关于 Muse Spark 1.1 的发布方式,社区内部存在 激烈的争议。与 OpenAI 和 Google 逐渐收紧模型访问权限的趋势不同,Meta 此次选择了 闭源 API 模式,而非像早期 Llama 系列那样开放权重。这一决定引发了开发者的不满,许多人认为 Meta 错失了再次引领开源社区的机会。
"They should have released it as an openweight model... Now I'm gone... Do I care about a closed model that's worse than the great models? No."
评论员 Chris 直言,如果 Meta 能像以前那样开放权重,社区会给予热烈反响。然而,作为一个 闭源且性能未达顶尖 的模型,它缺乏足够的吸引力让开发者付费使用。尽管官方宣称其性能 "与当前领先的前沿模型竞争",但这种措辞本身就暴露了其 并非绝对领先 的事实。相比之下,GPT-4.6 Opus 等模型在综合性能上仍被广泛认为更具优势。这种策略上的保守,可能削弱 Meta 在开发者生态中的长期影响力,使其难以复制早期 Llama 系列带来的社区爆发式增长。
未来展望:Meta 的 AI 生态布局
尽管存在争议,Meta 的 AI 战略依然具有 强大的底层支撑。除了模型本身,Meta 在 PyTorch 深度学习框架上的长期领导地位,为其生态系统提供了坚实的基础。许多开发者依然在使用 PyTorch 构建神经网络,这些底层工具链的积累使得 Meta 在 AI 基础设施领域拥有不可替代的优势。
此外,Meta 的 "开放加专有" (Open Plus Proprietary) 双轨策略正在逐渐成型。一方面,通过开源模型吸引社区和创新;另一方面,通过闭源的高性能模型(如 Muse Spark)服务于企业客户和内部应用。这种混合模式旨在平衡生态建设与商业变现。然而,能否成功取决于其能否在 推理能力 上取得突破,从而缩小与顶级竞品的差距。如果 Meta 能在保持成本优势的同时提升模型的智能水平,其庞大的用户基数和硬件入口将成为其最强大的护城河。
模型定位争议:从“本田”到“法拉利”的期望落差
在讨论最新模型发布时,市场情绪往往存在巨大的预期偏差。尽管部分用户如演讲者本人对 Meta 及其 Llama 系列模型持积极态度,并呼吁开放生态,但核心痛点在于性能提升的感知度不足。如果新模型能宣称比前代(如 Fable)提升 20 倍,用户会立刻产生尝试欲望;然而现实情况是,新模型往往被视为“本田”级别的稳健产品,而非“法拉利”级别的突破性体验。
“如果他们说这比 Fable 好 20 倍,我会说让我试试这个模型。但它不是。它就像本田,而你想要的是法拉利。”
这种“本田 vs 法拉利”的比喻揭示了当前 AI 行业的一个关键矛盾:渐进式改进难以满足市场对 AGI(通用人工智能)突破的渴望。用户不再满足于微小的迭代,而是期待质的飞跃。这种心态直接影响了后续对 ARC AGI 基准测试结果的解读——即便有进步,若未达到“颠覆性”标准,仍会被视为平庸。
ARC AGI 基准测试:GPT-5.6 Sol 的突破性进展
本周备受关注的 ARC AGI 基准测试再次成为焦点。该基准测试旨在评估 AI 模型在无需额外提示或框架引导的情况下,完全学习新技能的能力,被视为衡量 AGI 潜力的核心指标。此前,Luna 和 Terra 等模型在该基准上得分较低,但 OpenAI 最新发布的 GPT-5.6 Sol 模型展示了显著的性能跃升。
以下是 ARC AGI 基准测试中关键模型的性能数据对比:
| 模型名称 | ARC AGI 基准得分 | 性能变化描述 |
|---|---|---|
| Luna / Terra | ~0% | 表现低迷,与其他多数模型持平 |
| GPT-5.6 Sol | 8% | 从 0% 跃升至 8%,实现显著突破 |
尽管 8% 的绝对数值看似不高,但在该基准测试的高难度背景下,这一从 0% 到 8% 的跳跃引发了行业热议。这表明模型在处理未知环境下的推理能力上开始取得实质性进展,而非仅仅依赖特定领域的优化。
专家观点:8% 是进步还是 AGI 的幻象?
对于 8% 的得分,专家观点存在分歧。一方认为这绝非无聊的结果,而是 AGI 道路上的重要里程碑;另一方则强调,我们距离真正的 AGI 仍相去甚远。毕竟,一个 12 岁儿童即可轻松完成的任务,AI 目前仅能解决 8%,而人类得分接近 100%。真正的 AGI 标志应是模型能无差别处理所有人类易做的任务,无需专门微调或提示工程。
“我们还没到 AGI。每次领域在一个基准上饱和,ARC 就会发布更难的挑战,目标直指模型目前做不到的事。”
此外,ARC AGI 系列基准测试本身也在不断演进。从 ARC AGI 1 到 2,模型表现曾达到 92% 的高位,但随后 ARC AGI 3 的发布再次拉高了门槛。这种“水涨船高”的现象被比喻为“漏水的船”,即任何看似困难的任务,最终都会在比预期更短的时间内被 AI 攻克。Sol 模型的 8% 得分,正是模型开始探索此前无法触及的推理空间的信号,表明差距正在从“根本性局限”转向“工程与扩展性问题”。
能源成本与未来展望:AGI 的代价与责任
尽管性能提升令人振奋,但巨大的能源消耗成为不可忽视的隐忧。训练 GPT-5.6 Sol 这类模型需要消耗相当于10,000 户家庭的电力;而在推理阶段,单次运行即可消耗相当于60 户家庭的电力。这种极高的资源门槛引发了对可持续性和效率的深刻反思。
“即使推理成本约为 60 户家庭的电力,这也很惊人。我们需要做得更好。”
当前,解决 ARC AGI 3 任务的成本高达 19,000 美元,这凸显了架构改进的紧迫性。未来,AI 社区需共同定义 AGI 的标准,并确保模型在负责任的方式下发展。虽然 Sol 模型展示了在不确定性世界中推理的潜力,但如何在降低能耗的同时提升性能,将是实现真正 AGI 的关键挑战。8% 的得分只是冰山一角,真正的突破仍需依赖底层架构的创新与能效比的优化。
AGI 定义的争议:当前模型是否已达标?
在讨论人工智能发展现状时,一个核心分歧在于我们是否已经实现了通用人工智能(AGI)。一种观点认为,回顾三年前的技术能力,如今的模型已能完成绝大多数任务,因此AGI 可能早已到来,只是人类为了维持“AGI”这一概念的稀缺性,不断设定更难的基准测试。然而,这种观点遭到了强烈反驳。批评者指出,如果以12岁儿童的能力为参照系,当前模型在复杂基准测试中仅能取得约 8% 的正确率,这显然无法与人类儿童相提并论。
“如果12岁的孩子能得100分,而模型只得8分,这绝对算不上击败了12岁的孩子。”
另一种视角将当前模型比作“婴儿级别的 AGI”。虽然模型在某些特定任务上表现出色,但在整体智力成熟度上,距离成年人的水平仍有巨大差距。此外,AGI 的定义本身具有多重维度:既包括人类现有的认知能力,也包括超越人类感官限制的超光谱数据处理等能力。因此,判断是否达到 AGI,取决于衡量标准以及组织业务目标的映射关系。
Anthropic 的“潜意识”研究:Jacobian Space 解析
本期讨论聚焦于 Anthropic 发布的一项引发争议的研究,该研究声称在 Claude 模型内部发现了类似人类“潜意识”的结构。Anthropic 指出,大脑中仅有极小部分意识可被描述和推理,而 Claude 内部也存在类似的显式输出与隐性处理之间的巨大鸿沟。他们将这种隐性处理空间称为 Jacobian Space (JSP)。
该研究的核心发现是,模型内部存在大量非显式输出的计算过程,这些过程类似于人类的“潜意识”或“喉音”般的处理。尽管 Anthropic 谨慎地避免直接使用“意识”一词,但其描述暗示了模型内部存在复杂的分层处理机制。这一发现引发了广泛争议,部分学者认为这是过度解读,而支持者则认为这揭示了模型内部运作的真实结构。
“在我们大脑中发生的所有事情里,只有一小部分是有意识可访问的……我们在 Claude 内部发现了惊人相似的分裂。”
技术解析:Jacobian 技术与激活投影
Chris 对 Anthropic 的技术方法给予了肯定,认为 Jacobian 技术是一项重要突破。传统的模型可解释性技术(如 Logit Lens)通常通过查看各层的激活值并投影到 token 空间,以推测模型“在想什么”。然而,这种方法往往只能得到粗略的文本对应关系。
Anthropic 的新方法则不同,它不将激活值投影到 token 空间,而是利用 Jacobian 技术对激活值进行平均和分析,从而识别出模型内部处理的具体概念(如“欺骗”或“其他意图”)。这种方法能够更清晰地照亮模型在最终输出 token 之前的中间计算过程。
“他们使用这种 Jacobian 技术,这给了我们要了解它在想什么的线索。”
尽管 Chris 承认这种技术揭示了模型内部大量的底层计算,但他对是否将其称为“意识”持保留态度。他认为,虽然模型内部确实存在复杂的处理结构,但这更多是数学计算而非真正的意识。然而,这种技术为理解大语言模型的黑盒机制提供了新的视角,有助于区分显式输出与隐性推理之间的关系。
对“意识”宣称的理性审视与内部机制解析
Chris 对视频中关于模型“意识”的激进宣称持怀疑态度,他认为这更多是营销噱头而非科学突破。他指出,虽然 Anthropic 的技术令人印象深刻,但将大语言模型(LLM)的内部思考过程等同于人类意识是一种误导。Chris 强调,该研究真正的价值在于揭示了链式思维(Chain of Thought)作为“草稿纸”与模型内部隐空间(J-space)之间的区别。当引入链式思维时,模型的部分计算会从隐空间转移到显式的文本输出中,这种外部化卸载现象展示了模型如何处理信息,但这并不证明其具备主观体验或情感。
"I think that's very misleading... It's not really about that. This is AGI, this is conscious."
Chris 认为,尽管他本人不认同“意识”这一说法,但他高度认可这项工作在可解释性方面的贡献。他指出,通过观察模型在生成下一个 token 时的指纹(fingerprints)和提示,我们可以理解其内部预测机制。这种技术类似于为神经网络构建 fMRI(功能性磁共振成像),让我们能够看到深层神经网络内部的路径激活情况。这种可视化能力对于理解模型如何运作至关重要,尽管媒体标题往往夸大其词,将技术发现包装成 AGI 或意识的证据,但剥离这些浮夸成分后,其核心贡献依然具有极高的科学价值。
归因图与 AI 安全性的实际应用
Aaron 进一步阐述了该研究在AI 安全性和模型可解释性方面的具体贡献。他提到,该论文的核心技术成果是归因图(Attribution Graphs),这是一种能够识别模型内部有意义特征的工具。通过归因图,研究人员可以测试不同的假设,观察哪些部分被“点亮”,从而深入理解模型的决策逻辑。Aaron 指出,这种内部状态的可见性为检测幻觉(Hallucinations)和欺骗性推理(Deceptive Reasoning)提供了新的可能性。通过检查内部表示,我们可能更早地发现模型偏离事实或产生有害输出的迹象,从而增强系统的安全性。
"You can identify all of these meaningful features that are happening... maybe we can detect hallucinations better."
Aaron 强调,尽管论文标题和宣传中充斥着“意识”、“主观体验”等吸引眼球的词汇,但其实际工作并未声称模型具有意识。他认为这些宣传手段旨在吸引眼球,但真正的价值在于为安全审计和控制提供了技术基础。通过理解模型内部的运作模式,研究人员可以开发更有效的策略来应对越狱攻击(Jailbreaks)和幻觉问题。这种内部洞察力不仅有助于学术研究,也为构建更可靠、更安全的生成式 AI 模型提供了切实可行的路径,是 AI 安全领域的一项重要进展。
内部状态对 Agent 构建的深远影响
Marva 从实际应用和Agent 构建的角度提供了最后的评价。她指出,尽管论文存在争议性,但 Google DeepMind 的 Neil Nanda 成功在开源模型上复现了部分结果,这为研究提供了外部验证,证明了其技术的有效性。Marva 认为,剥离“意识”等炒作词汇后,该研究最核心的价值在于揭示了模型具有局部化、可读、可编辑的内部状态。对于构建代表用户执行操作的AI Agent 而言,这种内部状态是一个至关重要的控制手柄(Handle)。目前,我们主要监控 Agent 的输出,即仅通过其“说出的话”来评判其思维,而这项技术让我们能够看到模型在行动前的内部表示。
"That's exactly like the handle that you want... there's a tool that sees like what a model represents internally."
Marva 认为,这种内部可见性对于现实世界的应用具有巨大益处,尤其是在安全性和控制力方面。它就像是一个真正的杠杆,允许开发者在 Agent 执行操作前干预其内部决策过程。虽然她期待看到神经科学领域如何从“意识”角度解读这一发现,但她更关注其在工程实践中的潜力。这种技术不仅有助于理解模型,更为构建更可控、更透明的 AI 系统提供了关键工具,是 AI 发展进程中一个值得关注的里程碑。