大家好，这里是最佳拍档，我是大飞。你有想过每天在用的 ChatGPT、Claude 或者是开源模型，甚至自动驾驶系统里的视觉大脑，它们在本质上会不会其实是一模一样的克隆人呢？最近一条推文在科技圈疯传，说的是有研究人员证明地球上每一个 AI 模型暗地里全都是同一个模型。无论让它写诗、写代码，还是在马路上开车，当科学家切开它们的数学内脏时，看到了不可思议的一幕：1100 多个完全不同的 AI 竟然全都在向着同一个低维形状坍缩。

有人惊呼人类触碰到了智能的普适引力井，有人感叹柏拉图的世界果然存在，还有人陷入了困惑：如果耗费巨资训练出的几千个大模型本质上只是同一个结构的延展，那么全球数千亿美元的算力投入到底意味着什么呢？今天我们就顺着这篇论文来还原一下背后的学术现场。故事的起点来自约翰霍普金斯大学计算机科学团队在 arXiv 上发表的一篇论文，题为《通用权重子空间假设》（The Universal Weight Subspace Hypothesis），简称 UWSH。

带领团队的是计算机视觉界的泰斗级学者艾伦·尤尔（Alan Yuille）和拉马·切拉帕（Rama Chellappa）。他们一口气抓取了 1200 多个被彻底训练好的神经网络，包括 500 个 Mistral-7B 的 LoRA、500 个 ViT、50 个 LLaMA 模型，还有 GPT-2、Flan-T5 以及经典的卷积网络 ResNet。这些模型的任务完全不相交，比如一个在识别肿瘤切片，一个在用 Python 刷题，另一个可能在教小学生背唐诗。

按照传统认知，每个大模型都是一个拥有几十亿个参数的高维庞然大物。你可以把它想象成一架拥有几十亿个旋钮的巨大控制台，既然训练数据不同、初始状态不同、任务千奇百怪，每个模型调出的旋钮组合按理说应该是高维空间里漫天飞舞的流星。但是当团队把这些参数矩阵堆叠、拉伸，扔进数学工具箱做奇异值分解（SVD）的时候，谱分析曲线让实验室瞬间安静了。

哪怕任务天差地别，几乎所有模型的权重变化都被一股看不见的力量死死拽住，不可思议地挤进了一个狭窄的结构里。科学家们把这个现象命名为通用子空间（Universal Subspace）。论文给出了具体的提取算法，叫作截断零中心共享高阶奇异值分解（Truncated Zero-Centered Shared HOSVD）。做法是把所有模型的权重张量堆叠起来，减去均值做零中心化，然后对每个维度做薄 SVD。

只保留累计解释方差达到预设阈值的方向作为共享因子，每个模型最后可以重建为均值加上它在这组因子上的投影核心。说得更直白一点，就是把 500 个模型的权重差异拆成少数几个主方向，每个模型只需要记住自己在这些方向上的坐标。不过论文在核心结论前有一句关键的定语：“在共享的架构内部（within shared architectures）”。

也就是说，研究范围严格圈定在特定的体系内部，并不是拿所有模型随意对比。论文一出，很多科技圈的自媒体开始狂欢。他们将复杂的线性代数公式迅速过滤掉，最后只剩下了一个极具魔力的数字：16 维。各大博主开始制作各种绚丽夺目的信息图，配上充满戏剧张力的文案。

有人说不管 AI 是在高速公路上行驶还是在深夜写十四行诗，核心参数结构只需要 16 个主方向就能装下。还有人说，架构定义了宇宙，训练数据只是把模型推进了这个重力井。普通读者看完难免惊异：难道所有智能模型的底层真是一个只有 16 维的常数吗？在社交平台一片惊叹声中，一线技术人员倒是非常冷静。

数据工程师古尔·赛义德·哈塔克（Gul Saeed Khattak）在讨论中留下了一个形象的比喻：不同的人上班走完全不同的路，但最后全都停进了同一个狭小的地下车库。同一座车库，不同的路线，这绝不代表他们开的是同一辆车。如果剥离夸张的宣传回到论文本身，“所有 AI 都是同一个”这种说法实际上忽略了三个关键的前提条件。

第一个事实：所谓 16 维纯属人为设定的截断口径。当研究人员把 500 个模型的权重矩阵拼成一个联合巨阵时，奇异值出现了极其尖锐的幂律衰减。前几个方向很强，后面的方向迅速变弱。在某些特定的网络层中，前 16 个主成分确实能解释很大一部分方差。但是论文的技术附录写得清清楚楚：在很多关键网络层，比如深层注意力机制和全连接层，即便利落截取 40 个维度，解释方差也仅仅只有 35% 到 50% 之间。

剩下的 50% 甚至更多方差分散在几百个微小却致命的长尾方向里。所以，把前 16 个方向比较明显硬生生传成智能只需要 16 个维度，就像是把人体“60%都是水”直接翻译成所有人其实都是一滩自来水一样荒谬。占方差 1%的那些极其冷门的权重波动，恰恰可能是模型能够准确辨识毒蘑菇、写对最后一行关键代码的分水岭。

第二个事实：500 个模型本就派生自同一个基础权重。论文里研究的那 500 个大语言模型 Mistral，它们全是 LoRA 微调模型。LoRA 技术本身就是在原有大模型的基础旁路硬性安插两个极其扁平的低秩小矩阵。它在数学公式上从一开始就规定了模型的更新必须死死限制在极少数的维度里，通常秩 r 就设为 8 或 16。

这 500 个模型微调时挂载的都是同一个开源基座模型 Mistral-7B。换言之，这些模型并非是在真空中独立诞生的，而是依托同一套预训练权重展开的局部调整。它们的参数更新必然会挤在原点附近的局部切空间里，这并不能推导出从零训练的全新模型也会落入相同子空间。第三个事实：架构不同，子空间彼此独立。

论文作者在正文和后续讨论中明确强调了一个前提：架构依赖（Architecture-dependent）。视觉模型 ViT 找到的子空间和语言模型 Mistral 找到的子空间在几何坐标上毫无对应关系。不仅跨模型不通，就连同一模型内部第 1 层的子空间和第 20 层的子空间也完全是两个互不相识的世界。于是，所谓的大一统瞬间被局限在了极小的边界内。

在同一种架构、同一套预训练参数骨架下进行小修小补的微调，AI 确实倾向于在几个固定的房间里挪椅子。走到这一步，“所有 AI 相同”的过度神化在技术事实面前已经不攻自破。不过，尽管 LoRA 那批模型有同源的局限，论文的实验并没有止步于此。团队还从 HuggingFace 上抓了约 500 个预训练 ViT。

这些模型横跨医学影像、卫星遥感和合成数据等多个领域，用了不同的损失函数、优化器和初始化方式。团队明确表示没有做任何筛选。另外还有 177 个 GPT-2、50 个 LLaMA3-8B、Flan-T5 系列，甚至包括 20 个 StyleGAN2 生成模型和 20 个三维几何分布模型。从判别式到生成式，从视觉到语言到三维，通用子空间的现象在不同模态和目标下都稳定出现。

论文还引入了一个数据无关的评估指标，用层级重尾指数 α 来判断一组模型是否适合做通用子空间近似。合成一个适用性评分，StyleGAN2 那批模型评分只有 0.0572，算相当低了。但是用共享基底重建后图像质量依然可比。这说明虽然“所有 AI 都是同一个”是被夸大的谣言，但是模型权重倾向于收敛到共享低维子空间这个现象本身确实值得严肃对待。

那么问题来了：为什么几百个毫无关联的任务在微调时偏偏要往同一批极少数的方向里挤呢？答案数年前就由优化理论写好了伏笔。早在 2021 年，Meta AI 的阿尔缅·阿加贾尼安（Armen Aghajanyan）等人发表过一篇经典论文《内在维度解释语言模型微调的有效性》。他们做了一个看似不可思议的实验：拿一个拥有 3.5 亿参数的语言模型去做句子分类，故意把所有 3.5 亿个参数全部冻结死。

只在外面挂一个极其随机的投影矩阵，结果震惊了整个学界：仅仅优化一个 d=200 维的极小随机子空间，就能恢复全参数微调 90% 以上的最佳性能。更惊人的定理还在后面：模型的预训练规模越大、见过的无标注数据越多，它微调所需的内在维度反而越小。为什么会这样？答案藏在神经网络损失曲面的二阶曲率，也就是海森矩阵（Hessian matrix）里。

在深度学习的损失空间中，过参数化模型展现出了极端的 Bulk-and-Outliers 谱分布。导致 99% 以上的方向是一马平川的超级平原，曲率几乎为零。在这些方向上你怎么调参数，模型的损失值几乎纹丝不动。只有孤立的十几个尖锐外点构成了陡峭的刀刃峡谷，参数稍有变动模型性能就会天翻地覆。真相就此大白：那 500 个 Mistral-7B 的微调适配器从诞生的那一秒起就被锚定在了同一个预训练参数原点。

它们脚下的地形图是完全一样的，无论微调目标是代码还是翻译，反向传播算法计算出的梯度更新在数学动力学上都受限于那些已被骨干架构塑形的陡峭低维路径。这种收敛源于矩阵优化的数学规律，是超大规模矩阵在二阶曲率强力约束下的几何必然。论文还给出了理论层面的支撑：定理 3.7 证明从有限个任务中学到的共享子空间会收敛到真实总体子空间。

跨任务的估计误差以 T 的负二分之一次方衰减，戴维斯-卡汉扰动界（Davis-Kahan bound）进一步控制了算子误差到子空间误差的传递。特征值间隙越大，子空间恢复越稳定。论文同时引入投影风险的概念证明学到的子空间在表示新任务时是近似最优的，多余误差只来自无法避免的谱尾部。当然，论文也坦承这只是条件性动机不是对普遍性的严格证明。

既然收敛有数学根源，那把它推到极端会怎样呢？独立实践者史蒂文·汤普森（Steven A. Thompson）在自己的开源项目 WIZORB 中决定对这套假设做一场极限抗压测试。他收集了一批写代码的 LoRA 适配器，提取出全局共享基底，然后做了一个极其暴力的实验：他把一个原本写代码极其强悍的完整适配器强行投影到提取出的低维基底上。

把所有不在基底里的参数统统砍掉，结果是几何测量仪器全线亮起红灯：相对 L2 的误差高达 98% 到 99%，这个权重矩阵已经被彻底拧成了麻花，和原来的高精度模型相比几乎面目全非。就像把一辆精密的布加迪威龙用液压机强行砸成了一块锈迹斑斑的铁饼。按照传统的工程直觉，模型此时应该彻底胡言乱语了。可当他把这具几乎被砸烂的模型接入代码评测基准 HumanEval 去跑分测试时，奇迹发生了。

跑分竟然保留了几乎全部的增益，代码写得依然逻辑清晰、完全可用。对比实验更令人头皮发麻：如果用完全随机生成的基底去投影，模型性能会瞬间归零。唯独用这组提取出来的奇异方向，哪怕参数被砸得稀烂功能依然稳如泰山。这就是被汤普森称为投影悖论（Projection Paradox）的诡异现实：高维权重空间里的参数精确性与大模型输出的宏观智能功能之间竟然发生了严重的解耦。

在传统机械里，齿轮错位 1% 机器就得散架；而在人工神经网络中你把参数毁坏 99%，只要守住了那几条核心动态通路，功能居然可以毫发无损。研究者把这种现象称为简并性（Degeneracy）：模型的参数结构与实际功能之间存在着超乎想象的冗余和脱钩。论文自己的实验数据也印证了这一发现：500 个 ViT 模型投影到 16 维通用子空间后，在已见任务上保留 94.1% 的准确率（原始全训练是 94.4%），在未见任务上保留 87.8%（原始是 91.3%）。

9 个从零训练的 ResNet-50 模型尽管适用性评分只有 0.0183，在分布外任务上仍然保留了 77.91% 的准确率（原始是 81.00%）。甚至 20 个 StyleGAN2 生成模型和 20 个三维几何分布模型用共享基底重建后也保持了可比的图像质量和几何形状。论文还把通用子空间方法用在 Stable Diffusion-XL 的文生图任务上，CLIP 评估分数在部分风格上甚至超过了原始 LoRA。

研究者推测可能是因为投影过程起到了类似去噪的效果。这些发现指向一个很实际的问题：如果同架构下的多任务更新本质上只是在这组共享子空间里调整系数，那整个模型的存储、传输和计算逻辑都将被改写。有人把这叫作大模型工业的 MP3 时刻：20 年前音乐文件动辄几十兆，MP3 编码技术精准识别出了人耳的听觉冗余大幅缩减频段数据将音乐文件压缩到了几兆字节开启了数字音乐普及时代。

现在的万亿大模型正如当年臃肿的 WAV 原始音频文件一般。过去一个公司如果为客户定制 500 个行业微调模型，服务器光是加载这些权重就要烧掉几十万美元的显存。未来，服务器只需常驻一套母体底座再加一组通用的底层方向基底，每个新任务只需保留几千个轻如羽毛的系数标量。模型权重可以从以往的几个 GB 规模压缩到几百 KB。

论文中用一套通用子空间模型替换了 500 个 ViT 模型，内存压缩了 100 倍。这是目前已知第一次能把 500 个以上的 ViT 合并进单一子空间模型的工作。LoRA 那边是 19 倍的内存效率提升，面对全新任务只需冻结共享基底学习系数。ViT 全量训练需要的 8600 万参数，走通用子空间路线只需要 1 万。

论文还拿通用子空间融合方法和 6 种主流的无梯度模型合并方法做了对比，包括 RegMean、Task Arithmetic、TIES、DARE-TIES 等等。通用子空间方法在平均准确率上更高，同时不需要任何迭代调参或验证数据。过去将多个模型直接融合往往面临特征冲突与性能下滑，而在统一的子空间坐标系内操作多任务融合得以从黑盒式的参数平均转向更有据可循的向量投影。

但是在工程前景之外，这项机制也揭示了系统性的安全隐患：如果一个大模型家族在反向传播的驱动下不可避免地滑入同一片低维盆地，它们正在继承的就不仅是相似的参数结构还有完全相同的盲区、偏见和脆弱性。在农业上这叫单作危机（Monoculture），指的是如果全世界的农田里种的都是同一种基因的水稻，只要一种特定的病毒袭来全球粮食系统就会在一夜之间崩溃。

在 AI 领域如果不论怎么换训练数据、怎么换微调提示词，所有模型最终都被 Transformer 这套架构牢牢锁死在同一个低维盆地里那么大批看似独立训练的数字系统在底层可能承袭着重叠的结构盲区。相同的对抗扰动可能穿透多道防线，特定的逻辑漏洞亦可能在广泛的部署中产生共振。表面上形态各异的模型在深层结构中或许并未走出预期中的多元路径。

回到那篇论文，不管“所有 AI 都是同一个模型”的说法多么夸张它至少揭示了一个值得严肃对待的事实：我们投入了数千亿美元训练出来的那些各显神通的模型在数学结构上确实比表面看起来要接近得多。这种接近既是效率的来源也是风险的来源。当所有模型都挤在同一个房间的时候，多样性本身就成了一种安全边际。

智能的演进究竟必然受制于这种收敛的秩序还是说明现有模型仍然受困于当下主流架构的固有轨迹呢？当热搜上的喧嚣散尽，这篇论文留给研究界最值得深思的追问就落在了这里。感谢收看，我们下期再见。