E145 | 对话Meta田渊栋：被Transformer改变的世界与人类AGI的野心

中国算力结构失衡与云计算认知普及

尽管中国算力资源总量稳居世界第二，仅次于美国，但算力利用效率低下的核心症结在于公有云等高效算力模式占比过低。根据中国信通院2022年的数据，美国云计算在算力结构中占比超过60%，欧洲超过50%，而中国仅为28%。这种结构性差异导致大量中小企业仍倾向于购置服务器而非使用云端资源。近期，罗永浩在直播间推广阿里云产品，试图通过史无前例的优惠价格，引领一场企业级IT认知运动，将云计算概念推向大众，以解决创业者在算力成本上的核心痛点。这一现象折射出在AI时代，算力资源的分配与使用模式仍面临巨大的市场教育空间。

从围棋AI到神经网络本质探索

嘉宾田渊栋博士的研究轨迹反映了AI领域的范式转移。他曾是围棋开源项目ELF OpenGo的工程负责人，其团队开发的Bot“Dark Forest”在AlphaGo之前已能媲美当时最强的软件水平。然而，田渊栋并未止步于游戏AI，而是转向探究神经网络为何能工作得如此好这一根本问题。2019年，OpenAI创始人伊利亚曾邀请他加入大语言模型团队，但田渊栋因坚持对神经网络底层机制的理解而未去。他认为，基础研究对领域的促进作用往往滞后，需3-4年才能显现价值。这种对底层原理的执着，使他在Transformer成为主流后，能够迅速结合其早期对网络结构的分析，产出理解Transformer的新成果。

Glori算法：消费级显卡训练大模型的突破

田渊栋团队近期发表的Glori论文，核心突破在于证明了梯度的迭代可以是低秩（Low Rank）的，而非权重本身。传统LoRA技术难以用于预训练且效果受限，而Glori利用梯度低秩特性，将Adam优化器的动量和方差状态也进行低秩压缩，从而大幅降低内存需求。实验表明，该方法可将7B模型的训练内存需求从常规的40GB以上降至18-20GB，使得单张24GB显存的消费级显卡（如RTX 4090）具备运行大模型训练的可能性。虽然单卡训练7B模型需110天，但通过多卡并行连接，可节省昂贵的NVLink高带宽交互，改变现有的模型并行范式。以下是相关性能与配置对比数据：

小模型潜力与AGI实现路径之争

在另一篇Mobile LM论文中，田渊栋作为外部顾问，探讨了将神经网络参数压缩至350亿量级的可行性，通过层间参数共享等策略提升小模型能力。关于AGI的实现，田渊栋持谨慎态度，认为仅靠Scaling Law（缩放定律）不足以实现AGI。Scaling Law承诺算力与数据翻倍带来性能固定提升，但这并非长久之计，因为收益边际递减。他指出，神经网络可能遇到瓶颈，需要几个关键的技术突破（Breakthroughs）。目前业界对AGI有两种观点：一是纯粹依靠规模扩大，二是认为规模扩张存在上限。田渊栋倾向于后者，认为未来Scaling Law带来的红利将逐渐减少，算法创新与架构改进将成为推动AI发展的核心动力。

数据边际效应与AGI的隐性瓶颈

田渊栋指出，当前大语言模型（LLM）和Transformer架构虽然效果显著，但其背后的原理尚未被完全理解。随着模型性能的提升，损失函数（Loss）下降的趋势与自动驾驶领域观察到的曲线高度一致：数据越多，性能提升越难以察觉，且最终可能无法触及人类水平的最后一层。在自动驾驶中，由于事故数据稀缺，获取高质量数据的效率极低，导致模型难以达到完美；而在LLM领域，虽然网络数据丰富，但约10%-20%的个性化或私有行为数据无法获取，这成为模型真正理解人类复杂情境的障碍。此外，数据共享意愿降低进一步加剧了这一困境，使得单纯依靠Scaling Law无限扩展模型规模的路径面临严峻挑战。

“数据加的越多，它的performance提升就越难以被人发现。然后最后它离那个人类最后那根线可能还差一点。”

田渊栋强调，人类凭借极少的数据就能快速理解他人处境，这种深层理解能力是机器目前尚未具备的。因此，AGI的实现不能仅依赖数据规模的堆砌，而需要寻找新的范式来突破这一数据获取与理解的瓶颈。

从第一性原理探索神经网络本质

针对AGI的突破路径，田渊栋倾向于跳出现有框架，从第一性原理出发进行思考。他认为，人类学习过程（如儿童快速掌握新技能）展示了远超现有算法的效率，暗示着存在一种更高效的新学习算法，而当前研究仅触及皮毛。他的研究核心在于理解神经网络的工作机制，并据此改进算法。例如，在《Searchformer》一文中，他尝试通过模仿传统推理和优化算法，解决Transformer在长程推理能力上的缺陷。尽管Transformer在并行计算上表现优异，但在井字棋等需要逻辑推演的任务中，其推理能力依然薄弱，这促使团队探索将算法逻辑融入神经网络的新方向，以提升预训练效率和模型的可解释性。

“我们通过一些奇奇怪怪的组合，运气很好的碰到了一点点的皮毛，我们就已经拿取得那么大突破了。所以可见这个东西的潜力非常非常大。”

田渊栋主张在科研中平衡“探索”与“利用”，不盲目追随热点，而是基于对神经网络本质的理解去验证新观点。这种从基础定理出发推导模型框架的方法，旨在构建更本质、更高效的AI架构，而非仅仅在细节上进行微调。

Transformer的起源、优势与局限

Transformer架构之所以成为主流，源于Google团队对GPU算力与通信成本权衡的深刻理解。其核心优势在于Self-Attention机制带来的高并行处理能力，允许模型同时计算所有Token对之间的相似度。与CNN等具有预设立场（如局部感受野）的模型不同，Transformer没有预设立场，这意味着随着数据量的增加，其性能提升空间更大，是典型的“用算力换取预设立场”的案例。然而，这一架构也带来了显著的缺点：对算力需求巨大且推理延迟高，难以应用于对实时性要求极高的场景（如车载系统），在这些场景下，CNN或ResNet等低延迟模型仍具优势。田渊栋指出，虽然Transformer是AGI的希望，但其高延迟和低效的长程推理问题，促使业界寻找如Raqul等新路径，以弥补其在并行计算和特定任务上的不足。

Sora的世界模型与一致性突破

在讨论Sora时，田渊栋对其极高的视觉一致性表示惊讶。Sora并非逐帧预测，而是将视频视为3D空间-时间体积（Spatial-Temporal Volume），在潜在空间（Latent Space）中进行扩散（Diffusion）。这种方法确保了人物外观、行为及环境细节（如反光）在长时间跨度内保持一致。例如，在东京街头的视频中，尽管镜头频繁切换，人物在车窗上的反光在不同时间段仍保持连贯，这在逐帧预测模型中极难实现。Sora还展示了反向世界模型的能力，即给定结尾帧，能生成多种符合逻辑的前置过程并无缝衔接。尽管Sora生成的视频时长多在10-20秒，但其在复杂视角变换和内容大幅变化下的稳定性，证明了其在构建世界模型方面的巨大潜力，尽管田渊栋认为“世界模型”一词不应被过度神化，任何能预测未来的模型都可归入此类。

“Sora在那个latent space上做这个diffusion，它对整个image 3D的 spatial temporal volume做 diffusion。把这问题提到了一个新的高度，保持一致性有多难，或者说它跟时间是有关系的嘛？”

Sora的技术路径表明，通过全局扩散而非局部预测，可以有效解决视频生成中的时序一致性问题，这为视频生成模型的发展提供了新的技术范式参考。

Sora并非全能世界模型：物理交互与逻辑推理的边界

田渊栋指出，虽然Sora能补全缺失帧，看似具备“世界模型”特征，但在物理模拟上存在显著缺陷。例如，玻璃杯摔碎的过程在视频中往往被简化为瞬间结果，缺乏中间过程的真实模拟。这并非单纯的数据问题，而是物理交互过程的瞬时剧烈变化难以捕捉。在机器人领域，预测物体位置可依靠牛顿定律，但涉及物体间交互时，由于交互动作变化极快且数据稀缺，模型质量往往不佳。微小的模型变动会导致输出结果完全不同，这使得Sora在处理如“手砸桌面”或“两人打斗”等涉及力突变和复杂交互的场景时显得力不从心。

“它跟其他物体有什么样的交互？对，预测物体在哪非常简单，因为你只要套你的物理模型就行了……但是它一旦跟别人物体交互的时候，就会有问题，因为交互的动作它的变化是非常快的。”

此外，将Sora视为全能模型是一种误解。生成视频与预测物理世界是两回事，视频创作更看重“好看”而非绝对真实。物理世界的微小误差累积会导致规划（Planning）能力严重下降。Sora更像是一个创作模型，擅长生成熟悉场景，但在面对未见过的问题或需要严谨逻辑推理时，表现并不稳定。因此，要实现真正的万能模型，仍需大量额外工作，不能将其过度神化。

感官认知与合成数据：从Think in the box到Think out of box

针对李开复提出的“全脑模型”理论，田渊栋认为这体现了从“盒内思考”到“盒外思考”的转变。单纯通过观看视频或幻灯片（感知输入）对人类学习影响有限，真正的认知源于与物体的物理交互，即具身智能（Embodied AI）和强化学习中的探索（Exploration）。世界模型是决策的基础，例如看到老虎时，世界模型预测危险，决策模型决定逃跑，二者相辅相成。

关于Sora使用合成数据（如虚幻引擎5）的传闻，田渊栋澄清这多为误传，OpenAI并未官方证实。但他指出，合成数据将是未来大模型训练的重要趋势。以Transformer为例，其训练过程中使用的推理步骤数据多由传统方法生成，属于合成数据。这种方式能有效缓解高质量人类数据枯竭的问题，用算力换取数据规模。然而，合成数据存在局限性，如围棋AI虽在合成数据中无敌，但难以泛化到现实世界。若无人类干预，AI可能在错误数据中循环，无法突破瓶颈。

“合成数据就相当于用算力来换数据。你只要有无穷的算力，你就有很多很多数据……但是如果没有人类的参与的话呢，那AI就会在原地转圈子，它永远会觉得这个是好的，然后去推上，但其实这东西是不对的。”

随着技术发展，合成数据与真实数据的边界将日益模糊。例如，抖音创作者使用虚拟引擎生成的视频，既包含合成元素，也经过人工加工，难以严格区分。在科研中，只要有助于提升模型性能，两者皆可利用。

模型竞争与Meta开源战略：生态平衡与商业逻辑

田渊栋分享了使用Anthropic新模型的感受，认为其在长文本理解、总结及小说续写方面表现细腻，甚至优于GPT-4，但在通用推理能力上界限尚不清晰。他提到GPT-4近期口碑回升，可能源于竞争压力。此前GPT-4被指“偷懒”，甚至存在周末效果变差的偏见，这反映了模型可能学习了人类数据中的Bias。竞争迫使OpenAI提升模型质量，这对用户是利好。

对于Meta开源大模型，田渊栋强调其战略意义在于防止巨头垄断，形成威慑平衡。他引用扎克伯格的条件，坚持Meta科研必须开放，以维持学术圈的自由交流。Meta的核心业务是人际连接与广告，开源有助于构建更广泛的AI生态，让每个人都能使用大模型，从而巩固其平台地位。相比之下，Google因搜索引擎与LLM存在潜在替代关系，故对核心LLM技术更为封闭。

“一种可能是少数巨头垄断市场，大家都向他跪拜，我不希望这种事情发生。另外一种事情发生是人人都有核武器，大家形成威慑平衡。我希望后者是成立的。”

Meta内部的科研氛围自由开放，鼓励跨院校合作，这种开放哲学自创始之初便已确立并贯彻至今，为技术创新提供了良好的土壤。

科研动力源于生活影子与人际交互

田渊栋指出，其从事科研的核心动因并非纯粹的学术追求，而是源于感性层面以及对人与人之间交互方式的探索。他认为，这种研究动力实际上是自己生活的影子，而非直接受科幻作品驱动。尽管科幻常被视为一种外壳，但其本质在于人和人之间的关系以及角色的塑造。这种对人际互动的深层思考，构成了他科研与创作背后的逻辑基础，将抽象的技术研究与具象的人类情感体验紧密相连。

科幻小说创作：五年筹备与场景串联

在创作小说《破晓之中》时，田渊栋展现了极高的严谨性。该作品于2020年底在知乎连载，此前经历了长达五年的准备期。创作过程并非一蹴而就，而是需要将许多零散的兴趣点（interest ideas）和灵感火花（interesting Spark）串联起来。他通常先撰写具体的场景，再将这些场景连接成完整的故事。这一过程需要大量的时间投入，以确保逻辑的连贯性和故事的趣味性。即便在加入Meta后，面对大语言模型带来的繁忙研究节奏，他仍表示若有空闲会继续创作，因为记录想法能激发新的思路。

“小说你写完了。这部小说之前其实准备了很长时间，因为有很多很多的小的 interest idea，我要把它写进去……最后呢，你要找到故事把它全部连起来。所以大概花了五年的时间吧。”

科幻启蒙：从玄幻漫画到叙事技巧

田渊栋的科幻启蒙并非来自传统科幻文学，而是源于早期的漫画阅读，特别是鸟山明的《龙珠》系列。他认为这些作品更多是玄幻启蒙，重点在于世界构造和镜头语言的震撼。鸟山明在每一帧画面、镜头切换及悬念塑造上的大师级表现，潜移默化地影响了他的叙事思维。他特别提到，这种顶级漫画中多线并行的剧情设计和人物塑造技巧，成为了他后来创作小说时的重要参考。这种早期的视觉叙事训练，为他构建复杂故事逻辑提供了坚实的基础。

“最早，比如说漫画，像最近鸟山明先生去世了。其实我很早以前就特别喜欢看他的《青龙珠》系列。他们这种画的很好的大师，他们每一帧和每个镜头的切换和那个悬念的塑造都非常好。”