摆脱裁员羞耻：从“笼中鸟”到广阔天地
田渊栋在Meta的离职经历引发了广泛共鸣，他建议公众摆脱“裁员羞耻”，因为裁员往往是公司高层的战略决策，而非个人能力的否定。过去，公司常以“绩效不佳”为由裁员，这给员工贴上负面标签，严重影响后续求职。田渊栋认为，被裁其实是公司强制让你离开舒适区，去探索更广阔的职业可能性。在大公司中，员工往往像“笼中鸟”，工作逻辑是听命于上级、规避合规风险，个人意志与执行能力常常脱钩。相比之下，小公司或创业环境更能实现从想法到落地的闭环，虽然压力大，但反馈迅速，效率更高。他鼓励人们做好心理准备，不要指望公司永远提供保护，而应培养独立生存的能力，将离职视为向“广阔天地进发”的契机。
AI Coding的飞轮效应：数据与基模的双重加速
近期AI Coding Agent的爆发式增长，背后是基础模型进展与数据飞轮效应的共同作用。田渊栋指出，AI Coding能力的提升并非偶然，而是进入了“AI生成高质量代码 -> 用于训练更强模型 -> 生成更多代码”的正向循环。在早期，由于人类编写代码的速度和质量限制，数据积累缓慢；但当AI生成的代码质量超越人类时，数据积累速度呈指数级增长，从而推动模型能力快速跃升。这种“数据飞轮”使得特定领域（如代码生成）的进步速度可能超越通用Scaling Law的预测。尽管通用基模的成长速度是否放缓仍有争议，但在垂直领域，通过自我生成的数据进行迭代训练已成为加速模型进化的关键路径。
科研品味与个人成长：从内向书呆子到自信学者
田渊栋回顾了自己的成长历程，从上海交大硕士到CMU博士，再到Google和Meta，科研经历重塑了他的性格与世界观。在CMU读博期间，为了推销自己的研究成果，他被迫克服内向性格，锻炼了表达与销售能力，形成了“做好研究-公开演讲-获得反馈-建立自信”的正向循环。在Google无人驾驶团队，他深受“Debug sucks, Testing works”理念的影响，意识到在大型系统中，依靠严谨的工程规范和自动化测试比依赖个人调试能力更重要。他认识到，现实世界中通往目标的路径多样，有时简单的系统改进比复杂的算法优化更有效。这种从学术思维到工程思维的转变，让他学会了利用系统力量而非仅凭个人英雄主义解决问题。
大模型时代的“AI洪水”与未来焦虑
面对2025-2026年AI技术的飞速发展，田渊栋观察到行业普遍存在焦虑感与迷茫感，人们担心自己的核心能力被AI取代。他认为，AI目前擅长的是外围能力，如工具调用、快速切换任务等，而人类的核心竞争力在于从少量数据中发现内在逻辑和规律的能力，这部分目前仍难被替代。他提到，科研品味（Research Taste）至关重要，即在众多可行的技术路径中，选择一条自己坚信且能长期投入的道路。这种“Bet On”的信念是构成个人价值所在。尽管AI Coding和Agent技术令人惊艳，但应用端能否持续盈利、模型架构是否有根本性突破，仍是行业需要深入探讨的真问题。他建议从业者保持开放心态，在快速变化的技术浪潮中寻找自己的确定性。
李坤的孤独坚守与FAIR的精神领袖地位
在神经网络早期发展的艰难岁月里，杨立昆（Yann LeCun） 曾经历过一段极为萧索的学术探索期。当时在一个大型研讨会上，关于神经网络的工作坊听众寥寥无几，仅有十几人坐在前排，而隔壁讲特征工程和支持向量机的会场却人山人海。这种对比反映了当时学术界对深度学习的普遍质疑，认为只有特征工程结合线性分类器才是高质量解决方案，而神经网络被视为无法落地的技术。然而，李坤坚持亲自演示神经网络的效率，这种“板凳坐得十年冷”的坚持最终被世界证明是正确的。他不仅是技术上的先驱，更在Meta AI Research (FAIR) 担任研究员经理期间，因不愿陷入管理琐事而选择退居幕后，成为FAIR的“精神领袖”。
“李坤是所有研究员的 manager，后来他也不想当……更多是相当于是精神领袖。他在Meta是技术上的精神领袖吗？对，可以这么说吧。”
李坤倡导的自监督学习方向，源于他对人类数据标注成本高、辛苦程度的深刻洞察。他认为让数据自我学习是最佳途径，这一理念在2017-2018年间深刻影响了FAIR的研究氛围。FAIR并非自上而下的指令型组织，而是由研究员自发发现方向，李坤的想法通过影响力而非强制力推动团队。这种自下而上的创新机制，为后来Llama模型的诞生奠定了文化基础，尽管Llama最初是由一个原本从事定理证明的临时团队转型成功，但这恰恰体现了FAIR内部多元化尝试的价值：一个方向的失败是常态，而一个方向的巨大成功足以为公司带来先机。
资源集中与多元化探索的零和博弈
随着大语言模型（LLM）成为主流，FAIR乃至整个硅谷的研究生态发生了根本性变化。资源分配的极度集中导致了其他前沿探索方向的萎缩。为了在LLM领域占据一席之地，公司必须将绝大部分资源投入到预训练和后来的后训练中，这种“榨干所有资源”的策略使得原本多元化的学术氛围变得单一。正如一位谷歌研究员所言，举全公司之力追赶LLM虽然取得了成果，但代价是牺牲了原本多元的前沿探索。在Meta，这种竞争关系同样存在，主流方向的研究员获得了更多算力支持，而其他非主流方向的团队则面临资源枯竭。
“如果你要做大语言模型，那你可能会把这个学校里面的所有资源都拿走，可能就会有这样的竞争关系……让原来比较多元化的学术氛围呢，变得没有那么多元化。”
这种资源垄断不仅影响了研究方向的多样性，也改变了研究员的工作模式。在LLM时代，“快”成为核心策略，但过度追求速度往往以牺牲技术深度为代价。当高层以命令式方式推动方向时，研究员失去了独立探索的空间，导致创新趋于同质化。尽管Meta内部曾有多个团队并行探索AI，但随着资源向LLM倾斜，自下而上涌现的创新可能性大幅降低。这种趋势引发了对AI发展路径的深层反思：当算力成为唯一硬通货时，那些需要长期投入、短期难见成效的基础性研究是否会被边缘化？
杨立昆的质疑与“AI原住民”的思维优势
杨立昆对LLM的批评一直存在，他曾在2023年中国大模型浪潮中强调生成式模型可能是死胡同，主张AI应像婴儿一样学习。田渊栋部分认同这一观点，指出人类大脑仅需20-30瓦功率，且通过极少数据就能高效学习，这与LLM依赖海量数据和算力的模式形成鲜明对比。人类学习具有阶段性领悟的特征，而非简单的数据灌输，这种高效的学习机制是现有LLM无法比拟的。然而，田渊栋并不完全赞同杨立昆认为LLM只是“鹦鹉学舌”的观点，他认为LLM确实学到了现实世界的本质表示，只是学习效率较低。
“人的大脑功率永远是只有二十瓦，最多了，可能二十到三十瓦左右。人其实也不需要太多数据去得到一个很好的智能。”
在人才代际方面，“AI原住民”（如1997年出生的Alexander Wang）展现出独特优势。他们直接从LLM时代的逻辑出发，习惯于数据驱动和模型驱动的思维，无需像老一辈研究员那样先掌握传统机器学习范式再转型。这种思维惯性使得年轻人更容易融入当前的AI研发流程。然而，资深研究员的价值在于其范式转换的洞察力。历史表明，单一思维模式（如Scaling Law）在特定阶段有效，但无法通吃所有问题。当当前范式遇到瓶颈时，能够借鉴历史经验、切换思维模式的能力，才是推动AGI实现的关键。年轻人可能坚信Scaling Law万能，而老兵则知道何时需要切换赛道。
Llama系列的迭代困境与工程化思维的局限
Meta在LLM领域的进展经历了从领先到承压的过程。Llama作为首个高质量开源模型，在2024年4月曾显著领先于GPT-4等闭源模型，学术界对其拥抱度极高。然而，随着Llama 3的发布，Meta面临来自DeepSeek等竞争对手的巨大压力，导致Llama 4的开发策略趋于激进。田渊栋指出，急于追赶的心态可能导致技术决策的短视，使得Llama 4在基础模型能力上出现颓势，落入“掉牌桌”的风险。
“Llama三曾经领先全球，那是二零二四年四月的事情。但是到了拉马四，也就是二零二五年的四月，很明显能够感受到拉马四在基础模型上面掉下牌桌。”
田渊栋在参与Llama 4项目后，深刻体会到产品线组织与FAIR研究组织的巨大差异。在产品线中，工作重心转向例行操作和稳定性维护，如数据清洗、参数监控和故障修复，而非前沿探索。这种工程化思维限制了复杂调参和新型目标函数的应用，因为大模型训练对稳定性和内存效率的要求极高，过于复杂的数学推导往往因工程实现困难而被放弃。例如，过去通过更换目标函数提升1-2%性能的研究，在大规模训练中可能因内存不足或训练不稳定而无法落地。因此，LLM时代的创新更多体现在系统稳定性和梯度控制上，而非算法层面的微小突破，这种转变使得研究思路从“追求极致性能”转向“保证大规模训练可行”。
大厂组织膨胀与汇报失真：南斯拉夫式困境
田渊栋指出，Meta AI 团队规模从几十人扩充至两三百人，这种指数级扩张伴随着强烈的自上而下的推动力。然而，庞大的层级结构导致了严重的信息过滤问题，即所谓的“南斯拉夫现象”。每一层汇报者倾向于美化数据、隐瞒坏消息，导致高层只能听到“好话”，从而过高估计项目进度。这种失真在模型发布后往往导致逻辑推翻，因为底层执行层为了迎合数字指标，可能在数据中“塞东西”，导致模型在 Benchmark 上表现优异但实际可用性差。
“最上面那层人可能就只听到好话，听不到坏话，就一定会这样子。这样的话就会让整个团队的核心人员或者说领导他会过高估计整个项目的进度。”
田渊栋认为，解决之道在于技术驱动而非 Deadline 驱动。团队应专注于挖掘细节问题并寻找解决方案，而非单纯追求数字提升。他批评某些只看数字的大厂文化，指出这会导致模型缺乏真正的泛化能力。一旦模型只是“背出来”而非真正理解，拓展到其他领域将极其困难，需要大量人工修正（Case-by-case），这不仅拖慢进度，更证明人力堆砌无法弥补模型本质的笨拙。
模型泛化本质：差生与优学生的比喻
针对大模型训练的核心痛点，田渊栋提出了“差生与优学生”的比喻。如果模型缺乏深层理解，就像教一个笨孩子，即使投入巨额资金和精力进行“补习”，其水平也难以提升。相反，优秀的模型应具备举一反三的能力，能够快速学习未见过的内容。因此，训练目标不应仅关注答案的正确性，而应迫使模型思考逻辑，深化对世界的理解。
这种对“优学生”的追求，要求模型必须“想得深”。田渊栋透露，此前多家大厂（如 Amazon、Apple、xAI）曾向他抛出橄榄枝，但他最终选择创业，部分原因在于对大厂内部问题的洞察。大厂高管（VP级别）往往缺乏控制权，且容易受外部新闻冲击而频繁调整方向。例如，AI Coding 领域在短短两个月内从弱变强，导致公司战略剧烈摇摆，技术人员难以在稳定的环境中深耕。
“你花很多钱，花的时间，你搞一个个人补习班，他的水平就是上不去。但一个聪明的孩子就能举一反三，很快他就能学会很多，嗯，他以前没见过的东西。”
大厂高管常被媒体制造的“震惊新闻”牵着走，导致目标频繁变更（AI start force），项目往往做了三周便因方向改变而废弃。这种不稳定性使得在大厂中难以做出长期、扎实的技术成果，而技术人员虽具备鉴别力，却难以对抗高层因信息不对称产生的决策波动。
Google 的管理奇迹与田渊栋的研究演进
尽管批评大厂通病，田渊栋对 Google 给予了高度评价，称其为“管理学奇迹”。Google 创始人愿意走出舒适区，直接参与技术讨论和代码编写，这种风气极大地促进了技术深度。回顾田渊栋的研究历程，从 2015 年加入 FAIR 后专注于应用（如围棋强化学习），到 2018 年后转向神经网络理论分析，其研究路径与大模型时代的发展紧密相连。
2020-2021 年，他在自监督学习和非对比学习分析上取得突破，获得 ICML Best Paper Mention。2023 年大模型浪潮兴起后，由于预训练资源限制，他转向推理优化。其团队提出的 Streaming LLM 方法，通过稀疏化注意力机制，实现了无限长上下文的推理，该方法后被 GPT-OSS 等开源项目采用以稳定训练。同时，团队还探索了单卡训练 TB 级模型的内存效率优化。
“Google 还是一个非常厉害的地方，它不是被誉为管理学奇迹嘛？那么大一个公司啊，能够很快的把模型做出来，有很大的一个进展。他们的 founder 愿意离开自己舒适区啊，真正的跟大家坐一起，直接探讨技术问题，直接写代码。”
2024 年，田渊栋团队提出 Dual Form 混合思考模式，比主流模型早一年实现“快慢思考”结合，证明混合训练能提升效果。2024 年底，他们发表 Latent Space Reasoning（隐空间推理），提出语言仅是推理的解释而非过程本身，利用连续向量模拟类似量子叠加态的结构进行推理，被视为该领域的开山之作。2025 年，他进一步研究“顿悟”机制，并与 ChatGPT-5 合作加速研究进程，预示研究加速时代的到来。
效率优化技术：从 Sparse Attention 到 Low-Rank 激活
在大模型效率优化方面，田渊栋团队主要围绕 Self-Attention 和 FFN（前馈神经网络） 两大模块展开。针对 Self-Attention 的平方级计算复杂度，团队提出通过稀疏化（Sparse）策略降低计算代价。Streaming LLM 保留首尾关键 Token，丢弃中间部分，实现线性复杂度；随后的 H2O 方法则在丢弃中间 Token 的同时，回填少量关键信息以提升检索精度，且不显著增加计算负担。
此外，团队利用 Google 的 Speculative Decoding（投机采样） 技术，将上述稀疏方法作为 Draft Model，进一步加速推理。在 FFN 层面，团队发现神经网络前向传播时节点激活具有高度稀疏性（Sparse Activation）。基于此，他们提出低秩预测方法，提前预测激活节点以减少内存载入，这被视为“穷人版”的 Mixture of Experts (MoE)。
| 技术方向 | 代表工作/方法 | 核心机制 | 主要效果/优势 |
|---|---|---|---|
| Self-Attention 优化 | Streaming LLM | 保留首尾 Token，丢弃中间 Token | 实现无限长上下文，降低时间复杂度 |
| Self-Attention 优化 | H2O | 丢弃中间 Token 但回填关键信息 | 提高检索精度，不显著增加计算复杂度 |
| 推理加速 | 投机采样 (Speculative Decoding) | 利用稀疏方法作为 Draft Model | 加快整体推理速度 |
| FFN 优化 | 低秩激活预测 | 预测稀疏激活节点，减少内存载入 | 减少内存带宽压力，类似穷人版 MoE |
| FFN 优化 | Stem | 将 FFN 权重替换为查表形式 | 通过 Token ID 直接查表，提升效率 |
2024 年，团队进一步提出 Stem 方法，将 FFN 层中的权重替换为查表形式，输入 Token ID 即可直接获取压缩后的结果，进一步提升了推理效率。这些工作共同构成了从注意力机制到前馈网络的全方位效率优化体系，为大模型的高效部署提供了理论和技术支持。
长上下文与AI遗忘：效率与记忆的博弈
在探讨长上下文窗口时，必须区分两种截然不同的“遗忘”现象。第一种是工程层面的效率权衡，即在处理超长文档时，模型需要在“看见所有内容”与“保持推理速度”之间寻找平衡。这通常涉及稀疏注意力（Sparse Attention）或线性注意力的组合优化。田渊栋指出，人类大脑具备选择性遗忘并快速检索关键信息的能力，而当前AI一旦遗忘便难以找回。不过，MIT提出的递归语言模型（Recursive Language Model）提供了一种新思路，即通过Agent系统有选择地将长上下文的关键部分存入Agent记忆，从而缓解这一矛盾。
第二种是训练层面的灾难性遗忘（Catastrophic Forgetting）。这源于模型权重的优化过程。研究发现，如果强迫模型学习其未见过或无法吸收的数据（类似“填鸭式教学”），模型内部结构会被破坏，导致快速遗忘。相反，让模型在自生成数据（Unpolice）上进行训练，可以显著减缓遗忘速度。这表明，AI的学习本质并非简单的记忆，而是对数据结构的探索与理解。如果数据本身具有结构，算法便能找到这种结构并实现泛化；若数据杂乱无章，则只能死记硬背。
神经符号推理：从结合到内生的范式转移
神经符号推理（Neural-Symbolic Reasoning）曾被视为结合神经网络直觉与符号逻辑严谨性的理想方案。在2016-2017年，受围棋AI（如AlphaGo）启发，研究者尝试用神经网络建模“棋感”（直觉），用符号系统处理严格操作。然而，这一路径逐渐式微，原因在于符号推理的开发效率远低于纯神经网络的端到端训练。编写复杂的符号逻辑代码耗时巨大，而增加数据量即可线性提升神经网络性能。
尽管如此，田渊栋认为未来趋势并非完全抛弃符号，而是在神经网络内部涌现出符号结构。随着特征涌现（Feature Emergence），训练后的神经网络内部结构呈现出有序性，这种有序性可以用符号逻辑来解释。这意味着，神经表示可能是一种更高阶的符号表示，它能够自我学习、迭代，并兼容人类定义的符号系统。未来的AI符号系统可能由AI自身定义，而非仅由人类预设，从而消除神经与符号的二元对立。
自主学习与科研品味：AI时代的价值锚点
自主学习（Self-Learning）与强化学习（Reinforcement Learning）的核心区别在于奖励函数（Reward Function）的来源。传统强化学习依赖人工定义的明确目标（如摘果子、赢棋），而自主学习允许模型自我设定目标并探索边界。虽然这一概念在2017-2019年曾通过 hindsight replay 等技术短暂流行，但在大模型时代，借助更强大的工具，其潜力有望被重新激发。
在AI逐渐接管重复性劳动（如代码编写）的背景下，个人的核心价值将转向“科研品味”（Research Taste），即选择并坚持自己真正认同的探索路径。田渊栋以论文标题《The Path Not Taken》为例，强调在公共产品和重复劳动被自动化后，价值源于对未知世界的独特探索与信念（Bet on）。即使探索方向错误，过往的经验与洞察也会转化为财富，帮助研究者识别真正具有洞察力的工作，而非仅仅为了应付考核的“灌水”论文。这种品味是对世界观和价值观的投射，是AI无法替代的人类特质。
Scaling Law的边界与行业未来展望
关于Scaling Law（缩放定律）是否见顶，田渊栋认为只要资源充足，Scaling Law就不会见顶，真正的瓶颈在于能源与计算资源的物理限制。随着模型规模指数级增长，数据中心所需的能源可能逼近地球供给极限，这不仅是技术问题，更是资源分配问题。尽管短期投入巨大，但大模型带来的认知突破（如“代码可自动生成”）具有不可逆的价值，大厂持续亏损研发是为了获取下一阶段的领先优势。
对于2026年的行业预测，田渊栋不看好单纯的“回调”，反而认为应用层将迎来爆发。大模型将深刻改变日常工作和逻辑，催生大量下游场景。虽然基础架构的范式转变概率不大，但在嵌入技术、注意力机制优化（如Zero/Four Tension结合）及连续学习范式上，大概率会出现突破。随着刷榜和同质化数据生成变得无趣，AI研究将重新回到探索时代，变得更加有趣和多元。
工具赋能下的效率跃迁与资本逻辑转向
AI 工具对软件开发流程的重塑是立竿见影的。过去开发者可能需要耗时两个月才能完成的代码编写任务，在引入 AI 辅助后，开发周期被压缩至两周甚至更短。这种效率的指数级提升，直接改变了科技行业的价值评估体系。对于风险投资（VC）和资本市场而言，技术理论的范式突破并非核心关注点，他们更看重的是如何将这些技术转化为实际的盈利模式。因此，随着 AI 工具在工程落地中的普及，2026 年被视为一个极具期待的时间节点，因为届时技术红利将大规模转化为商业价值，资本的关注点将从“是否突破”转向“如何赚钱”。
强化学习（RL）的复兴与开源闭源格局
尽管强化学习（Reinforcement Learning, RL）曾经历低谷，但田渊栋认为RL 并非一个死掉的领域，而是拥有巨大的挖掘空间。自 DeepSeek R1 等模型引发关注以来，RL 在短短一年内重新成为热点，显示出该领域仍存在多条可行的技术路线。关于开源模型与闭源模型的关系，田渊栋预测两者差距既不会显著拉大，也不会完全抹平。开源模型往往依赖闭源数据，因此必然存在时间滞后性，但这种滞后不会太久，开源模型会迎头追赶，形成一种动态平衡。在中国市场，尽管 BAT 等大厂在 Agent、长上下文和 RL 等方向上看似趋同，但底层探索依然多元，特别是在 Attention 机制的调配和 RL 的具体实现上，不同团队有着多样化的技术路径。
大模型领域的真问题与“AI 牛顿”困境
站在 2026 年的当下，大模型领域面临的核心挑战集中在效率、持续学习与架构创新三个维度。首先是数据效率与推理效率，即如何用更少数据获得更大结果，并降低推理成本、缩短思维链长度。其次是持续学习能力，模型需要能够自我迭代、自我学习。最后是架构突破，如何超越 Transformer 架构、优化器以及提升数据质量以保障训练稳定性。田渊栋用物理学史类比当前 AI 研究现状：我们拥有许多“AI 版第谷”（发现现象）和“AI 版开普勒”（总结规律），但尚未出现“AI 版牛顿”。> “我有一些基本原理，根据基本原理能不能推出啊，我看到所有现象？啊，那这个就是很难了。”
真正的突破在于能否从神经网络的基本原理（如梯度下降、数据结构）出发，推导出所有可能的现象，从而解释现有的唯象理论。目前，这一目标仍极具挑战性，需要研究者从底层逻辑反推上层现象，这被视为 AI 理论发展的下一个层次。
“AI 洪水”下的囚徒困境与人类价值重构
田渊栋将 AI 的发展比作“洪水”，描述了行业内“拼命搬水等待淹没自己”的宿命感。这本质上是一个囚徒困境：> “谁不做这事儿呢？是就会被落下啊，所以大家都得做这事儿。”
尽管 2023 年曾有人呼吁暂停大模型进展以解决安全问题，但在竞争压力下，这一呼吁最终不了了之。面对不可避免的 AI 浪潮，阻止洪水是徒劳的，关键在于提前占据高地。田渊栋提出了“人类社会费米能级”的概念，类比物理学中电子分布，指出低于某能级的能力将变得廉价且普及，而高于该能级的能力将指数级稀缺。因此，普通人应快速掌握 AI 工具，实现“AI 大于 AI 自己”，即通过人的综合判断力和垂直领域经验，指导 AI 而非被 AI 支配。> “能够指出一些错误。能够发现 AI 一些弱点，根据这个有计划去指导 AI，让它去往这个方向去走，这个本身就是一个比较重要的一个办法。”
研究员正在转变为产品经理（Research is Product），未来垂直领域的“全栈工程师”将变得稀缺。在愿望层面，田渊栋希望发现 AI 的本质规律，实现“AI 牛顿”的诞生，以确保 AI 的安全性与对人类正面影响。他的科幻小说《破晓之终》探讨了人类在强 AI 时代从中心退居为旁观者或推动者的社会形态，以及当重复劳动价值归零后，人的价值在于独特的体验和探索路径，而非单纯的结果实现。> “如果所有的愿望都能很快实现，那人生是很无聊的。所以最终还是 the path not taken。”