从优化理论到深度学习：AlexNet 引发的转折
田渊栋于 2008年 来到美国卡内基梅隆大学机器人研究所攻读博士。当时学术界对机器学习持怀疑态度，普遍认为其效果不佳且存在严重的过拟合问题。尽管面临质疑，他仍专注于计算机视觉中的复杂非线性非凸优化研究，并证明了即使问题是非凸的，增加数据量也能在一定程度上保证解的最优性。这一工作将数据驱动方法与优化理论结合，成为他早期学术生涯的重要基石。
2012年 AlexNet 的出现彻底改变了他对领域的看法。田渊栋曾向 AlexNet 作者索要代码进行尝试，尽管当时他并不懂 CUDA 编程，但他意识到神经网络的分层处理机制能生成有趣的中间表征。这与他博士期间用分层方法解决图像畸变还原的思路不谋而合，从而确立了他对深度学习的信心。尽管当时在 Smith Hall 的激烈争论中，多数人认为 AlexNet 只是“瞎扯”，田渊栋却意识到这是自己应转向的方向。他最终放弃了 NASA Labs 的录用通知，选择加入谷歌自动驾驶团队，但因该初创性质浓厚的环境更侧重成熟方案的落地而非科研探索，他随后转投 Meta FAIR 实验室。这一决定被他视为职业生涯中最好的选择之一，因为那里允许他自由开展前沿研究。
“我觉得当时我其实在想，也许我应该转去做深度学习。所以我去几个地方面试了……不过我最后去了谷歌的自动驾驶汽车团队，因为首先那里很有名气，其次我有好朋友在那里……我决定换个地方去费尔。我会说，那其实是我当时做过的最好的选择之一。”
“这些定理说明，即使问题是非凸的，只要增加数据，还是能在一定程度上证明解的最优性。这把数据驱动的方法和优化结合了起来，挺有意思的。”
围棋 AI 竞赛：从 Dark Forest 到 Open Go
加入 FAIR 后，田渊栋团队率先启动了用深度学习解决围棋的项目。在 AlphaGo（2016年）出现之前，他们于 2015 年开发了名为 Dark Forest 的程序。该程序仅使用卷积神经网络（策略网络），便击败了网上顶尖业余棋手，但团队当时缺乏价值网络和强化学习背景。当 AlphaGo 凭借策略-价值双网络和强大的搜索能力击败职业棋手时，田渊栋承认其创新（特别是价值网络）是自身团队未曾涉及的领域。这段经历促使他深入转向强化学习研究。
2018年，团队复现了 AlphaZero 的思路并开发了 Open Go。与 AlphaGo 不同，Open Go 不依赖人类棋谱，而是通过自我对弈从零开始学习。该程序仅使用一张 V100 显卡，便在与韩国围棋协会四位职业棋手的正式比赛中取得 5:0 的完胜（每人五局全胜）。这是首次有人仅用单张显卡击败职业棋手。尽管赛前评估者对程序实力感到困惑（“看起来很强，但看不懂为什么强”），田渊栋团队凭借对 CNN 捕捉棋盘模式能力的信心，大胆进行了实战验证。这一成功标志着强化学习在游戏领域取得了突破性进展。
“这个程序很轻松就打败了职业棋手。我们还和韩国围棋协会进行了一场正式比赛，我们打败了他们的四位棋手，对每个人都是五比零……哪怕我们下棋时只用了一张V100显卡。我觉得这可能是第一次有人只用一张显卡就打败了职业棋手。”
“真正让人很惊讶的是，他居然能打败职业棋手……如果你去看他用的方法，其实也没那么离谱。这算是卷积神经网络取得成功之后自然而然的一个结果。”
超越梯度：无优化方法与自动架构搜索
随着游戏领域强化学习的成熟，田渊栋开始探索如何将 AI 应用于更复杂的现实世界问题。他提出无梯度优化方法（如零阶方法、进化算法）可能被长期忽视，尤其在当前大模型时代具有新潜力。他认为，当目标函数极度不平滑或梯度信息误导时（如陷入局部极小值），无梯度方法提供的探索机制比单纯依赖局部梯度更具灵活性。此外，他指出大模型对系统的高层次理解能弥补无梯度方法在信息量上的不足。关于扩散模型的多样性优势，他解释这源于其随机掩码训练机制：与自回归模型固定因果顺序不同，扩散模型通过打乱预测顺序迫使模型学习数据中更深层的相关性。
在自动机器学习（AutoML）和架构搜索方面，田渊栋指出核心难点不在于算法本身（无论是强化学习还是无梯度方法），而在于动作空间和状态空间的设计。如果搜索空间设计不当（如盲目搜索卷积核大小等低影响参数），会导致分支间差异微小，引发指数级爆炸。他提出的潜在空间蒙特卡洛树搜索（Latent Space MCTS）旨在自动寻找能最大化子空间差异的动作空间。例如，若 AI 能发现“网络深度”是关键变量，就能迅速区分深浅网络的巨大性能差距，从而高效收敛。这一思路强调通过重新定义搜索空间来降低复杂度，而非单纯依赖更强大的优化算法。
“对于无梯度方法，我觉得它肯定能提供更大的灵活性……这种高层次的理解，其实比局部梯度信息能提供多得多的信息。”
“真正的问题是，怎样自动学会设计状态空间和动作空间，让搜索变得高效得多……如果你想到可以重新调整动作空间，又碰巧神奇的发现网络深度很重要，那你一下子就能看到深层网络和浅层网络之间有非常明显的差别。”
从动作空间设计到潜在空间推理：Coconut 的直觉与局限
在回顾 AutoML（自动机器学习）时，田渊栋指出其核心瓶颈在于人工设计的动作空间。以 Google 的 AutoML 为例，系统通常依赖预定义的“网络单元”，每个单元包含六个或七个固定的动作序列。虽然堆叠方式相对固定，但允许采取哪些小动作需要大量人工精心设计。若将单元内的动作增加到八个或九个，搜索成本会呈指数级增长，导致系统无法运转。因此，当前的自动化程度仍然高度依赖于人类对搜索空间的先验约束。
谈及物理 AI 与机器人，田渊栋提到了他的论文 Coconut（Chain of Continuous Thought）。这篇由他在 Meta 的实习生 Shebol 协助完成的论文，核心灵感源于田渊栋的个人认知体验：人类思考时并不直接使用语言，而是利用大脑中非语言的区域进行推理，最后才将想法“翻译”成语言以便交流。基于这一直觉，Coconut 尝试完全去掉 Token（离散文本），直接在连续潜在空间中进行推理。理论推导表明，在潜在空间中叠加多个想法可能带来指数级的表征优势。
然而，尽管前沿模型目前并未广泛采用连续思维链（Continuous Chain of Thought），田渊栋认为这主要受限于数据稀缺性。语言拥有海量的人类思维记录，而潜在空间的数据几乎为零。此外，人的学习效率远高于大模型。由于每个人的潜在表征是独特且个性化的（如 Alan 所言，人类思维模态差异巨大），大模型难以像人类那样高效地从少量数据中习得通用的潜在表征。因此，当前必须依赖语言作为中间媒介来降低学习难度。
“我思考的时候从来不用语言来思考，我能很清楚的感觉到思考时我用的是大脑的另一个部分……有了这个灵感之后，我就开始做一些理论推导。”
“语言的数据要多得多……跟潜在空间相比，你总得想办法用上这么多数据。”
正则化的困境与表征学习的科学边界
针对连续空间推理难以普及的原因，田渊栋进一步剖析了正则化（Regularization）的缺失。自监督学习面临的核心挑战在于缺乏明确的定义指标，导致无法通过梯度下降一步步优化。虽然可以添加正则化手段来约束模型，但不同的正则化方法会产生截然不同的表征结构。目前学界并不清楚哪种方法是“正确”的，这种不确定性使得基于梯度的学习在数据不足时显得低效。
更深层的问题在于，我们并不真正理解表征是如何随时间形成的。田渊栋认为，当前神经网络可能被困在梯度下降的局部最优解中。如果存在一种更优、更符合世界本质的“柏拉图式”表征（例如占用更少比特或泛化能力更强），现有的梯度下降范式可能根本无法到达那里。科学上的边界尚不明确，我们只是发现现有方法“看起来能用”，却不知其极限何在。这正是田渊栋投身可解释性研究（Interpretability）的动力：试图理解神经网络的内部动力学，以突破当前学习范式的局限。
“正则化手段有那么多……也许没有一种真的是正确的做法，这就带来了问题。”
“可能有些表征非常好，但现在的梯度下降方法学不到。我们现在还不知道边界在哪儿。”
递归自我改进：从被动失业到主动创业
面对 LLM（大语言模型）带来的范式转移，田渊栋表示他的研究主线并未中断。自 2018-2019 年起，他一直在进行梯度动力学分析和可解释性研究。这一方法论可以平滑迁移到大模型上，因为核心在于分析方法而非具体任务。
然而，研究者的角色正在发生根本性转变。过去是“提出假设-实验验证”，现在则是利用 AI 生成想法并加速实现。田渊栋提到，他在 Meta 的最后一篇关于 Groking（顿悟现象） 的论文是与 GPT-5 合作完成的。AI 助手不仅协助证明定理，还显著提升了效率（6-10倍）。这一体验让他意识到：五年内，传统研究者的工作可能被取代。与其被动等待失业，他选择主动创业，致力于构建能自我改进的 Agent 系统。
关于递归自我改进（RSI）的现状，田渊栋指出当前 Agent 存在“指标过拟合”和“想法平庸化”的问题。现有的 RSI 实验（如让 Agent 优化 Kaggle 成绩或后训练模型）往往局限于细节调参，缺乏高层上下文。如果人类不提供整体思路，AI 生成的想法通常只是已知知识的复述。真正的突破在于让人类专注于创造性的高层方向，而将重复性工程工作交给 Agent。他乐观地认为，随着模型能力提升，人类将从繁琐执行中解放出来，去探索更宏大的目标（如造火箭或登陆土星），而 AI 将负责具体的工程实现。
“我突然意识到，哇，也许五年后我的工作就会被取代……与其被动失业，我觉得不如朝这个方向开一家公司。”
“如果你自己没有想法，他给你的想法就会很平庸……我们还是需要人来思考哪些事情值得去做。”
从重复性任务到创造性突破：架构与数据的瓶颈
针对模型在递归自我改进中可能存在的过拟合问题，田渊栋认为这在一定程度上是暂时的。他指出，当前模型表现不佳的主要原因在于我们让模型处理的是缺乏上下文的细节性工作（如调整超参数）。如果赋予模型更多上下文，它可能会提出更有意思的点子。然而，增加上下文可能只是权宜之计，未来可能需要比现有 Transformer 架构更优的方案。
核心区别在于数据性质：当前模型基于互联网海量重复性数据训练，因此擅长处理常规工作；但若要实现跳出固有思路的创造性突破，现有数据量可能不足。这需要寻找能极大提升学习效率的新架构，使模型能用极少数据快速捕捉新信号。尽管当前范式仍可通过预训练、后训练及推理优化等“补丁”维持一段时间，但从日常重复工作迈向更高阶创造力的过程需要一次巨大的跃升。
关于非 Transformer 架构在小规模有效但大规模失效的问题，田渊栋解释称：小规模下因数据缺乏需依赖归纳偏置（Inductive Bias），而大规模下应让模型自行发现规律。他以视觉 Transformer 为例：在 ImageNet 量级数据下，ViT 不如卷积网络（CNN），因为 CNN 具有局部优先的归纳偏置；但当数据量达到三亿至五张图片时，Transformer 因能同时关注局部与非局部信息而显著优于 CNN。因此，策略上应先从小规模实验入手并逐步扩大，同时结合可解释性研究以确认深层规律在大规模下的泛化能力。若盲目遵循规模定律而缺乏小规模验证的信心，最终将导致只有算力最强的公司能胜出。
我觉得现在的关键区别在于，目前的模型是用大量数据训练的...但往后，如果你想让模型做非常有创造性的事情，跳出固有思路，那模型可能就没有足够的数据来做到这一点。
如果看一下从想法到写代码、运行再到分析的这个循环，哪一部分最难自动化？我觉得想法这部分可能非常非常重要...真正的问题是怎样才能提出合适的想法，让这个想法真正指向有价值的见解。
未来路径：高效学习机制与开源生态
在探讨 AI 的未来方向时，田渊栋强调虽然扩大规模已是共识，但探索非共识的新可能性更为关键。他认为递归自我改进（RSI） 的时机已成熟，因为模型开始具备理解自身内部机制的能力。此外，计算内核优化等实际应用场景也展示了其价值。
他提出未来最关键的是找到新的学习方式，以达到人类级别的数据利用效率。以机器人领域为例，当前范式认为需要海量数据（如李飞飞所言），但人类及动物能在低功耗、低数据处理能力下通过具身智能在复杂世界生存，这暗示了存在尚未被神经网络捕捉的高效学习算法。强化学习与自我改进可能是快速逼近这一目标的路径。
关于安全与开源，田渊栋坦言限制 RSI 的界限模糊且难以执行，因为日常编程代理交互本身即包含自我改进成分。他坚定支持开源策略，主张将研究成果（如内核、训练方法）全部公开。他认为最糟糕的情况是精英垄断最强模型并高价售卖，而开源能确保人人平等地利用 AI 提升自我。他预测开源模型（如 Kimi K3）已跨过实用门槛，未来将日益强大并商品化。最终的核心问题不再是模型本身，而是我们如何利用这些工具做出更大的事。
一旦我们解决了这个问题...人类用于计算的功率也就二十三十瓦，而且人类只用了大约百分之零点一的数据...如果我们有这样的学习机制，那一下子所有问题都能得到很好的解决。
可能出现的最糟糕的情况就是一小群精英掌控着世界上有史以来最大、最强的模型，然后说其他人都得花很高的价钱才能用，这对整个社会来说恐怕不是什么好事。