大家好，欢迎回到信息植物园播客。今天我们有一位特别嘉宾：田渊栋（Yongun Tan）。嗨，田渊栋，谢谢你加入我们。>> 嗨，Ravid。是的。嗨，Alan，谢谢邀请我。所以，田渊栋（Yondono），你在Meta的FAIR部门度过了很多时光，最近你也是递归超智能（Recursive Super Intelligence）的联合创始人，该机构专注于自我递归和自动化研究。
我们会聊到那个话题，但让我们从头开始吧。比如你是如何真正开始在深度学习和机器学习领域工作的？事情是怎么发生的呢？好的，谢谢你的提问。实际上我于2008年来到美国，作为机器人研究所的博士生。那时我对机器学习非常着迷。当时人们其实并不认为机器学习是一条可行的路径，很多人对此持反对意见，说机器表现不好是因为过拟合，不理解正在发生的事情。
但我还是在博士期间完成了一些机器学习的优化工作。基本上是在一些复杂的非线性非凸优化问题上，在特定领域内，并证明了一些有趣的定理。这些定理表明，即使问题是凸的（non-convex），通过增加数据量，你仍然可以在一定程度上证明最优性。这是一种很有趣的数据驱动方法与优化方法的结合。我至今仍对这类工作感到非常自豪。
大约在2013年（我是说2012年）即将毕业时，我看到了一个重大新闻。你知道AlexNet是在2012年推出的，我当时给Alex发了一封邮件请求他的代码库。那时候我还玩弄了一下（play with it），当然当时我完全不知道什么是C++编程。然后我决定，哦，这确实很棒，而且这与将数据分层处理到网络中的某种方式有关。
它实际上为你提供了一些有趣的中间表示，并给出了很好的结果。当时我在想，也许这就是我一直以来以不同形式追求的东西。因为在读博士期间，我的一篇论文是关于在计算机视觉中以分层方式优化一些非凸问题的。基本上，我试图恢复由水引起的图像失真（这种高维方向）。
我尝试使用分层方法来做到这一点，并实际上证明了这在理论上我们可以做得更好。在经验上它也运作得非常好。于是这建立了联系，这也是我对深度学习产生初始信念的地方。但当时发生了很多有趣的事情，因为人们不相信这一点。大家会说这只是过拟合而已。
所以每个人都会来到办公室，我们在卡内基梅隆大学的Smith Hall里进行了许多激烈的辩论，讨论AlexNet的结果究竟是不是真正的突破。当时这种情况刚刚发生，大多数人说这只是过拟合，因为这在当时似乎讲不通。但我认为那时我在想也许我应该转向深度学习。
所以我面试了几家公司，其中一些公司实际上给了我录用通知，比如易实验室（Easy Labs）想做深度学习。但最终我去了谷歌自动驾驶汽车团队。首先那是一个非常有声望的地方，其次我有好朋友在那里推荐了我，我觉得在某种程度上我不应该切断这种联系。所以我去了那里，当时我也想从事深度学习工作。
但不幸的是，在那一年三个月的时间里，我没有机会做那方面的工作。因为你知道那里更像是一个初创公司，你真的需要让汽车跑起来。所以使用一些非常成熟的方法会更好，而进行那种科学探索可能不是加入那里时应该做的事情。于是我决定跳槽（jump ship），然后去了FAIR。
我认为那是我当时做出的最佳选择之一，我会这么说。是的。所以我搬到了FAIR，然后从事非常有趣且很棒的研究。我想我是从计算机围棋项目的深度学习开始的。这在某种程度上相当成功，因为我们在AlphaGo之前获得了一些非常好的结果。
在2015年左右（我是说像15年），我们有了第一个名为“绝艺”（Dark Forest）的机器人，它可以使用商业神经网络击败互联网上的顶级业余玩家。这确实很有趣。当然我是说AlphaGo是在2016年春天推出的，它击败了职业选手，这当然是非常好的。当时我想我的团队只有两个人：我自己加一个实习生。
但当你看到AlphaGo时，你有没有想过……我不知道你是怎么想的？你没有觉得“哦他们对我来说太厉害了”吗？ >> 我认为首先，AlphaGo肯定有许多创新。其中有一件事是他们有而我们没有的，那就是价值网络（value network）。当时我们只有策略网络。所以他们拥有这个网络实际上使棋力变得更强，这是一个优势。
其次的区别是，我基本上没有强化学习的背景。我基本上是边做边学，那是一段非常有趣的经历：自学强化学习。 >> 是的。真的很有趣的经历。所以我现在，我是说在那之后我基本上转向了更多的强化学习方向，做了许多强化学习方面的工作。对吧？但当时……我想再多花一分钟谈谈这一点：在当时，这是否让你感到惊讶？
因为强化学习长期以来一直被认为是一个很棒的想法，但它并没有真正奏效。我们能解决一些玩具问题（toy problems），但这是否让你感到惊讶？我会说我们选择这个主题的原因是，我感觉到商业神经网络实际上可以捕捉到围棋中的许多模式。这种模式是人类用来下棋的杠杆点。
所以在某种程度上这并不令人惊讶，但让事情变得非常惊人的是它实际上能够击败职业选手。
这是一个令人惊讶的组成部分，对吧？所以如果你仔细检查它的方法论，其实并不那么疯狂。是的，这可以说是商业网络成功的一种自然结果。>> 我很好奇，那个时代的哪些方法你认为在当今被忽视了？嗯 >> 是的，有很多方法。当时我认为人们开发了许多关于强化学习的东西，对吧？这些方法中许多可能尚未在当今的大模型时代得到利用。例如，人们正在思考如何使用来自未来的更密集奖励，这被称为分布式IR（即时回报）。也就是说，与其只有一个单一的数值，不如拥有一组所有奖励的分布，然后利用它来调整你的模型。
我认为目前他们可能以不同的形式使用这一点。例如，他们使用的是语言而不是作为标量奖励传播的数值。所以这里还有许多不同的想法，而且人们也在使用Q学习等方法，采用不同的公式化方式。但现在大多数时候我们主要使用的是策略梯度方法，所以这非常不同。是的，回到2016年，然后在2018年我们实际上复现了AlphaZero。你可能知道AlphaZero意味着没有人类先验知识，你基本上是从头开始进行自我对弈。
我们实际上复现了这一点，并在某种程度上使其更加高效，从而创建了一个名为Open Go的机器人。这个机器人在与职业棋手对弈时轻松获胜，并且我们与韩国围棋协会进行了正式比赛。我们以五比零击败了他们的四名棋手，这意味着即使我们只使用单张V100 GPU来下棋，他们甚至没有赢过一局。我想这可能是我们第一次使用单张GPU击败职业棋手的时候。
但这对你来说是否令人惊讶？当你参加这种比赛时，你是否认为我们会击败所有人，因为我们要好得多，还是说你有过怀疑？是的，在我们开始这场正式比赛之前，我们实际上询问了一些也是职业棋手或半职业棋手的朋友来评估它的强度。这局游戏其实很有趣，起初一切正常，但之后就没人知道发生了什么。他们会说：“哦，这看起来非常强，很强，但我不知道它是否真的那么强，因为我看不太懂棋局。”
当时我说：“好吧，让我们去和韩国围棋协会的真正职业选手下几盘吧”，因为我们要那里有一些联系。结果发现这个机器人确实很强。>> 我很好奇你对基于无梯度的优化方法有什么看法？你知道，我认为这是一组在历史上甚至直到今天都被稍微忽视的技术。>> 是的，我想这实际上与我之前在FAIR的一个研究方向有关。
在强化学习应用于游戏的方向之后，我们试图思考如何让强化学习更通用地适用于更多实际问题。这实际上涉及我们要稍微探索一下无梯度方法，因为你可以认为强化学习是一种做基于梯度方法的途径。但当然信号非常稀疏，很难以非常高的效率获得这种信号。所以我们思考也许我们可以超越这个局限性。对于无梯度方法，我认为它肯定提供了更多的灵活性。
随着当前更大模型的发展，大语言模型现在对系统、对被优化的目标函数有更好的高层理解。这种高层理解实际上比局部梯度信息更有信息量。>> 所以你在 >> 不，像无梯度方法中实际发生的是什么？是的，我认为这取决于我们谈论的是哪种无梯度方法。好吧，如果你只谈谈零阶方法，例如进化算法等，那么如果没有任何高级信息的话，实际发生的是你进行探索，而梯度不是超级 informative（提供信息的）。
所以函数非常崎岖不平。可能会出现一些有趣的局部最优解，凭空出现，而没有梯度指向那个方向。在这种情况下，梯度信息可能会非常具有误导性，对吧？所以我们会把你引向错误的地方，让你陷入局部极小值。但通常无梯度方法会带来探索技术。所以我们实际上讨论过，例如开放神经搜索（Open NES），对吧？我们有探索和开发（exploitation）。
通过开发，我们实际上是在利用一些梯度信息；通过探索，我们在说：“哦，也许局部搜索并不是那么好”，所以让我们尝试一些不同的东西。>> 这是梯度方法从未使用过的，这是一种 >> 是的。所以我早期学习神经网络工作原理的尝试之一是试图从头编写代码，然后意识到我根本没有希望从零开始做自动微分或通用情况下的反向传播。所以我心想，好吧，让我们看看仅基于前向传递的方法。
然后我开始发现你提到的所有这些事物：如果你不假设你知道值的形状或奖励，那么你会获得很好的探索性。我非常关心创造力之类的事情，所以我猜我会问：你认为这些基于无梯度的方法是否会导致更多样化的结果？此外，你是否相信我知道扩散模型确实包含梯度，但我声称当你观察它们是如何被优化时，例如Denoisers（去噪器），我的理解是有很多无梯度方法用于这些模型。所以我声称扩散模型和扩散语言
模型方面，我听过很多人争论说它们更多样化。你认为如果这是真的，那么这与无梯度方法在多样性方面表现更好之间是否存在联系？我想对于基于扩散的方法来说，首先我不是这方面的专家。其次，我认为我目前的理解是，基于扩散的方法之所以好，是因为它实际上使用了多种不同的掩码来训练模型。所以你可以认为自回归方法是一种特殊情况，基本上你只以特定方式使用注意力掩码，使其成为因果的，然后学习一些模式。但是如果你使用基于扩散的方法，通常掩码是随机生成的。
所以你会生成一个掩码，然后尝试填补空白。当然，这实际上在迫使你在中间预测某些内容时提供了优势，即使这些信息已经在自回归的对应部分中提供。所以我认为由于这种洗牌机制，你可能能够学习到隐藏在数据中的更多相关性，这可能会给你带来优势。当然，扩散模型本身仍然是通过梯度下降训练的，所以这是不同的。
好的，那么就像你花时间理解和开发更好的围棋AI一样，那大概是2018年左右的事情。是的。那时候基本上语言模型没什么用，在某些意义上是这样。我知道。但我认为当时的普遍理解是深度学习在视觉方面非常强大，而我们仍在等待它在文本和语言方面的突破。
接下来你说围棋是一个有趣的博弈，我们开发了一些强化学习方法来击败人类对手。然后你试图转向其他领域吗？比如将其推广到不同的场景？是的，我认为那之后肯定有两个方向。一个是博弈中的强化学习在某种程度上已经得到解决，因为你总是可以给予奖励让它运行，然后它会给出一些不错的结果。这在2018年左右人们是有共识的。
当然，有两部分：一部分是关于搜索优化，强化学习是其中的一部分；另一部分是现实世界的问题。现实问题可能很棘手，所以我们在这方面花了很多时间。因为我们发现对于现实世界的问题，应用强化学习时真正重要的不是算法本身有趣与否，而是动作空间和状态空间的设计。这是我们研究过的一些内容。
所以如果你查看我的简历或Google Scholar，会看到很多关于神经架构搜索的论文。你仍然想要在这个大空间中进行搜索，但这种搜索可能不遵循强化学习，而是遵循其他领域的方法，就像你刚才提到的自由方法。但真正的问题是：我们如何自动学习设计这种空间和动作空间的方法，从而使搜索变得更加高效？
为此方向上我们有大量工作。这里的想法是：我们能否自动找到正确的动作空间，以便更有效地搜索整个路径或目标函数？我给你一个例子。例如，如果你考虑架构搜索，人类会说我们知道深度真的很重要。浅层网络的表现远不如深层网络，这是我们希望在搜索中施加的一种启发式规则。
但另一方面AI可能不知道这一点。如果AI从这些细微的细节开始搜索，它永远不会给出有趣的结果。假设AI开始在卷积设置中搜索神经网络第一层的核大小，这其实没那么重要。因为除非你遇到像“1”这样的极端数字情况，否则它可能会给出相当可比的性能。在这种情况下，你所有的搜索分支都是可比的，如果在上面计算价值函数它们都会告诉你同样的故事。
那么你真的需要深入每个分支，这将导致指数级爆炸的搜索空间。在这种情况下使用什么算法都无所谓：你可以用强化学习，也可以用任何无梯度方法，都不会给你有用的结果，因为你面对的是指数级搜索空间。但如果你有一个基本想法来洗牌你的动作空间并神奇地发现深度很重要，那么突然之间你就能看到深层网络和浅层网络之间非常鲜明的对比。
这样你就无需遍历所有路径，只需几个样本就能清楚地看到巨大差异。然后你会选择深层路径并在搜索中取得实质性进展。这个想法可以实现，并可以用数学公式表述出来。这是我们开发的一种称为“潜在空间”的研究方法。对于这一想法，你需要找到能引导你进入最具判别力的搜索子空间的动作空间你可以直观地做到这一点。
一旦有了这个，突然之间你就找到了一个能保证良好进展的优秀动作空间。你觉得在那个时候有没有像Frank Cootes那样热衷于AutoML的人？就是寻找超参数并自动优化的想法。你怎么看？你认为当时哪些是真正重要的组件，或者说哪些组件对你的结果影响最大？
重要组件是手动设计动作空间。所以如果……
检查，例如来自谷歌的自动工作。通常他们会说：“我想设计这个非常漂亮的……序列（sales，应为sequence或state-action sequence的误听），该序列有六七个不同的动作步骤。”然后你通常会复制这些，把这些单元堆叠在一起，得到神经网络。这种堆叠方式通常是固定的，关键在于设计能够考虑趋势差异分量的序列。你可能会问：“为什么不是八个或九个？”我的回答当然是，我想这会使成本呈指数级增长，你做不到。因此，所有这些允许的小动作基本上都需要大量的人工设计才能使其工作。通常情况就是这样。
那么关于动作空间，你认为通往良好的机器人和物理AI系统的道路是什么？我想特别指出你有一篇论文讨论连续空间中的推理。我正在尝试获取确切的名称，这是你的……是的，椰子（Coconut）。对，正是这篇。我想指出，你知道，严伦和其他人谈论的是在莱顿（Leighton）的面部进行Japa和推理，而不是在Token层面。所以我非常好奇你对这一切的看法。
是的，我认为这篇论文实际上是来自我实习生的作品。他来Meta时，我们 brainstorming 了一些随机想法和思路。我认为我的一个观点是：当我思考时，我从不使用语言进行思考。我能清晰地感觉到，当我在思考时，我使用的是大脑的不同部分，我必须将我的想法转化为语言，以便与他人自由交流。这就是我所做的。
我觉得这基本上是基于我的直觉。然后就有了这个想法：既然这样，我们为什么不彻底去掉Token呢？我们就使用潜在空间（latent space）来进行思考。因为显然，潜在空间似乎是一种我们应该采用的有趣表示形式。在这种灵感迸发之后，我实际上开始研究一些理论推导，这些推导可以给你很好的直觉。也许潜在表示是一种叠加（superposition），它是多个想法的叠加，然后使用这种叠加进行思考。
如果你遍历某些图结构，你可能会获得指数级的优势。当然这可能不是指数的，但至少能带来某种优势。然后我们的胜利……是的，Shor一直在尝试执行这一策略，我们发现了一些初步的迹象表明这样做是有效的。
当你提到关于你不将大部分想法口头化的直觉时，我要指出我也没有在说话前将所有事情都口头化。也许这就是我话太多、思考不足的原因之一等。但我声称人类具有巨大的多样性。我知道很多人绝对会将大部分甚至所有想法口头化，他们称之为内心独白。有些人有时这样做。这与图像类似：有些人的视觉想象力非常好，可以旋转形状；而另一些人则不能。那些做不到的人中有一些是伟大的艺术家。
所以我很好奇这种本体论多样性（ontological diversity）以及你认为它如何与此相关。这是否意味着如果人类如此多元，我们就应该假设AI也会有许多不同的路径达到相同的结果？是的，我认为这完全正确。所以可能存在一些底层的机器学习机制，但不同的人可能有不同的方式来表示他们的想法。
他们可能在内部以不同类型的模态呈现。对我来说，我觉得有时当我思考时……我想我实际上是在用图像或视觉方式思考，有时候这种感觉很奇怪。突然之间你有了跳跃性的想法，“哦，你有主意了”，然后这个想法会被外化为口头语言。但如果情况是这样，那么我认为最好的赌注仍然是内部的隐藏表示（internal hidden representation），因为那可能封装了所有可能的模态和可能性。这是我愿意下注的。
但最后并没有……像今天的前沿模型并不是用连续的思维链进行训练的，你认为这是为什么？首先，缺乏数据。我的意思是，你有大量的语言、许多思维模式和思考习惯是由语言表达的。这是你交流的方式，也是以书面形式存储人们思想的方式。因此，与潜在空间相比，你有多得多的数据。所以在某种程度上，你必须使用这些数据量来进行训练。
其次，潜在表示可能是个性化的。我的意思是，每个人在某种程度上都使用自己的潜在表示方式。正如Alan所说，人们在那里会有很多多样性。在这种情况下，学习将会非常棘手，因为人类的学习效率远高于计算机和我们的大型模型。如果说我们的大型模型在学习新概念时并没有那么高的效率，我们就必须使用语言作为代理（surrogate）让模型学习。
但你是否认为这与Japa的问题有关，比如连续空间很难正则化？所有SSL方法的主要问题是需要一个好的正则器。有不同的方法来做到这一点，但这并不是真正明确的问题类型，基本上你不能像攀登某个非常具体的、定义良好的指标那样进行优化。你认为这里也是同样的问题吗？
是的，在某种程度上是这样。我会说有两个效应。首先我认为梯度学习可能效率不高。因此你需要大量数据。如果你没有大量数据，那么它就处于欠正则化（under-regularized）状态。所以你必须放置……
正则化器的问题在于，究竟该使用哪种正则化？存在多种正则化方法，每种都会产生不同的表示。也许其中没有任何一种是完全正确的做法，这确实引发了一些问题。另一个核心问题是，我们并不理解表示的本质是什么，以及它是如何随时间形成的，这才是真正的难题。因此，无梯度方法可能非常有用，因为我们目前被困在基于梯度的局部最优解中。也许我们需要以不同的方式来学习条件约束。
你认为存在一种最佳的表示吗？是否存在某种像柏拉图理念般的理想范式？我回答说，这目前仍是一个未解之谜。世界可以有多种不同的表示方式，我认为其中某些方法确实优于其他方法。例如，有些方法能用更少的比特实现压缩，或者能更好地泛化事物。
真正的问题在于：当前的神经网络学习机制能否学会这种表示？该学习范式存在哪些局限？可能存在某些极佳的表示，但当前的神经网络无法学会它们。我们尚不清楚边界在哪里，目前只是观察到它有效便直接应用于系统之中。从科学角度看，我们并不知晓边界所在以及如何触及那个边界。
这正是我致力于可解释性研究、深入理解模型的动机。你认为我们最终能获得这种理解吗？我相信总有一天我们会对此建立信心，这就像炼金术与化学的区别。虽然故事仍在继续，但由于当前模型过于强大，人们往往追逐其结果而忽视了基础理论的研究。
但从长远来看，这是一个对人类乃至AI都至关重要且极具挑战性的难题。我想问一个更个人的问题：你深耕深度学习、视觉和强化学习多年，却在2022至2023年左右突然意识到语言模型是未来的主流。你是如何管理这一转型，适应工作重心变化的？
首先，我从2018或2019年左右就开始从事可解释性研究，当时尝试对深度神经网络进行梯度动态分析。这在某种程度上是我一直持续推动的方向，具有连贯性。即使面对大模型，分析方法依然相似：虽然你在训练模型，但分析逻辑是相通的。因此，这并非颠覆性的改变，你仍在做自己真正想做的事。
然而，在实证层面则颇具挑战。研究人员必须彻底改变思维方式。过去，研究者提出想法并通过实验验证得出结论，这类似于百年前学者独立进行研究和实验的模式。但随着大模型的发展，随着模型越来越强大，它本身就能提供许多思路。
因此，研究人员可能被迫在元层面进行思考，而不是仅仅花费时间在提出单个假设上。这是人们需要面对的第一个挑战。其次，当时的另一个挑战是强调工程卓越性与研究能力同等重要。许多大模型领域的好工作往往是半科研、半工程的，因为如果工程实现不够好，结果就不会出色，也就无法被视为理论成果。
这是当前研究面临的另一大挑战。从2022年到大约一年前，情况大致如此。但现在由于大家都在使用AI编程助手，事情变得有些不同。借助编码代理的帮助，具备丰富动手经验和知识的研究者可以快速将好想法付诸实施，发现关键问题并加以解决。
突然间，这些研究人员拥有了探索深层问题的“超能力”。接下来谈谈递归自我改进的话题：在这些拥有超能力的用户或工程师手中，我们将迎来能够自我完善的超级智能代理。这理想中确实是目标所在。
你认为这会实现吗？我认为是的，这也是我认为现在应该创办一家公司的原因之一。我在Meta发表的最后一篇论文是与GPT-5合作的，该研究探讨了神经网络中的涌现行为。网络通常从记忆阶段开始训练，随后突然转变为泛化能力。
这种涌现行为非常迷人且有趣。在那篇论文的合作中，我向GPT-5提出了许多问题并布置了“作业”，例如：“请证明这个定理”、“请确保定理正确无误”以及“请在某些想法上进行头脑风暴”。
我发现这种方法实际上比我过去处理类似问题时使用的方案要有效得多。可以说，它在效率方面给我带来了大约6到10倍的提升。而且这还算是保守估计，因为当时我还依赖自己编写代码；但现在我认为，编码和实现工作当然也可以委托给强大的AI代理来完成。
这样一来事情会快得多。是的，在这个项目完成后，我得到了一些非常有趣的结果。我突然意识到：“哇哦，也许我的工作将在五年内被取代。”这一点非常明显：我很快就要失业了。因此，与其被动地失去工作，我认为不如主动创业，朝着这个方向前进。
这就是为什么你会看到这种情况发生的原因。通常来说，研究人员可能不愿意作为联合创始人加入小型公司，因为那里有很多工程方面的事务需要操心，涉及的研究之外的事情很多。但我会说，现在是一个转折点；如果我不采取行动，我可能会在未来变得无关紧要。
是的，你知道的。有时我会和镜头外的Revit进行激烈的辩论；当然，当我感觉不那么好的时候，我也会说类似的话。我主要惊叹于编码代理变得多么出色，同时也对2040年代左右的前景持悲观态度。我觉得最终AI必须给我上一课，而且如果我只是在做所有的提示工作，情况可能会稍微好一点。
对此我非常担忧。而最糟糕的是，我认为你回应这一点的建议——创办自己的公司——是一个正确的回答。我的回应则是去尝试学习如何动手工作，但我并不擅长手工劳动；所以当奇点来临时，我就完了。
我们可以到处看到这一点：软件工程领域对软件工程师的需求正在上升；我们在各个地方都能看到，似乎不再有更好产品或更好的应用程序之类的东西出现了。也许模型最终会在某些方面变得更强，以至于不再需要我们；但至少目前我们还没看到这种情况发生。
至少就目前而言，我们还看不到这一点，而且不可能端到端地开发出好产品。你认为呢？首先你同意这个观点吗？如果同意的话，你觉得这种情况会改变吗？
是的。首先我要说，目前仍处于尚未完全自动化的阶段。我认为当前的模型如果没有人工干预，无法给出非常好的结果。我想这还不是那个阶段；即使是在Meta时期我写的那篇论文中，我还是会提供高层思路和想法，以便模型能够跟随执行，而不是让模型自己提出想法。
因为那部分非常困难：如果你没有任何思路，它只会给出那些大家早已知晓的、陈词滥调的想法。这显然不是一个有趣的探索方向，所以我认为直到目前模型仍在做类似的事情：我们仍然需要人类来发起工作，思考哪些是重要的研究方向。
这也是我们需要做的事情；同时还需要人类来进行验证：AI提出的解决方案看起来如何？这些实际上是我们正在面临的问题。希望未来随着代理和模型带来更高的自动化程度，人类花在重复性工作上的时间会越来越少，而在更具创造性的方向上花费更多时间。
这样人类也可以设定更宏大的目标。在未来，人们可能会说：“哦，也许我应该去静修一段时间，然后将大量的执行和工程工作委托给我的工程师或AI代理。”他们会提出建造火箭的方法。
但你怎么看那些试图进行自我改进、递归式自我改进的大量论文和工作？现在你给一个代理两小时和两个GPU，让它进行后训练，或者尝试改进某个指标（比如Normatron或其他什么），至少据我所知，这些工作主要表明代理确实能做一切事情：在优化等方面它们能做任何你想让它们做的事。
但它们提出的想法非常狭窄；最终它们在创意方面效率很低，并不真正懂得如何概括问题。它们对指标过拟合了。如今有很多Kaggle竞赛试图使用代理进行代码改进，看起来它们似乎在对训练指标过拟合。你怎么看？
你认为这是某种我们还不知道如何测量的东西，或者可能是一个很快就能解决的时间性问题吗？是的，我认为这在某种程度上是时间性的问题。因为总有一种方法可以让代理专注于更高层面的问题；你可以这样做。
我认为当前模型无法很好地做到这一点的原因是，被要求去做细节工作缺乏上下文；如果模型拥有更多上下文，它可能会提出比微调超参数、函数配置等更有趣的想法。但我会说，为模型增加上下文可能只是一种临时性的修复手段；它可能会带来一些提升。
但在未来，我们可能需要比当前Transformer架构实质更好的东西。我认为目前的关键区别在于：基础模型是在大量数据上训练的，这些数据全部来自互联网；它们由大量的重复性工作组成。对于重复性工作，我认为模型表现得非常好：它有足够的了解发生了什么的数据，也有足够的数据来提出新想法。
但展望未来，如果你希望模型去做非常……
创造性的事物，那些需要跳出框框思考的东西。如果模型没有足够的数据来做这些，你可能就需要考虑什么样的新架构能带来更高效的学习能力，让它能够像捕捉新的信号一样快速适应。只需要很少的数据量就能做到这一点。所以基本上就是两个阶段：从我刚才说的，从常规的、重复性的工作提升到下一个层级，我认为这里需要一次巨大的飞跃。但目前的范式仍然会存在很长时间，因为总是有很多补丁和技巧可以用来让模型变得更强壮。这就是我的感受。
那么，要让模型变得更好，最重要的是什么？是在预训练、后训练阶段，还是推理时的优化？你知道，甚至包括其他所有可能改进模型的方法。或者是完全不同的架构、不同的优化器等等？是的，完全正确。完全不同的架构和优化器。所以数据混合等等方面也非常有趣，并且可以成为自我改进的主题。这实际上正是我们正在做的事情。
你觉得怎么看？因为直到现在，在结尾阶段，有很多公司、个人和初创企业尝试提出不同的架构。除了Transformer之外，其中一些在小规模问题上确实显示出了一些不错的结果。但它们从未真正扩展到更大的模型上。你认为这是为什么？你觉得这是一个你能解决的问题吗？
嗯，我认为这是个很好的问题。首先，你在小规模上看到很多改进但在大规模上没有看到的原因通常是：在小规模下你缺乏数据。因此，你必须基本上在架构中额外添加一些归纳偏置（inductive bias）。这种偏置在小规模下效果很好，因为你没有足够的数据。但在大规模情况下，因为数据量很大，最好的做法基本上是让模型自己去弄清楚发生了什么。
我认为一个非常有趣的例子是视觉Transformer（ViT）。通常当你阅读相关论文时会发现，如果你使用互联网级别的数据来训练模型，视觉Transformer可能不如卷积神经网络（CNN）强大。但当你拥有更多数据时，比如两亿或五亿条记录后，最终你会看到Transformer比卷积神经网络变得好得多。因为网络具有这种归纳偏置，基本上是说……
你确定田渊栋会同意你的观点吗？我不确定。是的，我回答了。嗯……你不必回答那个问题也没关系。我认为目前的直觉是：在Transformer中，基本上你可以让注意力机制关注局部性，或者也可以关注非局部的数据。但对于卷积网络，你必须先专注于局部事物，然后逐步构建起来。所以这两者是非常不同的。
但我的问题是……你想采取什么样的策略？你认为我们现在应该开始吗？你说你有新想法关于不同的范式，所以现在你会从小规模实验开始并尝试从中扩展开来吗？还是你认为值得从一开始就启动像万亿参数这样的大模型并进行迭代呢？
我认为当然你需要先从小规模开始尝试，然后逐渐转向其他技能。但我认为真正重要的是……这是我的个人观点：我们确实在某种程度上需要知道网络内部到底发生了什么。其中应该包含某种可解释性的组件，让我们知道它能在更大规模上很好地泛化。这可能是其中一个额外的组成部分。我们需要思考一些有趣的见解，这些见解能够扩展到大规模。这样我们才会确信这能工作得很好。
否则，如果我们盲目地跟随损失函数（skin loss），那么发生的事情是：你永远无法证明在小规模上工作的任何东西能在大规模上生成结果。如果你不这样做，如果没有这种信心，那么当然只有拥有最大计算量的公司才能获胜。那是唯一的解决方案。但如果你能在小规模实验中发现一些深层的东西，那么有可能在大规模上也能取得工作成果。
嗯……如果你看看这个循环：提出想法、运行代码、分析哪部分是最难自动化的。我会说，我认为“想法”可能非常重要且很难得。如果你问一个模型关于想法的问题……我的意思是，它会给出一些类似媒体核心层面的想法。所以当你把所有这些东西结合起来时——检查什么有效或无效，进行比较，做消融实验（ablations）。这些想法其实并不超级有趣。我想象其他人也会想到同样的事情，对吧？
所以真正的问题是如何提出正确的想法，以及这些想法是否指向了正确的洞察。这非常重要。当然你也可以进行迁移学习（transfer）。如果你有一些来自不同领域的不错想法，也许可以转移到你所工作的领域中。在这种情况下，事情可能会非常有效。我认为最近的突破……例如数学领域的AI（AI for maths）。许多这类想法都是从一种领域转移到另一种领域，并发现这些想法确实有效。
嗯……比如你曾经尝试过运行NanoGPT的速度竞赛（speedrun）？是的。那么，你认为像这样的比赛……甚至现在你取得了成绩，将记录缩短了2秒？你认为这是一种真正的发现吗？还是只是非常优秀的搜索技巧，实际上更容易找到呢？
嗯，我认为这在某种程度上是有趣发现与先前方法的结合。例如添加了字节对编码（BPE）和unigram等成分。在架构方面，我认为有些东西很有趣。当然有些人会说哦，这可能来自DeepSeek或者其他地方，也许是GMA 3的方法等等。实际上……
我们在MA的时候也有一篇叫STEM的论文，遵循非常相似的理念。这实际上是一种过渡到这场实际竞赛的过程，并且确实提升了性能。我认为基本上是将现有理念进行迁移，并在组合这些部分时加入了一些创造力，使它们能够良好地协同工作。例如，在不同的层中，你可能拥有不同的嵌入表，这些组合方式各不相同。
那么AI的未来是什么？我们讨论过一些可能的候选者，比如世界模型、递归自我改进以及物理AI。对于未来而言，我们是否遗漏了什么？是更多的扩展吗？我认为“扩展”目前可能是常识。人们常说：“哦，是的，扩展、扩展、再扩展。”但我认为正因为这是常识，我们需要思考不同于常识的东西，作为新的替代性探索方向。
递归自我改进之所以重要，是因为模型现在已经达到了一个阶段，能够在某种程度上理解自身内部正在发生的事情。即使这种理解是浅层的，它仍然是理解，我们可以利用这一点来进行自我改进。此外，它具有非常实用的用例，正如我们在内核操作等多种场景中展示的那样。
当然，我认为未来仍然在于寻找新的架构、发现新的学习方式以及找到更好地匹配人类数据效率的方法。无论我们处理哪种模态或问题，关键仍然在于神经网络中的学习机制和学习算法，这才是核心要点。
一旦我们纠正了这一点，假设我们现在有一种像人类一样高效的算法——人类仅使用约20到30瓦的计算资源，且只利用大约千分之一（即0.1%）的数据量——人类能在极短时间内解决问题。如果我们拥有这样的学习机制，所有问题都能得到很好的解决，包括机器人技术。
目前我认为机器人的问题在于数据量。正如Fi提到的那样，我们需要大量的机器人数据，但这仅仅是因为当前的范式需要大量数据来训练。如果我们思考人类是如何做到的，或者猫、狗等生物如何做到这一点……它们都在进行具身智能的学习，并不需要大量数据。
它们仅拥有非常简陋的处理器，却能在复杂的世界中生存下来。这必然意味着存在新的算法。因此我认为这才是关键，我相信强化学习和其他形式的自我改进可能是更快实现这一目标的路径。
最后一个问题：目前关于限制最新模型存在很多争论，有人呼吁围绕递归自我改进进行协调。你怎么看？我想坦诚地说，因为我觉得很难阻止人们这样做。界限非常模糊。
当你与编码代理交谈并提出新想法，要求它们迭代这些新想法时，你在某种程度上就是在进行自我改进。当你与他人交谈并共同撰写论文时，这也是自我改进的一种形式。因此很难划定界限说“你不能做这个，因为这是自我改进”。
执行起来也很困难。什么是边界？而且我们现在拥有所有开源模型，它们都非常强大且优秀。你也可以利用这些模型进行研究或实验。这算不算自我改进？你如何证明这一点？回答这些问题将会非常困难，所以……
关于开源你怎么看？你会开源你的模型吗？我认为对于我们的研究成果，我们是打算开源的。例如我们之前的博客文章就开源了所有的内核代码以及训练这些纳米聊天模型的配方等。基本上，我们的系统成果我们将予以开源。
首先这很重要，因为其他人可以检查并在此基础上构建，这是好的方面。此外我认为开源对整个社区都非常有益。最糟糕的情况是少数精英人士控制着世界上最强大、最大的模型，并说其他人需要支付高昂的溢价才能使用。这对整个社会来说可能不是好事。
因此我们真的希望实现AI权力的去中心化，让每个人都有平等的机会去做出色的工作并利用模型来增强自己。你认为未来我们会看到与闭源模型处于同一水平的开源模型吗？
是的，我认为目前已经相当不错了。例如Kimi K3就非常好，并做了很多出色的工作。虽然同步追踪时间稍长于当前的闭源模型，但它仍然可用，并且可以在许多不同领域加以利用。因此我认为未来开源模型会越来越强大，这完全不是问题。
此外作为编码代理使用场景而言，你并不真的期望AI像新来的助手一样瞬间来到你身边为你编写代码。实际上存在一条界限，只要模型跨过这条线变得可用，你就愿意使用它。我认为许多前沿实验室已经跨过了那条线，现在开源模型开始……
我认为未来会有越来越多的人和模型跨越这条界限。一旦实现这一点，它将变得商品化，每个人都会使用自己最喜欢的模型，并对此感到满意。这终究会发生。因此，真正的问题在于：我们如何利用所有这些模型来做得更好、更宏大？
好的。尤格，你还有什么想补充的吗？我认为差不多就是这样了。你们在招聘吗？要不要宣传一下你们的……是的，我想说，如果大家对我们要公司感兴趣，请随时给我们发送简历。我们的邮箱地址是 [email protected]，所有感兴趣的人请发送邮件……你们在哪里招聘？是的。我们的主要地点在旧金山和伦敦。我们三分之二的员工在旧金山，三分之一在伦敦。
非常感谢你参加我们的节目，这是一次非常愉快的交流。我也感到非常荣幸，谢谢。也非常感谢你接受采访，希望人们能从这些讨论和有趣的头脑风暴中获益。