大家好，欢迎来到“创新者咖啡”，这是一档连接人与AI创新世界的播客。我是Vicky，这是我的联合主持人Bill。关注我们，探索顶级AI产品、生态系统洞察及新兴趋势。今天非常荣幸邀请到田渊栋博士，啊，很高兴您作为我们的嘉宾来到这里。首先，按照惯例，能否请您做一个简短的自我介绍？
非常感谢介绍我，邀请我参加这期播客。很高兴见到Vicky和Bill啊，嗯，我觉得我们认识有一段时间了。是的，我叫田渊栋（Yuandong Tian）。我目前是Recursive的联合创始人，这是一家致力于“AI for AI”的公司。也就是说，我们试图通过利用AI本身来寻找改进AI的新方法，这基本上就是公司的目标。
我加入这家公司已经快一年了，公司实际上是在去年12月成立的。这是一段非常美好且有趣的旅程。在此之前，我在Meta（Facebook AI Research）担任研究总监。我在那里工作了将近十一年，对吧？我是2015年1月加入的，于2024年底离开（字幕误读为twenty twenty five）。
在此期间，我主要从事深度模型的前沿研究。包括强化学习、表示学习、理解神经网络、大模型的效率以及大模型的推理能力等方向。一些亮点包括构建了一个开源的Go机器人，它基本上是Alpha Zero的复刻版，可以用单张GPU击败职业选手。
此外还有一些顶级会议的最佳论文创新成果，从不同角度展示了表示学习的本质，以及关于如何利用语言模型进行推理的最新发现。例如，如何让语言模型在不同领域更高效？其中一些工作已被应用于现代大模型的训练中。
既然您目前从事AI自我学习的工作，为什么现在是让AI成为研究者而非仅仅是助手的合适时机？我认为现在是因为AI变得越来越强大。我加入初创公司并成为联合创始人的直接动机之一，是我在Meta发表的最后一篇论文。
那实际上是一篇单人署名的论文，但实质上是我和AI的合作成果。当时使用的是GPT-5.1左右的模型。当我尝试与AI合作时，我发现我可能不再需要实习生了。对于很多问题，我可以询问AI并与之头脑风暴，然后它会给出答案。
我觉得这比我亲自做工作、推导所有公式和证明定理要高效得多。而且现在，即使在Codex出现之前（即编码时刻），代码实现也可以由AI委托完成。当时我还在自己写代码，实施实验并让事情运行起来。
但那时我就觉得不同了：AI可以给你灵感，与你头脑风暴，提供有趣的证明思路，并给我更多深刻的见解。当人类思考更大的方向时，我则深入洞察并引导AI确定前进的方向。
在那一点上，我感觉这可能是一个转折点。我觉得也许在三五年后我可能会失业。所以我认为与其固守当前的职业轨迹，不如做一些疯狂的事情。这就是我基本成为公司联合创始人的动机。
而且我认为我很幸运，因为就在我们创办这家公司后不久，我们发现哦不，我们有Codex了。现在我们有了各种编码代理，可以帮助你们编写代码并以多种方式完成实验，从而使整个研究周期变得更加高效。
所以我认为这可能是创办公司的最佳时机。这是去年我们在您那里讨论过的“Grokking”论文吗？是的，就是那篇关于Groking的论文。基本上试图理解神经网络在特定领域是如何工作的。
如果我们向网络输入一些结构化的数学问题，在某一点上它会先学会记忆问题的答案。但如果你继续训练，突然之间正确的表示就会涌现出来，使得模型真正理解发生了什么，并对问题有洞察力且泛化能力很强。
在这种情况下，我们可以证明这是它能学到的正确表示，并且与记忆相比，这种表示实际上非常高效。这展示了从泛化到记忆的过渡是如何发生的，非常有意思。是的，很好奇，你觉得成为创始人而不是研究者最困难的部分是什么？
我认为第一且最重要的是所有权（Ownership）。回顾历史，成为一名研究人员在某种程度上是一种幸运的职业。这意味着你不需要过多担心生产问题，不必过于担忧基础设施或公司生存所需的其它事务。
你说：“这里有个问题”，你接手它，坐下来尽力解决它。这就是我们的研究工作方式。但现在成为创始人截然不同：你必须同时考虑很多事情。要确保公司生存，并确保投资者满意，看到公司的成长。
你需要思考长期目标和短期目标并加以平衡。公司里的所有员工也都在期待下一步的行动，所以创始人需要具备极强的领导力，展示事情应该如何完成。
所以，因为这一点，有一句著名的谚语说“问题不是别人的”，对吧？我们需要思考如何尽快利用各种能力来解决这些问题。现在，幸运的是我们有AI代理（Agent）。许多问题可以通过AI代理得到解决，这很好。但与此同时，人类仍需思考如何充分利用它们。
目前，AI代理或许可以被视为一种“万能许愿机”。你基本上可以向它提出任何愿望，它会尽力给出解决方案。但真正的问题是：如果你抛出的愿望相对于现状只是微不足道的增量改进，那么你得到的也只会是同样缺乏突破性的解决方案。
因此，你需要学会跳出思维定式（Think out of box），去寻找具有开创性的事物。这样你才能突然同时解决许多问题。作为初创公司的创始人，你的视野可以是无限的。你们拥有有趣的想法并让事情运转起来，突然间公司估值就翻了一百倍，这非常有趣。
但如果你无法朝那个方向思考，那么当然你的公司估值大概会和昨天一样。这完全取决于你，取决于每个想法的可执行性，以及创始人拥有多少创造力。这是一个非常有趣的时期，与以往的创业者截然不同。
人们谈论初创公司时，几年前大家总是认为必须非常、非常努力地工作，日夜兼程。我们需要雇佣那些能像机器一样工作的人，比如每周七天、每天十八小时地工作，以确保你能构建出某些东西。
但现在我认为，这不仅仅是关于努力工作，更是关于创造力，以及如何以更高效、更系统化且可持续的方式解决问题。现状确实大不相同了。但我会说，我很幸运能在这个时代成为创始人。
你提到在Codex和Claude出现之前的早期阶段，我认为即使是ChatGPT-5级别的语言模型在数学推导方面已经非常优秀。而在纯数学领域，你可以看到它几乎已经达到了AlphaGo的水平。
例如，Navier-Stokes方程的研究被推向了很远的高度（注：此处原文提及Riemann hypothesis，但语境似指Navier-Stokes或类似难题）。我假设在许多经典机器学习领域——毕竟我们都受过数学训练，我是真正的数学博士，花了很多时间证明关于深度学习玩具版本的定理——你认为这些方面是否更容易被AI破解？
相比于另一端的任务，例如构建机器学习工程师的工作：复现论文、进行内核优化或调整SGD（随机梯度下降）。正如Andrej Karpathy在他的Auto Research报告中展示的那样，那基本上发现了许多类似Kaggle风格的技巧。
我认为这个光谱上大概有四个点：一是像数学家那样证明事物；二是更像理论物理学家，试图从真实数据中 formulate 需要被证明的问题；三是像大多数大公司研发工作那样的机器学习工程师；四是与硬件绑定、依赖大型集群且需要固定分布式系统的Infowork（基础设施工作）。
你在这些方面花费的时间更多？也许你可以对每一个进行评论，并谈谈你认为当今的技术能将它们推进到什么程度？这是一个非常有趣且针对性很强的问题。
首先，我认为AI用于数学方面。最近我们确实看到了许多新闻传来，看到这些千年难题现在变得可破解（crackable），这简直太疯狂了。它们过去几乎是不可战胜的，人们常说我们需要再花一个世纪才能解决它们。但有趣的是，现在情况变得非常不同。
不过我认为我也同意一些数学家的观点：大多数这些“破解”主要集中在寻找反例或具体解上。例如，对于纳维-斯托克斯方程（Navier-Stokes equations），你找到了具体的解表明其会在有限时间内爆破。
这些实际上是当前AI非常擅长的领域，因为它可以进行大量的搜索。你可以拥有一千个代理并让它们运行，烧掉一百万美元，然后得到结果。这在某种程度上是AI非常擅长的事情。
但目前AI不擅长的是形成新的公式、思考新概念，或者提出新框架来解释和解读当前局势。在这个维度上，我认为当前的AI还不够出色。
这也是我的印象。即使我开始使用GPT-6（注：原文为GPT six，可能指代未来或高阶模型），它当然非常优秀。但在这一方向上仍然存在差距。人类会感觉：“我有个好主意，但GPT-6只是不断尝试、给出一些想法。”
但它可能仍然不够具有开创性。你还是会想：“为什么这个AI这么笨？”它只是盯着局部最优解，无法跳出局部盆地。这部分可能尚未发生革命性变化。
当然，即使拥有这种强大的计算能力和持续的探索能力，我认为许多数学问题仍然可以得到解决。这是我们预期的事情。也许每两周你就会听到一些大新闻，直到人们感到厌倦为止。
他们会说：“好吧，我不在乎了。”于是会形成一种新的平衡。我们知道在AI和人类之间划出了一条新界限，
顶尖科学家，对吧？所以，呃，那是……呃，我觉得这是机器学习工程师的领域，对吧？也许也适用于内核优化（kernelization），对吧？我认为这些实际上是当前AI、当前的递归自我改进系统能够做到的方向。好吧，所以我们在六月就已经发布了一篇博客文章，展示了我们可以很好地完成内核优化任务，对吧？使用我们自己的系统并取得了胜利。呃，其他……呃，其他的……像人们在一个名为SOLEXEC的Nvidia基准测试中。对吧？当时我们获得了排名第一，而且我们还击败了例如Double AI这样的初创公司，它们拥有专业的GPU工程师。我基本上可以完成所有这些改进工作。
所以我自己实际上是推动该项目早期进展的人，并向公司里的其他人展示这一点：“哦，这很有前景。这真的能做非常棒的事情。”对吧？而且当时我们并没有使用特别强大的模型，是的。然后之后人们说：“哦，这太棒了。”于是我们很多人一起工作，把事情推得更远，对吧？所以我们得到了这个成绩，这是我们引以为豪的。当然，现在我认为越来越多的人意识到这一点，所以如果你查看排行榜的话……呃，那个……那个……很多很多人都在我们之上。但是有趣的是人们看到了趋势，对吧？所以我认为未来会有更多人看到这一趋势。
是的，我认为最近DeepSeek的一位研究人员……对，Infrared（红外），他也写了文章。他写了一篇很好的文章谈到：“我的专长被甩在后面了。”对吧？是的，AI的趋势发展太快了，以至于他不再能享受编写内核代码的感觉。也不再是为了提升性能数字而工作，因为AI可以为你做到这一点。所以这很有趣。我认为这种类型的机器工程师……我是说这项工作肯定可以被替代，至少大部分工作可以由AI完成。我预料到会发生这种情况，而且我认为它已经在发生了。
在许多不同的地方……我们将看到模型迭代速度快得多。还有更强大的内核代码。这就是正在发生的事情。是的，实际上我读过你提到的那篇关于人们感到……失去做他们所做事情的热情因为AI做得很好的文章。是的，这很有趣。同时呢？呃，你有同样的感觉吗？因为目前你正在构建某种东西……试图取代传统的你自己的一部分。传统部分的自己，你对它有什么感觉？
我最近非常忙碌，对吧？所以当我读到这篇文章时，我有种冲动想说：“也许我应该再写一篇来回应正在发生的事情以及我的感受。”但我没时间去做。我觉得……是的，承认这是新的真理，对吧？这是新的局势。所以呃，它不会逆转的。是的，我们可能无法回到过去说：“哦，对，我们应该完全靠双手写代码。”那不会发生。永远不会发生。
所以展望未来，我们会看到越来越多的人使用AI代理来编写代码。但我并不觉得压力很大，因为我认为人类总是可以提升自己（lift it），对吧？尝试在高维空间中思考，在概念层级的更高层次上进行思考。这样你就能发现AI有趣的问题。实际上，我觉得在日常工作中寻找AI的弱点本身就非常有趣。所以我认为你在日常工作中的AI中发现的东西越多……你发现的问题越多，那么你就越有价值在未来。
这是从经济角度来看的。但从个人激情的角度来看，这也非常非常有意思。所以如果继续练习的话，我认为你将始终领先一步。而且看看现在的关键区别仍然是人类拥有这种经验学习、非常快速的学习技术，对吧？所以即使人类以前没见过这些细节和签名……通过仔细研究并与AI互动、尝试构建项目并解决问题。然后非常快速地你可以发现：“哦，那里有一些弱点。”那么你的AI就无法做得很好。
于是你尝试比AI学得更快。在人类身上这实际上是完全可能的，有时候甚至觉得即使GPT-6也太愚蠢了。所以你会想：“哦，对，那仍然是我做得不够好的地方。”但我仍然可以做得相当不错。当然，这是一种无限循环，对吧？所以当AI变得更强大、更难发现问题时……人类可能会……人类可能在定义问题时面临更大的困难。但同时，人类可能认为我们应该向上走一个层级（one level up）。
去引导AI朝着人类希望它做的方向前进。所以这可能会持续很长时间。鉴于当前的AI在尤其是连续学习方面仍然做得不好，对吧？以及在数据高效学习方面……这些是人类真正擅长的方向。是的，实际上这非常有趣。我花了很多时间思考这个问题。我认为在这个对话中以及作为研究人员我们确定了两点：一是……我想即使是GPT-6，它提出的问题很多时候都很无聊。
就像它没有那种好的心理模型去提出自动化的好问题（auto box question）。是的，另一个更像是持续学习的问题。当你在某个时间点运行AI的测试时计算（test time compute）……它会停滞不前，而人类会从经验中学习、从试错中进步。有时候它就像突破到了一个新的层次。啊，你认为这两个问题是相互关联的？还是说它们是当今智能中两个独立的弱点维度呢？
是的，我认为它们确实紧密相关。我想……呃，是的，我认为你指的是那个有趣的实验：你有一组AI让它们解决一些问题。前30……
几秒钟、几分钟或几小时，AI的进步速度远远快于人类。但在经过许多小时后，AI就会陷入停滞。没错，我也曾在某些阶段卡住。基本上，进展会在某个时刻进入平台期。但人类总是能有所突破，进行跳出框架的思考。我在实验中也看到了同样的现象。也就是说，人类会检查AI在二十四小时内获得的结果。
我会说：“我试过了所有这些东西，都不行。”但人类可能只花五分钟阅读这些结果。然后他们会问：“你为什么不试试这个？”接着AI会说：“好的，好主意，试试看。”情况总是如此。即使是GPT-6也是如此。我认为这是目前的瓶颈所在。
如果我们能找到解决之道，发现新的AGI算法或能像人类一样快速学习的新模型——拥有许多不同且多样的学习算法或机制，那么AI的智能水平将变得强大得多。届时我们可能会称之为AGI或UASI。目前我认为AI与人类之间仍有巨大差距，但另一方面，在许多重复性工作方面，我们已经看到AI表现出超人的能力。
如果一项工作具有重复性并成为人类的工作，那么就会从不同地方产生无限量的样本。样本数量会不断积累，直到超过某个阈值或增长极限。此时模型可以泛化并执行该任务，人类将不再需要从事这项工作。
你认为这需要新的架构创新吗？当你与JT等人讨论时，目前的假设可能是基于Transformer的方法加上预训练和强化学习（RL），但这可能过于僵化。SSI也有类似的假设，认为需要在预训练和强化学习之外找到新的扩展方向。我大体上同意这一观点。
我认为Transformer在长远来看可能不是正确的方向。鉴于大家都在转向Transformer，因为没有其他想法，同时硬件也都在向自注意力机制和前馈神经网络（FFN）收敛。这导致新的框架和架构很难脱颖而出，使得情况变得有些棘手。
因为我们都陷入了局部最优解中。但如果有人真的找到解决这些问题的方案，就会出现下一次突破。历史上曾发生过一次，比如Transformer的出现。2012年至2016年间，整个行业主要使用的是卷积神经网络（CNNs）。
我记得当时斯坦福的一位博士生韩松，他们的创业公司就在思考：我们能否为CNN构建专用集成电路（ASIC）？当我在Google Brain从事Transformer工作时，主流只有两样东西：用于视觉的CNNs，以及只能记忆约一百步上下文的循环神经网络（RNN）。
我们提出Transformer的初衷，主要是为了解决遗忘问题，将上下文长度推送到一百步之外。当时没人能预见Transformer能将上下文窗口扩展到一千万步之多。也许下一个方向只是略有不同，但人类可能会集体推动一个新的方向。
我认为新的架构最终会脱颖而出。人们一直在尝试这一点，即使起初效果不佳，大家也会花时间在上面改进，发现其实相当不错。因此它会逐渐显现出来。这需要一些时间，但它终将出现。
一个例子是Muon优化器。它在Adam占据主导地位十年后出现。当时人们即使在分布式训练不友好的情况下也尝试使用Muon，并在单GPU上测试其效果。后来人们意识到它非常有效，于是开始帮助优化并行化策略，使其更高效。
最终，它成为了优化的主要方向之一。我认为这种情况会发生，但需要时间。真正的问题是：我们需要思考的下一个事物是什么？与其谈论高层概念，你提到了几种不同的技术组件。但在考虑产品时，你们是否先选择特定领域聚焦？
目前我们仍然比较通用。实际上有人负责模型训练管道的不同方面。我们正在探索许多不同的路径。当然我们已有一些商业构想，但在这个播客中我不会先透露。我们要确保正在做令人兴奋的事情，直到真正可行并可以宣布为止。
沿着我之前问题的思路，大致有两个方向：一是推动机器学习本身的发现，像“ bitter lesson ”（苦涩教训）之前那样，回归理论家角色，通过新实验创新；二是工业机器学习方向。
我们需要更好的验证系统，然后一路推进。机器学习中其他科学问题的下一个环节是什么？例如选择内核优化（kernel optimization）仅仅是因为它易于基准测试。也许下一步是分布式随机优化，这是继其他优化工作之后的又一领域。
对于某些可以量化的基准测试，情况尚好；但对于附带统计、数据高效机器学习或泛化能力等其他方面，很难设计出能够推动进展的指标。那么，您认为未来两年内我们可能会在哪些方向上看到重大突破呢？
实际上很难说。我认为从行业层面来看，机器学习方面，人们会尝试各种方法，使系统运行得更好、更高效。这部分毫无疑问，大家投入时间后，会看到更多高效的产品问世，这很重要。
而在研究层面，即新思想和新概念方面，随着AI越来越强大，人们也在积极探索。虽然目前我们尚未看到明显的成果，但许多有趣的想法正在涌现，大家仍在探索中。
例如，查看关于后训练（post-training）的论文就会发现：去年大家都在研究强化学习，而今年则转向了在线知识蒸馏（OPD）。这是一个趋势，人们意识到OPD在现实世界的后训练任务中非常有用。
我们常提到“人在回路”，对于编码等基础工作，仍有人员或测试方法来确认结果正确。那么对于那些困难的研究领域，你们如何确保最终结果是预期的呢？
我认为有多种方法。可以设计一些指标，即使这些指标不直接相关，也可能非常有用，这是一个有趣的切入点。
例如，我们六月发布的问题之所以被选中，是因为从内核化和五分钟预训练的角度来看，它们很容易评估。你运行、探索后发现了一个很好的内核，它满足所有正确性检查且速度更快，这就有了清晰的解决方案。
但展望未来，我们需要将其他研究应用于AI的长期场景，这时找到最关键的机会点会非常棘手且具有挑战性。
我们不能仅仅等待两周，然后凭一个数字就判断模型好坏。有时候两周还不够，在这种情况下如何评估？这是一个问题。
您认为这更多是关于中间步骤的奖励归因吗？还是更多关于让AI能够自主创建可验证的基准测试呢？
我认为创造环境是有趣的，比如开放试验。这基本上属于“AI for AI”的方向。我也认为可解释性很有前景，即理解AI本身，这可能是一个更好的方法。
正如我常说的，可解释性之前缺乏落地应用，这可能是它发展缓慢的原因。但现在，如果是“AI for AI”，且你没有足够的人力去阅读所有探索路径时，可解释性作为指标就变得有趣了。
我很好奇，上次谈话时您还没开始创业，现在几个月过去了。与您最初的想法相比，您对当前工作领域和创业者身份的看法有何不同？
我都看到了两面。我认为很多事情是预期的，也有很多事出乎意料。让事情变得有点挑战性的因素在于：初创公司的节奏非常快，有时比预期还要快。
此外，你必须意识到创业意味着大量的所有权意识和主动性。这对像我这样在大公司待了十几年的人来说非常有趣，因为人们习惯了有明确的职责范围，“我只做我该做的”，剩下的交给开发人员。
但在小公司或初创企业中，特别是作为联合创始人时，我们需要承担责任确保公司发展良好，在不同场景中发现问题并尽力帮助。如果我们还停留在以前大公司的思维模式中，公司就无法起飞。
如果我只是表现得像在大公司一样，几乎可以肯定公司会倒闭，因为那时你不是能帮助公司在困境中生存的联合创始人。
我认为在这个阶段，我们经历了一些关键时刻。我非常积极主动，这实际上挽救了许多局面。我说这是一种很有回报的经历，但也有一些是我没预料到的。
当然，有些东西是预期的：进入初创公司意味着必须亲力亲为、深入一线，确保你知道自己在做什么。这是我加入前就准备好的，这确实很重要。
而且我会说，创始人越亲力亲为，公司状况就会越好。
如果你停止这样做，很快你就会发现情况与大公司无异。初创企业将面临困境，因为它们资源有限。如果同时存在官僚主义和多层次的管理链条，事情几乎肯定会进展不顺。因此我们需要确保这种情况不发生，这也是我所预期的。
关于AI代理的使用，我认为这对小公司至关重要。如果以高效的方式使用这些工具，效果将天差地别。在AI研究方面，一个有趣的现象是：如果你计算租用云端GPU的费用以及运行每次实验的成本，你会发现相比两家前沿大厂，你的资金并不充裕。你们究竟如何进行研究？
我想有一种方式是利用云端代码和Codex来开展小型的RSI工作，即执行自己的研究议程。另一种方式当然是推动本地推理模型的运行，这需要大量投入基础设施，采取“要么做大、要么回家”的策略。你们如何看待这一点？
我们筹集了相当可观的资金，因此不满足于仅做业务优化。长期来看，这让我们生存变得棘手。如果所有资金都流向OpenAI的流量并调用其API，投资者可能不会高兴，这并非正确做法。因此我们也训练自己的模型，同时推进多个阶段的模型开发并取得了实质性进展。
我们深知如何让模型运作良好并进行部署，同时也致力于让研究工作顺利进行。这两者都很重要。就支出而言，GPU价格高昂。如果融资不足，最终可能只能依赖调用API，这会非常棘手。但与此同时，这笔资金的效率和有效性远高于比特币。
在大公司里，人们可能会说：“我会分配一千张GPU，让它们整晚运行。”他们并不在意，因为需要休息且用的是公司资金。但在小型初创企业中，人们对此更为谨慎。我们的集群利用率很高，许多基础设施工作可以自行完成。我自己也做了大量基建工作，编写的代码行数众多。
一旦开始这样做，你就会意识到有许多事情可以变得更高效、更有效。因此情况会变得更加顺畅和快速，这与大公司的行为模式截然不同。在AI研究领域，你认为最困难的部分是什么？你对这个问题的未来有何看法？解决它需要多长时间？
你是指AI研究吗？我认为这不是一个封闭的领域问题。例如，围棋是一个封闭领域的难题，因为规则明确且动作空间有限。最终情况会趋于平稳，因为AI比人类强大得多，而游戏的目标仅仅是获胜。如果你无法赢得比赛，那就毫无价值。
但对于AI研究或更广泛的研究而言，有许多可追求的目标，目标是开放的。你可以探索不同的问题、做出各种假设并尝试不同角度的切入点。这是当前AI尚不能很好地处理的部分，也是人和AI都难以涉足的方向，因为问题过于开放。
在AI提出解决方案之前，无人知晓人类能否给出答案，也无人知道正确的标准是什么。标准和目标是同步形成的。在这种情况下，利用AI来解决这类问题会相当棘手。因此我认为探索和研究前沿始终在移动，不断转向人们尚未征服和探索的新领域。
我设想纯数学也会面临同样的情况。一旦千禧年难题被攻克，人们会很快意识到某些问题AI难以胜任，从而需要更强大的AI来解决它们。我也曾在 recreational 层面尝试过黎曼猜想相关的测试，使用GPT-5.6范围的模型。
我发现令人沮丧的一点是：你可以将系统设计为人机协同进化的系统，人类可以像机器学习研究者日常所做的那样，从AI的经验中持续学习。有时基础模型的改进似乎比努力进行提示工程带来更大的飞跃。这几乎是两个不同的提升维度：一个是工业界的方法，即大规模扩展并强化学习；另一个则是人类独特性的体现。
我认为未来会有两个不同的方向，人类的独特性将体现在能够提出有趣的问题或发现引人入胜的研究点上。
你想解决的切入点，对吧？这就是人类的独特之处。人类可以提出新问题、新角度，而AI很难穷尽所有可能的方向和视角。这可能就是两者的区别所在。但你认为机器学习研究在未来两年内是否会取得突破？是的，能够探索问题空间并跳出框架思考。我认为顶尖的机器学习研究员能做到这一点，发现新的可探索领域，但目前的AI本身无法做到独立思考。
不过，一旦研究人员明确研究方向，借助AI的帮助，他们应该能产出有趣的结果。在AI研究领域，你对未来一年的预测是什么？我认为现在很难预测，因为每年、每月甚至每周的变化都很重要。我预计明年在AI研究方面会有大量论文由AI撰写，许多想法和研究项目将由人类与AI共同完成。
在出版物数量、代码库和优秀项目的增长上，你将看到指数级的爆发式增长。我不确定人们是否还会像以前那样阅读论文了。也许偶尔你会读一些优秀的论文，但可能会有自动系统为你提取信息，以便你进行阅读。这将涉及多层的信息提取，以获取核心思想和关键数据。
人们也会找到展示研究成果的不同方式。你呈现结果的方式将截然不同，这对于他人识别你的工作至关重要。这很有趣。例如，我今天看到一家中国公司——小米，他们正在直播完整的训练过程，这很有意思。未来可能会有更多此类事情发生。
人们试图在各地吸引注意力，让他人了解他们在做什么。这将在稍后成为常态。希望明年我们能取得良好的进展，例如在持续学习、高效学习以及AI for Science（包括AI研究自身和AI科学）等领域取得突破。
我有一个有趣的问题想问：从经济角度看，从现在到明年，如果排除机器学习和纯数学（我认为纯数学已相对成熟），在AI for Science领域外，排名前五的垂直应用领域是哪些？
我认为纯数学尚未完全解决。就AI与人类研究员相比的能力而言，作为一名拥有扎实本科基础且攻读纯数学博士的人，我甚至无法理解许多证明。因此，我认为这确实达到了类似AlphaGo的里程碑时刻，特别是在解析数论或可计算的方程等领域。
对于材料科学、生物和药物发现等其他领域，你认为哪些地方有足够的验证环境？如果问题具有确定性且易于在短时间内检查结果，那么当前的技术结合后训练足以在明年看到突破。按经济价值排名，我认为材料设计是一个有趣的领域。
如果开发出性能优异的新材料，其经济价值巨大。当然，你需要进行评估，可以使用DFT等模拟手段，但模拟可能无法提供绝对的真实情况。因此，你必须实际制造设备和材料并检查其属性，这需要更高效率和高计算强度的模拟。
但这肯定比药物发现更快。如果药物需要经过所有审批流程才能对人类实际有用和适用，那么材料设计可能是一个可行的方向。此外，内核优化以及软硬件协同设计也很有趣且可验证。目前的AI在这些方面也很强大。感谢这次精彩的讨论，再见。