要不要帮助大家摆脱一下裁员羞耻？被裁就是公司高层做的决定，让你去向广阔的天地进发。Coding飞速发展背后技术上的进展是什么？我们找到了方式，怎么样把数据把宇宙模型训练更强？最近那个Claude特别火，这个是两个月前没有想象到的。基模还在快速进展吗？速度到底有没有放缓？这是个很好的问题，就是我们还是要找一些Scaled之外的东西。Meta最近这三年到底经历了什么？每一层往上会爆出来的东西。都会相对来说把一些好话说的更好听一点，整个团队的核心人也会过高估计整个项目的进度，这个过高估计会持续到某一天模型正在放出去之后发现问题。二零二六的当下，大模型这个领域的真问题有哪些？说实在的，现在技术上的创新很多时候都是试出来的。大语言模型来之后，它需要榨干所有的资源，因为有资源上的限制，会导致很多的问题。人和AI到底为什么能学懂东西？数据都是一样的，只是说关联过程中突然出现了一些对关联本质的理解，是一个新的结构。什么这个结构能够解释之前关联的所有的过去的历史？这个时候，人呢会觉得这个是一个好的理解。你有一篇论文，名叫The Path Not Taken，科研品味它究竟是什么？首先我很开心说这个名字被挑出来，因为这明确是我起的。现实世界里面有很多条路可以通向目的地，有一条路是你自己特别喜欢的。做一个人，他必须要有一个自己能够bet on的东西。这个bet on呢，应该说是构成一个价值的所在。

欢迎田老师啊！大家好，我是田渊栋啊！我现在在硅谷，被微博邀请过来做一个有意思的访谈，我也挺期待微博这边的一些问题。二零二六年的第一天，我看到很多人在转你的二零二五年度总结啊！写这篇文章的时候，您在想些什么？啊！这篇文章在写的时候，首先第一个，我当然当然是抱着一个完成任务的态度吧，因为我每年都会写总结啊。其实写写的时候也没有想到它会那么火啊，最终呃发出来之后，还很多人愿意看，就我觉得还挺开。从二零二三年一直到现在啊，AI越境的三年其实是很多人被危机感和迷茫感笼罩的这三年。您是华人顶尖的AI学者，也面临着被Meta裁员这样的情况，要不要帮助大家摆脱一下裁员羞耻？

呃，在里面其实就说过这个事儿，裁员这件事情，大家可能会觉得，哎呀，我被裁了，我不太愿意跟别人说，我觉得没有面子。但说出来的话。呃，大家其实也会减少对这个问题的焦虑。大家会觉得啊，我这波啊很厉害的人都被裁了，那我也无所谓，对吧？事后是有一些同事在私信里面有感谢我啊，他们跟我说啊，感谢你把这话说出来啊，因为像去年年初啊，我们其实已经裁过一拨人啊，当时裁的时候，公司里面是直接说的，这次是因为performance based，其实就是把它当成绩效不好的话，你就被裁掉。那么，其实这样的说法其实不是对员工不是特别好啊，因为对员工来说，如果背上这个帽子说啊，你是因为绩效所以你就被裁了，那接下来他怎么找工作？啊，这是很大的问题。

如果给那些有裁员焦虑、恐惧和羞耻的普通人一些建议的话，你会给他什么建议？这是很好的问题。嗯，我觉得一个是做好准备吧。如果大家觉得一辈子在公司里待着呢，可能。其实这不是一个好的预期。我觉得以后，特别是在CS这个方向啊，在写代码或者说做软件工程师这个方向上了，嗯，应该说将来只会说公司要的人会越来越少。以后AI非常厉害了，啊，那AI代替人了，越来越多了，那那个我们大家怎么办？所以最终还是每个人还是会要有一个准备吧，就是知道自己如果离开公司啊，将来要做什么。然后有什么目标，有什么想法啊？愿不愿意自己打算去做？啊，如果有这个计划之后呢，那其实并不怕啊被裁啊，因为被裁之后其实就是公司帮你做了决定啊，说让你去向广阔的天地进发。如果很天真的期望说，我永远会在公司待着，然后公司保护我的话，应该说这个这个愿望不太可能会实现吧。以后可能会越来越压压力会越大。

在公司里工作像一个笼中鸟，如果公司把你裁掉的话，你就有机会离开这个笼子，广阔天地任你飞。你是这个意思吧？对，其实是这样。你在工在久的话，你可能认识的人和构成的关系都比较固定。如果你没有什么能动性的话，如果是刚去的公司的人的话，就听老板就行了，老板说什么你就做什么，根本上不用想这件事情做的目的和意义。我只要把事情做熟，等着哪天升职加薪就行。啊是比较简单的，当然等到你升职升上去之后呢，你慢慢会想啊这个事情对整个部门有没有什么作作用，整个对这工作有什么作用，可能会有一些想法啊，但是最终这想法其实也不太容易能够成现实啊，最终还是听你的那个直属上级的。一些一些建议啊，其实没有太多的空间啊，可以给你发挥。

大公司有很大的问题是啊，有件事情我要做了，这件事情是不合规，这件事情是不是可以保证自己没事儿啊？然后再去请示各种各种地方的人，然后看啊啊，这个事情可以做，那我们再去做它啊。可能说如果这件事情没做成的话呢，第一件事情可能说啊，这件事情不是我的责任，大概是这样的一个思维方式吧。如果一一个人说我真的想把这一件事情做成了，从头到尾都做成。呃，这个事情呃，可能在小公司里面比较容易做到啊，在大公司里面就不太容易，可能需要牵动很多方面的利益。一个人往往精力有限啊，他很多时候会发现边界，这件事情要让谁去做？这个人有别的事情要做啊，他没有这个时间。那个人说啊，我这个这个事情不行啊，因为我老板不同意啊，所以最终你可能会发现你在一个。框架里面框住了，这个框里面你就只能做你能做的事情，其他事情你也管不着，你也不愿意管，也没这个时间管，大概是这样的一个状态吧。所以我可能我的心气和我想做的事情啊，和我能做的事情之间是脱钩的。

我有比较切身的体会，比如说很早以前，我想建一个啊，从头到尾做一个大拉系统出来，一开始是可以，二零一六年到一八年的时候差不多是可以，你可以自己做一个大拉系统。我自己很多时候是一个人建的啊，一个人build。啊，但是之后呢，就发现没有那么容易行得通了。所以，正是从Meta离职之后，是有那种飞出笼中的感觉吗？还行吧，至少会发现天地还是比较大的。从去年十月公布了自己被Meta调研的消息之后，这三个月里面你都在忙些什么？其实很忙嘛，有很多事儿要做嘛。当然，第一个事情我把我手上的文章做完，创业路远难也中了啊，我觉得挺开心的，很有意思。我把我的工作一开始写是Meta affiliation，现在变成了Meta affiliation再加上Independent research，其实后面那部分有些工作呢，其实也是需要卡的啊。但是呃，我正好电脑家里面有一台四零九零的机器。啊，其实可以跑东西，嗯，而且其实也跑的挺挺挺挺多的啊。最后凭着自己就可以把事情事情做完。

另外呢，就说各种各样的那个交流机会。一开始呢，就有很多公司来找我，比较有名的一些公司吧，啊，过来找，然后啊问我要不要来，要不要去啊，有很多一些面试的机会吧，有一些聊天的机会。最终呢，我还是选择自己去创业了啊。对于我现在是一个公司的一个founder。啊，当然这公司的名字我就不说了，现在还是保密状态。成为创业者之后呢，应该说，呃，整个思路是不一样的。钱有了之后，你得自己去做，啊，做完之后有没有什么问题，然后去改进。这种情况其实跟我以前单独一做做文章就很相似。这个想法和这个念头和整个工作的完成都是由我一个人来来负责，整个过程效率应该说比较efficient。同时呢，就是我必须啊保证这个想法和念头呢，应该是都是都正确的。每个人自己就是一个小闭环。那对对对对，但是如果这种闭环呢很快的话呢，你其实快得到反馈，快知道自己的错不错在什么地方。怎么样去改进，啊，所以这个闭环其实应该说是非常的爽的。

所以三个月不同的交流当中，对于中美AI发展氛围有什么具体的感受吗？共性大于个性吧，应该是这样。大家都比较焦虑，希望能够把事情做成，就想知道最近AI发展到什么程度了，现在AI能够给人带来什么？我们现在这个方向是不是存在被AI吃掉的风险？这样的一些问题吧。大家都会希望能够找到AI的方向，比如说啊，什么才是下一个框架啊？什么是超过Transformer的方法？什么样的方式能够继续做继续学习？像最近有些比较火的方向，像Continuous Learning永联学习推理怎么能做的更有效率？什么才是下一个架构啊？什么样架构是更好的？比如说Google的Nested Learning新的框架有有没有有没有效果？有没有有没有前途？这样子一些问题吧。当然，这个是比较偏模型端的啊，应用端还是看那样的应用模式最终是能够赚钱的啊。这个是讨论一个比较多的一个问题，因为今天应用端很新做出来之后，是不是过了两个月啊，大模型的能力变强了之后呢，应用端这部分就被吃掉了？这个都是一些很难界定的问题吧，会有一些建议和想法。

比如说，人的一些比较核心能力，有很少的数据能够找到内在的规律啊，内在逻辑那部分的那个能力呢，其实现在还是很难被AI所取代的。但是，一些比较外围的能力，调用工具的能力啊，怎么样？快速的在不同的问题上切换这样的能力，这些东西其实容易被AI被取代啊。应该说从去年十二月份到今年一月份，那就仅仅一个月的时间，有很多变化。最近讲那个Claude特别火，这可能是大家一个很有意思的关注点。发现啊，突然之间这个AI的Agent那么厉害了，能够自动调用所有东西啊，能够给你做很多的呃操作是吧？让它就是成为一个管家啊，这个是大家非常惊艳的一个。应该说这个是两个月前肯定还没有想象到的。另外一个很大的一个变化呢是，就是AI coding agent啊，coding的这个tool现在变得非常强。我自己也用了很多的AI coding tool啊，因为呃我之前在那个Meta做总监，写代码的时间没那么多啊，大部分时间是沟通交流。当然我自己有一些单独做的工作，那是我要写代码的。但是总的来说呢，我没有写太多时间代码。但是，呃，我现在就离开了Meta之后呢，我很多时间自己写代码。那么这个时候呢，正好赶上了我Code的，赶上了这一波。我现在发现我不用写代码了，我就会回到了以前作为一个管理者或者作为一个老师，啊，怎么样指挥学生组的这种感觉。当然，他们有自己的特质吧，因为你要跟人相比的话呢，他二十四小时都待命，但就是会犯一些非常愚蠢的错误。有些错误是人肯定不会犯的，但是AI就会犯，所以要去。啊，花时间去的去看啊，看有没有问题。但是另外一方面，他们非常勤奋，你可以让他挂机挂几个小时去做一件事情，他不会有怨言啊，他只会把事情做好。

您觉得coding agent飞速发展背后技术上的进展是什么？基模还在快速进展吗？对，我觉得基模在快速进展是是一个。另外是数据，我们找到了方式，怎么样去把数据帮你去收纳去模型训练呢？更强，这个可能是最近比较重要的一个点。它其实有个拐点，就是一开始所有代码都是人写的。AI要去做人的能力呢，一开始不太觉得会，但是觉得AI越来越强。某某个阶段之后，代码都是AI写，然后AI的代码很好，用AI写的代码你可以生成新的数据，然后再训练。这个过程在某个阶段是会很快的加速的，因为在这之前啊，代码的质量啊，你没有办法让AI来保证人写的代码它的质量和速度呢是赶不上AI写的代码，所以开始的数据积累非常非常慢。但是等到忽然之间有一段时间是AI的啊代码它质量很好了，那你可以大量生成大量的样本，这样本可以放放回放回模型里面去。训练这样的话，就突然会有一个会起飞吧？数据的飞轮效应是吧？对，一开始数据积累很慢，慢，但是后来数据积累变快了之后呢，模型就变得很好，然后数据积累会变更快。

现在特别被热议的一个话题是，基模成长的速度到底有没有放缓？您怎么看？对，哎，这是个很好的问题。我总觉得我们还是要找一些scaling law之外的一些东西。我不觉得纯粹的按照scaling law来做，能够啊能够达到AGI的水平。但是，对于特定的方向来说，比如说Code Agent，存在一种可能性，说你的模型啊越来越强，可以写代码之后呢，你可以把代码放回模型自己来做训练啊，所以在这个特定的领域上是可以可以做的很好，这个是可能。我们一会儿再聊聊技术问题哈，我还是对您个人非常感兴趣，想先聊聊你个人的经历。你本科毕业于交大，在CMU读博，毕业之后先后加入了谷歌无人驾驶和Facebook的AI研究院，加起来有十几年。能不能先讲讲这几段经历，他们如何塑造了你的世界观？

我是这段读博呢，这段时间对我来说很关键。我当时从上海交大硕士毕业去那个美国，这段时间一一直以来是一个非常内向的。我发言的时候会打结，会结巴，很多人会觉得，哎，这个是书呆子，也愿意抱着书啃，然后也不愿意跟别人去交流啊，大概是这样的一个人吧，啊，但是读博这段时间对于我个性的塑造也比较大改变，因为做科研呢，一个很大的需求是你要跟别人去交流，你做出来的成果你要给别人受啊，说出来之后，别人会觉得啊，这个东西很厉害啊，然后愿意去跟随你，这就逼着我一定要到讲台上去讲，跟别人去讨论、去聊天、去交流，在欧美这套体系里面，销售能力是非常非常重要的。那么这个东西怎么培养的呢？一开始。可能我不愿意跟别人说话，我愿意自己闷头做，这也是没问题的。但是先把一件事情做好，有一个自己能拿得出手的、很自豪的一个东西，做出来这个之后，跟别人去讲啊，跟别人去去销售啊，这个东西很厉害，你慢慢会锻炼这个表达能力。让别人很快能了解啊这个想法啊，并且去欣赏它。这个过程在度播的时候呢，是一个呃正反馈的过程。过两三年之后，慢慢慢慢我比较自信了，这样的话整个个性就会打开，对成长的着落。承担了会变变得更好，所以谷歌和Meta他们有没有影响你？其实影响很多的。

谷歌算是我第一份工作吧，他们对代码的要求非常严格。就是您有一个有趣的故事，就是比如我们在吃饭的时候就会有人在讨论了，我们注释之后应该有几个空格，有一些人说我们要加一个空格，一些人说加俩空格，有代码的不能规范。当时我会觉得，哎呀，这好无聊，为什么要讨论这些问题？啊，但是确实，作为一个比较严谨的程序员来说，就这样可以让代码结构比较清楚、比较干净，啊，能够让代码有更好的可读性啊。所以当时我也是有点震撼了。我当时也会有很多软件工程的一些比较重要的想法和思路吧。在故宫里面，其实有一个有一次招贴画吧，每次进厕所的时候，你会发现一个招贴画，上面写的是Debug sucks。Testing works，类似就是说，你如果是碰到什么问题啊，你不能抓虫子，浪费你很多时间，编写很多测试代码，预防这件事情发生，相当于把你的那调试过程自动化了，能够让软件架构里面的问题更快的呈现出来，而不是花时间花精力，呃，花个人的时间去做。这个时候我会意识到，很多时候在一个很大的系统里面。个人能力是很渺小的，很多时候就不是说是我自己能力非常强啊，能够把事情做成，而是说你得利用很多的系统上的一些自然的能力啊，让它自然的把事情做好。所以很多问题、很多想法呢，也是很难。在学术界被想到的，当时我也就稍微震撼了一下。我有一些连载吧，啊，有一篇是当时刚进了五个无人车组，当时也挺兴奋的。我当时被要求做一个东西啊，这个东西也比较难，我讲了很多算法上的改进啊，但是真正的一个商业系统可以落地的一个系统。它的算法上的改进呢，不一定是很多的，有很多的系统上的改进能够把这个问题绕过去。其实这个让我印象也很大。就在这之前，我可能会觉得啊，一件事情一定要通过比较复杂的算法和比较复杂的数学把事情做做完。但是你后来会发现，呃，现实世界里面有很多条路可以通向目。啊，每条目的地的方法和思路是完全不一样的。这个当时给我很多视野打开的地方。因为你刚才讲了，debug sucks，testing works和系统的力量，会不会让你意识到，可能我也并不想只做一个研究人员？啊，我肯定还会觉得有很多事情可以学的。当然，只是开了口子，我还是觉得研究很有意思啊。

当时为什么离开那个谷歌无人车组，也是因为还是想做一些研究吧，特别是深度学习当时刚起来啊，但是那个时候我也没有这个资源，一个是卡不是很多啊，另外另外像比较难的研究问题，一般嗯谷歌内部呢可能会让那些级别比较高的人啊他先做，这样呢就像小兵一样做一些比较简单的一些，这样的话呢我没有这个时间去锻炼我自己在更新的范式上的一些经验了。所以你当时去Facebook就是因为你对深度学习感兴趣？对对，Fair是Lei Kun一手创立的，你有接触过他吗？啊对对对，我跟他关系也挺好。之前有段时间，像二零一七，李坤还到交大来讲座，当时也是我我介绍的吧。他是个什么样的人？他是一个呃很强的研究者，他有很强的很坚定的信仰，觉得一件事情一定是做成的啊。他就是花很多时间一起去做。其实我很敬佩他当年的坚持吧。其实我在二零一零年的时候，我见过他一次。那个时候深度学习还没起来啊，那个时候我还是学生。那时候是他也是非常卖力的在推广他的深度学习。当时神经网络嘛，嗯，我还记得是有一次他开一个

田渊栋回忆在FAIR参加神经网络研讨会时的情景，当时会场萧索，仅前排稀落坐着十几人，李坤独自演示神经网络效率。相比之下，隔壁讲特征工程和支持向量机的研讨会人山人海，因为当时主流认为线性分类器更可靠，而深度学习被视为不可行。李坤坚持多年终获世界认可，被视为技术上的精神领袖。他后来虽担任研究员经理，但因不愿从事管理事务如打绩效，转而专注于技术倡导。

李坤在2017至2018年间倡导自监督学习，认为人工标注数据昂贵且辛苦，应让数据自我学习。这一方向成为Meta在LLM领域立足的重要基础。Llama项目的成功源于一个原从事定理证明的团队临时转向大语言模型训练，这种自下而上的尝试为公司赢得了先机，其故事与OpenAI早期发展相似，体现了在缺乏理论指导时，通过实验试错寻找突破的创新模式。

FAIR的组织结构并非自上而下，而是由研究员自发发现方向，李坤作为精神领袖提出想法，大家自愿追随或选择其他路径。然而，随着大语言模型兴起，资源向主流方向集中，导致其他多元探索领域资源被挤压。硅谷许多研究员转向LLM也是出于资源竞争的无奈，这种集中化使得原本多元化的学术氛围变得单一，牺牲了其他前沿方向的探索机会。

田渊栋提到雷军曾引用Alexander Wang的话，强调不应命令研究员做什么，因为研究员需要独立方向以发挥最大产出。自上而下的命令式管理往往因高层缺乏细节理解而趋同，压缩创新空间。Meta内部曾有多个团队同时研究AI，包括产品组和广告组，只要有资源即可开展，如长上下文推理研究便是多方合作的成果，显示出资源分散时的多元活力。

在资源分配上，大部分算力曾集中于LLM预训练，推理模型出现后逐渐向后训练倾斜。这种资源集中使得自下而上的创新可能性降低。杨立昆曾质疑生成式模型是死胡同，主张AI应像婴儿一样学习。田渊栋部分认同此观点，认为人类学习高效且数据需求少，大脑仅需20-30瓦功率，通过少量数据快速领悟，而非像LLM那样依赖海量数据和算力，这佐证了寻找新训练范式的必要性。

尽管认同杨立昆关于学习效率的观点，田渊栋不赞同LLM仅是“鹦鹉学舌”的说法，认为模型学到了反映现实世界的本质表示，只是过程效率低。关于AI时代的主导者，田渊栋认为“AI原生一代”年轻人更易融入LLM思维，因无需学习旧范式。但资深研究者因见证过思维方式的变迁，更能理解何时切换范式，而年轻人可能过度依赖Scaling Law，缺乏应对下一波突破的思维弹性。

回顾Meta追赶LLM的过程，Llama系列初期表现优异，尤其是Llama 1作为首个高质量开源模型获得学术界拥抱。但Llama 4因急于追赶DeepSeek等竞品，采取激进策略，导致基础模型能力下滑。田渊栋指出，快速迭代若缺乏技术人员话语权，易导致为了赶进度而牺牲质量，出现“糊弄”现象。竞争压力和内部紧迫感促使团队采取更激进手段，影响了模型发展的稳健性。

田渊栋参与Llama 4项目后，研究思路发生转变。产品线组织强调分工明确和例行操作，如数据清洗和参数监控，而非前沿探索。在大模型训练中，复杂调参和花式方法因耗时且在大批量数据下效果边际递减而被简化。目标函数的复杂性受限于内存和稳定性，训练现象分析也趋于简单化，旨在保证梯度稳定。这种工程化逻辑与以往注重理论创新的FAIR模式截然不同，反映了大规模模型训练对研究方法的重塑。

田渊栋透露，其团队规模从几十人扩充至两三百人，这种大规模扩张得益于高层的强力推动。然而，庞大的组织架构也带来了“报喜不报忧”的隐患。随着汇报层级增加，信息在传递过程中容易被美化，导致高层过高估计项目进度，一旦模型上线发现问题，整个逻辑可能面临推翻。为杜绝此现象，团队需保持技术驱动，避免过度关注截止日期或数字指标，而是深入挖掘细节以形成相互理解。相比之下，部分大厂因只看数字，导致底层数据造假，模型看似优秀实则泛化能力差，如同教笨孩子，投入巨大却难见成效。

真正的突破在于培养模型的“优等生”特质，即通过深层思考逻辑而非单纯记忆答案来提升泛化能力。田渊栋选择创业而非加入大厂，正是出于对大厂内部政治动荡和战略短视的担忧。大厂高管常受外部新闻冲击而频繁调整方向，导致团队资源浪费。尽管Google等公司仍具管理奇迹色彩，但其高管若缺乏技术判断力，易被媒体误导。相比之下，技术人员具备更强的鉴别力，能识别媒体宣传中的水分，从而在快速变化的AI浪潮中保持定力，避免目标频繁变更带来的内耗。

田渊栋的研究历程映射了大模型行业的发展：从早期应用导向的强化学习，转向对神经网络本质的理论探索。2018年后，他专注于神经网络的解释与分析，虽起步艰难，但通过长期投入，在自监督学习和非对比学习方面取得突破，并获ICML最佳论文提名。2022年，他将深度学习与优化结合，探索非线性目标函数。随着大模型兴起，2023年起他转向推理优化，提出Streaming LLM，通过稀疏注意力机制实现无限上下文长度，显著降低计算复杂度，为后续长文本分析和内存效率优化奠定基础。

2023至2024年间，团队利用强化学习优化大模型推理，发现引入思维链可大幅提升效率并减少数据需求。2024年，他们提出混合思考模式（Dual Form），比主流模型早一年实现快慢思考结合，并通过混合训练提升效果。同年年底，团队发布隐空间推理（Latent Space Reasoning）工作，探索用连续向量替代Token进行推理，模拟量子叠加态结构，被视为该领域的开山之作。这一系列研究不仅推动了技术边界，也为后续AI推理效率的提升提供了理论支撑。

2025年，田渊栋加入Meta，并与合作者利用ChatGPT-5加速研究，仅用一个月完成原本需半年的工作，预示着AI研究进入加速时代。他认为，AI与人类智力的结合已在某些维度超越人类历史总和，但真正的智能仍需看AI能否独立发现新规律。目前，AI主要作为辅助工具，尚未达到完全自主智能的水平。在效率优化方面，团队针对Self-Attention的平方级计算瓶颈，提出稀疏计算策略，如Streaming LLM和H2O算法，通过保留关键Token降低复杂度。此外，还探索了低秩激活预测和查表式FFN层替换，以进一步减少内存负载并提升推理速度，为大规模模型的高效部署提供了新路径。

AI主要放在神经网络中，表格可以很大，但每次载入内存非常少，从而节省内存，且不影响速度，同时具备一定可解释性。那么如何提高效率？斯坦评论专家称，这一思路与DeepSeek最近的Ingram有一定相似之处，今年该方向会有更多文章出现，这一趋势是正确的。长上下文让模型吸收更多内容，这算是在解决AI遗忘问题吗？遗忘是另一个问题。

我们最近有一篇文章研究遗忘，分为两种类型。一种是让模型固定，将长文档塞入其中，希望模型能看见所有内容，但又希望速度足够快，这存在矛盾，因此需要在稀疏注意力（sparse attention）和线性注意力之间做权衡，或两者结合，以提高效率、避免遗忘并保持速度。我们早期的稀疏注意力文章正是在此方向上的探索。

如果丢弃稀疏注意力中不太重要的记忆，是否能提高效率？人会遗忘，但对重要信息能在必要时快速回忆，即遗忘但可找回。AI目前无此能力，忘了就无法找回。但Agent系统可能可以，如MIT近期的Recursive Language Model文章，将长上下文作为Agent输入，选择性选取部分存入Agent记忆，这是一种方案。

另一种是灾难性遗忘（catastrophic forgetting），即模型权重经优化后可能遗忘旧知识，涉及训练过程。过去的文章逐渐理清了模型训练过程，如让模型在自己生成的数据上训练（unpolice），可减缓遗忘速度。若强迫模型学习未见过的数据，遗忘会很快。

简言之，不能对孩子填鸭式教学，而应让其自我探索。后者可能更像根本没吸收，而非遗忘。后来我们在强制灌输数据后，内部结构发生破坏，导致变成完全记住的过程，而非理解式记忆。几年前我们花精力研究AI为何能学懂东西，我也很好奇。

我一直感觉人和AI最终学到的东西可能一样，只是训练算法或效率不同。人有好的算法，能快速找到本质；AI算法效率较低，需耗费大量算力、时间和数据才能学到类似表示。但学习过程客观存在，AI有较好方法。

将人脑神经网络表示与AI神经网络表示抽出对比，发现二者有相关性。顿悟为何能学得深？因为很多时候是压缩过程，最终发现一个能很好解释世界的表示或理解。一旦有此定义，便认为有概率学到东西。人和AI为何能学懂？本质靠数据本身的结构，因为数据有结构，可被搜索。

若数据无结构，杂乱无章，唯一选择是死记硬背。若数据有结构，则存在算法或方式找到该结构。一旦抓住结构，即可泛化到其他方向，这即被认为是理解。我突然意识到，许多认知跃迁在于我们在网络或物理世界找到信息，并探索到其结构，即信息间的关联性。

是的，数据是一样的，只是在关联过程中突然出现了对关联本质的理解，即新的结构。该结构如何解释过去关联的所有历史？此时人会觉得这是好的理解。您的研究是否涉及神经符号推理？是我研究的一大块，即神经表示与符号表示如何结合。

试图用比喻：讲神经网络时强调直觉或推测，符号逻辑则讲求严谨和推导，一种是直觉，一种是计算？不完全是。符号更多遵从人类严格结构进行推理，好处是有现成框架，如1+2=3无需AI，可直接计算，这是符号。

神经定义则如你所说，更像直觉，不经正常逻辑直接得答案。这两部分互补：直觉用神经解决，复杂推理用符号解决。2017至2022年间，结合文章较多。以前有一篇著名文章叫Neural Turing Machine（神经图灵机），希望用神经方式做符号任务。

2016-2017年很火爆，当时围棋很火，用AI做搜索问题很火。围棋本身是神经和符号推理结合的关键点。我将所有直觉用AI建模，即棋感或第一手怎么下的直觉，用AI做；具体严格操作过程让符号做，这是典型例子。

但后来大家发现，结合方式不如让神经直接做。因为纯神经系统可在数据上使劲训练，数据越多能力越强；但符号推理受限于人花的时间，如要把符号做好，需花大量时间写代码处理各种情况，其效率远低于直接塞数据让神经网络自己找。

这就是为什么神经符号推理系统比不过纯神经系统的原因。火过一阵后，发现没特别有意思的结果，现在大家都往大语言模型走，因为大语言模型是典型的纯神经系统。但我认为未来会有更大趋势，在神经系统中发现符号结构，这是我最近的一些工作。

你会发现特征涌现过程中，涌现结果其实是符号的。有些特殊问题在神经网络训练完后，其内部结构是符号结构，而非神经杂乱结构，它是有序的，此序本身可用符号解释。这很有趣，也许将来会发现，所谓神经表示和人类符号表示是一致的。

即神经表示中有些符号表示是现有符号系统无法解释的，可扩充符号系统最终解释。这很有道理，因为所有符号都是人类想出来的，人类本身是神经系统。以后会有AI定义的符号，过去都是人类定义的。对，可能会有这种情况。

在这种情况下，也许所谓神经表示是一个更高阶的符号表示。它能自我学习、自我迭代，同时兼容以前符号系统，这是一种可能性。这样，所谓神经符号综合系统就不存在了。据说硅谷大街小巷都在谈论自主学习，但定义似乎不同。

自主学习与强化学习的本质不同是什么？A就是在自己环境中自己找到新信息去学习，这有点像强化学习。与强化学习不同，可能在self learning过程中，reward function与以前不一样。以前强化学习是人工定义奖励方式，如摘十楼果子就赢，或战胜对方。

但self learning可能是让模型自己定目标，定完目标自己去找。这概念以前也出现过，2017-2019年强化学习火时，但局限于具体目标。如之前提到的HER（Hindsight Experience Replay），在进行replay时，每次模型处理到从未见过的新位置或状态，将此状态作为目标，一点点扩充学习边界，最终边界会触碰到真正想学的目标。

这篇文章当时挺火，很多人想做。历史会有轮回，每隔一段时间有新想法，可能与以前想法相似，但现在工具不同，我们用大模型，可能结果更好。你之前说过在菲尔最大的收获是科研品味。我也发现你论文命名很诗意，如The Path Not Taken，用了诗人Robert Frost的The Road Not Taken的变化版。

能否形容一下科研品味究竟是什么？首先，很高兴你挑出这个名字，因为名称确实是逻辑的。对，还是要有一个自己的想法，或自己一些逻辑去思考问题本身。有些事情不想做，有些事情想做，但必须以特别方式做出来。因为有很多条路可以发文章，但最终有一条路是你特别喜欢的，且愿意走下去，这才是你想走的东西。

所以，你觉得科研品味是走你自己想走的路？对的，因为最终在公共产品和重复劳动被自动化后，每个人的价值在哪里？就是找到自己想走的路并走下去，这最重要。我在想，每个人自己想走的路，是不是他世界观、价值观的投射？这是品味的体现。对，就是这样。

对于复杂世界，人很难有充分理解，因为世界非常复杂。所以人必须有信念、理想，必须有自己能够back on的东西，即back on说我赌一下，这路线是对的。这个bet on其实构成价值所在，因为有可能这个bet将来成功了。

回到失业和裁员话题，现在我们做的价值是什么？是通过劳动给大家提供价值，如重复劳动，但这重复劳动本身是稀缺的，所以大家支付工资。但如果所有重复劳动价值都是零，因为有AI帮你写代码，你写的代码AI也能写，而AI又是无限供给的，那么写代码价值基本为零。

此时，每个人的价值就在于是否选择不同路线去探索世界、产生内容。我觉得这很重要。我只是想到《The Road Not Taken》这首诗的意境，因为世界很大，你可能走错路，但即便折返再去另一条路，刚才那条路不是白走的。你选择的路，若走下去，已构成你生命的一部分。

是的，做研究也是这样，你bet on一个方向，但也可能bet错。即便bet错，再回头探索新方向，过去的也是财富。这其实callback了你刚才说的，经过前几轮技术浪潮的人，更知道在什么情景下该用什么样的范式。对，大家其实就是这样一个逻辑，你有经验，这经验本身不是浪费的。

这经验可能是你过去一些有意思想法的总结。谁能把这些总结真的上升到一个较高高度，并应用在将来决策上？作为资深研究人员，看paper时可以一眼分辨这是否符合你刚才说的research taste，还是只是应付领导的工作成果？你可以分辨出来吗？

应该这么说，你可以大致分辨，但很难非常精确分辨，因为每篇文章都有有意思的地方。有些文章做简单工作，不是特别有洞察力；有些工作特别有洞察力，也许一开始看不出来，但可能两三年后慢慢发现其价值，有很多此类事情发生。

像《传送门》这样的文章，当年发表也不是那么火。这些Transformer的缔造者在做这篇文章时，动机不是说要把效果变得很好，而是说我的GPU或TPU计算能力非常强，但把东西从内存搬进搬出代价非常大。他们当然希望把内存搬进去后能有尽量多计算，所以计算是通过Attention完成。

其目的和最后仪器其实不是一个东西，这是很有趣的现象。那回到我们最开始说的scaling law问题，你到底认不认为scaling law马上就要见顶了？如果见顶了，我们要怎么办？我觉得是这样，scaling不会见顶。只要你机器资源足够多，数据足够多，你总是可以往上走。

所以见顶不见顶不是问题，问题在于你能不能有这个时间和代价，有没有足够资源把它往上推上去，这是最大问题。也许连我们day three需要有一个反应核电站去供能，那你再往上乘个十，需要多少核电站供能？再往上乘个十、乘个十，最终整个地球都必须用所有能源为你的data center服务。

如果是做到，那当然很好；但做不到的话怎么办？这是一个问题，更多是资源消耗问题。更重要的问题是，我们现在的资源有多少？有这个资源后，我们要走哪条路会获得最大影响力？大厂跟小厂最终路线可能会不一样。这也是我想问的。

这三年来，近三百万亿的token被喂进大语言模型之后，我们怎么评估这场声势浩大的实验效果？它的代价是不是过大？我觉得成果还是很大的。现在大家知道了写代码可以不用人写了，这个认知本身就是那么多代价。不考虑经济效益，只考虑认知效益，应该说是一个很大突破。

OpenAI或Truffle或其他公司，很多时候花的钱不是在服务客户上面，而是在研发上。如果研发哪天停下来了，我们都满足于现在大语言模型进展，纯粹去serve model、做inference的话，其实是可以赚钱。如果是这样，那很多东西是可以赚钱，只是说为了将来下一步模型，不得不去亏钱做这事儿。主要是这个原因。

二零二六年探索新架构和训练方式，在这个层面上会不会有大的突破？我觉得一定会做，很多人在做这些，这没问题。有没有突破不好讲，因为现在还有一些新方案，如用embedding来换，或用cuttable来换ffm，像zero tension怎么样跟four tension结合起来？还有像continuous learning一些范式转变，如让训练更稳定、更快，数据怎么构造，都是在探索中，很难讲一定会有突破，大概率还是会有一些突破的。

但是有没有范式转变，现在我觉得可能概率不是很大。聊过OpenAI前科学家，他们有一个观点：自从大模型开始军备竞赛后，研究领域变得非常无趣，因为AI研究朝着一个方向。但Carpathy说，现在可能我们又要回到探索时代，研究就再次变得有趣。对这个，我赞同了，可能一些。

之前经历过那个浪淘的人已经觉得比较无聊了，因为现在大家基本上都在刷榜，或说是照这个白人尺码过来生成数据，用它来提高效果。这些范式大家已经经历过，而且很久，所以大家愿意去做一些不一样的事情。嗯，还是需要一些时间嘛。

中国一些投资人觉得二零二六年大元模型行业可能会经历一些回调。我理解那更多的是指投资人期待的回调。你觉得二零二六年AI行业会回调吗？我倒不觉得，我觉得是倒过来，它有很多应用，真的开始爆发了。这个应用会改变人的每天日常生活和工作逻辑，像改变了很多的代码写作和流程，本身是很大突破。

这样的话，其实会催生很多下游的场景和任务，而且这个速度是非常快的。如果有coding

工具的协助，实现速度是非常快的。就有人以前可能花了两个月写个代码，但现在有这工具，就可以把两个月缩短成两个礼拜或者更短。对 VC 来说，或者对资本上来说，应该是更大的一个消息，因为他们可能并不那么感兴趣，就是技术理论有什么突破，或者说范式突破。他们感兴趣的是怎么盈利赚钱。所以这个角度，二零二六很值得期待，是吧？对对对，这个应该说是很大的区别。

您一直在 R L 领域生根嘛？可不可以给我们讲述一下 R L 这些年的发展？很多人会觉得，呃，R L 还有很大的 scale 的空间。应该说还是有不少思考空间的，嗯，对，我不觉得 R L 是一个死掉领域吧，就是有很多的路线可以走，因为 R L 也是从去年刚开始火起来的，DeepSeek R1 来了之后，突然之间，不少人开始做 reinforcement learning，这是一年的时间吧，还有很多的可以挖的地方。

接下来，开源模型距离闭源模型的差距会越来越远，还是越来越近？这个不太好说，应该说不远也不近吧，可能会迎头追赶，应该不会拉大，也不会拉小，我觉得通常会这样。开源有很多时候其实还是用到了闭源的数据啊，所以它一定是在闭源后面会走一点，但另外一方面中间肯定会有时间的这个滞后过程，所以开源一定会落后闭源一阵子，但是不会落后太久。

在中国啊，好像在大语言模型领域，大家当下的 bat 都高度趋同，agent 长上下文，还有刚才说的 RL，是这样吗？其实我不是特别熟悉中国具体 batch 的过程，看他们的报告可能有比较像的，没有太多的不一样地方。但我觉得有很多的组还是在做一些探索吧。比如你怎么样做 reinforcement learning？怎么样把 attention mechanism 做得更好？不同的 attention mechanism 怎么样去调配？其实应该说还是比较 diverse。当然就是说有些比较冷门的方向呢，国内的做的就不是不是特别多。

所以时间点卡在二零二六的当下，你觉得大模型这个领域的真问题有哪些？一个是效率的问题，怎么样高，然后用更少的数据获得更大的结果？数据效率，还有推理效率，怎么样推理成本下降，推理的长度变短，让这思维更有效率？就还要持续学习，能不能让这模型不停的自我学习、自我迭代，让它变得越来越强？就还有怎么样，这个 A G N T 变得更强，解决各种细节问题啊？这种都是比较热门的方向吧。

还有比如你怎么样让的模型架构变得变得有效，啊怎么样能够超越 transformer，啊怎么样能够让模型的啊优化器变得更好，或者怎么样让数据变得质量更高，让训练变得更稳定，啊这个都是可以做的。您说对比四百年前的物理学，我们现在有很多 AI 版的地谷，一些 AI 版的开普勒提出假说的，但是还没有 AI 版的牛顿，能不能给我们展开解释一下这个结论？

AI 版地谷呢，其实就是说，OK，我有很多文章，这些文章我发现了什么现象，这个现象可能在某种情况下会发生，发生完之后呢，我们怎么去解释它？啊，大概是这样子。那么开普勒呢，可能会比地谷稍微的高层一点，就是把这些数据结合结合起来，然后得到一些像理论，这些理论看看能不能解释更新的现象。但是像牛顿的这种逻辑呢，是另外一回事儿。我有一些基本原理，根据基本原理能不能推出啊，我看到所有现象？啊，那这个就是很难了。啊，这可能是另外一个层次的东西。

啊。其实我一直在这上面有一些探索吧，就是说我们是不是从神经网络基本原理，它的梯度下降训练的，它的数据什么结构，反过来能够推出来它所有的可能的现象。如果这个事情能成功的话呢，那当然是能够解释所有的实验现象和解释所有的那个啊唯象的理论啊。这样的话就很大的贡献啊，但是现在还是挺难做到这一点。

明白，呃，我们最后来聊聊大模型和人哈，也是人的处境。你之前提到过一个细节，你说帮忙赶工拉马四的期间，你在加州跟纽约东部、伦敦的同事深夜接力，夜以继日地帮助大模型越来越强。之前常常提到 AI 是洪水嘛，然后这个就给我一个画面感，大家在拼命地搬水，只是在等待那个洪水有一天淹没自己。就感觉充满了宿命感。你现在离职抽身再去感受这个细节的时候，有没有什么不同的感受和思考？

应该说还是存在的，这本来就是经济规律。对于所有的公司来说，它当然希望自己的模型变得更强，啊，所以这产生了一个囚徒困境。谁不做这事儿呢？是就会被落下啊，所以大家都得做这事儿。就我还记得二零二三年的时候，大模型刚出来时，其实有人呼吁说，所有人都停下来手上的工作。就我希望大模型能够停止进展六个月，然后大家好好想想怎么把这个安全问题解决。确实有不少人在签字了，但是其实最后也不了了之了。

其实这是个囚徒困境嘛？如果有人做了，其他人不做的话，自己就落后了，是一个不可避免的这些宿命的一部部分，啊，没有办法。可能对我们来说最大的那个影响呢，是能不能去摆脱这样的一个情况，能不能找到一个更高的一个地方。自己站在一个比较有利的位置上。如果一件事情是宿命一定会发生的，那你就不应该花时间去阻止它，可能会持续讨好啊。

但是有没有更好的方式，把自己提前置于一个相对来说比较有利的位置？或者说，哎呀，洪水越来越高，但是你希望能在洪水到来之前找到一个好的地方，能够能够落脚，而不是说是在一个低洼的地方拼命的筑坝，希望洪水不要涌进来。你如果这样的话，你永远会失败，因为洪水永远是越来越高。

的你的年终总结里有一个跟普通人都息息相关的观点很有意思啊，你提出了一个人类社会的费米能级，就是物理里面的费米能级，指的是电子在材料当中的分布嘛，就低于某个能级的电子遍地都是，高于某个能级的电子指数级减少。你说这个能级就是 AI 洪水的水位线，你还在文章里面号召大家丢掉幻想，准备战斗吧。但是具体怎么战斗呢？

首先，一个是希望大家能够很快的去利用 AI 的工具，能够发现自己的不同的点，因为以后起码要求是所有人都可以用 AI 的工具，就是让自己做到人家 AI 能大于 AI 自己，不然的话呢，你很难证明自己有价值。因为 AI 确实是一个无限供给的，然后又非常便宜的一个劳动力，你很难去跟他们去竞争。这个是起码的。那么在学工艺过程中，能不能呃比较快的发现自己的特长，在这个特长上给大家提供工具对吧的价值，这个是一个比较重要的问题。

比如说，大家发现用你家工具雇佣你做出来东西比 AI 更好，那就是有价值。这个其实对中年人或者说对刚出生的都是一样的。那如果我们把人的能力跟模型现在有的能力作为一组参照系的话，哪些能力是现在人比较擅长或者可以擅长而模型很难具备的？

主要还是呃人的综合判断力和人对于一个行业的一个垂直领域的经验。你一开始觉得 AI 什么都是对的，但是如果某一天起，你发现就是 AI 在某些方面还是错的，能够指出一些错误。能够发现 AI 一些弱点，根据这个有计划去指导 AI，让它去往这个方向去走，这个本身就是一个比较重要的一个办法。不要什么这个被 AI 牵着走，说 AI 很多的 decision 很多的思路。你要想一想它是不是对的啊，然后这个问题你有没有自己的技术和专业能力能够去解答的？那么你慢慢会发现，AI 在这方面是有弱点的。在这种情况下，AI 就超过了 AI 自己。

我之前听说 Thinking Machine Lab 的人有一个观点啊，Research is Product，就是现在研究者、研究员他们自己就能够成为产品经理。您在美国有观察到这样的现象吗？要看这个 product 是怎么定义的吧。现在确实，research 这个 product 距离越来越近了。有的时候，因为大模型本身很容易变成 product，它本来就是一个 chatbot。如果你这个 product 本身的定义很清楚的话，研究员在研究这个 product 过程中，他发现很多 insights，insights 本身可以作为 product 的一个 improvements。啊，所以研究员在某种程度上已经成为 product manager。

我觉得以后可能每个人都会成为一个 vertical 的全栈工程师吧。每个链条上都有人才，所有人才都有的话呢，这样的人会将来会比较稀缺了。因为你的年终总结里把 AI 比作神灯，你说将来会是遍地神灯的时代，真正稀缺的不再是实现愿望的能。而是愿望本身。那您现在有什么愿望呢？

还是希望能够发现 AI 的本质规律吧。我们什么时候能够产生 AI 牛顿？但是这肯定是一个愿望嘛？想知道在这黑盒子里面究竟有什么啊？然后我们能不能根据这个理解？一个是希望让 AI 变得更强。然后，另外我们希望将来 AI 能够比较安全。如果你知道它里面发生什么事儿了，那你会知道这个 AI 是不是对人类有正面或者负面的影响，这个是比较重要的。

最后一个问题，你写科幻小说，因为我自己觉得写作本身是一种疗愈吧，我不知道你有过这样的体会吗？以及像《破晓之终》里面有没有哪些创作的情节是跟你对这个世界的理解以及你对这个世界的愿望相结合的？

对，愿望还是有很多的。小说里面还有很多角色，他他其实有我自己的一部分的这过去经历，像一开始几个博士生的遭遇和他们的日常生活，我曾经在博士阶段有经历过，比如说不是很那么愉快的经历啊，或者比较微妙的一些经历，其实可以通过小故事来反映出来。这里面也包括，如果强 AI 在这个地球上发生之后，它会发生什么事情？包括人类可能不再是中心啊，这样的一些想法。

我们以前写小说可能都是人文主义的，就是我觉得人类最终一定是整个舞台的中心，机器一定是辅助的。但是这部小说里面后面其实写到了，最终有一些事情人类只能是做旁观者啊，或者说人类只是做一个推动剂。但是呢，最终的那个舞台的 AI 啊，中间产生这种逻辑，其实应该说跟以前的小说相比是不一样的。

另外一方面，增加探索人跟 AI 之间，或者说人在和 AI 结合之后呢，这个世界里面。啊，是什么样的一个社会形态？这也是个很有意思的一个议题吧。第二部里呢，会有更多的一些一些讨论啊，就是如果一个世界，呃，所有的重复劳动它的价值是零，这种情况下，人是有什么价值？或者说一个智能体啊，它有意识，它有目的，那么它的价值在哪？这个其实是一个比较有意思的问题啊，可以作为一个社会学实验或者一个思考实验，可以可以去追下去。

您提出愿望很重要，一个人还是要有目标、有野心的。但是，野心和与之伴随的挑战，还有个人的心性的煎熬，这三者之间怎么平衡？我觉得你的目的还是重要的，愿望其实就是你的目的的一部分。如果你的目的没有办法去把它实现的话，这整个过程探险的过程应该说是很有意思的一个过程。所以不能说是煎熬。

你每次在想煎熬的时候呢，意味着你又发现了一个新的成长的路线和新的一个方向，让你去有着动力和时间去思考或者去探索，让你觉得你活着是有价值的。这个应该是一个比较自己的想法，如果所有的愿望都能很快实现，那这个人生是很无聊的。所以最终还是 the path not taken。

对你肯定会找一条路径，这条路径可能会让你，呃，有一些新的经验和和感觉吧。每个人的经验和每个人的体验本身都是一个独一无二的东西。以后大家会分享这样的有经验和路径，彼此之间找到一些有意思的、没有见过的这个世界，那么这个本身就是啊人类的价值所在吧。