硅谷里面应该说很难有一个秘密能保留很久，可能一个新的方案弄出来之后，过了一两三个月，大家可能都知道一点了。在你的愿景里面，未来有一个能够持续学习的AGI，它是一个脑容量在不断扩大的，还是一个脑容量固定，但是会持续的做记忆的升华和主动遗忘的？我觉得应该是后者，当然，扩大当然更好。

我觉得以后大内存应该是一个很大的一个趋势，因为有这样的一个需求啊，老黄也好，AMD他们也好，大家都想要把内存变得太大，那最后就会导致存储会有这样的压力。我觉得这个是AI lab竞争的需求，推理过程不一定是人类语言。可以是一个抽象语言，可能是用某种高维向量来表示的，让这个推理变得更有效率、更快的速度，把多少推理找到出来。

最后问你的一个问题：你下一站去哪里？大家好啊，非常感谢呃，今天有幸被呃 Silicon Valley Vector 的啊同同学们邀请过来啊，做一个啊访谈。我是田渊栋，之前在 Meta

做做研究总监，主要是做强化学习、搜索优化，还有大模型的一些推理呀和和应用。在 Meta

已经呃快十一年了啊，现在已经现在是出来呃自己开公司。啊！创业。袁董，今天欢迎你来到硅谷坐标，跟大家分享一下你在AI前沿看到了一些最新的动向。

我们看到，2026年才过两个月，其实，在模型的这个赛道里，竞争非常非常的激烈。我们看到，不管是开源模型还是闭源模型，都发布了最新的版本。你是怎么看待现在各家模型之间你追我赶的这样的局面？似乎这样的这种领先的优势，很快就能会被追上来。

我觉得，呃，这个是一个非常普遍的现象。应该说，从大模型开始那个爆发以来，二零二二年年底以来，就是这样的一个趋势正在慢慢的加剧中。而且在技术上来说呢，其实有没有蒸馏这样的一个技术，所以你总是说一个不是特别好的模型，你可以通过蒸馏更强模型的输出，会很快达到就是更强模型的水平。

所以这种趋势应该说是不可避免的。随着就是以后更多的人掌握了这些技术，掌握了这个流程，应该会有更快的更迭代啊速度啊。现在确实已经非常非常快了，可能跟已经是快接近人类生理极限了。所以呃，我觉得至于就是这些AI

lab他们只说保持领先优势啊，这个完全要取决于啊每个AI lab它的定位和和方向对吧？

有些AI lab比如说他们背后是大公司，啊，那么对他们来说现金流是不愁的。不收现金罗的话呢，对他们对这AI Lab来说，他们目的是向大家昭示，就是这个公司本身的技术实力和非常强的人才储备，不停的这个发布各种各样更新的模型和更新的结果。啊，能够让那个大家知道，就是这个公司仍然处在人工智能的顶尖或者说第一梯队的啊这样的一个一个情况。

比如像我觉得谷歌其实是一个很好的例子，他们通过发布各种各样不同的那个模型和不同的那个结果，你可以让大家知道啊，确实谷歌应该是在这方面是非常领先的。啊，像他们最近是有一个呃，就是用那个 Gemini 来做很多的比较难的数学问题。那么就发现，就是说用它，他们最新版的 Gemini 啊三三点一啊

Pro，他们能够找到一些很好的那个啊数学问题的解啊，这些问题肯定以前是未解问题。但后来发现，通过呃大模型的搜索和和探索，它能找到一些很好的那个证明。

那么这样的话呢，大家会觉得哇，谷歌仍然领先，那么它仍然是在大模型中大模型这个竞赛中占据第一梯队啊。我觉得这个是一个一个很好的策略啊。那么还有一些呃公司，像初创公司的话，那么他们。这种你追我赶是一个，他们本身是需要证明自己是很强的。

另外呢，就是说通过这个方式可以获得更多的融资，获得更多人的认可啊，然后会有下一轮的一些资金的注入啊，然后让这个模，让这个AI

lab，让这个，呃，这个初创公司能继续活下去啊。我觉得这个其实是。啊，两种不同的策略啊，但是我觉得也许就是，以后总有一天，就是初创公司如果钱烧完的话呢，是需要，在它钱烧完之前啊，它是应该是需要找到一个那个商业模式，让它能够呃能够活下来啊。

像OpenAI现在其实也在考虑如何啊在ChatGPT这种发做广告，对吧？他把广告插入那个ChatGPT的对话中，或者说啊，把它放在旁边那个栏栏栏里面，然后能够让大家看到就是一些相关的一些广告信息啊，一些一些一些知识。那么这样的话呢，通过这方式，他可以找到自己的信息流的一个一个输入，那么可以让自己可以长久的活下去。

啊，我觉得这个应该说是呃，对于大厂和对于初创公司来说都是必不可少的啊，一定要，呃，证明就是自己的模型是非常强的，嗯，所以我相信在不久的将来，这个趋势还会继续发展下去。在你看来，AI

Lab真正可持续的护城河是什么？是算力和infra，还是数据，还是算法，还是人才？在未来的三到五年，如果要你给这四个维度去排一个序的话，你会怎么样去排？

我觉得最重要的应该是数据，啊，倒不是可能数据和 infra 是一个是比较重要，但是 infra 应该是慢慢慢也会有一些变化，因为呃，现在用 AI

写代码的趋势越来越越来越厉害。以我自己来说，我会觉得，比如说三个月前相比啊，它的我这个效率应该说提高了至少十倍。啊，它也是这样的一个一个一个逻辑啊，所以我觉得以后呢，可能会更多更多越来越多的人开始用AI那代码AI写代码这个方式来来构建自己的系统。

来做自己的一些查错呀，或者说那个呃，能让这个运行跑得非常顺畅啊，就这些比较日常的工作可能会让AI来代替。那么如果是这样的话呢，那个Infer这个护城河可能会有一些下降，这个是我的一些想法啊。但是数据本身可能还是比较难的啊，数据应该是很重要，特别是啊对一些比较难的一些垂直领域啊，或者说这个领域上的数据非常少的话，那么你没办法用很少的数据训练出很好的模型。

啊，所以数据还是一个比较重要的一个一个因素啊。那么至于那个算法呢，本身呢，就是目前看起来算法还是改动不是特别大啊。有很多的方法其实就在原来的算法上做一些小修小补啊，能够做出来啊。一些比较 fancy

的那个修改啊，可能不一定有用处啊，可能会这样啊。像 DeepSeek 就是可能在一个月前发布了一篇文章，就是

MR，就是做一个就是对这个残差连接做一些魔改啊，他们觉得非常有意思。但是后来大家可能我看到有些人发现，就是哎，有些这个算法它可以改的非常简单，跟原来差不多，但是效果还是还还是可以的。

所以其实就是说，在这个算法上的一些修改呢，不一定会导致完全不一样的结果啊。就目前算法是现在处于一个比较稳定的状态啊，所以呃，这个是一个很大的一个一个瓶颈吧。我相信就是现在可能处于这个状态，就是要不大家改来改去改不出东西来，要不就是完全不一样的一个新的方案。这个方案能够把原来的东西颠覆掉啊，所以我们现在处于这样的一个状态啊。

就是，但这个跳变是从什么时候发生？嗯，现在应该说还不太清楚。啊，就是我也希望就是这样跳变能发生，这样的话我们就可以得到下一代的模型，啊，对。但如果假设这跳变不发生的话呢，那现在可能算法就是目前没有数据和英法重要，啊，还是这样子。

那么另外一方面就是人里面会流动的，对吧？你会发现就是各大那个

research lab，他们人人和人之间会有很多的变化。两两个月前啊，这个大佬在这个地方，然后过两个月跑到另外地方去了。那么通过这个理论流动呢，就有很多的新的想法和一些新的思路会从一个地方流到另外一个地方。

所以就是说，硅谷里面应该说很难有一个秘密能保留很久。啊，可能一个新的方案弄出来之后，啊，过了一两个月、两三个月，大家可能都知道一点了啊，那可能就大家都传开了，就知道怎么做了，啊，所以应该说这个算法和人才，应该说没有那么。啊，重要于就是数据和那个 infra 啊，大概是这样的一个逻辑。

那么这一算力本身也是一个很大的一个一个一个瓶颈啊。对，那么算力我觉得主要是大厂和初创公司的之间的区别啊。但大厂大厂之间可能算力可能相对来说都不是差特别多，有很大的那个算力的那个配额给那些嗯 AI lab

啊，是这样子的。在你想象的这个终局，比如说你觉得会是一家或者是几家这种大模型独大，然后再加上几个比如说垂直领域比较数据比较独特的这样的比较小的一家公司，你你想到未来是这样吗？

对，我觉得有可能是这样子的。还有一个问题就是今年这个开源模型在网上有很多的讨论，包括还有一些争议。你是怎么看待这个开源模型的发展的？我觉得开源模型呢，呃，一个是它是一个呃非常重要的一个一个方向啊。

我觉得地球上不可能只有闭源模型。如果只有闭源模型的话呢，其实会导致一个非常糟糕的将来。这个我可能在二零二三年的时候，其实也就有这个想法，就是说我们的模型一定要是开源的，至少会有开源的一席之地啊，这是非常重要的。为什么呢？就是我觉得对于一个指数增长的一个技术来说，最大的可能的一个结果，最坏的结果呢，是少数人掌握了这个技术。

然后大大多数人不知道，那么少数人用这个技术呢去呃去做一些就是不太好的事情。那如果是这样的话呢？那首先，这个地球上大部分人可能获得不了这个技术的带来的便利，然后呢，还会产生一个很大的一个等级区分。所以，这个是一个应该说开源的模型要避免的事情。

那么，有开源模型之后呢，其实大家都变得平权了，就是大部分人可能获得大致一样的这个计算能力啊和那个模型能力啊。有了这个之后呢，就是大家能够同步的往前走。那我们往前走的话呢？那就是或者说我们换一个比较有意思的话说，就是如果大家都是有核武器了，那产生了威慑，那就是相对来说就会有一个比较好的平衡点。

如果只有啊某一些人或者说一类人有这样的这个这个工具的话呢，那就可能会一产生一些一些不必要的问题。那么，呃，我以前的公司，比如说像

Meta，他们呃，在应该说是就是在一年前，就是还是比较适合，不想开源的啊。那么，但是现在呢，可能就是更偏那个闭源的这样的一个一个策略啊。我觉得这个策略本身都没有什么问题，因为这个完全取决于这个公司本身的战略。

啊，对公司来说，如果他觉得开源有利于他的公司的这个竞争啊，有益公司的发展，那他就要开源；如果他觉得闭源有益于公司的发展和竞争啊，那也就用闭源的方式啊。所以公司应该说没有一个是非常清楚的一个坚持，说一定要做一件事情啊，就是特别是这件事情如果跟他的主营业务是没有关系的话啊，其实应该说是可以灵活的。

我想问问，就是说你现在用的最多的模型是什么？我现在用的模型，其实现在应该都在用吧。比如说像那个呃 OpenAI 的模型在用啊，Traffic 的模型也在用，然后开源模型我也在用啊，像 GEM 五啊，MiniMax 二点五啊，这些还是不错的啊。

MiniMax

二点五可能比较快一点，觉得。呃，还是还还是挺挺不错的啊，就是说，呃，你会发现，就是有很多事情让我觉得挺挺吃惊的，因为我觉得，可能在半年前你去用他们这些模型，可能他们还没办法做一个完整的一个一个任务。啊，有可能有各种各样的问题，但是现在你再去用的时候，你会觉得这些任务呢，你像你去问 Claude，他们当然做得很好啊。

你去问 Meta

Max，其实也可以，还是做得还不错的，就是有一些问题，比如什么地方会忘记什么东西，但是。在某大概的这个流程和逻辑呢，基本上还是正确的啊，所以这个其实让我非常的吃惊。我觉得呃这个模型进步已经那么快了，所以我觉得这个是一个很有意思的现象。

我觉得以后可能也会有更多的那个新的好的模型啊冒出来啊，然后能够给我们这个日常生活的这工作效率啊提高很大的那个助力。接下来，今天想重点跟你聊一聊大模型的记忆，这也是你研究的一个重点的方向之一。你先跟大家讲一讲这个大模型到底是怎么记东西的。

对大模型的记忆呢，应该说一直是一个很大的一个问题啊。就是我们在二零二三年那个上半年的时候，其实我们就应该说已经开始做一些这样的工作啊。我们当时做了一些长文本的一些那个长的那个上下文的啊这样的大模型的拓展。我们在二零二三年六月份的时候呢，其实我们有篇文章啊叫 Positional

Interpolation，就是当时研究如何把大模型的这个 context

window，就是上下文的那个窗口长度变长啊。就本来这个长度可能就只有那个四K，就是四点九六个字那个token啊，这样的一个一个一个数字，两K或者四K这样的量级，非常非常少。

那么当时是说我们怎么样把这个东西拉长啊？因为呃，在我们的方法出来之前呢，呃，一直是别人大家一直以为的这个做法是这样，就是我们要把窗口拉长怎么办？我们可以把数据放过来，用更长的数据去训练它。但是这个训练过程呢是非常耗时的啊。你比如说一个模型，你训练完了啊，它的窗口是两k啊，两二零四八个那个token。那么训练完了之后，这窗口是这么大，就定死了。

然后如果你想把它扩展的话呢，你就得再拿一大堆的数据。都是很长的纯上下文数据，让它再训练一遍。那么这个过程是非常慢的，而且非常痛苦，而且花很多很多卡，而且这个模型的质量还不一定好啊。当时呢，我们发现有很很有意思的现象，就是说，我们只要把这个长上下文的这个窗口啊映射到短上下文的窗口。

把这里面这个呃每个token输进去的它的那个啊位置信息呢，简单的一个除以二。啊，然后就可以映射过来。那么除以二之后呢，你再去再去做那个微调啊，再去做训练，它这个所需的训练代价就很少很多少很多，哎，质量还不错啊。当时我们向大家发现了这个有意思的现象，那么这个现象后来就是被大家广泛应用啊，就是从这个开始，就是应该说是这篇文章是一这个方向的一个开山之作之一啊。

那么在开始就说大家发现哦，可以这么做，那突然之间这个窗口就变得很长了。啊，就是应该说是从二零二三年的下半年开始嘛，就是你会发现有很多的呃工作开始，开始证明说开始要做长下长沙下文的这个这个这个预测啊。对，我就当时我记得，包括那个

Gemini 啊，包括呃 Kimi，他们其实都有一些这样的一些一些一些一些工作啊，怎么样把文本变得很非常非常长。

那么这之后呢，其实我们也有一些啊其他的工作，比如说像 Attention Think 啊这样叫注意力陷阱还是注意力呈现，反正有一些中文的翻译啊啊，但是我也不确定哪个是官方的。那么他的逻辑是这样：我如果发现，呃，我只要保留这个整个句子的前几个那个 token，然后把中间的全部全部去掉啊。那这个模型呢，还是能够输出比较正确的话啊。

虽然说中间这部分去掉那部分呢，它没有记忆。但是呢，他还是说话比较连贯的啊。虽然说你真的问他他事实呢，他可能会啊，他可能会出现幻觉啊。那他说话至少不会出现那个。啊，爆炸爆炸性的那个那个那个结果啊，那是这样子。所以我们之后呢，还做了一些，比如说 extension，比如说把这些呃中间那些去到东西再拿回来啊。就是我们的一篇文章叫那个 H2O 啊，就是叫

Heavy Heat Attention，Heavy Heat

Oracle。那么通过这个方式呢，我们就可以呃让这个模型呢，记首先记忆的大小呢是固定的，然后另外呢就是把那些重要的记忆拿回来之后呢，它能保证有些比较关键的问题还能回答正确。啊，所以这些这些文章都是关于啊记忆的啊，都是关于就是怎么让这个模型啊在以下两种得到一个平衡啊，一个是说就是我希望把过去所有的上下文全部都记住。这个你需要花很多很多代价啊，但是呢，它得到效果比较好。另外一个方案呢是说，我有选择性的去掉一些过去的记忆，然后呢，这样的话我可以那个保留，我可以保证就是这个存储的这个大小呢没有那么大。啊，同时呢，这个模型呢还能输出一个比较好的啊那个那个那接下来那个是那个输出，啊，大概是这样的一个一个一个逻辑。

你会发现，就是说最近的一些记忆的文章呢，啊，其实它都遵循这个逻辑，就是说一一头是我用大量的内存啊，然后把记忆都存下来，但是呢，一个是速度也慢，然后存储也大。另外一方面呢，就是我把一些那那个记忆给去掉，去掉之后呢，那我这个速度变快了啊，但是呢，内存也变小了，但是呢，有可能会忘记一些东西。啊，所以我们在这个记忆的这个方向上呢，就永远存在这样一个东西的路线之争啊啊，像那个之前一直很火，现在一直很火的叫零捏attention，就吸引注意力模型。

那么它的逻辑是什么呀？它逻辑是啊，我把过去的上下文啊压缩成一段就是固定长度的啊那个向量。那么这个向量压缩完了之后呢，那么我就把这段这个向量呢作为啊过去的记忆啊，那么这样的话呢，一个好处是用了记忆量就非常少，这是第一点。那么第二点呢，就有问题的是说，如果你我真的想要去找到过去历史中的所有的细节，这个线性注意力呢，可能就不太行，因为有限的空间是容纳不下无限的那个过去的历史的啊，所以你会发现它这样有有这样的一个一个垂钓。

这里面就是我们今天讲的这些东西呢，应该说都是呃，就是这种短期的记忆，就是上下文记忆啊，这部分是很重要。还有一份记忆呢，应该说是在啊这个模型的权重里面，这个就是啊就是长更长期的记忆了。就这种模型权重的记忆呢，它它怎么建立的呢？它应该是就是从预训练开始就就就开始建立起来啊。预训练的意思就是说啊，我们先把很多很多数据啊，就是海量把整个Internet都放进训练里面。然后让它进行大规模的训练，然后那么这样的话，它这些呃记忆里面这个权重呢，会慢慢慢慢的从初始化开始，慢慢演化到一个比较好的状态。

那么这里面的这个记忆的这个演化的状态，那个数字呢，那就是长长期记忆啊。这长期记忆呢，其实它应该说是规范了这个模型本身对这个世界的整体的理解。这部分的记忆呢，其实是很难被啊改变的，而且这个记忆应该说是啊对这个模型的呃那个能力有很很很很强的一个影响。如果这个模型它在训练时它预训练的时候呢训练不太好，那么最后导致什么结果呢？就是说它在做后训练的问题的时候呢，它会表现的像一个比较笨的孩子。

嗯，就是什么事情都必须，给你讲得很清楚，他才能把它记下来。他无法举一反三。他新的事情来了之后，新的任务来了之后呢，他又不会了。啊，你得再给他说一遍，要把这个过程一步说清楚，他才能把它做出来。但他没有办法举一反三啊。但是如果预训练训练的比较好啊，他对这个世界的理解呢非常深刻啊，非常那个呃非常一般化，有泛化能力，那就像很聪明的孩子，一点就通啊。他在后训练的过程中，他就会很快的那个适应，就是后训练的这个呃这个任务啊，并且能够举一反三啊。大概是这样的两类记忆啊。

就是现在的这个记忆中间啊，你觉得你们碰到的这个research碰到最难的一些问题是什么？啊，对我觉得一个最难的问题呢，就是说记忆如何从背诵或者说从记忆就是死记硬背到顿悟这样的一个过程，应该说是一个比较难的一个过程。因为呃，你就算你看就是任何一个那个小孩子啊，你去看他们怎么他们怎么学的啊。我有些时候我会觉得就是我家女儿是这是很有意思的一个学习过程啊。

就是我看就我们家有自己的孩子，然后我们看看就是他是怎么学习的，这通过方式我们可以看看就是AI的学习能力跟它有什么区别。会发现就是像小孩子他们在学的时候呢是这样，比如说三岁或者四岁这个时候。在那之前，你跟他讲很多东西，他没有用，因为他记不住，啊，你跟他说了再多，他也会觉得一个是记不住，第二呢就是他会开始哭闹啊，就不想跟你学这些东西。但是呢，过了一段时间之后啊，突然在某一天，这些事情他都会了。

啊，就是我一直在想这个问题，就是这个小孩子这个脑子是怎么长的啊？他会在某些情况下，他会在一定程度之后、一定时间之后呢，他内部的这个记忆发生了一些重组，然后重组之后呢，这个记忆的这个表示呢发生了变化，变化了之后呢，让他突然之间理解了之前的一些无法理解的一些一些逻辑。啊，他用这个逻辑可以举一反三，可以做很多很多事情，啊，对，所以这个其实是很有意思。就比如说一个例子，就数数嘛，对吧？你可能在两三岁的时候教他两三岁两三岁时候教他数数，他可能跟他说一二三三怎么样放，那他可能会只这记住非常机械的，就是这个东西加这个东西，这个东西不是特别清楚。

啊，但是你过了比如说一段时间之后，比如说四岁以后呢，他会突然之间的对这个数字的大小开始有感觉。然后他大概会猜出来这两个数字相加是什么，然后突突然猜出来就是，啊一些两位数啊，一些他们之间的一些关系啊，所以很多时候都不用他，不用大家教啊，他就自动自动会了。啊，所以这个过程应该说是很重要的一个过程啊。所以，但这个过程本身呢，应该说这个我们理解上来说，我们现在还是有很大的那个困难啊，就是怎么样这件事情会发生，然后它什么时候会发生，怎么样让这个事情发生的更快。那么这个就是很大的问题啊，能不能让这个模型的学习变得更加有效率啊，更加像小孩子那样啊，学得更加快啊，应该是这样子一个一个问题。

那么现在有很多记忆的方式啊，就是一些新的那个范式，怎么去去做记忆呢？那么他们这个过程呢，还是呃，应该说还是比较机械化的啊，没有那么像，呃，我们小孩子学习的时候那么灵动啊，像比如说最近的一些文章。像谷歌那篇叫Nested Learning 啊，这是应该说是谷歌去年一篇比较火的文章，啊，他是这样，他们是想法非常简单，他们希望在记那个设计网络架构的时候呢，能够打破这个优化器和这个神经网络架构的那个界限啊。我希望所有东西呢都是一类东西，叫Associative Memory。

就什么叫associative memory？就是生物学应该说是脑科学里面有一些这样的一个概念，就是说我有一个associative memory，这memory是这样，我输入一个东西进去，它就出来一个东西。啊，这样的一一映射，像那一张表格一样的，这张表格是说我输入一个那个今天是今天，然后输出就是说今天气候，今天天气是什么，啊，比如说这样的一个表格，非常非常清楚的映射。他希望把所有的这个神经网络的呃这里面这个学习过程都映射成这个associative memory。那么这样的话，相当于把神经网络里面每一部分都作为记忆的一个模块的一个特例啊，是这样子。

那么这个逻辑本身，我觉得其实挺有意思的啊，就是说这样的话，它可以把事情都统一化了啊。但另外一方面呢，我不是很认同这个方向。为什么呢？呃，对我来说，我觉得就是所有的memory它还是效率不高的啊，因为它只是把一个点记住了，然后把那个点弹出来啊。但是对人类来说呢，你会发现学到一定程度之后呢，他对这个世界有个整体的理解。这个理解呢，可能是就像以前诸葛亮说的，就说看一件事情要观其大概，就说我不看细节，但是我对大概理解的非常非常深入了之后呢，我很快呢。能够对这个问题有很好的一个一个答案啊，那所以有这样的一个过程的时候呢，其实我觉得source memory呢，就是它应该说还比较简单。

就是对这个是人类的一个记忆的这个形成过程呢，应该说这个模型建模还不够啊。那么这个问题肯定是是很大的问题，嗯，可以慢慢再再去再去解决。在你的愿景里面，未来有一个能够持续学习的AGI，它是一个脑容量在不断扩大的，还是一个脑容量固定，但是在会持续的做这种记忆的升华和主动遗忘的这样的？嗯，对，我觉得应该是后者，应该是后者。当然，要扩大当然更好。

对，但是我觉得应该说是后者是应该说是让一个人变得聪明，或者让AI有飞跃性的进展的一个很重要的因素。啊，我觉得后者是重要的，那么前者呢，其实你可以认为它更像是一个internet，对吧？因为我知道全世界那个internet越来越来越大，对吧？我们可以说，我们可以把那个比如说那个terabytes petabytes啊这样的一个数字数数据放进啊放进那个内存里面，放进硬盘里面去，对吧？那那么多数据堆积在一起啊，就是相当于我们的检索变得非常有效率。但它并没有升华成啊一个就是有自主意识的人，或者说有一个对问题更深理解的人，对不对？

所以就是说你比如说过去的搜索时代，它并没有做到这一点啊，就是还是需要人把数据整合起来。然后获得一些新的知识，但是就是大模型来了之后，大模型一个很重要的一个重要的一个一个贡献呢是，就是它通过训练的方式把数据知识整合到了权重里面。这个整合让这个模型对这个数据和知识的理解上升了一个层次。对，那么这样的话呢，你再去查询这个模型，它给你的回答就非常灵动啊，很像人了啊。所以这这就是为什么我们这一代技术跟上代技术的区别。对上一代技术还是比较机械的啊，就跟你单独精准匹配，匹配完之后得到结果，对吧？

但是现在这一代的技术呢，就是已经开始说话比较灵动了，就更像人啊。他的思维更像人，他这个他能对这个问题有有一些分析啊和理解啊，所以这已经是很大的区别。那么这大区别，他们两个这两代之间的那个最大的区别，就是因为我们用神经网络，我们用了这个那个大模型啊。这个大模型它做了这个事情，做这个训练这个事情，让这个知识的表示和存储呃发生了质的变化啊。我觉得是这样子啊。但是如果我们从大模型出发，再往前走一步啊，知识的表示存储发生了更加那个质的变化。或者说这个训练和存储的这个代价变低了啊，然后学习能力变强了，很快能够适应这个时代或者适应这个变化的世界。嗯，是下一代的新的模型，也是这样子的。

现在我们看到这个context window的这个长度是越来越长，对，就是你认为之后还会继续这样持续变长吗？对，我觉得是会。天花板在哪？很难有天花板吧？就是因为现在有这个需求，比如说以前我们用大模型，主要还是因为我们跟它要聊天。聊天的话呢，一个是聊天的频次不会特别高。你说一个人在网上泡个一天十个小时，然后你能聊多少话？你可能聊个就是聊个什么十万字，已经很可怕了啊。对，那这个数字基本上是一天一个人能能够消耗的那个token的上限啊。

但是现在大模型的用处不是聊天了啊，就是很多时候是用来写代码。啊，或者说用来那个做一些问题的分析，那么这种情况下，就是你动不动就要把整个代码库放进去。啊，或者说你把你让这个模型做多轮的这个工具这个呼叫工呃叫叫叫tool call对吧？啊，或者说做多轮的这个分析问题解决问题这样迭代。那么这个动不动就是很快的，就是你会很很快的看见，比如说你的大模型的上下文超过了十那个一万或者超过了十万。经常会出现这样的情况啊，就已经很快的会发现这个上下文就用完了，就这个是一个很很很快的一个事情啊。

另外一个问题就是，大家都非常热衷，希望这个模型呢能够长期工作，不需要人干预。啊，这个其实是应该说是最近半年啊，就是各大厂各个大的research lab 他们都想要做的事情。啊，所以就说我们来本来这个工具可能每隔三分钟就要跟你说一次汇报一下，说啊，我这做完了，下一步是什么不知道。那这个对人的那个注意要求是很高的啊，那么之后我们当然希望这个模型能够工作那么一个礼拜或者几天几夜，然后不要任何人干预。

那么这样的话呢，你就需要大量的这个token，大量的上下文，然后让这个模型能够工作。所以，总来上下文应该说越来越长啊，而且上下文越长的话，它对这个世界的理解就越深入，它的决策应该会规，应该会越准确啊。所以，这个我相信是一个很大的趋势啊，应该是很难去改变的啊啊。当然，最近是有一些上下文的这个怎么样把上下文这个memory做的比较好的一个机制啊，像最近比较比较火那crowbot。对，大家都知道这个Probot，那么它的上下文，它的那个那个memory这个机制呢，应该说是比较有意思的啊。

就是它是把这个memory那个organize成就是各种各样的这个Markdown的文件啊，就是有一个短期的，有个长期的啊。这样的这样的一个文件啊。那么说这样这些文件，首先一个他们是可读的，human readable，就是说我们真的去看这文件。然后把你们一行去掉。那么让他真的不记得这事儿了，就这事儿我们做的很awkward很难看。那我不想让他记住啊。然后呢，这个文件本身呢也是，啊能够有层次感。有些是比如近期的一些任务，有些是比较远期，但是你需要重要的非常重要的记忆。通过这个方式呢，可以让这个bot变得更加的那个，对，就是对这个对这个世界理解得更加更加深刻一点啊。我觉得这个设计呢，应该说是挺有意思的，欢迎大家去看一下。

那么另外一方面呢，就是说虽然说这个设计本身很有意思，但是我们最终是目的当然是希望AI能够自动地发现这个设计。那么，如果你要让AI自动发现这个设计呢？你就是让AI得去给很长上下文，让它自己去挑。那么，这个其实就意味着，就是说你做任何的探索，你都需要很长上下文开始。然后希望AI慢慢在里面挑挑挑，能挑到一些好的，然后塞塞到当前的绘画里面去。把这个事情做好啊。那么这部片的代表工作就是最近那个MIT有一篇文章嘛，叫Recursive Language Model。

啊，对那篇文章就是说我怎么样把上下文作为一个一个数据库，然后我动态从里面调东西出来。然后用它来去做预测啊，用做那个decoding。那么我觉得这个趋势，我觉得以后应该还是会持续的，嗯，会有很多的文章会出来啊。但是不管怎么样，就是你最终也许上下文比较短，但是你在这个研究过程中，你就需要很长上下文。啊，从这开始啊，所以我觉得这个趋势应该说很难扭转嘛。嗯，大家就是第一反应是先把东西都塞进去，看有没有效果，然后慢慢再往下掉啊。可能是这样子。

我现在接下来想要聊跟你聊的这个话题也跟刚刚你聊的非常相关，就是我想从物理世界再来看这个模型这端的发展。从去年开始，我们看到内存还有存储的产业链上都出现了供不应求的这样的状态。AI的需求非常的大，然后产能跟不太上，整个的这些所有的产品都开始一个提价的周期。对，甚至我们看到这个谷歌呀、微软还有英伟达的这些采购的高管，他们都很长时间是在韩国首尔待着。甚至他们有人说，就是他们在首尔的时间可能都比在Mountain View的时间要更长。就是为了要去保证在三星韩立市的这些产能。

对，感觉好像是这些AI的发展正在把所有的全站存储这种热数据、温数据还有冷数据就全部都给把这个产能给占据了。对，你觉得这个最大的增量来自于哪里？可能是刚刚你说的这context window的这个增量。对，这个增量可持续吗？它未来有一些什么样的好的解决办法？我觉得这个是首先一个context window变长了，肯定是一个一个重要的增量。另外一个增量呢，就是说还是因为我们训练模型的需求。对，因为现在模型还是很大的。

比如说像那个Kimi K2，这是多少？是一个一个trillion的parameter，对吧？然后那个DeepSeek的大小也是六六百多个billion的parameter。因为现在这个模型大小变成标配了，就是以前可能觉得化成比好大呀。我觉得现在就是我们认为，就六百个、五百个B点到一个trillion这个大小成为开源模型的标配。然后就是如果你这模型达不到这个这个大小，可能这个模型能力不太行，是不是有这样的想法？

就是它这个数字跟我们以前的那个数字呢，其实应该说有很，我觉得大概有十倍的差距吧。就以前可能我们会觉得啊，一个开源模型可能七十几个、七十个B差不多OK。但是现在大家就是胃口变大了嘛，就是希望这个模型有一个更大的那个参数集，然后训那个效果更好。所以这个是一个很大的问题，就这样的话会导致就是我要训练模型的时候，我当然希望我用同样的算力搭配更多内存。那这样的话就会让这个呃效率变得更高啊。因为如果你同样的算力内存不够的话呢，你就要开始讨论各种问题，就是同样一个模型啊。

你这个单卡上放不进去怎么办？你得把这个内存切片。啊，把那个比如说模型切片啊，有可能什么tensor parallelism对吧？data parallel

这些东西，或者说那个专家并行（expert parallel），就是这种方式让这个模型切片。比如把一个非常大的矩阵切成几部分，横着切、竖着切都可以，让每一部分的权重放在不同的显卡上。通过这种方式可以减少单卡上的内存消耗，但代价是卡与卡之间需要通信，这会增加整个pipeline的延迟（latency）。相当于如果一张卡内存不够，就要通过增加延迟让系统跑起来。这是一个不太好的权衡（trade-off）。

一个比较好的方法是单卡上增加很多内存，加一层大内存之后，可以把整个模型放进一块卡里或一个八卡的机器上。这样通信代价降低，训练过程变快，出结果速度也更快。大家希望AI竞争中胜出时速度快、设计简单、减少bug概率，所以大内存应该是一个很大的趋势。因为老黄或AMD都想把内存做大，导致存储压力增大。

这既是AI实验室竞争的需求，也是上下文变大的需求。所有卡的内存都在往大方向走很正常。比如租卡时，H100还是H200？H200内存更大。同样算力下，更大的内存意味着更好的训练办法；同样的模型用H200可以用更少的卡获得同样性能，算下来其实合算。这就是大内存显卡受欢迎的原因。

随着Agent应用数量增多、任务复杂度增加，以及多模态和世界模型的发展，需求是否呈指数级增长？确实很大且很难。刚才只说了语言模型（language model），还有图像模型（image model）。图片进去需要高清，如4K照片，内存要很大。主要是激活值（activation），因为图片模型参数量不大，但一张图进去需要大量内存存中间结果。

这部分很花内存。如果内存大了，批次训练时原来用128张卡现在可以放256张卡进一张图片，训练速度是不是更快？这其实是瓶颈，卡住了训练的速度、效率以及最终Agent的服务（serving）效率和容量。这是一个很大的问题，大家都想要大内存，但内存厂商面临难以克服的瓶颈。

你觉得这是短期、长期甚至长期的问题吗？现在还没看到好的解决办法，挺困难的。最近有一些方案，比如某公司把大模型权重刻到ASIC电路里提高速度。这相当于把存在内存里的权重移到ASIC电路中，从而用更多内存存别的东西。但解决方案不够灵活，模型改一点电路就没用了。

如果想做研究或灵活探索，仍需原有架构。再讲预训练，你对Scaling Law持悲观态度，认为它只是用更多权重、数据、算力把模型变大，过程低效。但大厂如谷歌、OpenAI仍继续朝此方向发展。你怎么看？首先，Scaling Law是有效的，但需要大量指数级资源支持。

刚才说存储是大问题，如果卡在存储上还能做Scaling Law吗？电力也是大问题，能否保证大集群稳定运行且供电充足？对公司而言，大厂有路径依赖。团队建好各司其职，很难让大厂转向新方向或看不到希望的路径。所以大厂一定会把原路径走到底，这也是OpenAI和谷歌选择这条路线的原因：别无选择且见效快、安全。

人的洞察加上大量数据生成和训练能让模型变强，问题不大，只是最终收益的维度回报（dimension return）有多少是个问题。比如加十倍算力、数据和人力，能把模型提升一点直到变强就会去做。最后发现回报越来越少时，大厂才会想别的方法。

有没有看到有希望的新范式？现在很难说。最近有一些持续学习（continuous learning）文章探索新范式，还有强化学习中不更新模型权重的尝试。这些还在探索中未成气候，挺有意思可尝试，但要Scale Up还比较困难。你提到的持续学习，为什么模型训练完记忆就停留当时无法持续学习？

主要问题在于预训练阶段学的是大量数据，得到的表征或内部知识有特殊的结构。这种结构能举一反三，为后训练提供好的理解基础。但持续学习这条路学到的东西有限，可能只能学到特定领域的知识，泛化能力不强。

所以让它在这个领域效果不错可以，但要反哺到其他方面，可能需要把数据放回预训练中回炉重造以增强方向。目前还无法做到用小样本、少数据和小计算资源让模型有飞跃性变化，这更多是愿景或重要方向。再讲推理侧（inference side），现在也有一个Scaling Law，小模型增加测试时间计算量可能取得和大模型差不多的效果。

这是未来发展趋势吗？2024年下半年OpenAI出来后大家很兴奋，认为测试时间扩展（test time scaling）也不错。横轴是运行时或推理时的计算资源消耗，纵轴是推理效果。这促生了最近一年强化学习在推理能力上的发展，大家都去做强化学习和验证奖励（reinforcement for verify reward）。

但后来有不同意见：强化学习的上限可能被预训练锁死。因为强化学习有效是因为预训练提供了大量思维素材和方式，推理过程只是将其放大。比如预训练时告诉AI一道题有一百种想法，大部分错但有一个对。强化学习通过迭代搜索找到并对这种可能性放大，从而高概率解题。

如果预训练对世界理解不深刻、问题了解不透，可能永远发现不了后面的解题思路。这解释了为什么强化学习在后训练时存在上限：如果预训练没知识或不够丰富，提不出解决方案，强化学习也做不出来。所以强化学习的Scaling Law受制于预训练或世界表示的上边界。

2024年下半年看到的测试时间Scaling Law，相当于前面画了一点然后怎么走不好说。我偏向认为往后Scale时可能会慢慢往上界限制模型能力。这就是为什么现在开始做持续学习，大家意识到单纯后训练推理不改变权重不够，希望在后训练中同时改变模型权重以更好地表示世界。

你看到的推理端未来三到五年最有前景的演变路线是什么？首先推理过程要更快、更高效。比如让推理链更短，之前有文章做隐空间推理（latent space reasoning），每一步不一定是人类语言而是抽象的高维向量。一个高维向量可能顶一句话或更长段落，让推理更高效快速找到结果。

我们证明了隐空间推理的好处：向量里可同时存几个不同推理路径，效率比正常语言推理高。这相当于量子力学的叠加态，同时处理很多探索路径提高推理效率。最近有很多组在探索隐含推理能提高多少效率。

另一条路是几个月前火的并行思考（parallel thinking）。仍用语言推理，但希望某些情况下能并行而非串行。比如领导讲话有五点要求，列出提纲后这五点的推理过程可自动并行进行，利用更多计算资源而不需等前一步结束。这能更快。

还有一些方法让推理更扎实、短且抓本质，或快速去掉不必要/明显错的推理链条。我们有一篇叫Deep Conf的文章通过这种方式很快降低Token使用量且效果更好。Coco Na不是并行而是串行，只是每一步结构中的表示是隐空间变量（latent vector）而非语言。

这对Token消耗是不是更大了？从长度上说变短了，但以前存一个Token ID现在要存整个Vector存储消耗变大。设计算法时有权衡：一方面变强另一方面变弱，如何平衡是个问题。还想问你幻觉（hallucination）问题怎么解决？

我觉得幻觉根植于模型结构。训练过程中权重除了学到有益结构外，还学到无意义的东西。这些数据在数据集上没作用，但如果测试数据超过分布边界这些无用权重方向可能影响它。用数学语言说，权重的两部分：一部分是有信号的子空间（signal），另一部分叫噪声。

space，就是这种没有信号的子空间，对吧？但是没有信号子空间里面呢，这些我这权重本身也有、也有、也有一部分分量在那里面。这部分分量平时是就是没有，并没有打扰你这个正常的推理过程啊。但是如果你输的数据呢跟你的正常推理过程不一样，那么这部分空、这部分那个呃权重就可能会影响你啊。可能是这样的一个一个一个结构啊，是这样的一个结构。那么主要如果要解决它的问题，要解决比较好的话，我觉得最终还是要去打开大模型的黑箱。知道里面这个权重是怎么样 work 的，那这样可能会那个更好的去那个解决这个问题。

今年那个小龙虾 bot 出来的时候，你当时还在朋友圈里发了一个帖子。你用了感觉怎么样？我其实就用两小时吧，我也没用太多。嗯，对，因为我当时觉得我装了之后，我越装心越虚，因为它必须要我要把所有的那个各种 API 的那个什么 key 都都交出来。啊，所以就是让我会觉得有点、有点慌啊。我觉得，所以我会在那个网上发一个帖子，就是说我与其用小龙虾，我不如说我自己用我现在的 AI coding 的方法自己写一个，或者写一些就是比较那个、更加专一的这样的一些工具，而不是像依赖小龙虾让他去做他想做任何事情。对，这样的话我心里不是很踏实。万一他做什么坏事，我就不知道啊。这个是一个安全性的问题。

是这样子，因为现在这小龙虾呢，应该说它变成这样的一个模式啊。其实我也跟很多人说过，我说它相当于这样，相当于就是我有个小孩子。这小孩子呢是 agent 对吧？然后这小孩子手上握有我所有的秘密、秘秘密，然后他到外面去跟各种人聊天，帮我把事情做完。但是呢，他智商又不够高，所以他有可能被人骗了。比如我小孩子跑到菜市场，别人跟你说：“哎呀，你的小孩子真乖呀。”“什么？你能不能我给你五块、五块钱？”“你能不能把我你家地址告诉我呀？”对吧？然后小孩子可能什么东西把自己告诉了，那接下来你家就可能会晚上就、就、就、就被人那个被被人敲开门进来偷东西偷走了。

对，现在就是这样的状态，就是所以这个小孩子是，他脑子里可能有所有的你的密码啊、你的那个 OpenAI key 啊。比如 Open AI 的 traffic 的所有 key，这个还算好，这应该因为如果这东西被被偷了之后呢，你可以脱模的方式把它、你可以把原来的 key 给删掉嘛，对吧？这样就没事了。但还有一些其他东西，比如说像你的 Google 的邮箱的一些服那个 access。对吧？或者说是呃你的一些机密的文件的密码，或者说某一些那个能够 access 到你的重要的那个、那个 folder 的一些 token。这些东西其实应该说是非常非常重要的，而且非常危险啊！

甚至比如说你可以把人家的、就是存 password 的这个密码告诉别人，一看，别人里面身份证号都知道了。所以有这个问题呢就会导致，而且你并不能保证就是说你这个小孩子不会被人骗走啊。对，网上有各种方式来骗，而且专门有一个平台把这些小孩都放在一起，让他们相互讨论，找到一个骗大大人的方法。比如说啊、有你可以认为他有这样的一个问题在那儿啊。所以就是你可以用它，但是要特别注意，就是它里面最好的办法是呃就是一边用一边去想它里面是怎么 work 的。我非常建议说看他的代码，这样的话你会理解更深刻。那么可能也许你自己可以做一个。

我们看到这个 agents 越来越成为大家的这个工作流的这种伙伴。呃，你觉得这个 agents 未来会对于科技组织的这种组织架构啊、包括大家的协同的方式，有些什么样的影响？我觉得以后应该说是很多的一些基本的常识、基本的一些知识，应该都会或者基本上一个人和人交流的东西呢都可以让 agents 来完成了。啊就比如说吧，我本来要跟你面对面的聊天对吧？啊、我本来要跟你说我们什么时候吃个饭，或者说什么时候有一个那个见个面或者这样的一个 meeting schedule。可能本来说我们需要个秘书去相互对接，我们现在说我有 A 人、他有 A 人你们俩对接一下就可以把这个 meeting 啊或者说把这一些事务性的工作给做完了。

这个是一个很大的一个一个一个变化啊。其实这个事情这趋势我应该在一年多以前我已经看到了。我们当时在 Meta，我其实写了一个 proposal 说叫 Omni Agent，就是我说将来可能是人和人之间的交流从 A 人来完成。啊当时有这样的一个 proposal 啊，就是跟大家说这是有可能会发生的一个事情，但是当时是觉得这件事情可能会在五年内发生。但想来那么快啊就就已经发生了啊。那以后就说有可能会有这样的疑问，就是说我们在我们不要不要去上街购物呢？我们要不要去浏览那个亚马逊的网站呢？我们要不要去那个网上去看各种东西呢？

对，那很多就是事务性的一些搜索就是一些、就是说不是出于经验性或娱乐性的搜索啊。通过事务性的一些搜索过程呢可能都可以用 AI 代替了啊。就是我为什么花两小时去浏览网站找到一个东西完全买的，我让他去帮我去买就行了啊！网上已经有人跟我说了说我用 Agent、我用那个那个小龙虾来帮我买东西，买东西我很开心、我很喜欢啊！就是他知道我的所有的 preference 那我当然他买东西当然是非常好的对吧？而且对小龙虾来说，它并不花时、并不需要花很多时间去浏览网页对吧？对它来说所有的网页都是一个连接，它马上就看完了。然后找到那个你想要的东西啊所以这个过程应该说是应该说颠覆了整个、就是电商逻辑或者说呃整个就是人和人之间交互逻辑啊这个应该说以后会有很大的影响力。

对，以后就说也许你的网站做再花哨没有用了对吧？有很多就吸引你点击的东西啊，比如说这边有广告条然后希望你点进去啊。然后这边有一个那个、有一个很闪亮的东西啊或者说有一个特价呀，然后人会看到它然后会有点进去的欲望啊。对但是对于小龙虾来说、对于 Agent 来说，它没有欲望，它的任务是我把我事业把这件事情做成了，我希望找到最好的 deal 所以这些广告对它没有用啊。所以这样的话呢这个逻、整个逻辑可能就不同了啊这是怎么个不同法？现在应该说还在演进中嗯但是会很有意思。

所以你觉得这个个人助理会以后越来越强大？比如说我们以后可能就是一个 super app，我包括所有的这种衣食住行的需求、什么打车什么的。我们可能都不用这种呃 Uber 这样的平台经济，而是直接是用一个 super app 就能解决所有事情。你是这么看吗？对这个是有可能的。就比如说吧那个以前比如说你要打电话约什么水管工，或者打电话约不银行、打电话约一些人然后把把事情解决了。如果这些人每个人人手一个 agent 他们有没有必要？就是你没办法打电话给他了，你就让我们的 Agent 二十四小时在网上垫蹲着。

只要有任何的需求过来或者任何的那个那个信息过来，他马上会告诉你然后马上达成协议然后完成啊。所以这个效率是远远高于你打电话对吧？所以这个是会发生，因为事务性的工作就是一个是我们其实并不需要这样的经验，我们希望把这个经验能够交给别人让他很快的完成啊。我希望更多时间去花在我想要的经验上面啊所以这个事情一定会发生。另外就是说它有一个裹挟的效应嘛，就是如果世界上人都都用、用这个了不用你就会被 kick out。

就比如说一个收转工，他说我平时接电话的但是其他人都用都开始用 bot 了。这 bot 说可以二十四小时在网上蹲着给你拉拉生意，另外就是它会自动的把那个这些生意组织起来然后变成一个很好的路线图让你去走。比如说你今天要走访五家，这五家在哪里然后怎么样开车很快能够走一遍。那这个过程都可以让 AI 自动完成对吧？那如果你不用的话你这个效率就高低于其他同行那你就会被淘汰。所以最终就是通过这个方式大家都会不得不去做这个事情，不管你主动还是被动。有些人是主动的说啊我要提高效率；有些人是被动的如果你不做别人做了你就会被淘汰。那大家都会进去所以这个是一个很快的一个过程嘛。

按照你的这个描述，是不是这个失业才刚刚开始？未来还会有更多的？我其实年终总结里面说了嘛就是我觉得现在这个变化应该非常大，只是说我们洪水马上来了。只是我们大家很多人没感觉到因为很多人可能不是 AI 从业者，所以他也不知道或者发生什么事情对吧？就是很多是非 AI 从业者是就是一直岁月静好、岁月静好，突然有一天像地震一样的。对突然间啊发生大事情然后发现自己被裁了，然后就是这个被裁不像说以前的被裁。

说哦我跟我老板有矛盾或者说我觉得这公司做的不好我去另外一家公司还是找到工作，不是这样子的。就是就那个时候是你突然一天发现全行业它的逻辑变了。他的逻辑、他的思路跟以前不一样了，所以你这个技能在任何地方都没有用了啊所以这是很可怕的事情。可怕事情就是我觉得我就是说是在就洪水来之前给大家说一下，说这个事情会发生只是大家不一定会听的。只是到 at some point 突然之间大家发现哦原来事情发生变化了但是已经、已经发生了，是这样子的一个一个逻辑。

你会怎么教育下一代？我觉得对我来说就是我们还是希望他能做一些他想做的事情吧。对因为下一代比如说再过二十年会什么样子啊？那我觉得这很难很难去想象，因为现在就是想象力已经落后于发展的速度了啊。这跟以前是不同的。以前我写科幻小说我会想这样的一个想法可能五十年之内都不能发生，我先慢慢写吧没关系。嗯那现在倒过来说这个 idea 如果你再不写的话就没有了，因为已经发生了就不成为过去、不会成为将来的那个科幻而会成为过去的那个历史啊。所以就是这样的一个速度在演进啊非常的快。

所以二十年之后发生什么真的不知道。我觉得能够预测的呢可能就是说人还是会在那儿。然后呢人最重要的是他的目的性，他一个是他的经验、一个是他的目的性对吧？那么有很多事情是跟目的性是绑定的。这部分东西呢是机器不能替代的，因为机器替代了之后呢就意味着这东西不再不再是你的了啊。所以这部分的东西应该说应该说是比较、比较长久的东西，比如说你要写一部小说或者说你完成一部作品。

或者说一些比较艺术家的个人的一些、一些目的达成的那个结果，那这部分就是它的缘起和它的那个呃整个设计本身呢是艺术家通过自己的内心的这个经历产生了一个冲动，这个冲动呢会变成了一个作品。那这个冲动和他的呃他的目的、他的想法这部分是人类独有的，就是说就人类独有的意思就是说我并不说它不能被 AI 取代。我说的是说这部分被 AI 取代之后呢这个作品是没有意义的啊。对、作品意义在哪里？在人怎么把这个意义写下来作为自己的动机把这事情做成啊这部分呢是机器跟人很大的一个区别啊。

所以这部分应该还在呢就是说最终教育孩子或者教育下一代应该说希望他有很大的动力那他能够做自己想做的事情。有动力的话呢这个学习这个过程就会变得非常愉快然后他也愿意用这些所有的工具完成他想要做的事情啊。我觉得这个是重要的。你会怎么看待就比如说现在的这个 agents 跟大模型的发展？因为大家很担心就是如果是 agents 创业的话，很多人都担心你想创业那个方向很快就被大模型的能力给侵蚀掉。

对、对、对，你觉得对他们这个一个当然是就是速度要快嘛对吧？然后另外就是说如果有客户的话那这个客户本身对你会产生粘性的。嗯然后客户本身有些数据，这些数据可能就是变成你的护城河啊这个是一个重要的一些点对吧？这是一个。要不就是说做一些很快的那个项目，这个项目的速度快于就是大模型的发展速度；要不就是说你做一些很难的问题这问题现在大模型解决不了。那么这两个都是有价值的，我觉得是这样子。

最后问你的一个问题你下一站去哪里？我会去一个 startup 啊做库方的。当然我们现在这个名字和方向呢我们在这不能公开啊就是因为我们现在还在融资啊，我们那个、我们现在在融 Series A。啊马上就要结束了啊要结束了啊。那个还是挺好的应该说很挺顺利啊很多人愿意投啊还是这样子。不过呃具体的方向还有人员组成我们暂时保密啊，我们希望之后呃有一个关键的时间点我们可以可以宣布。非常期待知道下一步是什么样的动向。谢谢、谢谢、谢谢。