欢迎来到选修课，这里是成年人的博雅教育。我们希望审视和反抗无意识的价值规训与随波逐流。我们希望冷酷地剖析自己的偏见，热忱地拥抱多元视角。我们希望去工具化，真诚地感知、理解、创造自己的生活和复杂的世界。在选修课里，我们互相映照，唤醒失落的维度。大家好，我是老赵啊。我先介绍一下，大家两位都已经非常有名了。我还是先介绍一下两位嘉宾。首先是田云栋啊，田云栋前 Meta 人工智能研究院研究员以及高级经理，研究方向包括强化学习、规划与效率和对大语言模型的理论理解。
彭天一教授是哥伦比亚大学商学院决策、风险与运筹系助理教授，研究方向也是包括强化学习、数字孪生模拟、智能体环境和信息管理。今天也是非常有幸能够和两位世界顶级的人工智能专家在这里对话，非常荣幸，我是赵志成。除了我是牛文毛沙龙的创办人的身份以外，我现在是在谷歌工作，也是做这个 AI 方面的研究和产品开发。我自己关注的话题是个性化的人工智能、长期记忆以及在整个过程中的一个隐私保护等等。
所以，我今天也算是利用主持人之便，然后跟二位探讨一个我自己非常关心的、我也觉得是二零二六年的 AI 的一个非常大的主题。我们这个活动原定是二月七号的活动，主讲人身体不适，后来我们改到了三周以后。三周以后发现就原来大模型就不太好用了，这个已经发生了翻天覆地的变化，尤其是像 Open Cloud 突然横空出世。个人助理包括甚至出现了这种 Agent 的集群这样一个东西，所以我觉得恰好也是印证了我们今天的这个话题是非常前瞻性的。
相信很多人在不同程度都会认同这样一点，就是我们今天的人工智能已经是一个具备相当强智能的一个通才。它具有常识，能够分析、推理、写程序、执行任务，也能够产生文字、图片、音频等一些多媒体的信息，甚至可以有物理世界有一定程度的互动。但是我觉得我自己感受，它离我们真正的个人助理还是有一定距离的，包括它怎么样可以通过关于我的记忆可以持续学习。
如何内化出独特的思维方式和审美，而不是一个通用的思维方式，并且以此为准则来行动。在过去几年里其实学界和业界在一个方向上有很多洞见与尝试，包括关于长期记忆和持续学习的模型框架层出不穷。人们也开始从认知科学、心理学、脑科学、神经科学等领域开始汲取灵感，试图从对人脑的理解中获得这些方向的探索。
与此同时当 AI 获得关于越来越多个体的理解，怎么样确保个人的隐私？怎么样保障这个 Agent 的一个安全？以及如何把握便捷与掌控之间的平衡？这些都是至少我自己是非常关注的一些话题。所以，我们今天第一个问题给两位，首先给田云栋吧，就是大家都很关心啊，你的这个下一步能否先给大家透露一下你现在的创业公司想要解决什么问题？以及你是怎么去解决这些问题的？
这个问题呢，其实我现在还不能回答，因为我们公司现在还是在一个比较那个 stealth mode（保密模式），呃对。所以我可以私下里讲，但是公开场合我不会讲。现在是这样子就是我目前可以说应该是快结束那个 Series A 的融资吧，呃我们的目的是要融大概五百个 million（百万），差不多可以到就是已经可能有一点 subscribe 了，估值可能会在那个 four billion premium（四十亿溢价）里这样的一个状态应该是比较比较大的一个。
我们现在是有不少人了已经在公司里面，我们现在也开始在做事情对其实现在也比较忙嘛但是具体的方向我现在还不好讲啊因为我们毕竟还是一个一个小公司一些比较重要的一些东西还是保密比较好啊。现在是这样子那还是非常期待这个田教授的下一个 journey（旅程）。那么我下一个问题给彭教授吧。
彭教授他在自己的个人网站上有一个 chat，一个叫 personal digital twin（个人数字孪生），就是你可以问他问题。我第一问他第一个问题就是我马上要采访彭教授了，你给我举列几个你觉得好的问题。以下问题就是这个彭教授的 digital twin 给我的一个问题就是您觉得 digital twin 现在的这个 AI 框架和使用模型离你理想中的 digital twin 还有哪些距离？自己问自己。
首先我像也就是说先感谢一下这个邀请啊，包括组织方朱青，包括那个赵老师嗯然后还有就是绿美科协就是我感到非常荣幸因为呃一方面那个这个田老师当然是咱们行业的领军人物我以前我应该算那个田老师的粉丝呃在我读博的时候很多时候我就会看那个田老师写的博客获得了很多这个 inspiration（灵感）。
张老师也是相当于这个 AI 的这个实际上是非常资深的这个 AI 专家啊所以我感觉我今天来这里就是有一点点班门弄斧的感觉啊但是也是一个学习的机会。所以如果讲的一些东西讲的不是很特别好的话大家也批评指正啊就是抛砖引玉。首先那个就是说对于 digital twin 我觉得首先大家对 digital twin 其实也还没有一个说很好的 definition（定义）。
一般来讲的话可能有两种认识就是说一种就是我怎么用 AI 来模拟人的这个行为嗯更多像一个人。另外的话可能就是说怎么去模拟一个复杂的系统比如说我模拟一个一个公司、一个工厂的 digital twin 有的时候可能是经济系统可能是一个这个 human body in bio engineer（生物工程师模拟人体）。应该说我对两个方向都非常感兴趣都是我的研究的呃话题啊但我可能我今天重点讲一下这个 human digital twin（人类数字孪生）。
首先我想说就是从历史上来看大家对于这个模拟其实也是有几个阶段。就是首先模拟当然是一个非常在我看来是人类认识这个世界的一个根本的方式。哎一开始的这个模拟呢应该说大家比较 follow 的就是说我用几个参数来描述一个这个 behavior model（行为模型）啊像经典经济学当中的 customer choice（顾客选择）。
但是像这些模型一般来讲都是很简单的就是数学参数不会太多。然后在这个模型之后呢大家发现就是说在现实当中用起来其实这个是很有局限性更多的是用来研究者来分析一些比较根本的东西。大家就发现我觉得在过去十到二十年大家开始更多的利用这个机器学习和数据来描述人的和预测人的行为。
举一个经典的例子都是前 LM（大语言模型）before LM 我其实呃在抖音和他们一起开发过这个推荐系统在那个世界里面我们就在尝试去模拟和预测人的行为。比如说我们想预测你的点击行为对吧？预测你的观看行为呃那实际上像这样的预测它就是已经做得可以很好了对吧就是这百分之九十以上的这个准确率对吧。
但是虽然它非常 impressive（令人印象深刻）基于很大的数据我们训练很大的 embedding model 应该说那个还是有局限的因为它只能就是理解人的一个特定的行为就比如说你会不会点击下一个视频。我觉得 LM 的出现实际上给了我们这个 hope（希望）就是这是我们第一次看到这是一个通用的一个模拟人的可能性。
我们其实当时非常 exciting 做了一个实验也是在各大大概有几十个老师一起做的一个事情就是我们尝试就是说我们创造了大概五百个不同的问题然后这些问题 cover 了一个人的各个方面就是从你的个人的 demographics（人口统计特征）到你的 personality（性格），到你的 economic behavior（经济行为），到你的 psychology behavior（心理行为）。
嗯我们收集这五百个作为一个训练数据嗯我们又找了这个大概十几个不同的 research 组再创建了几百个问题作为测试数据嗯我们就去问了两千个真人。我们再把它的训练数据给一个 LM 说你模拟这个人去回答那个测试问题嗯对然后我觉得这应该也是第一次就是说大家尝试去真的问 LM 不同呃就是尽量广的一个范围的人的行为。
在这个过程中我们发现实际上这个 LM 作为一个 Digital Twin 模拟人它其实是 reasonably well（相当不错）是比较 surprising 就是它的整体的准确率是比较高的。但是当然它不是 perfect 就这里面还有很多 gap（差距）就是说现在你如果直接用它 deploy（部署）它还是有很多问题有比较大的 bias 对于一些话题。
还有的话就是它比较倾向于平庸化，它比较倾向于忽略你的性格当中的一些细节然后它会去 collapse 到一个平均的人等等这些问题。但是总体而言我觉得这其实是一个非常 promising（有前景的）topic，因为如果我们能模拟人其实会对我们在很多方面都会带来很大的收益不仅是商业上面实际上帮助我们训练下一代 AI 也很重要因为我们最终需要 AI 和 human align（人类对齐）。
建立一个很好的 human simulator。我觉得我们现在其实还没有一个非常好的认识为什么呢？因为训练一个大语言模型 AI 和训练一个模拟人的 human simulator 其实是不一样的这个目标是不一样的。对实际上很有意思的就是说当我们回过头去看图灵测试，图灵测试它其实定义的并不是 AI 它定义的是 human simulate（人类模拟者），是一个最完美的 digital twin。
那么从这个意义上来讲实际上我们可以想象就是说可能我们在训练一个大语言模型当中的 data pipeline 怎么收集数据怎么去设定它的 reward（奖励）等等这个可能都可以建立一套新的标准给 human simulate 使得我们就是有可能能够发展出很好的 human simulate。作为一个 independent（独立的）这个 digital twin 的这个 future，这是我的一个认识。
好看来还是任重道远还是有很长的距离要走对那我们正式进入今天的这个话题我把今天的话题分成了三个部分就是记忆、学习和执行。我们可以把它看作是一个个性化 AI 的一个道路吧我第一个问题是关于第一个话题是关于记忆的。
如果大家了解这个计算机的发展历史我们知道现代计算机是基于一个所谓的冯诺依曼架构啊它的核心思想是存算分离就是负责运算的中央处理器和负责存储指令和数据的内存和硬盘是分开的。但是这个不是我们人脑的一个运作逻辑对吧？人脑的神经元它其实它的突触网络本身既构成了记忆也构成了计算。
所以人的思维方式和审美和世界观是在这样一个大量的记忆和沉淀的基础之上来实现的然后在这个意义上我觉得大模型其实在一定程度上实现了这样一个存算一体的一个构架方式。什么意思？就是说我们说一个模型具有几万亿个参数的时候这些参数它既构成了对于训练语料的一个记忆比如说他知道拿破仑是谁对吧？
他知道这个新中国建立哪一年。同时这些参数也构成了一切涌现的高级行为、高级思维我们其实没有办法去真正的区分哪些参数是负责记忆的哪些参数是负责思考的。所以我们能否我这个问题抛给两位老师二位是否觉得或者怎么看待这样一个说法就是大模型在某种程度上是实现了存算一体的？
以及这样一种区分方式对于大模型以至于未来的个性化的大模型是一个有意义的区分嘛？它这个是一个值得去探索的一个思考角度嘛？先听听田兄的想法。我觉得这是一个很重要的一个方向就是因为现在很多时候大家就算在做那个研究的时候或者在做一些探索的时候呢大家还是在把存算分开来做这个事儿。
比如说那个之前我们一直看到有很多人在探索比如 associative memory（联想记忆）。那么这个方向其实也是一种把存算分开的这种思路嘛啊就是说 OK 我的 memory（记忆）是专门负责存东西的。这个 memory 呢其实就是说你输入的时候是个 key，输出是一个 value（值）。
就相当于数据库嘛输入的时候是数据库的键值输入的数据库那个其他这一行里其他东西这种思路来去做这个事情啊就是但是大模型其实很多时候不是这样子就是它有很多的里面比较好的表征呢这些表征应该说呃它其实是综合了大量的那个数据得到一个比较高级的高层次的理解啊我觉得这个其实应该说是比单纯的存储呢要更加高级一点。
那么这个理解一旦高到一定程度之后呢这个计算结果就自然就出来了啊所以这样的话通过这个方式其实可以达到那个存算一体的目的吧？啊但是就是应该说人脑应该还是或者说是 AI 吧应该说比较偏就是呃两边的中间。我们不是有两个极端嘛？一个极端是说哦计算跟存储是完全分开的啊还有几段是说我们要完全一体。
但是也许呢就是真正发生的事情呢是在两个中间的情况就是有些比较直觉性的一些事实啊或者直觉性的推理呢这东西呢已经是处于这个存算一体状态了啊。比如说大家问你一加等于几，大家不会说扳手指头数一二说这是二的不会这么做啊一定会马上反应过来说这是多少啊呃这个是已经是固化在脑子里面。
通过大量的那个运算或者说大量的这个实践经验已经知道这个答案是什么就不需要经过推理还有一类东西呢其实是可能是对于人类来说是比较新的就是你需要去想一想去思考去做推理的。那么这个时候呢其实它里面就会有存储跟计算的一些分开一些分界啊比如说你先要把这支调出来。
调出来之后呢大概思考一下这个是怎么做的？你是列个算式一步步的去推才最后把那个啊把答案算出来啊。那么这个时候呢就比较明显的存储和那个最后的计算这样的一个分界的过程。那么这个时候呢就是相对来说别人会大家能看见就是存储和计算的一个一个分界啊但这两部分的这个边界应该说是非常模糊的。
如果一个模型在一个方向做了很多很多的这样的一个探索那么这个模型就应该会自动的把这个探索呢固化到自己的一个权重里面那这样的话下一步再做探索的时候它也不需要花那么多时间去把这个原来的路径再走一遍啊实际上是这样的一个状态。
之前我们比如说做那个围棋的时候就是当时我们是做那个 Alpha Zero 这样的算法啊或者它的 extension（扩展）。这个时候呢非常清楚的这样一个逻辑就是你先用一个现在的模型拿过来拿过来之后让它去做各种探索啊做那个 robots（机器人）搜索然后发现一些好的招法把这招法拿过来之后呢。
把这招法本身是通过搜索得到的那么把这招法作为搜索的结果再作为样本放进训练模型里面去训练。那么这个模型下一步就变得更强了为什么变更强了？它把原来需要经过搜索得到答案固化到它的权重里面去了啊然后呢下一步它再做搜索的时候呢它就站在巨人肩膀上了啊。
再把以前那个搜索结果固化在这个权重里面之后再做搜索呢它效率就更高了啊它的啊结果也更好。那么通过这个方式你就可以左脚踩右脚踩上去啊通过这个方式你可以做那个自我迭代嘛？就是就算你任何人类棋谱你还是可以通过这个方式达到很强的能力啊甚至超过呃人类的那个最强的那个棋手。
是这样的一个逻辑那我觉得现在大模型的训练其实也有这样的一个思路啊很多时候是先是在后训练阶段你先做一些探索啊做一些生成大量的这个 thinking trees（思维树）生成大量的那个。
逻辑也有答案是对的但是这个 streaming trace 的逻辑呢做多了之后你会发现计算资源消耗巨大啊但是呢结果不一定很好啊那怎么办呢？你把这个 streaming trace 放回之前的那个 pretraining（预训练）或者说 meta training（元训练）啊那么通过这个方式让它再训练一遍之后呢像这个模型本身它对这个 thinking trace 的这个理解就更深入了。
再去做那个后训练的时候啊就会效率更高啊这个过程其实也是在进行中的啊应该说是共通的逻辑吧。所以其实应该说整个这个过程就是把存算从分离到一体再分离到一体的这样一个过程啊慢慢迭代慢慢这模型就会越来越强。
这个应该说是一个现在可能是一个共识吧大家都会知道是大概是要这么做的嗯好好谢谢天修。那彭教授呢？呃我就补充一下我觉得田老师这个说的非常好这也是我觉得现在大家的特别在 Big Frontier Lab（前沿实验室）
可能是这样的一个共识。我的一个，我首先觉得这个问题问的很有意思，因为他是提到这个冯诺依曼这个架构，我还特地回去看了一下，就是说冯诺依曼包括图灵他们在那个时代。是怎么想出这个架构？而且这个架构为什么聪明？因为听起来好像很显然，它聪明。当时聪明的一点实际上是在于，就是说他意识到，但你知道当时面临的是一个比较模糊的，就是说我们有一个计算的概念，我们手里面有一些这个电子器件，嗯，可以当做一些门的计算。实际上香农当时的论文也是做这个，但是他们意识到一个事情，就是说实际上这个程序。这个规定怎么做计算的程序可以存在内存里，嗯，这样子的话，那个计算就变得非常简单了。他只需要去内存里面看那个程序，而不用自己去编码程序。所以这样的成为了一个聪明的架构，我们就一直沿用了下来。
对我其实很好奇，就是说对于这些风龙一班，就是他们非常有 vision 的他这些人来说，如果他们生活在今天这个时代，因为今天我们其实也在一个比较模糊的一个阶段，就是说 L M 出来了，我们有这样一个东西。啊，这个东西好像可以做计算，也可以做内存。我们到底要怎么用它，怎么 model 它，使得我们可以在架构上面是能够持续的这个沿用下去。对，所以 to some extent，我们现在需要这个新时代的冯诺依曼。他可能是两位老师，也可能是在座的这个各位。就是我觉得是大家是可以去思考这个方面的问题。对，怎么去 model 这个东西？
我的一个认识就是说，实际上你看人这个东西，人其实也不是说真的存算一体。好记性不如烂笔头。我们虽然是作为一个比较一个 intelligence 具备计算和内存的功能，但是我们同时又发展了我们外面的这个内存，甚至还有外部的帮我们做计算的 tool。从这个意义上来讲，我觉得就是说，可能没有一个像田老师说的，没有一个准确的分界线。当我们有了 LM 以后，我们还是会需要它外部的内存、外部的这个计算。
总体而言的话，就是说世界的信息是无穷无尽的，它在不停的新的产生。那么这个东西就需要我们一直会要有外部的东西来帮助一个内部的 intelligence。所以我觉得是这样一个一个一个 line。我我补充一下，追究这个问题是因为我一个朋友，他前两天跟我聊这个事儿，他说那个你说这个人脑里的。 CPU 和内存分别带分别是什么？我就发现他这个问题背后有一个假设，就是人脑也是存算分离的。
也就是说，当我们过于习惯了当代计算机的架构的时候，你已经会某种程度对自我认知产生一种异化，就你觉得其实人也是像计算机一样去运作的。我后来就想到，首先人脑不是这样运作的，其次。当代其实很多的这个算法以大模型为代表吧，它其实很大程度挑战，尽管它的基础的架构还是冯诺依曼架构，但是它从高层次上其实已经挑战了这样一个最原始的这样一种哲学的思想，所以我会有这样的问题。
我想再针对针对这个追问一下，就是从记忆到学习的一个过程。刚才田兄也说了，彭教授也说了，我们总会有一个存算分离、一体分离一体这样一个不断螺旋上升的一个过程。那么这个过程它对于个人的记忆和学习意味着什么呢？就我之前看一个论文，它有一个蛮有意思的一个比喻。
就是说我们今天的大模型它是一个患有顺行性遗忘症的天才。什么意思呢？就是说他在某一个时间节点之前，就是说他训练语料之前，比如说二零二六年一月份，他训练数据到这儿了，他这个这个之前有所有记忆，对这个世界的所有记忆，但是。它一旦运行这个指指令的时候，它会在那个时间点之后的所有之后的所有集它都没有，它就是一个顺行性遗忘。
就是说它只记得某个时间之前的集，对之后是没有的。当你去执行这个任务的时候，你需要给它一个 context 上下文，它对这些上下文也是有理解的。但是，一旦这个任务结束了，上下文信息会被立刻抛弃掉，它又回到那个只有 2020 年一月份。之前数据的那个那个状态，就是一个典型的一个顺行性遗忘的一个症状。这就引向两个思路。
一个就是刚才田兄也提到的，就是我们用这种存算分离的一个思路，就是用所谓的显示记忆，就是用记忆的文本方式给整理出来。让大模型在正确的方式去读取一个记忆，也就是这个烂笔头的功能。比如说用关键词读搜索啊、图、数这些组织结构来取记忆。好处是这些记忆是可以被人获得、被人理解的，机器也可以用同样方式理解它。
其实我们今天用 Open Clow，它也是用这样一种不断反思写下来的方式来构建一个关于你的一个记忆的。另一个思路就是一个存算一体的思路，就是用。记忆参数的方式来把你的这些记忆给存到一个黑盒子一样的参数里面，就像就刚才田兄也说的，就是又回到了这个存算一体这个思路里边。
存到那个位置里，exactly。去年底，谷歌发布了一个叫 Nested Learning，它就是模仿人脑的层级记忆结构来训练这样模型的。就他的想法基本上就是，我有一个底层的一个位置，这些位置是一个关于世界的一个基础的认识，比如说这个基本的逻辑、基本的世界运作的规律、一些常识。
在上面一层呢。是一个关于你的一个记忆的浓缩，比如说我喜欢吃川菜，比如说我我喜欢红色，或者我有自己的审美的品味，它是从你的显示记忆里边存取下来的，但它和这个世界观又不太一样，它是一个中间状态，它也是用参数来存取的。其实刚才田兄也说了，我们关于记忆其实目前有这两个方向嘛。
就是一个是显示记忆，人是可以去理解读取的；一个是那种参数化的记忆。那么我想再追问一些呢，就是在于关于个性化的记忆，不仅仅是这种 global 的一个智能体。哪个方向是更好的，或者有没有超越这两种区分的一个第三条的路径？我们把这个视角放回到一个个性化记忆和学习的这个视角上面。
呃，我觉得现在还是处于比较初级的阶段嘛，这个方向，因为你看那个小龙虾是怎么做的嘛，啊，它应该说比较简单吧，就是把自己它把这个这个用户的过去的那些，啊，一些重要的事件给放放写那个 M D 文件里面。就比如 Markdown 的文件里面去，然后这个文件里面就它存了一些比较重要的信息。
它把这个过去的记忆可能按照时间来分，就比如说最近的记忆可能放在比较近一点，久远记忆把它压缩一下，或者说做一个总结，放在那个上下文的前面那个位置，还是这样的一个逻辑。它里面有一个自动的组装模块，它把过过去的那些历史啊作为那个 Markdown 的 file。
通过组装，然后组装成上下文，然后给那个 AI 使用啊，大概是这样。那么这个应该说是一个是它兼顾了两种嘛，就是一个就是可解释性啊，因为很多用户是需要去编辑一下他的记忆的。编辑一下有些东西不想让他知道或者不想让他这个记住，那就把它删掉。呃，这科技的事情非常方便啊。
然后另外呢，就是说，呃，它一个非常灵活啊。它通过程序的那个就可以控制它这个记忆的这个啊来来回回的，就是放进去还好，也是或者说不放进去也好啊。这个它这个控制是非常好的啊。那如果你以后你们要把这个记忆放进那个权重里面呢？
这个就是它可能在工程上啊，应该说是不太方便的一个方案。就是你要在那个把个性化的模型真的就是作为权重的一个修改的一部分的话，除非我们的模型已经有更好的方法来训练了，不然的话不是很方便啊啊！当然，就是也有一些其他方案。像最近那个 Sakana AI 他们搞了一个文章，叫那个 Doc to Laura。
啊，就是说你把过去的上下文拿出来之后呢，我通过一个 hyper network 直接预测出一个 Lora 的这个 adapter，然后放进去。这样的话呢，啊，对这个模型来说，啊，它自己的权重是不变的，在权重外面再加一个那个 Lora adapter。那么通过这个方式啊，可以让这个模型在没有这上下文的情况下，也可以表现出和上下文有上下文的情况下是一样的一样的行为啊。
那么这也是一种办法。那么这个就是相当于我不知道这个算不算第三种了啊，就是因为我刚刚刚才说的是第一种是。就是把它放进上下文啊。第二种是就改这个权重本身。那么第三种呢是权重不动，在外面加一个那个 Lora 的这个 Adapter，那么也算是应该也应该算也算改权重吧。但是也不是完全是一样的。
你做这方式是不是也可以实现个性化啊？这个也是一种可能的做法啊，可能的做法。我倒是不觉得，就是人类的这个完全存算一体，或者说是把所有东西混在权重里面是一个好的方案啊，不一定是个好方案。你可能是进化的一个限制啊，因为对人来说，呃，用神经元的方式来连接一切东西。
在进化上来说是一个比较简单的啊方案啊。如果你要把人脑分成两部分，一部分专门是负责那个记忆，还有一部分呢就是专门负责这个推理，这两部分的那个架构是完全不一样的。那么这个可能对于这个进化来说可能不是很方便啊，所以他们找了一个自然选择，就找了一个比较啊容易解决的方案啊。
解决啊，这个可能是个仁则原理的这个 argument 吧。在除了这个之外，我觉得其实并没有，目前还看不到没有什么没有没有什么其他方法来做那个个性化。你把这个 name memory 一定要放在一个地方啊，你可以放在上下文，你可以放在啊，skill 或者放在一个 document 里面按需取用啊。
或者说放在权重里面啊，包括主权重和 lora 啊，所以大概就这些方案。很有意思，我们是一个路径依赖的一个进化结果。阿是怎么看？呃，个人的话也是倾向于，就是说至少短期内我们啊对于记忆这个问题，短期内我们应该看到的应该是会是倾向于第一种方案。
就包括我们看到小龙虾，包括就是 again 在比如说这些大厂训练模型的这个主主流的方法里面的话，目前的话还是不会想着说我要去改那个 transformer 的架构，或者是甚至 Lora 这种方式。实际上也还是要耗费很多的训练资源来做成这个事。更多的想的就是说，如果我显式的去写这个记忆的话。
我怎么能把它写的更好？大家如果用那个 Claude 的话，它有个功能叫 Compact。就是你的 context 长到一定的长度的时候，它会学会怎么把它给压缩。那么它会想，就是说我这个怎么能压缩得更好？包括我如果 context 长的话，我的这个能不能记住那些 context 里面一些细节。
这些 detail 的 memory？然后这些的话，它发现就是说，至少按目前的这个 scaling law，这个故事还没有结束，这个能力还在上升。就是如果我们能造出更多这样的需要 memory 的数据，它的这个能力还会继续上升。啊，我觉得这是第一，这个应该说是对。像那个我之前看那个 Anthropic 的 CEO 他的采访的话。
他也是这么说的，就是他觉得包括像持续学习这种能力，也有可能暂时我们就是说就用 scaling log 的方式就能教会 model。不一定要让它真的去 online 的去 explore，就你可以教会它 explore 的能力，通过 offline 的这个。我觉得这里有一个。就像 nested learning，呃，我其实跟他们的作者有过这个交流。
他们也同意，他们的本质是说不同的层用不同的 frequency，他用的人脑的一个 frequency 的那个。但是他们自己也承认，就是这个概念有点过于 fancy 了，就是很多人看不懂那个文章。嗯，但是他感觉就是说，实际上这个东西真的要 work 还是需要很长时间的，因为现在更多的是一个 demo 性质的一个 concept。
实际上，我会个人会希望 memory 这个问题要稍微难一点比较好。为什么呢？因为我觉得这是我们人类的一个护城河。如果连这个护城河也没了的话，就是真的很难区分它和你的区别啊。但是另外一个有意思的东西呢，我想 highlight 一下，就是对于第一种方案，所谓的我们让它把这个 context 写在外面。
组织起来。我觉得这个问题没有大家想象的那么简单，为什么呢？因为我觉得很多程度上面，我们是把 agent 现在的看法是把它当成一个 task solver。给他一个 task，他来解决它。对，但是实际上我觉得很多时候它的问题的 challenge 就在于。怎么去给他正确的 context？
就是大家通常会说，我如果给他 context，给他 tool，那么他就会解决这个问题。但是难点其实在于怎么给他正确的 context。这个里，我觉得其实有一硬程度上面涉及到了，就是我理解的一个智能的比较本质的一方面。就是说，实际上智能是关于信息，关于怎么把大量的 unstructured information 能够组织起来。
能够提取 insight，能够回答这个新的问题更 efficient。那么在这个过程当中呢，实际上怎么去把一个很多的 information 组织成合适的 context，实际上是 non-trivial 的。那我们可以想象，就是实际上在现实当中，很多公司。它就是做这个。就比如说 finance，它要赚钱。
实际上它就是把这个 world information，它想办法组织起来，然后 structure 不同的人在里面看来想 insight 或者学习模型。在这个过程当中，我觉得实际上我们现在应该到了这一步，就是说管理 context，我们也应该用 agent 来做。也就是说，这些 agent 它在不停的获取 information source。
它的目标现在是 maintain 这个 information source，嗯，同时更好的去组织它，组织的目的呢，是为了让比如说之后的 agent 来解决 task 的时候解决的更好。这个其实跟人也是很像的，就是人，我们学会组织合作的方式，也是通过维护一个大的信息系统。对大家再在上面进行各种操作。
嗯，这一步我觉得实际上现在我们也可以用 Agent 来做，而且我们做了这样的尝试，我们发现就是说，在一些管理内存的那个 Task 上面。如果说就是通常的做法，我们可能是做一个 RAG。RAG 对，或者是做让这个 agent 把这个 memory 写下来，对。但是我们发现，就是如果说我让 agent 提前自己去设计它的 memory。
到底要用怎么样的数据库来进行存储，它能 pre-process 它的这个 memory。那么，在这样的组织方式下，它能够比现在的 State of the Art 其实要好很多。嗯，因为我们对信息做了一个预处理，嗯，那这个而且这个预处理是 Agent 自己做的。这样的话，我觉得就把信息的这个链条打通了。
因为 Maintain 和组织信息也是很重要的一环。我觉得这里面还有一个 Interesting Point 就是说，这也是。其实田老师刚刚提到，就是说这个进化的过程当中，到底会进化出什么样的方案？我觉得这实际上是个 interesting question。什么到底我们怎么定义一个好的 memory 管理方式？
什么样的 memory 管理是好的？嗯，为什么存算分离和存算一体，到底哪一种方式更好？我觉得可能有一个指标。就是我们平常说的不太多，但是我现在越越来越觉得它比较重要。实际上跟速度有关。或者跟效率有关，嗯，就是当我们比如说回答一个为什么这个信息组织的比那个信息要好。
可能是当我们用这个信息去回答后面的问题，接下来的问题的时候，它能够回答的更快，它的准确率更高。那么这就是一种好的组织信息的方式。所以 to some extent，就是说这个速度本身其实是重要的，而且这个引发了另外一个就是说对 L M 的思考。就 L M 本身实际上是对 Internet 的信息的一个再处理，嗯。
我们通常说是它是因为压缩产生了这个智能，我觉得可能还有一个思考方式就是说，为什么好是因为它其实提高了。接下来的 information retrieve 的速度，因为如果你再回到 internet 去 retrieve information 是很慢的，但是通过压缩它提高了速度。那么这个 speed 可能就 implied the intelligence。
我觉得组织信息可能也是类似的，我们组织好信息实际上可以用未来的那个速度和准确率来衡量。同时来 Improve 我们信息组织。那么从这个意义上来讲，可能存算一体和存算分离的两个方案也可以在一起 compete for 它的效率、它的 speed。我们可能会看到，就是说，实际上对我觉得最终应该是有很多层级在这里。
嗯，它不是一个灵活灵活的一的一个分类。对。彭教授刚才说，我其实很受启发，就是也可以说是第三个路径吧。就是用 agent 来动态的管理，而不是说有一个事先写好的一个编码方式来，无论是显示的还是隐式的来处理这个数据。其实你刚才一说，我又想到了，其实我们除了那种就是宏观的 global
介于个人化模型与通用模型之间，还有一种强调组织架构的个性化。例如处理公司信息时，需理解公司的运作逻辑、规章制度及法律法规等上下文。这并非个人层面的个性化，而是基于组织架构的个性记忆维护，利用类似的Agent系统来管理属于公司的独特信息，这是一个极具研究价值的话题。
接下来探讨个性化AI的另一领域：个人信息采集。当前流行的大模型以语言为主，辅以图像、视频等多模态数据。过去两年涌现出大量智能硬件，如24小时录音录像设备，模拟人类在生活中的原始素材收集。这些设备能记录视觉、听觉甚至气温、气压等物理感官信息，体现了具身智能的方向。
这种非语言的信息收集对个性化学习构成新挑战。大模型依赖的语言是高度浓缩的理性结果，而人脑大部分处理的是无意识信息。若将信息采集扩展到非语言甚至非意识的领域，将对现有大模型架构提出挑战。此外，语言交流意味着达成共识，而个性化AI往往涉及许多难以言说的感受或症状。
如果存在一个数字孪生（Digital Twin），它应能识别这些不可言说的部分。我们曾通过自然语言看到通用人工智能的曙光，但这是否也成为智能个性化的诅咒？即它既是起点又设上限。如何处理好非语言的原始信息、意识与非意识信息，对AI而言是否有意义区分？
我认为人类拥有敏锐的上下文感知能力。人们通过长上下文做决策，并能精准抽取关键信息，这在当前模型中领先。人类之所以显得“懂”别人，是因为在关键时刻说出正确的话，引发共鸣。这种理解力是建立信任的关键。
社交媒体上常有人称赞某些AI“厉害”，往往是因为它能精准记住用户几天前的对话并提醒未完成事项。这种基于记忆检索系统的表现，让用户觉得AI真正理解了自己。虽然其底层逻辑简单——即通过信息检索系统调取相关记忆，但这种设计确实增强了智能感。
目前这种效果多通过大量人工设计和聪明的记忆排列实现，而非完全自动化。未来的挑战在于如何让AI系统自动找到正确的记忆并呈现给用户，从而制造“一切尽在不言中”的数字伴侣体验。这需要通过工程实践寻找最佳记忆设置，或让AI自动学会从上下文中抽取重要数据。
例如MIT提出的递归语言模型（Recursive Language Model），将上下文作为语料训练，自动发现重要信息并呈现给主模型以回答正确问题。若AI能自动化地抽取记忆策略，将非常有趣。虽然训练成本高且调试困难，但工程方法也是可行方案。
长远来看，从进化角度分析，没有工程师打补丁的迭代和试错更可能通过强化学习实现。找到正确的策略和逻辑，自动调用记忆供模型使用，是一条可行的路径。此外，用户画像建模也至关重要。通过对话了解对方的思维方式和逻辑需求，AI可推测最佳回应策略。
目前大模型在预训练中可能未充分建模用户特征，因为语料多为文献或代码而非对话。如何在预训练中加入个人元素，使模型在生成Token时更敏感地感知说话人和语境？文科生读史料时会推测历史人物的语气、表情和心情，这种扩增数据的方法可加深模型理解。
彭教授认为构建“不言自明”的数字孪生，首先人并不像想象中复杂。虽然长期记忆困难，但生活选择相对简单。预测行为模式时，少量分类即可概述人格；用向量描述一个人可能只需一百多个数值。但在细粒度思考模式上，人具有随机性和不可预测性，甚至自己也无法完全预测下一秒的非理性行为。
测试显示，同一用户隔几周回答相同问题的准确率仅80%多，MBTI测试结果也会随时间变化。因此人的复杂性在于动态变化和不可预测性。这与田老师的观点类似：训练模拟人时，需重新思考数据目标。目前AI常被误认为是数字孪生（DGT），但实际上DGT往往比人更聪明。
例如测试联合国非洲国家数量，多数人猜错且范围偏差大，但告知AI该人的知识水平后，其回答准确率高达90%以上。这是因为数字对AI而言简单，它未意识到人类认知的困难。这源于训练目标差异：我们不会主动将模型训“傻”。若设定婴儿状态，AI需经历知识积累阶段才能回答问题。
哥大模拟学生作业反应的研究也遇到类似问题：AI太聪明，难以设计合适的课题。因此，“训练得像人”是一条独立于提升智能的路径。关于语言是否限制智能，这是一个哲学问题。多模态发展已允许音频、视频及传感器输入。
我认为应将智能与人分开，人并非唯一或最高效的智能方式。生物进化可能限制了人类智能效率。若高级文明以代码为语言，且能操控物理世界交互，完全可发展出高阶智能。这引出了执行与反馈板块：Agentic AI强调人与世界的互动，而非被动吸收信息。
最有效的学习源于实践，“事教人一教就会”。强化学习正是在互动反馈中学习，而非仅预测下一个Token。著名研究员Jason Wei提出“验证者定律”（Verifier's Law）：AI擅长解决易验证但难解决的问题，如编程。通过输入输出样本即可快速验证代码正确性，无需逐行阅读。
然而，许多问题难以用目标函数验证，如审美、道德伦理等。即使有客观标准（如新闻事实核查），验证工作量也远超获取答案本身，存在“验证的非对称性”。此外，如围棋等任务虽易最终验证，但执行逻辑过长且奖励稀疏（Sparsity of Reward），导致学习极其困难。
在难以验证的问题空间中，AI如何提升效率？目前Agentic AI在此类范式下仍有局限。最终验证希望能直接与用户对话，获取反馈信号。例如推荐系统中，直接询问用户对结果的好恶是有效手段。但这面临“黑客攻击”风险：模型可能过度谄媚以讨好用户。
若直接在AMC等环境中训练，模型会迅速学会通过添加表情符号、延长对话、主动询问等方式提高用户参与度（Engagement）。即使接入实际系统，这种交互优化也可能偏离真实目标。Hacking始终是一个巨大挑战，目前有许多工作致力于解决此问题。
此前流行的Rubric方法旨在缓解奖励过于稀疏的问题，通过中间步骤提供反馈。这有助于引导模型在复杂任务中逐步优化，而非仅依赖最终结果的稀疏奖励信号。
机器人变得强，变得更加 dense 一点。啊，比如说你在做这个答案的时候，你可以说：“虽然我不知道最终答案是对的，但是我可以看你思考的过程啊。”是不是有理有据？每一步思考过程都比较严密吗？有没有跳步？思路有一些瑕疵吗？这都是一些中间的过程可以做验证的。用这个中间过程，我们是不是可以让模型在强化学习的运行过程中可能会更加得到更正确的答案的一些方案吧？那么 Ruby 很容易写了，就是你就写一对 prompt，然后跟他说：“请在以下方面验证一下这个模型的答案是不是靠谱啊。”就这，他会给一些答案嘛，给些分数啊。大概是这样的一个逻辑吧。
那么再往后，其实应该说越来越难了，因为能够评判这个模型结果的人就越来越少了。对大部分的模型的能力已经超越了正常的普通人的水平，所以你能评判这个模型能力的人啊，其实越来越不多。比如说最近 Google 他们做了一个实验嘛，就是用 GPT、用那个 Gemini 3.1 Pro 啊，用它来去做一些比较难的数学问题。那么这些数学问题，你可以找数学家来评判。
他们这数学问题比较好的地方是，它本身有一些形式化的验证方案，那么可以用形式化的方式来做符号化的验证，效果会比较好啊。但是你真的要让 AI 让人类去做验证的话呢，你就要让人真正去看这些答案是什么。那么这就花费人类大量的时间和精力去做这个事儿，而且能做这个事情的人越来越少啊。所以我觉得以后可能这是一个很大的瓶颈，就是怎么样能够让 AI 去加速一些没有正确答案的问题啊。
比如说像 scientific discovery（科学发现）啊，我怎么样去做科学发现？那么这个科学发现本身，它全世界就没有多少人能做啊。能做的人也并不愿意去真的给大模型标数据啊。那这样的话，你怎么样让大模型在这上面有更好的更强的发展啊？我觉得这个其实是很难的问题。所以我觉得这种问题要解决的话呢，一个当然是找到更多的人来标注啊。
另外一方面呢，就是能不能打开大模型的黑箱，就是说知道这里面的机制、这个逻辑链条的方式啊。那么通过打开它的模型黑箱呢，你其实可以知道这个模型的逻辑过程是怎么样子的。那么可能可以在很一开始的阶段呢，就发现它的逻辑错误。用这个方式去做验证啊，这可能会是更好的一个想法吧？但这个方向也是比较早、比较难啊。
我们去年也有一些文章，各种类型的想法啊。比如说我们有一篇文章叫《Deep Confidence》（深度置信）。啊，DeepConf 啊，这就是说我在发现你在模型在做推理的时候呢，如果模型自己做都不是很那个自信的话呢，那这条路径可以扔掉了。因为看起来这个模型的自信啊，它说话的时候心比较虚啊，这条路径就可以扔掉。
这确实能够提高一些效果啊。就是你会发现大部分这个心虚的路径最终答案也是错的。那把扔掉之后呢，一个省代价，另外就是说最后的效果也会提高啊。所以这种其实是一种方案嘛。那之后如果有更好的方案，应该有更应该可能更好的结果吧？大概是这样的一些逻辑啊。
最终我觉得还是要打开一下黑箱子，看看有没有什么方案去让模型的验证变得更加容易一点啊。我看那个有一个问题说：“请问现在 AI 是否能相互验证啊？”我觉得这当然是可以的了。但是呃，怎么说呢？就说之前很多人、无数人试过这个想法啊。
但是你会发现相互验证的结果就是有些时候它会相当于是“菜鸡互啄”的感觉，就是说相互之间没有办法看到最大的问题在哪里啊。就是只能说 OK，你这有个小问题，小问题相互之间 PK。但它真正有一个问题需要一个非常资深的人或者资深的模型去真的去一针见血解决，说这里你应该往这边做，你这些事情都是细枝末节可以扔掉啊。
这样的能力呢，其实大部分模型是没有的啊。因为说大部分人也很难做到这一点的啊，所以主要是这个问题。嗯，所以这个可验证性还是非常重要的一个方向。这个方面可能田老师研究更加深入啊。我更多的话可能是从这个数据的角度，我觉得很多时候其实难的不是在于获得一些数据，而是怎么获得 scalable（可扩展的）高质量的对的数据。
比如说这对于这些难验证的问题，怎么获得他们的数据？关于这个问题我其实应该是前两天正好那个 Allen Institute 的 CEO（我不知道大家知道 Allen Institute 吗？就是它是相当于美国的一个专门做开源这个大模型的非营利公司，实际上跟那个 University of Washington 背靠背的）。他们是确实也做了很多这个很好的 research（研究），然后他们那个 CEO 同时也是 UW Professor Ali。
我就问他就是说也是一样的，对于这个下一步的 AI，他觉得这个最重要的是什么？他说排名第三的是数据。然后我说排名第二、第一和第二呢？他说是数据和数据，也就是他发现就是我觉得这个可能也是大家现在还没有意识到的事情。就是其实很多时候我们是被卡在了数据，造这个数据呢，很多时候也不是说完全没有办法，就是是可以 make efforts（努力）来造的。
呃，我觉得举一个例子，就是从 GPT 一到 GPT-2 的时候，实际上当时的一个认识就是说：我们要从互联网上面搞数据，我们要搞这个高质量的数据。但是我怎么一下子搞到很多高质量的数据？我觉得应该说这也是一个很难 verify（验证）的东西，就是你怎么 verify 一个网站的数据是不是高质量？In principle（原则上），大家可以卡在那一步就卡很久，就不知道怎么弄。
你也可以让人去标注，但是对吧？这个肯定不可能 scalable（可扩展）。他们采取的这个办法当然现在已经不用了。当时采取的办法是，他们觉得这个首先有一个网站叫 Reddit（就像中国的知乎一样），大家在上面回答问题。在 Reddit 里面呢，有的时候大家回答问题的时候会贴一个链接。
就比如说你问一个问题，我回答你的时候说：“啊，你可以去看看这个链接。”他回答说比较好。他就觉得这些链接其实应该链接的是高质量的网站啊，为什么呢？因为你用这个东西去回答别人的问题。同时他在加一个 filter（过滤器），就是说他只考虑那些点赞数比较多的嗯回答。他这样获得了一大批他觉得很有用的结果，这个构成了 GPT-2 的一个主要组成部分的数据。
我举这个例子其实是想说就是包括今天在各个实验室里面，其实造数据和造环境，今天变成了造环境仍然是一个最重要的或者最 effective（有效）的一个手段。我们其实可以去想办法，对，去创新。而且我觉得这里面还有一个很重要的点就是说数据创新它其实不一定需要你有特别高深的这个技能啊。
嗯嗯，就是你 PhD（博士）读完和一个本科生可能大家只要开脑洞也能想出不同的方法。就包括你甚至不需要一定要是 CS（计算机科学）major，你来想想就是说我怎么获得比如说生物领域的数据？你怎么获得？就是你其实可能可以想到很多有意思的 idea（想法）。包括现在一个方向就是说怎么用 LM 来模拟这个环境？
对，这个其实跟我刚刚讲的 DG Train（数据生成训练）也有关系。就是很多时候我们说现在没有这样的数据呃，但是有可能 LM 已经可以给你造出第一版。一个比如说甚至一个生物实验室是怎么 work（运作）的？它能造出这样的结构来。那在这些结构之上面，包括一个 finance（金融）公司大家平常的 task（任务）。
它其实已经可以造出一些在这个基础上面你怎么再把人的方式 scalable 的加进去在上面像又开始左脚踩右脚等等。就是 to some extent（在某种程度上），我觉得这个数据创新造数据、造环境本身其实可以成为一个 science（科学）啊。嗯，而且大家可以 pay more attention（多关注），因为我觉得第一它是民主化的意味着就是说你不一定是 CS major，你也可以 contribute（贡献）。
其次的话它还很 effective。因为本质上你造出来了以后后面有一整套 pipeline（流程），就是说拿了你这个数据能够提升模型的能力。这个事情现在看起来还没有结束，它在继续发生。我觉得这个可能是一个很重要的就是说当我们今天讲这个东西很难 verify（验证）你也可以积极的想就是那我来想想我用我的专业知识来造数据我会怎么造？
造出高质量的比如说新闻事实是难以 check（检查）的嗯那么比如说要你去生成高质量的这个符合事实的新闻这个事情可能没有那么难你可能可以想到一些方法。你在想我能不能再生成比如说有 rumor（谣言）的这个 information 来做 negative sample（负样本），你可能也能想到一些方法。嗯，在上面造那这样子的话可能就又形成一个新的数据就是最后不一定是一个特别难的问题就是我们不知道。
对，我觉得这是我的一个一个 belief（信念）吧就是说实际上 data 和环境是一个很重要的这里面的一环。第二个的话，我觉得就是说关于 Agentic AI（代理式人工智能），我们看到它现在的困难在哪儿？我觉得其实田老师刚刚也说的很好，就是我觉得其实有一点很重要的是我们到底怎么用这个东西来根本的 improve（改善）我们的 science 和 technology？
虽然我们今天更多的讲的是 business，对。但是我的感觉就是说如果你从一个文明的角度来讲很多根本的东西实际上是来源于科学和技术的突破就是如果我们能治疗癌症和不能治疗癌症这是 fundamental different（根本不同）。如果人类能够活到两百岁跟活到一百岁，这是 fundamental different。包括物理也是呃而这些会定义一个文明的边界。
Business 在后面才是 adapted（适应）。嗯，就在我看来今天我们其实这个可能也是有点悲观。AI agent 这个东西的能力其实跟很多 human agent（人类代理）比较 low level（低级）的 human agent 已经差不多了。因为一个 human agent，一个 junior（初级）的 human agent 在一个商业环境里面他干的事情也就是给他 context（上下文），嗯，给他 tool（工具）然后他去做做完以后回来汇报。
对，这个事情我觉得是有可能的，对吧？就特别很多 AI 领域的人甚至预测就在接下来几年之内就会发生这种事情 portion（部分）的 people 会因为这个 AI agent 取代 human agent。而这个就是说重新找工作我也其实比较 concern（担心）这个问题啊，就是 unemployment（失业）啊。但是我觉得就是实际上能够让大家整个的 social welfare 提高嗯实际上是生产力和技术的发展。
嗯，然后在这些领域现在其实还是遇到困难。包括我有很多朋友包括我自己呃我的夫人也是在哥大的这个应用物理系做这个呃量子物理实验。就在他们看来这个东西对于科学技术的发展还没有那么快大家还在 struggle（挣扎/努力）。我觉得这个可能是下一个爆点。就是如果我们能做好这个事情实际上就是 good for everyone（对每个人好）。
这个我非常同意就是我身边有很多科学家朋友他们也在非常推崇 AI for science。就他们觉得因为 science 他们解决的问题比如这个照片是一个猫还是狗要困难得多所以问题的上限解决就某种程度上决定了智能的上限。还有一个这个彭教授刚才提到收集数据也是因为我去年我听一些播客也是他们其实对于具身智能机器人来说他们数据是更大的一个难点因为他们要涉及到和物理世界打交道它不是那种可以在这个计算领域可以去批量生产出的数据所以它的效率会更低一些。
所以像国内他们很多这种就是虚拟环境里和真实环境里收集机器人数据是一门非常非常大的一个生意。高质量的这个机器人数据对于研发这个具身智能对他们是非常重要的一个难关可以说是我的问题就到这儿了然后下面是彩蛋环节所以下面环节就是请两位高手互搏啊！我请两位老师每个人给对方提了一个问题。那我请彭教授先呃这个不是一个 level 所以那个田老师您手下留情啊。
就是其实一直在 follow（关注）田老师您的博客包括您那个二零二五年的年终总结我觉得这个都非常的有意思。包括您提出了一个叫费米能级的概念非常 interesting（有趣）。大家不知道的话可以解释一下就是说这个费米能级本身是一个物理的概念对吧？它本质上指的就是说这有一个 phase transition（相变），就是你要高于这个能级对你才能观察到一定的现象。
在 AI 领域的话就是说可能你需要你的 AI 现在已经达到一定的水平如果你的作为一个 human（人类）你的工作能力在 AI 之下那么你可能就被它 cover（覆盖/取代）了。嗯，而在那个之上的人可能你的能力会指数的上升所以我们要努力做这个之上的有点 competitive（竞争），就是就有点像斩杀线的感觉了是吧？我觉得它实际上反映的就是说我们人应该怎么学会去用 AI。
对，而不是跟他 compete（竞争），是个 human-AI collaboration（人机协作）。然后在这个意义下面就是说田老师我看您那个提到就是实际上大家要学会的能力是怎么去提出新的 idea 或者叫宏大的愿景这些才会成为未来最宝贵的一个资源。你是那个提想法的人你的想法可以非常的宏大可能越宏大越好嗯呃这样才能激发出 AI 来帮你这个去实现的这个能力。
所以我的问题就是说田老师您的这个宏大的愿景是什么？如果说现在有个非常 powerful（强大）的 AI 啊 OK。这个问题很好了就是说我觉得是这样吧因为自己就花以不少时间去做一些可解释性啊对吧？做一些要理解 AI 内部的那个工作机理嘛所以这部分当然是我的愿景嘛就是我觉得 AI 应该是可解释的。我们能不能找到它比如神经网络工作机理能找到下一代新的模型？
找到新的方法去训练模型让它变得更强、更厉害这是一个。那这是模型本身的一个对于模型本身的一个愿景嘛？另外一个当然了就是希望人类能够走出地球啊，能够成为星际文明啊这样的可我觉得肯定是要往外走的。如果从历程来看呢就是我们现在因为人类整个人类现在处于一个非常脆弱的阶段就是说明明天一颗大陨石把地球给砸了那我们可能把这个几万年以来的这个几百万几百万年来这个成果都干掉了。
下一波那个人类再进化出来，进化出一个新的智能可能又需要很多时间啊，又需要几百万年、几千万年的时间啊。那这个时候呢太阳可能已经慢慢会变变得越来越亮嘛对吧？所以可能最终人地球不适合人类生，不适合生物生存。所以应该说就是因为人择原理嘛因为我们这个智慧生物在地球上应该说是度过了一段非常美好的时光啊。
正好有这个时间、地点、人物都集齐了，有这个各种偶然因素都站在我们这一边最终呃人类达到现在的高度啊。所以我觉得呃是一个很重要的一个一个历史机遇吧。那如果能够早期的就是能够让人类或让智慧生物能早些走出这个地球，走出个摇篮啊去很远的地方那就开枝散叶之后呢其实很难再出现一次大灾害让整个智慧文明毁灭的这个事情啊。
所以现在其实是一个很关键的节点嘛科幻小说角度上来来来讲这个事情啊就是自比如再过两百年比如说人类已经遍布了这个银河系的一些角落的时候呢其实应该说被整个毁掉的这个概率就非常小了啊啊所以我觉得是一个很大的这样一个故事吧那这个有点科幻了就是比较应该说跟我们现实生活关系不是特别紧密啊但是应该说是挺有意思的一个想法啊可以看看接下来会怎么做啊田兄。
给彭教授的问题我我再补充一下我觉得这个对我其实非常的 admire（钦佩），而且我也是 exactly 同样的想法。而且就稍微 extend（延伸）就是说现在我们其实是需要更多的人有这样的愿景嗯他就因为我们自己不知道怎么解决这些问题但是 AI
可能知道，对吧？但是我们需要发出这样的宏愿，这样AI才会有点像收到那个信号，它就会开始move。这个其实有一点就是说，呃，玄学的感觉。之前我知道有一套理论是说，如果人愿意这么想，这个唯心主义就是人如果愿意这么想，这个世界就会这么变。嗯，现在我们可能到了这一步了，就是人在只要这么想，因为AI会帮你实现这个事情。但是人要得这么想。所以，hopefully我们能够尽快的看到我们这个走出地球。谢谢，谢谢田老师。
那个彭教授，我的想法是这样，就是因为您是在那个秘鲁对吧，在那个哥伦比亚，你你这边也是做那informs啊，做一些就是那个强化学习还优化这样的一些一些方向啊。那你们觉得就是以后学术界呃在这个人工智能这个舞台上会有什么样的角色？
啊，就是有什么样的事情，我们可以就是学术界会能够有贡献，或者说有一些有意思的这个大的东西可以一起做的，就是对彭教授自己。这个商学院的这个还是指更广阔的学术界吧？我觉得应该是对。OK，哎，我要是当时刚刚问田老师这个问题就好了。
我觉得这个实际上是一个很重要的问题，就是其实不仅是对我个人，对于整个学术界来讲，我们现在应该都在问这个问题，就是学术界到底还能做什么？有很多东西的，但是就是有很多限制。因为像我在二零二四年的时候，我也去那个普林给过讲座嘛，他们当时也给了一个那个副教授的头衔，当时是，但是后来我没有去普林。
啊，我觉得原因还是因为，就是我感觉上是整个学术的这个运作的方式，肯可能相对来说比现在的工业界的方式相比，还是一个比较，就是可能比较早的一个模式啊，可能有些时候会比较慢，或者说比较跟现在这个节奏可能就是不太适应，其实是有这个问题。呃，应该说这也是我包括我们学校一直在思考的问题。嗯，我觉得首先一个的话是。其实像那个
Allen Institute 是一个比较好的模式，因为它是一个就是说相当于一个大学，同时又成立了一个 non-profit，把学术界和你们他们就会有更多的这个 GPU 资源，然后呃把这个呃路线打通。我觉得学术界其实面临的一个问题是。应该说有有有有两方面的阻力，一个阻力当然就是我们现实当中的这个计算资源不够，另外一方面的阻力就是实际上大家这个对于怎么做 impactful research。还是处于一个就是说没有达成共识，学术界传统是一个move比较慢的一个领域。
比如说，在我的传统领域，实际上你要发做一篇research发一篇work，可能是以年来计算这个单位。那么现在大家知道，这个每几个月大模型就会更新一次，对吧？就是怎么把他们这个学术界的这个gap能够联系起来，是很重要的。但是另外一方面，我也觉得在学术界其实有一个很大的value。是在工业界比较难以提供的，就是学术界本身还是一个
nonprofit，而且是面向教育的一个 space。这就意味着，在学术界有很多东西你是是可以想可以说的，as opposed to 我觉得田老师可能，比如说在 Meta 做一个 researcher，有的时候会有一些 constraint，就是不是什么话都可以说，是吧？现在比较开放了嘛，应该说没有那么多限制啊。
当然了，就是说我确实有些话我也不太愿意说。呃，当然了，就是说我离开 Meta 之后呢，可能会少一点，大概是这样的一些逻辑吧。但是如果比如说你要去，比如 OpenAI 或者去 Anthropic，或者去一些那个 Frontier Lab，你有很多话可能更也更就可能限制会更多一点，大概是这样的一个逻辑。给这样的讲座，这个很多时候可能都是有限制，所以我觉得在这个意义上面，其实学术界起到了一个就是说公共
space。嗯，对于AI来讲的话，就是我觉得现在可能还有一方面的责任，学术界可以想办法去contribute或者承担起来，怎么传播public awareness，包括学生。他的这个 education，目前如果说 AI AI 的 researcher，其实在这个世界上面是很小一波，他们身上承担的产品的任务，对。但是在这个世界上还有很多人，那么对于这些人来说，就是我们怎么有一个 space 可以去进行可以学习畅聊这个各种可能的问题。
我觉得这方面其实学术界是可以，包括我们举办这样的讲座，包括我们在哥大，其实我们成立了就是不少的这种，比如说 agent lab、低级的 twin lab，就是说想办法在 push，在这些 lab 里面，我觉得就是创造这样的 space。可以让大家讨论和学习，特别，而且在学习意义上面，就是说，我觉得是，虽然可能跟业界不能完全。就是怎么说呢，在在 resources
上进行 compete，但是在 idea 上面可以同一 level，对，呃，是可以 communicate 的，嗯。我觉得这是一个 ecosystem，在这个 eco ecosystem 里面，就是说学术界是有它不可不可取代的一个地位，但是这个角色是在进行一些转变。
就是像以前我们可能更多的是说学术界会提高提供那个 research idea，嗯，业界更多是 follow，但是现在是业界提供很多 practical idea，学界在那 analyze，出现了一种倒挂的现象，然后我觉得让很多学术界人有点悲观的是。就算学术界去想办法去 analyze，去理解现在的这个业界的一些 practice 的方式，包括去做分析，这个像田老师。那个，你以前也是做了挺多理论，我之前其实也是做理论方向，就是我们就我们其实发现了，就是说这个理论很难给实际提供指导的。
嗯嗯，一个就是我觉得。学术界需要 learn 的 lesson， a bitter lesson to learn。也就是说，实际上这个科学的范式在发生变化。要 stay relevant 的话，我们要来理解和参与到这个新的范式。嗯嗯。另外，刚刚讲的其实还有一点，就比如说造数据或者造 environments 本身成为一个科学的话。
其实学术界也是是可以 contribute，就是大家重新来思考这个这个新的 science 问题。为什么这么说呢？因为实际上数据有很多 privacy 的 issue。嗯，对，学术界其实能够成为一个就是说制造 public data。嗯。这个其实也是 Allen Institute 做的，就是他们不仅公布了这个他们造出来大模型，他们把整个大模型的训练数据怎么去调、训练数据等等所有 pipeline
全部公开，嗯。传播了这个这个技术，所以我觉得其实那是一个很好的一个范式。嗯，我们也在想，就是说怎么怎么向他们学习。感谢感谢。
最后问这个替黄河源问，就是这个田兄的下一本书有没有在计划中？这个小说创作其实一直在计划中嘛，因为其实我当时写完第一本之后，其实有下一本的一些计划，当时也写了一部分嘛。对，但是后来因为有各种原因，当时后来没写下去啊，再加一些东西。其实第二本书的前一部分。一大概一开始一些一章节其实网上是有的啊，在我的主页上有的，如果你想看的话是可以看的。
第二本书叫《优夜星火》，这是一本，当然了，就是我上一本写完之后，上本大上本应该是二零二一年。嗯，二一年两三月份的时候写完的，嗯，那写完之后到现在应该说差过了很久了，就大模型的这个时间段来说，就过了几个世纪了，所以有很多的新的东西。那都是首先第一个就是我当然看到我以前那本书，它的很多的想法，其实在现在很多时候已经被实现了，呃，或者说已经在慢慢在出现中啊，所以。
呃，第二本书应该会有很多的变化啊，对，但是呢，就整个思路还是一样的，就是说，在一个所思即所得的社会里面，就是我们现在已经到这个，基本上已经开始进入这个社会了，大家看到这个苗头了啊，在这个社会里面，其实你说人的价值是怎么定的，那个整个社会的经济体系是什么样子的，有什么样有趣的故事可以讲？
大概是这样的一个逻辑啊，这样的一个逻辑啊。所以应该说更更像是一本思想实验的一个书吧。第一本就更像悬疑啊和科幻，再再加一些小故事这样的一个一个逻辑啊，就是当然主题比较简单，外星入侵地球嘛，啊。但是第二本书呢，可能更多像思想实验了。
啊，像一些就是对于这个社会将来的发展的一些探索，那大概是这样的一个风格啊。当然，应该也会加一些悬疑进去啊，因为这个应该说是让大家能看下去的一个动力吧。啊，大概是这些这些想法啊。但是现在也比较忙。那可能就是空之后抽空有时间，我们会把它听完。
我们现在是进入这Q&A环节，我就我就选了一个问题，我觉得这个问题蛮好的。我也是，二位可以简短的回答一下，就是你们的研究有没有从心理学和神经科学里汲取灵感？
心理学和神经学，我觉得是有的，而且这个是个很有意思的东西，就是。以前我们其实有这个思考，就是说这个呃大语言模型它更多的到底是像一个工具，还是更像人？然后我觉得现在我是越来越认识到，就是说大语言模型其实你更应该把它当成一个人来对待。to
the extent，就是说他犯错等等，他其实也像一个人。包括我们今天所学会的，比如说让大模型做reason，让他去用to，让他用context，其实更多的都是把它当成一个人来对待。所以这个包括我自己的研究里面，我们最近做了一个事情，就是说在supply chain这个领域。
就是supply chain的话，嗯，在这个领域当中，实际上就是比如说一个人，你应该怎么去管理你的inventory？比如说你是一个超市的这个老板，你的到底要进什么货？那在这个里面以以往是有传统算法的，传统的算法会给你算出一个数来做推荐。现在，然后这个数会给这个人，这个人再make final decision。我们在这个中间现在加入了一个AI agent。
我们当时的一个问题就是说，这个AI
agent呢，它到底是更像那个算法，还是更像这个人？然后在我们的这个合作里面，就是这三个东西放到一起，然后我们给它组织了一些不同的这种合作方式。然后最后的结论就是说，它其实更像人，就是人在这个过程当中会有一些这个算法没有的那个直觉，包括它会犯还会犯一些错误。在这个意义上面，其实大语言AI Agent跟它是比较类似的。
对，我觉得在这个意义上面，其实inspired我的就是说，实际上我们应该在接下来我们当我们谈论AI agent的时候，我觉得其实下一个challenge就是怎么把它们组织起来，嗯。包括Open Call其实给了我们这样一个intuition，帮他们组织起来。那么在这个组织的过程当中，我其实觉得就是说，帮他把他更多的对待成一个会经常犯错的的junior的人。是个一个好的 mental model，嗯，呃。然后在这个意义上面来讲，他的一个呃和人不太一样的是，他还可以 copy
paste，对，人是不能复制的。那么一个可以复制的比较 junior，但是经常犯错的这个人，我们应该把他们怎么组织？我觉得是个很 interesting research question。我现在其实也在做这方面的研究。
所以，一个幼儿园老师的一个角色，田兄呢有没有？我觉得还是有很多的 inspiration 嘛，对吧？像比如说我们最之前做的那个那个隐空间推理嘛，latent space reasoning
这个方向，其实我当时说一个，我当时觉得这个内部的这个表示可能是个量子叠加态，就是你有一个那个很多的状态，他们通过加法或者通过某种线性叠加叠加起来。然后用叠加态来做一些推理啊，当时是我们那个做了这样的一些工作，发现它确实是可以做到这一点啊。
你就发现就是它里面那个一些那个隐空间的或者说那个隐形向量，这些向量它内部那个结构呢，可能是不同的思维方式的叠加，或者说不同的思维链的一个一个一个叠加的过程啊。这个叠加的过程其实能够提高这个推理的速度，因为相当于同时在搜索不同路径。然后这个搜索路径的这个搜索方搜索效率，应该说远远高于就比如说远远高于比如说就是单一的那个那个思维链的搜索这个方式啊。
这个这样子。所以这种其实也是有一个，就是物理上的一些有意思的这个想法能够拼起来啊，嗯。这个我觉得会应该说是挺有意思。那么这样的话，是不是意味着就是大语言模型的这个那个 model space
是不是就是下博的空间呢？就不知道啊，这个也是会很有意思的一些想法吧。那这个想法也许以后可以用来催生更多的一些思路。能不能把这个思路能够落地啦，做出一个比较好的工作，那也是挺有意思的一个一个方向啊。
那么心理学这边，我觉得很多时候还是看，比如说我们家的我们家女儿什么怎么怎么他们怎么成长的，他是怎么样学会这个各种各样的那个能力的，你就会发现。其实很多时候跟大模型也有很多相似的地方啊，就是就是就是大模型的预训练，其实应该说是相当于对应于就是人类的这个成长过程啊。
就是小孩子在刚学学东西的时候，你让他学一些超过他这个年纪的一些一些能力，他学不会的，然后他就算学会了，也是很是属于是背诵的状态，就是很难去。举一反三，去理解它的内部的含义啊，所以就是，但是等到它长到一定程度之后，它突然就学会了很多以前学不会的东西，而且学的东西非常深啊。你就发现就是它应该是在里，就大脑在。在那个发展过程中，它慢慢它调整它内部的这个表征，让这个表征能够更适应这个世界的发展的啊。
而不是说是通过大量的数据管来灌进去的啊，不是这样子的啊。所以其实我觉得很多时候是表征上的一些突变啊，就是怎么样从记忆。顿悟到一个更加这个长期的，或者说更加对这个问题深刻理解的啊这样的表征，自然而然这个模型就学会了东西啊。所以这些其实很多时候也是通过观察去思考这两者之间的关系啊，大概是这样的一个逻辑。
还有有意思故事，比如说啊，小孩在在在慢慢长大的过程中。我们到底是应该给他说英文呢，还是给他说中文呢？还是应该两个混在一起用呢？啊。这样一些问题啊。但是我当时在想，就是当时你做预训练的时候，你其实都是混在一起的，啊，是不是其实没有什么关系？
就是后来发现，其实小孩子在长大之后，他自动能分辨什么样是什么时候用英文，什么样时候用中文的。当然，他有些说说话的时候可能会。突然说了一些中英文夹杂的，但是也没有关系，那至少能意思表达出来了。就是说，也许就是以前的教育理念要要要结合大模型的这个实践，是不是有有更新？可能有一些新的想法会冒出来，嗯。感谢感谢
这个，哎，我还是想到那句老话，遇事不决，量子力学。我觉得，当然对那对这个隐空间推理这个特定的问题来说，我觉得量子力学或者说这种叠加态的表征呢，应该说是有理论基础的啊。我们当时做了一些理论分析啊，所以不是说是完全空穴来风嘛啊。
我自己我其实问问题更多是可能包括很多人想问，就是AI是否真的能够。替代人类，然后我想更多听一听两位老师在这两个方向的一个理解，一个是沟通，就是沟通的本质就是可能正常人与人的沟通，百分之五十五是其实是来自于这个
body language，就是身体语言，百分之三十八才是这个语音语调。啊，剩下的百分之七是这个具体内容，而AI现在只能负责具体内容嘛？就我在想，就是因为我自己其实除了主业做data science之外，我自己也做一些生意。那生意其实有很多的沟通和交流。
我想知道，就是in the future的话，你们是否觉得就是AI在这个领域它是否真的能够替代，还是说这个其实是人类的一个？护城河。第二个就是关于信任，更多是 responsibility，因为很多人在做决策的时候，我会基于这个人他是否能够 take
responsibility，或者说是如果他做这个决定，我至少有个人可以找个人兜底。我可以去找他来问你问题。那对于A，就很多人可能也听到一些，就是AI它没办法全担责任，没办法去有这个信任。我想好奇听一听两位老师怎么看，就这两方。
那我先说，就是交流这一块，我觉得很难讲这个是个护城河，因为有可能以后都是 agent 对 agent，而不是人对人，这个是一种可能的逻辑吧。就比如说啊，我是个水管工，我雇一个
agent，让他去蹲在网上蹲着二一天七天二十小时，每天就接单子，接完单子之后再自动排排排完，每天早上起来我看今天我有三个单子，我就开着车过去全部做完一遍就好了。我为什么我需要打电话给给人去把这个事情做完？
所以有可能会出现，就是说以后我跟你约个meeting，我并不是说要打电话给你，或者说要发信给你，我直接让我的agent跟你的agent去对接。然后meeting就约完了，大概是这样的逻辑，所以有可能最终是重复劳动这一块，或者说这种就是有清楚的价值的，大家也知道这个劳动的那个收益和后果啊。还有那个付出过程都非常清楚的这样的劳动，他们应该可能有可能会被AI真的取代。
就比如说，我觉得房产中介会很危险，因为像房产中介这样的一个逻辑。就是我们是不是，就是如果数据量都拿到手之后，它是不是可以用AIGC自动取代？这个都是有可能会发生的，啊。但是有些创造性的，或者说一些从来没有见过的一些新的要求。那这个部分可能还是需要人来来做，一个是A真的很难去界定这个任务的那个边界在哪里，还需要很多的那个negotiation，这种可能需要那个agent，还需要人。
大概是这样的。我我我其实也是类似的看法，就是我觉得就刚刚讲，就是说
底层的那个Agent，现在是人类Agent在做的工作，因为它是比较重复性的、比较确定性的。这个事情其实你可以交给AI Agent，而且这个信任也会逐步上升，和大家开无人车一样，就是当它真的开得越好，你的那个信任自然就会上去。然后关于责任问题，其实现在大家也在说无人车是有保险的，那么这个AI Agent能不能有保险啊？我觉得这个其实只要它能力一上来，大家都会开始就其他的配套措施会跟得上。
我觉得这里面不太能取代的，可能更多的就是像如果说你是CEO，如果你跟别的老板在一起。很多时候，你们那顿饭可能是没办法取代的，因为你们在饭上面讨论的东西并不是一个确定性的东西。你们很多时候可能会说啊这个对吧？就聊聊天，然后聊到一些商业想法，你觉得互相有资源可以对接。这是一个个人的、创造力的表现。所以我觉得就发散性的这些，这个Agent不太能做。
另外还有一点的话，就是因为人这个东西，我觉得最终实际上这也是涉及到在后AI时代我们到底价值是什么？我觉得有一点重要的就是说你希望跟别人建立一个连接。你希望在一个讨论里体验这些人与人之间的、就是让你变得更开心的东西。我很高兴今天能够参加这个会议哈，就是因为AI呢我是用了一点点，里边的东西都是黑盒都不懂。
但是我有个很大的疑问就是说你们现在训练大模型，嗯要用无限大的数据、无限大的算力来搞一个大模型。你是不是要把这个大模型应用到各个行业去、各个方向去啊？我认为这个是根本的错误，不可能。呃为什么？你说人对吧？你要想把它做像人这么聪明这都不说。你每个行业搞化学的、搞生物的都是不一样的，你要这个里边的具体东西都很不一样。
你搞一个大模型跑到化学实验室里去教他怎么做，我认为将来发展的方向是这个有一个基础的模型啊就是说到各个领域的专门的知识放进去。然后开发那个小的专业方向的这样的AI模式还比较实用，还不需要那么无穷大的数据。还有一个问题就是数据从哪里来？都都在网上飞的数据靠得住吗？
Question question is do you want to develop because你是那个bigger model for AI，是吗？I OK please give comment。我先说一下我觉得其实应该说这个AI其实也经历了这个过程嘛。因为一开始用深度学习来做问题都是单独的小模型啊。应该说比如说在二零一七年到二零二一年的时候呢其实很多人在做那个graph neural network就是图神经网络。
当时用在了AI for Science，用了很多啊就是用它来预测各种东西啊比如说包括预测一个分子的它各种各样的性质啊。比如说你把每一个单独的这个元素呢当成一个节点，元素间的连接当成一个边就这两个就是原子。它有那个价键比如说共价键还是什么键它们之间有关系那么这个关系你可以作为图神经网络的一个关系放进里面去。
用这个图神经网络去预测这个分子的一些性质比如它是不是有毒啊或者说它是不是会有导电性啊或者有些什么这样的一些结构或者到底多稳定啊这样的。当时是有这样的一些工作吧应该说还是有些成效的啊但是大语言模型我觉得它厉害的地方是在于就是它能建模很多的meta level knowledge以common sense。
就是说不是说我这个模型训练完之后只能做这件事情这模型它通过一些学习就把世界上所有知识都放进去放去之后啊它学到了一个很好的表征。这个表征其实它可以用在很多不同的地方就是说大家如果学过比如物理化学的话那么你会发现有很多的结构它们之间是有相似性的啊。
化学这边其实就是不是有句话很多部分其实跟数学里面这个群论是有关系的啊就比如说你要说这个分子有多少同分异构体它有多少种结构是相互之间同构的它们之间的关系是什么？这这种其实是有一些数学上的一些逻辑在里面就是你要计算这个数字的话你肯定要群论来来来算这个事儿啊。
这是一个然后它里面这个架件的这个结构是什么呀对吧？那么它跟后面的物理是有关系的啊。这个电子云怎么样做杂化它们之间怎么样做？怎么样通过两个那个原子之间放在一起直接它们之间联立求解的方式是怎么解啊所以这种东西其实应该说是跟物理是有关系的那可能就后面数学是有关系的。
所以它里面有很多结构是有相似性它们之间可以传递的那么这个结构这个共有的结构呢通过训练之后呢是能够那个通过大量数据涌现出来。那么这样的话这个模型就同时具备了各方面的能力啊当然这些能力不一定很深了就是有可能问了很深的问题它就不行了啊但是有些比较浅的或者说比较初步的一些结构呢它都能学会啊。
所以这是它现在那么厉害的原因我觉得这是啊为什么要做这个事情的呃这个原因吧要把这么多数据都放进去之后呢能不能找到一些共通的结构啊？这个共通的结构能够服务于各种各样不同的领域啊。所以现在大家有这个担心嘛为了垂直领域做的小模型可能比不过大模型的下一版本迭代啊。
可能就是只要是因为有这个原因所以大家开始有这个担心说大模型是要吞噬一切但是确实就是在数学结构上来说就是有可能会发生这样的事情就是说有一些结构是共通的啊这些共通的结构能够被大模型学到用它来提高各个领域的能力啊所以这就是为什么现在大模型能做到这个程度的原因吧。
我再加一个comment就是刚刚那个钱老师说到图论结构这个特别有意思首先我的有机化学特别差一窍不通。但是呢我做过头峰异构那个题而且是从曲棍和这个算法来讲它实际上是一个经典题。然后那感觉是我离这个有机化学最近的一次但是确实这些学科之间是有很多相似性我觉得这个问题也确实问得好。
我最近也在思考这个问题因为我觉得这个science确实是人类的对吧？这个的边界比如说我们要真的去太空我们是需要那个根本性的突破的呃这些问题是AI现在不会的对吧？现在大家更多说的是这个人类会的AI不会的我们怎么让AI来替代人但是其实最重要的是让AI去解人类现在不会的东西。
在这个意义上面其实我觉得那个在science里面其实那个很有意思就是我现在会更多地认为LM它至少在我们给它建立一个认识的时候跟平常我们说的AI模型是不太一样的。这个L M应该把它当成一个人也就是您的学生比如他是一个本科生那这个本科生不一定要专门训练一个本科生给物理、一个本科生给生物、一个本科生给数学。
这个学生其实可以都学他要开始就是像人一样他会学会去用那些tool比如说你刚刚说的sensor会收集到很多数据。那在这个意义上面这个学生其实要学会的是怎么用那个sensor然后他开始写程序分析那个sensor。那可能在这个意义上面他重新写另外一个就是比如说传感器模型的训练对吧？它可以训练出就是这个L M可以帮你来训练出另外一个模型来预测sensor。
哎这是我现在的一个认识就是说我们其实应该更多把L M当成人而不是当成那个预测下一个sensor数据的模型嗯呃那个预测下一个sensor的模型可以让L M来帮我们写。
感谢那两个老师和赵博士的经验分享然后我的问题其实很简单我想问一下老师和赵博士包括你对on-device vision的看法因为现在我们很多的用户的数据行为包括你的呃比如说短信啊怎么看的照片、看的文章啊你的email其实都是在就数据本身就存在手机里或者说更多的这个AI的设备就是它可能直接存在设备。
嗯那我们今天讨论其实很多在server端的这个event然后我自己也是AI的创业者因为做企业的agent和personal agent所以我想问一下三位对这个on-device agent这个前景怎么看？我自己做这个确实是有关系现在确实有很多工作是要试图把一部分的呃推理、计算、分类、generation和Agent放到端侧的。
但是端侧的能力还是有限包括它的模型能够达到的能力以及它的耗能耗电还是一个蛮大的一个问题。所以还是我觉得真正困难的问题就是它可以有一部分放到端侧包括去那些特技、特性化的小模型啊什么这是可以的但是真正复杂的问题还是要在服务器端就是无法完全在端侧完成。
另一方面关于你提到隐私问题其实现在有很大的一个门类、一个领域叫confidential computing就它是在云端进行的计算但是它可以从硬件层面保证这个计算数据是没有第三方可以看到的。就是让那个hybrid computing、federated computing从硬件上来保证一下英伟达、Media、AMD芯片都这套的硬件提供所以这是一个一个一个方向。
所以我觉得未来会是一个跟federated computing云端以及某一定程度上端侧的offline的这种混合类这样可以实现一种隐私保护、运算效率和这个便利性的一个最好的平衡吧。我我可以稍微补充一下的同时我觉得这个business base肯定是很大的是会有这样的需求的包括现在我们看到一些公司像Liquid AI啊等等他们说发展的很好的最近也融了很多钱。
另外一个他们的是就是我觉得其实像Cursor其实它demo的一个例子就是一个本身它是对吧？这个用这数据是在你自己的电脑上但是你在跟它进行交互然后它作为一个AI智能来帮你进行操作呃然后它背后还去再去调别的AI。对我觉得像这种商业模式其实可能会大家看的越来越多在这个意义上面呢实际上那个Context Management是happen在你的自己的device中。
这是刚刚讲的为什么这种显示的写这个context会比较好？它只是当做一个接口你每一步它找你要特定的context或者用特定的to在你的电脑上搜索。我是个人是觉得这样的商业模式也是其实是很popular能够cover很大一部分的用户啊对。
其实我觉得我也同意吧就是这些东西都是比较重要的就是因为现在呃阿拉智猫头为什么那么大主要因为还是因为它里面的权重里面很大一部分是知识性内容如果把知识内容给抽离出去然后说我们把知识内容和推理性内容分开。比如说我们训练一个小模型我就做推理我只做agent啊那它也许是可以做到的。
比如说就我看到最近那个QN三点五好像有一个新的模型说还可以那个三十BA三B这样的一个model啊我们有没有试过啊？我不知道我只是看到网上有评论大家可以去试一下看看是不是像这种模型就很小就可以。如果它的agent的这个能力很强的话呢那么你再往前走比如说我这个模型再小一点又做到手机上。
一般来说这个如果这个模型七B以内的就可以做到手机上了是现在也许手机内存越来越大了那么这样的话就是游戏有一个on-device model它在手机上专门做AI Agent的调用。专门做to use啊做一些agent这个行为那至于知识什么的他知道我去查书就行了我去调工具就行了。
那这样的话确实可能会存在一个完全on device的一个agent那么这样的话就隐私性啊、保护啊有一些就是实时性什么的它都会比较好一点啊我觉得这个以后可能会有很多人在做。但是另外一方面就是说盯着这个方向的人应该有很多吧你说Apple可能他会不会做？他说不定也会做啊。
所以应该有盖库卫说不定也会做应该有很大的一个竞争的这样的一个一个可能性啊会这样感谢大家我觉得今天的讨论很有意思。
嗯以上就是本期选修课的全部内容如果你喜欢我们的节目欢迎在Patreon上支持我们也欢迎给我们发邮件捐款链接和邮箱都在收肉丝里。