行，那我们就正式开始。呃，首先是首先再次是感谢这个呃各大全球青年发展协会，大家都知道这个背后非常的有经历了非常非常多的波折，包括怎么样入校啊，最近也是很多事情导致入校呃异常的困难，所以大大家感谢感谢他们的这个非常辛勤的这个这个劳动。然后也是感谢竹茜今天没有来现场，在最后的整个过程都是他总导演这个活动的。对，然后当然也要感谢这个呃田兄田渊栋，然后特地的从这个加州接入今天的一个约会上。
我先介绍，大家两位都已经非常踊跃了，我还是先介绍一下两位嘉宾。呃，首先是田渊栋啊，田渊栋前 Meta 人工智能研究呃研究院研究员以及高级经理，研究方向包括强化学习、规划与效率。和对大语言模型的理论理解，曾经获得二零二一年国际机器学习大会（ICML）杰出论文奖提名，以及二零一三年国际机器视觉大会（呃马尔奖）提名。
呃，二零一三年于美国卡呃卡耐基梅隆大学计算机器人研究获得博士学位。围棋开源项目呃 E R F Open Go 项目呃中研究工作呃工程负责人及第一作者。然后这位是彭天翼，这边是彭彭教授的主场啊。
彭天翼教授是哥伦比亚大学商学院决策、风险与运筹系助理教授，于二零二三年获得麻省理工学院博士学位。二零一七年毕业于清华大学姚班，共同创立人工智能 Simulate AI，呃，革新电商购物体验。二零二呃二零二二年，今年二月被 Salesforce 收购啊，恭喜恭喜恭喜！这个非常新鲜的一个一个好消息。
对对对对，然后研究方向也是包括强化学习、数字孪生模拟、智能体环境和信息管理。曾经获得呃 Informs Daniel H Wagner 实践卓越奖，呃 Junior Faculty Interest Group 呃 Best Paper Prize Applied Probability Society Best Student Paper Prize R RNP Jeff McGill Best Student Paper Award。
啊，这两位非常这个。这个可以说是非常优秀的这个履历啊！今天是非常有幸能够和两位世界顶级的这个人工智能专家在这里。对话非常荣幸，对。然后我自己先介绍一下，我是赵日成。除了我是牛顿猫沙龙呃创办人的身份以外，我也是我现在是在谷歌工作，然后也是做这个AI方面的研究和呃产品开发。
对，然后我自己关注的话题是呃呃个性化的人工智能、长期记忆以及在整个过程中的一个隐私保护等等。所以，我今天也算是对于这个利用主持人之便，然后，然后跟二位探讨一个我自己非常关心的，然后我也觉得是会二零二六年的AI一个非常大的一个主题。也就是我今天写的这个标题，就是关于通向个性化AI之路，从记忆、学习、执行的视角。对，就是我定的一个充满自信的一个主题嘛。
那么，看时间，我还是先做一下背景调查。呃，我我可以跟田渊栋来大概描述一下大家的一个参与情况，就是如果你符合以下描述就举手，好吧？呃，每天使用AI工具。在工作部每天使用AI工具的居家手，可以吗？好，绝大部分大概有百分之九十啊，那当然了。对，好。
呃，在个人生活中没听说过，就是跟工作无关的，在个人生活中啊，大概是百分之百分之八十五左右。OK，呃，会和AI倾诉情感问题，获得情绪价值。百分之五十，呃，四五十吧。然后女性比例明显强。啊，然后使用AI。
呃，使和AI使用过程是超出对话功能的，比如说写代码、执行代码、工作流。哦，好多百分之七八，来来百分之七八十，来真的是非常深度的一个AI的一个用户啊。呃，最后一个问题，现加的啊，这个原来打上没有，有自己部署OpenCL。就是自己养好家的，大概百分之五。OK，还是它还是一个新的技术，还是新技术。
OK，那么有多少人是AI的从业者、开发者，就不仅仅是使用者？啊，百分之二十左右吧。OK，行，那这这就是今天的一个大概的一个一个背景。然后好，那么那么这个我我刚才说我们这个原我们这个活动原定是二月七号的一个活动。然后因为这个这个呃，主讲人这个身体不适，后来我们后来改造了三三周以后，然后三周以后就发现就是这个。
这个理性的大脑已经不太好用了。这个理性发生了翻天覆地的变化，尤其是像像 Open Cloud 这个突然这个横空出世，个人主义，包括甚至出现了这种 Agent 的集权的这样一个一个一个东西。所以我觉得恰好也是印证了我们今天的这个话题是非常前瞻性的。
就是我我我我相信很多人在不同程度都会认同这样一点，就是我们今天的人工智能已经是一个具备相当强智的一个通才。它具有常识，能够分析、推理、写程序、执行任务，也能够产生文字、图片、音频等一些多媒体的信息。甚至可以有物理世界有一定程度的互动。但是我觉得我自己感受到，它离我们真正的个人助理还是有一定距离的。
包括它怎么样可以通过关于我的记忆可以持续学习，如何内化出独特的思维方式和审美，而不是一个通用的一个思维方式。并且以此为准则来行动。然后，在过去几年里，其实学界和业界在一个方向，在这个方向上，其实有很多动静与尝试。包括关于长期记忆和持续学习的模型框架层出不穷。
人们也开始从认知科学、心理学、脑科学、神经科学等领域开始汲取灵感，试图从人脑对人脑的理解，能够获得这些方向的探索。然后与此同时，当AI获得关于越来越多关于个体的理解，怎么样确保个人的隐私？怎么样保障这个agent的一个安全？以及如何把握便捷与掌控之间的平衡？这些都是至少我自己是非常关注的一些话题。
所以我们今天第一个问题给两位，首先给给田渊栋吧，就是大家都很关心啊。你的这个下一步能否先给给大家？透露一下，你现在的创业公司想要解决什么问题，以及你是怎么去解决这些问题的。在你可以透露的前提下。
哦，这个问题呢，其实我现在还不能回答，因为我们公司现在还是在一个比较那个 stealth mode 啊。对，所以我可以私下里可以讲，但是公开场合我不会讲。现在是这样子，对，就是我目前可以说应该是快结束那个 Series A 的融资吧。呃，对，我们的目的是我们是那个要融大概五百个 million。
啊，然后差不多可以到，呃，就是已经可能有一点 subscribe 了，对，然后，呃，估值可能会在那个 four billion 啊 pre-money 这样一个状态。应该是比较比较大的一个。啊，然后我们现在是有，应该说有那个有有有不有不少人了，已经在公司里面。
然后我们现在已经开始开始在在在做事情，对，因为现在也比较忙嘛，嗯，对。但是具体的方向，然后准备怎么做，现在我还不好讲啊，因为我们毕竟还是一个呃一个小公司。然后嗯，就是说一些一些比较重要的一些东西，还是还是保密比较好啊。现在是这样子，对对，可以。
好，那还是非常期待啊，非常期待这个，呃。这个田教授的下一个下一个下一个下一个 journey。那么我下一个问题给彭教授吧。
呃，今您因为我彭教授他在自己的个人网站上有一个一个 chat，一个叫 personal digital twin。就是你可以问他问题。然后我第问他第一个问题就是我马上要采访彭教授了，你给我举列几个你觉得好的问题。对，然后以下问题就是这个彭教授的 digital twin 给我的一个问题。就是您觉得 digital twin 现在的这个 AI 框架和使用模型离你理想中的 digital twin 还有哪些距离？自己问自己，一个自我指示。谢谢，谢谢。
啊，首先我想，也就是说，先感谢一下，就是这个这个邀请啊，包括组织方这个啊啊啊。呃，朱清，包括那个赵老师，呃，然后还有就是，呃，吕美科协。然后对，就是我感到非常荣幸。因为呃呃呃一方面那个这个田老师，这个当然是咱们行业的这个领军人物。
这个呃我以前我应该算那个田老师的那个那个粉丝，呃呃在我读博的时候，很多时候我就会看那个田老师写的博客。呃获得了很多这个 inspiration。嗯然后那个呃张老师也是相当于这个AI的这个实际上是非常资深的这个AI专家啊。所以我感觉我今天来这里就是有有一点点班门弄斧的感觉啊。但是但是也是一个这个学习的机会，就是包括向两位老师还有包括向在座的各位学习啊啊。
所以我如果讲的一些东西讲的那个不是特别好，就是大家也这个就是批评指正啊啊，就是抛砖引玉。嗯嗯首先那个就是说呃对于digital twin对吧？这个话题呃我觉得首先大家对digital twin其实也还没有一个说很好的definition。一般来讲的话可能有两种认识就是说一种就是呃我呃怎么用AI来模拟人的这个行为嗯啊像更多更多像一个人。
另外的话可能就是说怎么去模拟一个复杂的系统比如说我模拟一个一个公司、一个工厂的 digital twin对吧？呃有的时候可能是经济系统可能是一个这个 human body in bio bio engineering。呃呃应该说我对两个方向都非常感兴趣都是我的这个研究的这个呃话题呃但我可能我今天重点讲一下这个 human digital twin。
首先我想说就是呃从历史上来看这个呃大家对于这个模拟其实也是有几个阶段。就是首先模拟当然是一个非常在我看来是一个非常呃人类认识这个世界的一个根本的方式哎呃然后这个呃一开始的这个模拟呢呃应该说大家比较follow的就是说我我呃用几个参数来就是描述一个这个behavior model啊像经典经济学当中的这个呃customer choice。
就是描述一个人怎么make decision呃但是像这些模型一般来讲都是很简单的就是数学参数不会太多。然后在这个模型之后呢大家发现就是说在现实当中用起来其实这个是很有局限性更多的是用来研究者来分析一些比较比较根本的东西。嗯然后大家就发现就是说呃我觉得在过去十到二十年大家开始更多的利用这个机器学习呃和这个数据来就是来描述人的和预测人的行为。
举一个经典的例子，这个都是前LM就是before LM对吧？呃举一个例子比如说在我之前呃我其实在呃抖音这个和他们一起开发过这个推荐系统。呃呃在那那个世界里面实际上呃我们就是在尝试去模拟和预测人的行为比如说我们想预测你的点击行为对吧？预测你的观看行为。
呃那实际上像这样的预测它呃就是已经做可以做得很好了对吧？就是这百分之九十以上的这个这个准确率对吧？啊啊那这个呃但是虽然它非常已经非常 impressive了，呃基于这个很大的数据我们训练很大的 embedding model。但是呃呃应该说那个还是有局限的因为它只能就是呃理解人的一个特定的行为就比如说你会不会点击对吧？下一个下一个视频。
我觉得 L M 的出现实际上给了我们一个这个 hope，就是这是我们第一次看到这是一个通用的呃一个模拟人的一个可能性。然后呃我们其实当时非常 exciting，我们做了一个这个实验也是在各大大概有几十个老师一起做的一个事情。就是我们尝试就是说呃，我们创造了大概呃五百个不同的问题然后这些问题 covered 一个人的各个方面就是从你的这个呃你的你的个人的 demographics到你的 personality到你的 economic behavior到你的 psychology behavior。
呃然后我们收集这五百个作为一个训练数据。然后我们又找了这个大概十几个不同的 research 组然后再创建了几百个问题作为测试数据嗯，然后我们就去问了两千个真人。然后我们再把它的训练数据给一个 L M说你模拟这个人去回答那个测试问题嗯对。然后我觉得这应该也是第一次就是说大家尝试去真的去问 L M 不同呃就是尽量广的一个范围的一个人的行为。
然后在这个过程中我们发现就是实际上这个呃 L M 作为一个 D G O Twin 模拟人它其实是 reasonably well的其实比较 surprising就是它的整体的准确率是是比较高的。嗯但是当然它不是perfect就是这里面还有很多gap这也是我说说的就是说现在你如果直接用它deploy它还是有很多问题。
呃他他有比较大的 bias 对于一些那个一些话题还有的话就是他比较倾向于平庸化嗯，他比较倾向于忽略你的性格当中的一些细节。然后他会去 collapse 到一个平均的人然后等等这些问题。但是总体而言我觉得这其实是一个非常 promising 的 topic，因为如果我们能模拟人其实会对我们在很多方面都会带来很大的收益。
呃呃不仅是商业上面实际上帮助我们训练下一代 AI 也很重要，因为我们最终需要 AI 和 human align对吧？呃呃呃那那建立一个很好的 human simulator我觉得我们现在其实还没有一个非常好的一个认识。为什么呢因为训练一个呃大语言模型一个 AI 和训练一个模拟人的 human simulator其实是不一样的。这个目标是不一样的对嗯嗯。
然后实际上很有意思的就是说，当我们回过头去看图灵测试。图灵测试它其实定义的并不是AI嗯，它定义的是human simulator嗯是一个最完美的digital twin嗯对吧？那么从这个意义上来讲实际上我们可以想象就是说可能我们的在训练一个大语言模型当中的data pipeline怎么收集数据。
呃怎么去设定它的reward等等这个可能都可以建立一套新的标准给 human simulator然后使得我们就是有可能能够发展出很好的 human simulator作为一个 independent 这个这个 digital twin的这个这个 future。嗯对，这是这是我的一个认识啊。
好，好看来还是任重道远，还是有很长的距离要走对。好那我们正式进入今天的这个话题我把今天的话题分成了三个部分就是记忆、学习和执行然后我们就是我们可以把它看作是一个个性实现个性化AI的一个一个道路吧。
然后我我第一个问题是关于第一个话题是关于记忆的，就是呃如果大家了解这个计算机的发展历史我们知道现代计算机是基于一个所谓的冯诺依曼架构啊，它的核心思想是存算分离。就是负责运算的中央处理器和负责存储指令和数据的内存和硬盘是分开的但是这个不是我们人脑的一个运作逻辑对吧？
人脑的神经元它其实它的突触网络本身既构成了记忆也构成了计算，所以人的思维方式和审美和世界观是在这样一个大量的记忆和沉淀的基础之上来实现的。然后在这个意义上我觉得大模型其实在一定程度上实现了这样一个存算一体的一个构架方式什么意思？就是说我们说一个模型具有几万亿个参数的时候这些参数它既构成了对于训练语料的一个记忆比如说。
呃他知道拿破仑是谁对吧？他知道这个新中国建立于哪一年然后同时这些参数也构成了一切涌现的高级行为、高级思维。我们其实没有办法去真正的区分哪些参数是负责记忆的，哪些参数是负责思考的所以，我们能否？
我这个问题下一个话题抛给两位老师就是二位是否觉得或者怎么看待这样一个一个说法，就是大模型在某种程度上是实现了存算一体的。以及这样一种区分方式对于大模型以至于未来的个性化的大模型是一个有意义的区分吗？它这个是一个值得去探索的一个思考角度吗？先听听田田兄的想法。
啊呃我觉得这个是一个很重要的一个方向，就是因为现在很多时候大家就算在做那个研究的时候或者在做一些呃探索时候呢大家还是在把存算分分开来来来做这个事儿对吧？比如说那个之前我们一直看到有很多人在探索，比如说 associative
memory。那么这个方向其实也是一种把存算分开的这种思路嘛，啊，就是说，OK，我的memory是专门负责存存那个存东西的，然后这个这个memory呢，其实就是说你输入的时候是个key，输出是个value。对吧？然后就像那个数据库嘛，对吧？输入的时候是数据库的键值，输入的数据库那个其他这一行里其他东东西，啊，这种思路来去做这个事情啊，就是但是大模型其实很多时候不是这样子，就是它有很多的里面比较好的表征的这些表征，应该说呃，它其实是综合了大量的那个呃数据啊，然后得到一个比较高级的高层次的这个理解啊，我觉得这个其实应该说是比那个单纯的这个存储呢要更加高级一点啊。那么这个理解一旦高到一定程度之后呢，这个计算结果就自然就出来了啊。所以这样的话，通过这个方式，其实可以达到那个存算一体的这个目的吧啊。
但是就是应该说就是人脑应该还是或者说是AI吧，应该说比较呃偏就是呃两边的中间，就是我们不是我们有两个极端嘛，一个极端是说哦计算跟存储是完全分开的啊，还有还有极端是说我们要完全一体。啊，但是也许呢，就是真正发生的事情呢，是在两个中间的情况，就是有些比较直觉性的，呃。呃，一些事实啊，或者直接性的推理呢，这些东西呢，已经是处于这个存算一体状状态了啊。比如说，大家问你一加等于几，然后就是说，大家不会说扳手指头说数一二，然后说这是二对吧？不会这么不会这么做啊，一定会马上反应过来说这是多少啊？呃，这个是已经是固化在脑子里面，通过大量的那个运算，或者说大量的这个实践经验，已经知道这个答案是什么，就必须要经过推理。
还有一类东西呢，其实是可能是对于人类来说是比较新的啊，就是你需要去想一想，去思考，去做推理的。那么这个时候呢，其实它里面就会有存储跟计算的一些分开，一些一些一些分界啊。比如说你先要把这知识调出来，调出来之后呢，啊，大概思考一下啊，这个是怎么做的？你是列个算式，一步步的去推。啊，然后才最后把那个啊把答案算出来啊，那么这个时候呢，就会比较明显的存储和那个最后的那个计算啊这样的一个一个一个一个一个分界的过程。那么这个时候呢，就是相对来说，别人会，比如大家能看见，就是存储和计算的一个一个分界，啊，但这两部分的这个边界应该说是非常模糊的。
啊，应该说是，呃，如果呃一个模型啊，在一个方向啊做了很多很多的这样的一个探索，那么这个模型就应该会自动的把这个探索呢固化到自己的那个啊这个这个那个权重里面。那这样的话，下一步在做探索的时候，也不需要花那么多时间去把这个原来的路径再走一遍。啊，这样是这样的一个状态啊。之前我们比如说做那个围棋的时候啊，就是当时我们是啊做那个Alpha Zero 这样的算法啊，就是或者它的 extension，这个时候呢是非常简、非常清楚的这样一个逻辑，就是你先。呃，用一个现在的模型拿过来，拿过来之后让它去做各种那个啊探索啊，做那个 rollouts 啊，做搜索。
然后发现一些好的招法，把这招法拿过来之后呢，把这招法本身是通过搜索得到的，那么把这招法作为搜索的结果，再作为样本放进训练模型里面去训练，那么这个模型下一步就变得更强了。为什么变更强了？它把原来需要经过搜索得到答案固化到它的权重里面去了。啊，然后呢，下一步他再做搜索的时候呢，他就站在巨人肩膀上了啊，再把以前那个搜索那个结果固化在这个权重里面之后呢，再做搜索呢，它效率就更高啊，它的那个啊结果也更好。那么通过这个方式呢，你就可以左右踩油再踩上去啊，通过这个方式你可以做那个自我迭代嘛啊。
就是就算你没有任何任何人类棋谱，你还是可以通过这个方式达到很强的能力啊，甚至超过呃人类的那个最强的那个棋手。啊，是这样的一个逻辑。那我觉得现在大模型的训练其实也有这样的一个一个思路啊。很多时候是，呃，先是在后训练阶段，你先做一些啊探索啊，做一些生成大量的这个 thinking trees 啊，生成大量的那个啊逻辑，然后做答案是对的啊。但是这个 thinking trees 的逻辑呢，做多了之后，你会发现计算资源消耗巨大啊。但是呢，结果不一定很好啊。那怎么办呢？你把这个 thinking trees 放回之前的那个啊 pretraining 啊或者说 meta training 啊，那么通过这个方式呢。
那么让它再训练一遍之后呢，它这个模型本身它对这个 scene trace 的这个理解就更深入了啊，那它再去再去做那个后训练的时候呢，啊就会效率更高啊。这个过程其实也是在进行中的啊，应该说是啊一个比较呃共通的呃一个一个一个逻辑吧，对啊。所以其实应该说整个这个过程就是把存算从分离啊到一体，然后再分离到一体的这样一个过程啊。慢慢迭代，慢慢模型就会越来越强啊。这个应该说是一个现在可能是一个共识吧，大家都会知道是大概是要这么做的，嗯。
好好，谢谢田兄。那彭教授呢？呃，我我就补充一下，我觉得田老师这个说的非常好，这个也是我觉得现在大家的这个，特别在 Big Frontier Lab 可能是这样的一个共识。嗯，呃呃。呃，我的一个，我首先觉得这个问题问的很有意思，因为他是提到这个冯诺依曼这个架构，对吧？嗯，嗯。然后我还特地回去看了一下，就是说冯诺依曼包括图灵他们在那个时代是怎么想出这个架构，而且这个架构为什么聪明？因为听起来好像很显然。嗯，对，呃，他聪明，当时聪明的一点实际上是在于就是说，呃，他意识到，因为大大家当时面临的是一个比较模糊的，就是说我们有一个计算的概念。
然后我们手里面有一些这个电子电子器件，嗯，可以当做一些门的计算。实际上香农当时的论文也是做这个，嗯。然后，但是他们意识到一个事情，就是说，实际上这个程序。这个规定怎么做计算的程序可以存在内存里，嗯，这样子的话，那个计算就变得非常简单了。他只需要去内存里面看那个程序，而不用自己去编码程序。对，所以这样的成为了一个聪明的架构。然后，然后我们就一直沿用了下来。对我其实很好奇，就是说，对于这些冯龙一辈，就是他们非常有vision的，他这些人来说，如果他们生活在今天这个时代，对吧？他们会怎么？
因为今天我们其实也在一个比较模糊的一个阶段，就是说，L L M出来了，我们有这样一个东西。呃，这个东西好像可以做计算，也可以做内存，也可以对。那我们到底要怎么用它，怎么 model 它，然后使得我们可以在架构上面是能够持续的这个沿用下去。对，所以 to some extent，我们现在需要这个新时代的冯诺依曼，对吧？它可能是两位老师，也可能是在座的这个各位，对吧？就是我觉得是大家是可以去思考这个方面的问题。对，呃呃，怎么去 model 这个东西，嗯。我的一个认识就是说，嗯，实际上你看人这个东西，人其实也不是说真的纯算一体，我们对吧？
好好好记性不如烂笔头，嗯，对我们虽然是作为一个比较一个 intelligence，呃，我们具备双，就是既具备计算和内存的功能，但是我们同时又发展了我们外外面的这个内存，对吧？啊，甚至还有外部的帮我们做计算的 tool，对，从这个意义上来讲，我觉得就是说可能没有一个，就像田老师说的，没有一个准确的分界线。当我们有了 L M 以后，我们还是会需要它外部的内存，外部的这个计算，因为呃，总体而言的话，就是说世界的信息是无穷无尽的，然后它在不停的新的产生。那么这个东西就需要我们一直会要有外部的东西来帮助一个内部的intelligence。嗯，对，所以我觉得是这样一个一个一个line。
我我补充一下，我我我追究这个问题是因为我我有我有一个朋友，他他前两天跟我聊这个事儿，他说那个你说这个人脑里的CPU和内存分别带分别是什么？我就发现他这个问题背后有一个假设，就是。人脑也是存在分离的，也就是说，当我们过于习惯了当代计算机的架构的时候，你已经会某种程度对自我认知产生一种异化，就你觉得其实人也是像计算机一样去运作的。然后我我后来就想到，首先人脑不是这样运作的，其次。当代其实很多的这个算法以大模型为代表吧，它其实很大程度挑战。尽管它的基础基础的架构还是分层模块大概架构，但是它从高层次上其实已经挑战了这样一个一个一个最原始的这样一种哲学的思想，所以我会有这样的问题。
我想再针对针对这个追问一下，就是从记忆到学习的一个过程。就是刚才田兄也说了，彭教授也说了，就是我们总会有一个存算分离、一体分离一体这样一个不断螺旋上升的一个过程。那么这个过程它对于个人的记忆和学习意味着什么呢？就我之前看看一个论文，它有一个蛮有意思的一个比喻，就是说我们今天的大模型它是一个患有顺行性遗忘症的天才。什么意思呢？就是说他在某一个时间节点之前，就是说他训练语料之前，比如说二零二六年一月份，他训练数据到这儿了，他这个这个之前有所有记忆，对这个世界的所有记忆。但是。它一旦运行这个指指令的时候，它会在那个时间点之后的所有之后的所有集它都没有，它就是一个顺行性遗忘，就是说它只记得某个时间之前的集，对之后是没有的。
然后，当你去执行这个任务的时候，你需要给他一个 context 上下文，他对这些上下文也是有理解。但是，一旦这个任务结束了，上下文信息会被立刻抛弃掉，他又回到那个只有 2026 年 1 月份之前数据的那个那个状态，就是典型的一个顺行性遗忘的一个一个症状。然后，然后这就引向两个思路，一个就是刚才田鑫也提到的，就是我们用这种存算分离的一个思路，就是用所谓的显示记忆，就是用记忆的文本方式给整理出来。让大模型在正确的方式去读取一个记忆，也就是这个烂笔头的功能，比如说用关键词读呃搜索啊、图、数这些组织结构来提取记忆。
好处是这些记忆是可以被人获得、被人理解的，然后机机器也可以用同样方式理解它。然后其实我们今天用OpenCL，它也是用这样一种不断反思写下来的方式来构建一个关于你的一个记忆的。然后另一个思路就是一个存算一体的思路，就是用记忆参数的方式来把你的这些记忆给存到一个一个一个黑盒子一样的参数里面，就像就刚才田兄也说的，就是又回到了这个存算一体的思路里边。它就把它存到那个位置里面，存到那个位置里面，exactly。然后呢，我这个去年去年底，Google发布了一个前年底了，叫Nested Learning，它就是模仿人脑的层级记忆结构来训练这样模型的。
就它的想法基本上就是，我有一个底层的一个位置，这些位置是是一个关于世界的一个基础的认识，比如说，呃呃呃，这个基本的逻辑、基本的世界运作的规律、一些常识。然后在上面一层呢，是一个关于你的一个记忆的浓缩，比如说我喜欢。呃，比如说，呃，吃川菜，比如说，我我喜欢红色，或者我有自己的审美的品味，我认为世界是一个。我是一个毕拉斯毕拉格拉斯主义者，比如说，真的我是一个左派，等等等等，这些东西它是从你的显示记忆里边存取下来的，但它和这个世界观又不太一样，它是一个中间状态，它也是用参数来来存取的。
所以就是，其实刚才田兄也说了，我们关于记忆，其实目前有这两个方向嘛，就是一个是显示记忆，人是可以去理解读取的，一个是那种参数化的记忆。那么我想再追问一些呢，就是在于关于个性化的记忆，不仅仅是这种 global 的一个一个智能体。哪个方向是更好的，或者有没有超越这两种区分的一个第三条的路径？我们把这个视角放回到一个个性化记忆和学习的这个视角上面，田兄。呃，我觉得现在还是处于比较初级的阶段嘛，这个方向，因为你看那个小龙虾是怎么做的嘛，啊，它应该说比较简单吧，就是把自己它把这个这个用户的过去的那些，啊，一些重要的事件给放放写进那个M那个MD文件里面，就是Markdown的文件里面去。
然后这个文件里面就它存了一些比较重要的信息。对吧？然后他把这个过去的记忆可能按照时间来分，就比如说最近的记忆可能放的比比较呃比较近一点，然后学远记忆把它压缩一下，然后或者说做一个总结，然后放放在那个上下文的前面那个位置，大概是这样的一个逻辑。它里面有一个自动的组装模块，它把过过去的那些历史啊作为那个 markdown 的 file，然后通过组装，然后组装成上下文，然后给那个。AI使用啊，大概是这样。那么这个应该说是一个是它兼顾了两种嘛，就是一个就是可解释性啊，因为很多用户是需要去编辑一下他的记忆的。
编辑一下有些东西不想让他知道或者不想让他这个记住，那就把它删掉。对，这可解释性非常方便啊。然后另外呢，就是说呃，它一个非常灵活啊，它通过程序的那个就可以控制它这个记忆的这个啊来来回回的这个。呃，就是放进去还好，也是或者说不放进去学也好啊，这个它这个控制是非常好的啊。对，那如果你以后你们要把这个记忆放进那个权重里面呢，呃，这个就是它可能在工程上啊，应该说是不太方便的一个方案，就特别是呃，如果是就是你要在那个把个性化的模型真的就是作为权重的一个修改的一部分的话，呃，可能就是除非我们需要，除非我们的模型已经有更好的方法来训练了，那可能这个不太，不然的话不是很方便啊。
啊，当然就是也有些其他方案，像最近那个 Saqana AI 他们搞了一个文文章叫那个 Doc to Laura，啊，就是说你把过去的上下文拿出来之后呢，我通过一个 Hypernetwork 直接预测出一个 Laura 的这个 adapter，然后放进去。然后这样的话呢，啊，对这个模型来说，啊，它自己的权重是不变的，然后在权重外面再加一个那个 Laura adapter，那么通过这个方式啊，可以让这个模型在没有这上下文的情况下也可以表现出和上下文，呃，有上下文的情况下是一样的这个一个一样的行为啊。那么这也是一种一种办法。那么这个就是相当于，我不知道这个算不算第三种啊？
啊，就是我刚刚刚才说的是第一种是。呃，就是把它放进上下文啊。第二种是就改这个权重本身。那么第三种呢是权重不动，然后在外面加一个那个 Lora 的这个 adapter，那也算是应该也应该算也算改权重嘛，但是也不是完全是一样的。那么通过方式是不是也可以实现个性化啊？这个也是一种啊可能的呃可能的做法啊可能的做法啊对，就是我我倒是不觉得就是人类的这个完全存算一体或者说是把所有东西混在权重里面是一个好的方法的方案啊不一定是个好方案，你可能是进化的一个限制啊。因为对人来说啊用神经元的方式来连接一切东西，在进化上来说是一个比较简单的啊方案啊。
如果你要把人脑分成两部分，一部分专门是负责那个记忆，还有一部分呢就是就是专门负责这个推理，然后这两部分的那个架构是完全不一样的。那么这个可能对于这个进化来说可能不是很方便，那所以他们就找了一个。尽自然选择就找了一个比较啊容易解决的方案啊去去解决啊这个可能是个人择原理的这个argument吧啊大概是大概是这样，大概是这样。对，但除了这个之外，呃，我觉得其实并没有，目前还看不到没有什么，没有没有什么其他方法来做那个个性化嘛。就因为这个你把这个 memory 一定要放在一个地方啊，你可以放在上下文，你可以放在啊 skill 或者放在一个 document 里面，然后按需取用啊。
或者说放在权重里面啊，包括主权重和 lora 啊，所以大概就是这些方案。很有意思，我们是一个路径依赖的一个进化结果。彭老师，彭老师怎么看？呃，对，我感觉我觉得田老师其实讲的非常的这个全面啊，就是各种这种方案。的比较，嗯，我我个人的话也是倾向于，就是说，至少短期内我们呃对于记忆这个问题，对吧？这个memory这个问题，短期内我们应该看到的应该是会是倾向于第一种方案。就包括我们看到小龙虾，包括就是again，就是说，呃，现在大家。在比如说这些大厂训练模型的这个主主流的方法里面的话，目前的话还是不会想着说我要去改那个 transformer 的架构。
或者是甚至 laura 这种方式，实际上也也还是要耗费很多的训练资源来做做成这个事情。呃，更多的想的就是说，呃，如果我显式的去写这个记忆的话，呃，我怎么能把它写的更好，对吧？怎么比如说大家如果用那个 Claude 的话，它有个功能叫 compact。嗯，对，就是你的 context length 到一定的长度的时候，它会学会怎么把它给压缩。嗯，那么它会想，就是说我这个怎么能压缩的更好？然后啊，包括我如果 context 长的话，我的这个能不能记住那些 context 里面一些细节？嗯，对吧？这些 detail 的 memory。
然后这些的话，它发现就是说，至少按目前的这个 scaling law，这个故事还没有结束，这个能力还在上升。就是如果我们能造出更多这样的需要 memory 要求
的数据，啊，它的这个能力还会继续上升。啊，我觉得这是第一，嗯，这个这个应该说是对，像那个我之前看那个Anthropic的CEO，他的采访的话，他也是这么说的，就是他觉得包括像持续学习这种能力，呃，也有可能暂时我们就是说就用scaling law的方式就能教会model，不一定不一定要让它真的去online的去去explore，就你可以教会它explore的能力，通过offline的这个，嗯。然后我觉得这里有一个。就像Nasty Learning对吧？这样的都呃，我其实跟他们的作者有过这个交流，就是，呃，他们也同意，就是说，就是要真的，就他们的本质是说，不同的层用不同的frequency。对，去 update，对，跟人脑的这个，跟他他用的人脑的一个 frequency 的那个类比，对。当时他们自己也承认，就是这个概念有点过于 fancy了，就是，对，对，就是很多人看不懂那个文章。
嗯，呃，对，但是，呃，但是他感觉就是说，实际上这个东西真的要 work 还是需要很长时间的，因为现在更多的是一个 demo 性质的一个一个 concept。嗯，实际上我会个人会希望 memory 这个问题要稍微难一点比较好。为什么呢？因为我觉得这是我们人类的一个护城河。如果连这个护城河也没了的话，就是真的很难区分它和你的区别啊。对。呃呃，但是另外一个有意思的东西呢，我想 highlight 一下，就是对于第一种方案，所谓的我们让它把这个 context 写在外面对吧？呃，组织起来。我觉得这个问题呃没有大家想象那么简单。对，为什么呢？因为因为我觉得很多程度上面，我们是把 agent 现在的看法是把它当成一个 task solver。对吧？给他一个 task，然后他来解决它。
但是，实际上我觉得很多时候他的问题的 challenge就在于。怎么去给他正确的 context？嗯，就是大家通常会说，我如果给他 context，给他 tool，那么他就会解决这个问题。嗯，对。但是难点其实在于怎么给他正确的 context。对。然后这个里，我觉得其实有一定程度上面涉及到了，就是我理解的一个智能的比较本质的一方面。就是说，实际上智能是关于信息，关于怎么把大量的 unstructured information 能够组织起来，然后能够提取 insight，能够回答这个新的问题更 efficient。嗯，那么在这个过程当中呢，实际上，怎么去把一个很多的 information 组织成合适的 context，嗯，实际上是 non-trivial的。对。
然后我们可以想象，就是实际上在现实当中很多公司。对吧？他他就是做这个，就比如说 finance，嗯，他要赚钱，实际上他就是把这个 world information，他想办法组织起来。对对，然后 structure，然后不同的人在里面看，然后来想 insight 或者学习模型。呃，然后在这个过程当中，我觉得实际上我们现在应该到了这一步，就是说，呃，管理 context，我们也应该用 agent 来做。嗯，也就是说，这些 agent 它在不停的获取 information source，然后它的目标现在是 maintain 这个 information source。嗯，同时更好的去组织它，然后组织的目的呢，是为了让比如说之后的 agent 来解决 task 的时候解决得更好。
这个其实跟人也是很像的，就是。人，我们学会组织，对吧？合作的方式也是通过维护一个大的信息系统，对，然后大家再在上面进行各种操作。对，然后这一步，我觉得实际上现在我们也可以用 agent 来做，而且我们做了这样的尝试，我们发现就是说，在一些管理内存的那个呃 task 上面。如果说呃，就是通常的做法，我们可能是做一个 rag，rag 对。或者是做让这个 agent 把这个 memory 写下来，对。但是我们发现，就是如果说我我让 agent 提前自己去设计它的 memory，到底要用怎么样的数据库来进行存储。嗯，对。然后然后它能 pre-process，嗯，它的这个 memory。
那么在这样的组织方式下，它能够比现在的 state of the art 其实要好很多。嗯，因为我们对信息做了一个预处理，啊，这个一而且这个预处理是 agent 自己做的。对对，这样的话，我觉得就把信息的这个链条打通了，因为 maintain 和组织信息也是很重要的一环。嗯，我觉得这里面还有个 interesting point，就是说，呃，这也是。其实田老师刚刚提到，就是说这个进化的过程当中，对吧？到底会进化出什么样的方案？呃，我觉得这实际上是个 interesting question。就是，呃。什么？到底我们怎么定义呃一个好的memory管理方式？什么样的memory管理是好的？嗯，对。
为什么存算分离和存算一体？呃，到底哪一种方式更好？我觉得可能有一个指标，就是我们平常说的不太多，但是我现在就越来越觉得它比较重要。就是呃，实际上跟速度有关。或者跟效率有关，嗯，就是当我们比如说回答一个，就是怎么为什么这个信息组织的比那个信息要好。嗯，可能是当我们用这个信息去回答后面的问题，接下来的问题的时候，它能够回答的更快。它的准确率更高，那么这就是一种好的组织信息的方式。所以，to some extent，就是说这个速度本身其实是重要的。而且这个引发了另外一个就是说对L M的思考。
就LM本身实际上是对Internet的信息的一个再处理。嗯。然后我们通常说是它是因为压缩产生了这个智能，对吧？我觉得可能还有一个思考方式就是说，它呃为什么好。是因为它其实提高了呃接下来的information retrieval的速度。因因为如果你再回到Internet去retrieve information是很慢的，嗯，但是通过压缩它提高了速度。那么这个speed可能就implied了intelligence。然后我觉得组织信息可能也是类似的，就是我们组织好信息实际上可以用未来的那个速度和准确率来衡量。同时来improve我们信息组织。
那么从这个意义上来讲，可能存算一体和存算分离的两个方案也可以在一起compete for那个就是说。呃，它对它它的效率，它的speed。啊，然后我们可能会看到，就是说，实际上对我觉得最终应该是有很多层级在这里。嗯，它不是一个呃灵活灵活的“一”的一个分类，对。对对对，彭老师刚才说我其实很受启发，就是也可以说是第三个路径吧。就是用 agent 它来动态的管理，而不是说有一个事先写好的一个编码方式来，无论是显示的还是隐式的来处理这个这个数据信息。对，嗯，其实你刚才一说，我又想到了。
其实我们除了那种就是宏观的 global 的一个模型和我们个人化的模型当中，还有一个介于中间的状态。就是比如说我们可能对我们近视更有影响的就是，比如说怎么样去处理公司的信息。公司的一个一个模型，你怎么知道公司的上下文？公这个公司的运作逻辑、规规章制度、法律法规等等。它也是一种个性化，但它不是个人的个性化，而是一种更加强调组织架构的个性化。就像本身公司本身就有组织架构，然后你怎么样用一个类似的或者不一样的 agent 的系统来维护这样一个属于公司的一个个性化的记忆。也是一个非常，呃，非常值得研究的一个话题。
对，好下下一个话题，我想稍微换一个换一个领域，就是关于这个个性化AI的另一个领域。就是个人信息的一个采集。因为我们知道，今天我们的或者说我们比较流行的大模型，首先是语言，然后会有一些多模态。对吧？呃呃，图像啊、视频啊、音频啊等等。呃，然后我们今天其实有很多，呃，过去一两年有很多新的智能设备、智能硬件是涌现出来的。比如说有二十四小时录音、拍照、录像的方式，各种智能硬件可以来模拟一个人在实际生活中所收集到的原始的素材。就是你所看到的，就是他看到的；你所听到的，就是他听到的。
甚至也有可能会是一些物理的感官，比如说你对于你环境的一个气温、气压、重力的感知。它更像一种具身化的一种信息的一个收集。然后这个其实也是。也就是所谓具身智能，在也是比较火的一个方向。然后，呃，但这种信息处理的这个媒介，其实对于个性化的学习也是一个新的挑战。因为刚才说，我们今天的大模型主要依赖语言，而语言本身是一种高度智能化的一个结果。就它已经高度浓缩了人们对于世界的一个理解。人脑人脑每一秒处理信息是大部分其实是无意识信息，其中有意识信息是占很小一部分。
然后有意识信息里边的可以被总结成语言的信息又是很小一部分，然后其实如果我们把这个对于信息的收集可以放大到非语言甚至非意识的信息里面的话。其实它可能对我们今天的大模型的一个架构会是一个新的挑战。呃，然后另一方面，语言也是用来交流的，所以交流意味着它其实产生的是一种智能的共识。就是咱们俩必须用语言。也就是咱们俩可以用语言交流部分，其实是咱俩可以达成共识的一些地方。但我们当我们说这个个性化AI的时候，很多时候它是有一些很多不可言说的一些东西。比如说我的一些感受，我的一些呃一些心种、一些症状。
某种程度上，在这个东西我可能很难语言表达出来，但是我是希望我有一个。如果是一个digital twin的话，这个twin是真的能够认识到这些不可言说的部分的。所以我想，我想问二位的就是说，首先我们是通过自然语言让人类看到了这个所谓通用人工智能的第一道曙光。那么，它是否会成为一个进一步智能以及个性化的一个诅咒？就是它既是一个起点，同时也设置了一个上限。我们怎么样去处理这些非语言的原始信息、意识信息与非意识信息？对AI来说，是不是一种有意义的区分？呃。还是田兄先。
描述一个人可能只需一百多个数字，但细粒度思考下情况很复杂。人本身具有随机性和不可预测性，甚至无法预判下一秒的非理性行为。实验显示，同一用户隔几周回答相同问题，准确率仅80%多且MBTI结果常变。这导致训练模拟人时面临挑战，因为AI往往比人更“聪明”。例如测试联合国非洲国家数量，95%的人猜不准，但设定为特定知识水平的LLM回答准确率超80%，因其未意识到该问题对人类的难度。这种差异源于训练目标不同，若将模型设为婴儿状态逐步学习，或许能更贴近人类认知。
语言可能成为智能的诅咒或限制，但多模态发展已突破此限。更深层看，人并非唯一智能形态，生物进化可能限制了人类的效率。若高级文明以代码为语言且能操控物理世界，亦可发展出高阶智能。这引向执行与反馈话题：人的Agency体现在与世界互动中，实践优于单纯信息吸收。强化学习即基于此范式。研究员Jason Wei提出“验证者定律”，指出AI擅长解决易验证但难解决的问题（如编程），而审美、道德等任务因验证成本高或奖励稀疏，AI难以有效处理。
针对难验证问题，直接用户反馈虽好但存在“黑客”风险，如模型为讨好用户过度使用表情符号。为此可采用Rubric细化奖励信号，通过验证思考过程的严密性而非仅看结果来提升效果。然而，随着模型能力超越常人，具备评判能力的专家越来越少，且科学发现等领域缺乏标注数据。解决之道在于打开模型黑箱，通过Deep Confidence等机制剔除低置信度推理路径，从而加速无标准答案问题的验证。
AI相互验证常陷入“菜鸡互啄”，难以发现根本缺陷，仍需资深专家介入。从数据角度看，获取可扩展的高质量数据是瓶颈。Allen Institute CEO指出数据重要性仅次于模型本身。以GPT-2为例，其通过筛选Reddit高赞回答中的链接来构建高质量数据集。这启示我们，“造环境”和“数据创新”是有效手段，且具备民主化特征。利用LLM模拟生物或金融环境生成初始数据，再结合人类反馈迭代，可使造数据本身成为一门科学。
pipeline，就是说拿着你这个数据能够提升模型的能力。对，然后这个事情现在看起来还没有结束，嗯，它在继续发生。对，我觉得这个可能是一方一个一个很重要的，就是说，当我们今天讲这个东西很很难 verify，呃，你也可以积极的想，就是那我来想想我用我的专业知识来造数据，我会怎么造，对吧？啊，造出高质量的，就是好。比如说新闻事实是难以 check 的，那么比如说要你去生成高质量符合事实的新闻，这个事情可能没有那么难。对你可能可以想到一些方法，然后你再想我能不能再生成比如说有 rumored 这个 information 来做 negative sample。嗯，你可能也能想到一些方法。
在上面造，对吧？那这样子的话，可能就又形成一个新的数据就是最后不一定是一个特别难的问题。就是我们不知道对呃我觉得这是我的一个一个一个 belief 吧，就是说实际上 data 和环境是一个很重要的这里面的一环。嗯然后第二个的话我觉得就是说关于 agentic AI，我们看到它现在的困难在哪儿？呃我觉得其实田老师刚刚也说的很好就是我觉得其实嗯有一点很重要的是我们到底怎么用这个东西来根本的 improve 我们的 science 和 technology。
虽然我们今天更多的讲的是 business，对但是我的感觉就是说如果你从一个文明的角度来讲很多根本的东西实际上是来源于科学和技术的突破。对就是如果我们能治疗癌症和不能治疗癌症这是 fundamental different，如果人类能够活到两百岁跟活到一百岁这也是 fundamental different。然后包括物理也是呃而这些会定义一个文明的边界，然后 business 在后面才是 adapted。
在我看来今天我们其实这个可能也是有点悲观就是呃 AI agent 这个东西的能力跟很多 human agent 比较 low level 的 human agent 已经差不多了。对因为一个 human agent，呃在一个 junior 的 human agent 在商业环境里面他干的事情也就是给他 context，嗯给他 tool 然后他去做做完以后回来汇报。对这个事情我觉得是有可能就特别很多 AI 领域的人甚至预测对吧就在接下来几年之内就会发生这种事情就是大有一 significant portion of people 会因为这个 AI agent 取代 human agent。
而这个就是说重新重新工重新找工作呃我也其实比较 concerned 这个问题啊就是 unemployment，嗯但是我觉得就是实际上能够让大家整个的 social呃 welfare 提高嗯呃实际上是生产力和技术的发展。嗯然后在这些领域现在其实还是遇到困难就是呃我们呃包括我有很多朋友包括我自己呃我的夫人也是在哥大的这个应用物理系做这个呃物理实验呃量子物理实验就在他们看来这个东西对于科学技术的发展还没有那么快嗯大家还在还在 struggle。
对对嗯呃我觉得这个可能是下一个爆点就是如果我们能做好这个事情实际上就是 good for everyone，对对这个我非常同意就是我我身边有很多科学家朋友他们也在非常推崇这个 AI for science。就他们觉得因为 science 他们解决的问题远远要比嗯比如这个照片是一个猫还是狗要困难的多所以问题的上限解决就某种程度上决定了智能的上限。对还有一个这个彭教授刚才提到这个收集数据也是因为我去年我我听一些播客也是他们其实对于巨声智能机器人来说他们数据是更大的一个难点。
因为他们要涉及到和物理世界打交道它不是那种可以在这个计算领域可以去批量生产出来的数据所以它的效率会更低一些。所以像国内他们很多这种就是虚拟环境里和真实环境里收集机器人数据是一门非常非常大的一个生意。然后高质量的这个机器人数据对于研发这个具身智能对他们是非常重要的一个一个一个难关可以说是对呃对。我的问题就到这儿了然后下面是彩蛋环节就我能力有限所以提不出也就能提出这些质量的问题。
所以下面环节就是请两位这个高手互搏啊我请两位老师每个人给对方提一个问题。对然后那不请彭教授先嗯呃呃这这个这个不是一个 level 这个所以那个田老师您那个手下留情啊呃对我我我也是就是其实一直在 follow 田老师您的那个博客包括您那个二零二五年的这个年终总结我觉得这个都非常的有意思。
包括您提出了一个叫这个费米能级的概念对吧？这个我觉得非非常 interesting，如果大家不知道的话可以解释一下就是说这个嗯费米能级本身是一个物理的概念对吧？呃呃呃它本质上指的就是说这有一个 phase transition 就是你要高于这个能级对然后你才能观察到一定的现象。然后在 AI 领域的话就是说可能你需要呃你的这个 AI 现在已经达到一定的水平然后如果你的作为一个 human 你的工作能力在 AI 之下那么你可能就这个就对吧就被它 covered 了。
嗯而在那个之上的人可能你的能力会指数的上升对所以我们要努力做这个之上的人嗯当然这有点 competitive 吧就是就有点像斩杀线的感觉了是吧？那但是呃我觉得它实际上反映的就是说我们人应该怎么学会去用 AI。对而不是跟他 compete 对吧？是个 human AI collaboration，呃然后在这个意义下面就是说田老师我看您那个提到就是呃实际上大家要学会的能力是怎么去提出新的 idea 或者叫宏大的愿景。
嗯对然后这些才会成为未来最宝贵的一个一个一个就是说呃最宝贵的一个资源因为呃呃你是那个提想法的人然后你的想法可以非常的宏大然后可能越宏大越好嗯呃这样才能激发出 AI 来帮你这个这个去实现的这个能力。然后所以我的问题就是说这个田老师您您的这个呃这个宏大的愿景是什么？如果说现在有个非常 powerful 的 AI。
OK，这个问题很好了就是说我觉得是这样吧因为我自己自己就花一些不少时间去做一些可解释性啊对对吧？做一些对理解 AI 内部的那个工作机理嘛对吧所以这部分当然是我的愿景嘛就是我觉得 AI 应该是可解释的然后我们能不能找到它比如神经网络工作机理能找到下一代新的模型。
然后找到新的方法去训练模型让它变得更强更更厉害这是一个那这是模型本身的一个对于模型本身的一个愿景嘛对吧？呃另外一个当然了就是希望人类能够走出地球然后能够能够成为星际文明啊这样的一个。呃这样的可我觉得肯定是要要要要要要往外走的对吧这个是因为我们因为如果从历程来看呢就是我们现在因为人类整个人类现在处于一个非常脆弱阶段比如说明明天一颗大陨石把地球给砸了那我们可能把就可能把这个几万年以来的这个几万几万年来这个成果都都都都干掉了啊！
下一波那个人类再进化出来进化出一个新的智能可能又需要很多时间。啊需要几百万年、几千万年的时间啊那这个时候呢太阳可能已经啊啊慢慢会变变得越来越亮嘛对吧？所以可能最终人的地球不适合人类生不适合生物生存。所以应该说就是因为人择原理嘛因为我们这个智慧生物在地球上呃应该说是度过了一段非常美好的时光啊正好有这个时间地点人物都集齐了然后呃有这个各种偶然因素都都都都站在我们这一边最终呃人类达到现在的高度。
啊所以我觉得呃是一个很重要的一个一个历史机遇吧对吧？那如果能够早期的就是能够让人让人类或让智慧生物能早一些走出这个地球走出个摇篮啊去很很远的地方那就是那就开枝散叶之后呢其实很就很难再出现一次大灾害让整个智慧文明毁灭的这个这个这个这个事情。啊所以现在其实是一个很关键的节点嘛应该说就是说就是这个是自在在科幻科幻小说角度上来来来讲这个事情的啊。
对就是比如再过两百年比如说人类已经遍布了这个银河系的一些角落的时候呢其实应该说被整个被毁掉的这个概率问题就是概率非常小了啊啊所以我觉得是一个很大的这样一个故事吧大概是这样的故事啊。那这个有点科幻了就是比较应该说跟我们现实生活关系不是特别紧密啊但是应该说也是挺有意思的一个想法啊可以看看接下来会怎么做。嗯好那田兄给彭教授的问题我我再补充一下我觉得这个对我其实非常那个这个 admire，而且我也是 exactly 同样的想法。
就是而且就 some extent 就是说现在我们其实是需要更多的人有这样的愿景他就因为我们自己不知道怎么解决这些问题但是 AI 可能知道对吧？但是我们需要发出这样的宏愿对吧这样 AI 才会有点像收集到收到那个信号然后他就会开始 move。嗯对这个其实有一点那个就是说呃玄学的感觉就是之前我知道有一套理论是说如果人愿意这么想对吧？这个唯心主义就是人如果愿意这么想这个世界就会这么变。
嗯现在我们可能到了这一步了就是人在只要这么想因为 AI 会帮你实现那个事情但是人要得这么想。对所以 hopefully 我们能够尽快的看到我们这个走出走出地球对吧？对啊啊谢谢田老师哎好啊田兄好吧对好那那个彭教授我可能呃我的想法是这样就是因为您是在那个 academia 对吧？在那个哥伦比亚然后你你这边也是做那 in forms啊做一些就是那个强化学习还优化这样的一些一些一些方向。
对那你们觉得就是以后学术界呃在这个人工智能这个舞台上会有什么样的角色？啊然后就是有什么样的事情我们可以就是学术界会能够能够有贡献或者说有一些有意思的这个大的东西可以一起做的对。彭教授自己和这个这个商学院的这个还是指更广阔、更广阔的学术界吧？我觉得应该是对。OK，我觉得是其实哎我要是当时刚刚问田老师这个问题就好了对吧？
我觉得这个实际上是一个呃很重要的问题就是其实不仅是对我个人对于整个呃学术界来讲呃我们现在应该都在问这个问题就是学术界到底还能做什么？对吧？呃呃呃我觉得其实还可以做很多东西的对但是就是有很多限制现在是问题是那这个限制就很难去呃因为像我在二零二四年的时候其实我也给我也去那个普林给过讲座嘛他们当时也给了一个那个副教授的头衔当时是但是后来后来我我我我我没有去普林。
啊我觉得原因还是因为就是我感觉上是整个学术的这个这个运作的方式可可能相对来说比现在的工业界的方式相比还是一个比较可能就是比较早的一个一个一个一个模式啊可能有些时候会比较慢或者说比较呃就就跟现在这个节奏可能就是不太不太适应其实是有这个问题。对对对对我我觉得是嗯应该说这也是我包括我们学校一直在思考的问题呃我觉得首先一个的话是呃其实像那个 Allen Institute 是一个比较好的模式。
因为它是一个就是说相当于一个大学同时又成立了一个 nonprofit，嗯然后能够这个呃把学术界和因为他们就会有更多的这个 GPU 资源然后呃把这个呃怎么说呢就是呃路线路线打通。我觉得学术界其实面临的一个问题是应该说有有有两方面的阻力一个阻力当然就是我们现实当中的这个计算资源不够嗯嗯然后另外一方面的阻力就是嗯实际上大家这个对于怎么做 impactful research 还是处于一个就是说没有达成共识。
然后学术界传统是一个 move 比较慢的一个领域嗯像我们在呃比如说在我的传统领域实际上你要发做一篇 research，发一篇 work 可能是以年来计算这个单位。那么现在大家知道每几个月大模型就会更新一次对吧？对对就是怎么把他们这个学术界的这个 gap 能够联系起来呃我觉得是是是很重要的但是另外一方面我也觉得在学术界其实有一个很大的 value，是在工业界比较难以提供的就是学术界本身还是一个 nonprofit。
嗯呃而且是面向教育的一个 space 嗯这就意味着在学术界有很多东西你是是可以想可以说的嗯对 As opposed to，不知道对我觉得田老师可能比如说在 Meta 做一个 researcher 有的时候会有一些 constraint。对对对就是不是什么话都可以说是吧？对现在可以了现在可以比较开放了嘛应该说没有那么多限制啊。当然了就是说我确实有些人的话我也不太愿意说啊有很多事儿对。
当然了就是说我离开 Meta 之后呢可能可能会少一点啊会时间少一点对大概是这样的一些一些逻辑吧嗯呃但是如果比如说呃你要去比如 Open I 或者去 Anthropic 或者去一些那个 Venture Lab，你有很多话可能更也更就可能限制会更多一点啊大概是这样的一个一个一个逻辑嗯对是这样。包括对吧？给这样的讲座这个很多时候可能都是有有限制所以我觉得在这个意义上面其实学术界起到了一个就是说公共 space，呃然后呃对于。
AI 来讲的话就是我觉得现在可能还有一方面的责任学术界可以想办法去 contribute 或者承担起来就是呃怎么传播或者是呃这个呃 public awareness，呃包括学生。他的这个 education 因为呃目前如果说 AI researcher 其实在这个世界上面是很小一波嗯然后呃他们身上承担的产品的任务对。
但是在这个世界上还有很多很多人嗯那么对于呃这些人来说就是我们怎么有一个 space 可以去进行可以学习然后可以畅畅聊对吧？这个各种可能的问题呃我觉得这个方面其实学术界是可以包括我们举办这样的讲座然后呃包括我们在哥大其实呃嗯我们成立了就是不少的这种呃比如说 Agent Lab，嗯呃呃 Digital Twin Lab，嗯呃这是都是我现在在就是说想办法在 push。
嗯呃在这些 lab 里面我觉得就是创造这样的 space，呃可以让大家讨论和学习特别呃而且在学习意义上面就是说我觉得是呃虽然可能跟业界不能完全就是怎么说呢在 resources 上进行 compete 的但是在 idea 上面嗯呃基本上还是呃可以同一 level，对呃是可以 communicate 的。
嗯嗯对这个 ecosystem，对嗯在这个 eco ecosystem 里面就是说学术界是呃是有它不可不可取代的一个一个地位。但是这个角色是在进行一些转变就是像以前我们可能更多的是说学术界会提高提供那个 research idea 嗯对吧？业界更多是 follow，但是现在是业界提供很多 practical idea。
对然后学界在那 analyze 嗯然后出现了一种倒挂的现象。然后我觉得让很多学术界人有点悲观的是呃就算学术界去想办法去 analyze 去理解现在的这个业界的呃一些 practice 的方式包括去做分析。那个像田老师你以前也是做了挺多理论对吧？我我之前其实也是做理论方向就是我们就我们其实发现了就是说这个理论很难给实际提供指导的。
嗯对然后然后这个其实是一个呃呃一个就是我觉得学术界需要 learn 的 lesson， a bitter lesson to learn。
呃也就是说实际上这个科科学的范式在发生变化对对然后要 stay relevant 的话我们要来理解和参与到这个新的范式。另外刚刚讲的其实还有一点就比如说造数据或者造 environment 如果它本身成为一个科学的话其实学术界也是呃是可以 contribute。就是大家重新来思考这个这个新的 science 问题，呃为什么这么说呢因为实际上数据有很多 privacy 的 issue。
对学术界其实能够成为一个就是说制造 public data，嗯这个其实也是 Allen Institute 做的对吧？嗯就是他们不仅公公布了这个他们造出来大模型他们把整个大模型的训练数据怎么去调训练数据等等所有 pipeline
全部公开，嗯。这样呃传播了这个这个技术，所以我觉得其实那是一个很好的一个范式。嗯，我们也在想，就是说怎么怎么向他们学习。嗯，对，好，感谢感谢那个谢谢。我最后问这个替黄河源问问一个问题，这个田呃田兄的的啊，你要问吗？你啊，就基于基于今天的这个对话，我想换个问题。呃，你呃，你说我我我我想问，那是那个书的问题。对，一会儿一会儿Q&A，我我们一会儿一会儿再一会儿再提问。就对我我听黄爷问什么呢？就是这个田兄的下一本书有没有在计划中？就小说创作。
呃，其实一直在计划中嘛，因为其实我当时写完第一本之后，其实有下一本的一些计划，当时也写了一部分嘛。对，但是后来因为有各种原因，当时后来没写下去啊。现在也在也也在在也在加一些东西。其实第二本书的前一部分，一到一开始一些一章节，其实网上是有的啊，在我的主页上有的。如果你想看的话是可以看的。第二本书叫《优夜星火》，啊，这是一本。然后当然了，就是我上一本写完了之后，我们上本大上本应该是二零二一年。嗯，二一年两三月份的时候写完的啊。那写完之后到现在，应该说差过了很久了。就大模型的这个时间段来说，就过了几个世纪了，应该这么说啊。
所以有很多的新的东西啊。就是首先第一个就是我当然看到我以前那本书，它的很多的想法，其实，在现在很多时候已经被实现了，呃，或者说已经在慢慢在出现中啊。所以，呃，第二本书应该会有很多的变化啊。对，但是呢，就整个思路还是一样的，就是说在一个所思及所得的社会里面，就是我们现在已经到这个，基本上已经开始进入这个社会了。大家看到这个苗头了啊！在这个社会里面，其实你说人的价值是怎么定的？然后那个整个社会的经济体系是什么样子的？然后有什么样有趣的故事可以讲？呃，大概是这样的一个一个逻辑啊。这样的一个逻辑啊，就是所以应该说，是更更像是一本思想实验的一个一个一个一个一书吧，啊。而不是说第一本就更像悬疑啊和科幻，嗯，然后再再加一些。
啊，一些小故事这样的一个一个逻辑啊，就是当然主题比较简单，外星入侵地球嘛，啊。但是第二本书呢，可能更多像思想实验了啊，像一些就是对于这个社会将来的发展的一些探索啊。大概是这样的一个一个一个风格啊。当然应该也会加一些悬疑进去啊，因为这个应该说是让让大家能看下去的一个动力吧。大概是这些这些想法啊。但是现在也比较忙。那可能就是空之后抽空有时间我会不会把它写完？好的，这个非常感谢。
那这样何源，你你先站在这儿。现在站在这儿，我们现在是进入这个Q A环节，然后我我们我们因为可能大家会比较踊跃，所以我们排队就是从这边一直往后排。然后有我立几个规定啊。就是因为因为是这样，因为田渊他只能看到我们这一块，所以一会儿大家就挨一次队就站在这儿了。就是我让一下，对。然后这样可以让田兄看到这个提问者，对对对。然后站到这边看那边就可以。
然后呢，对大家感感兴趣的就这个排在这个这个河源的后面一个排。然后我们立几个规定让大家可以让尽量多的人能够回答问题，一个就是呃，尽量把你的问题呃放在一分钟以内。你可以表达观点，也可以提问。你可以你说我就想说说我对我的宏愿，我我我没有问问题也可以。但是呢，如果你如果你提问的话呢，呃，就提一个问题。然后，如果你想再提的话，我们可以再往后排。大家如果没有人排，你一直提。对。但是，一一次一分钟，一一次一个问题，然后这样可以让更多人回答。
然后二位，呃，你想你想回答，然后你可以也针对某个主讲人回答，呃。提问也可以针对二位提问。大家也，呃，二位主讲人，呃，二位嘉宾也可以根据自己的需求和想法，如果有的话有回答，没有的话就也就可以pass。然后我们尽量让尽量可以让机会给更多的人吧。对吧？然后我先这样，大家先排着啊！我先提，因为我们之前收集了报名表，我先提报名表上。我我就我就我就选了一个问题，然后来，我觉得这个问题蛮好的，我也是二位可以简短的回答一下。
就是你们的研究有没有从心理学和神经科学里汲取灵感？要不，彭教授先吧这次。啊，呃呃，心理学和神经学对吧？嗯，神经科学，神经科学，对。嗯。对我物理学也可以，你你做的这个量子纠缠，对对。呃，我我觉得我觉得是有的，而且这个是个很有意思的东西。就是以前我们其实有这个思考，就是说这个呃大语言模型它更多的到底是像一个工具，嗯。还是更像人，对。然后我觉得现在我是越来越认识到，就是说大语言模型其实你更应该把它当成一个人来对待。嗯，to the extent 就是说他呃，他犯错等等，他其实也像一个人。包括我们今天所学会的，比如说让大模型做 reason，让他去用 to，让他用 context。其实更多的都是把它当成一个人来对待。
对。然后呃嗯嗯，所以这个包括我自己的研究里面，嗯。我们最近做了一个事情，就是说在 supply chain 这个领域。就是supply chain的话，嗯。在这个领域当中，实际上就是比如说一个人，你应该怎么去管理呃你的inventory。比如说你是一个超市的这个老板，你的到底要进什么货呃然后在这个里面以以往是有传统算法的嗯。传统的算法，呃会给你算出一个数来做推荐然后呃现在这个数会给人这个人这个人再make final decision。
然后我们在这个中间现在加入了一个AI agent，然后我们当时的一个问题就是说这个AI agent它到底是更像那个算法还是更像这个人嗯对。然后在我们的这个呃合作里面就是这三个东西放到一起然后我们给它组织了一些不同的这种合作方式。最后的结论就是说它其实更像人就是人在这个过程当中会有一些这个算法没有的那个直觉嗯啊包括它会犯还会犯一些错误。然后在这个意义上面其实大语言AI Agent跟它是比较类似的对嗯。
然后我觉得在这个意义上面其实inspired我的就是说实际上我们应该在接下来我们当我们谈论AI agent的时候，我觉得其实下一个challenge就是怎么把它们组织起来嗯对。包括Open Call其实给了我们这样一个intuition呃帮它们组织起来那么在这个组织的过程当中我其实觉得就是说帮它把它更多的对待成一个会经常犯错的的junior的人是个一个好的 mental model呃。然后在这个意义上面来讲它的一个呃和人不太一样的是，它还可以 copy paste嗯对人是不能复制的。那么一个可以复制的比较 junior但是经常犯错的这个人，我们应该把他们怎么组织？我觉得是个很 interesting 的 research question。我我现在其实也在做这方面的研究对。
所以一个幼儿园老师的一个角色，田兄呢有没有这个有没有快速回答一下这个问题？对。我觉得还是有很多的 inspiration 嘛对吧像比如说我们最之前做的那个那个隐空间推理嘛latent space reasoning。就这个这个方向，其实我当时说一个当时我觉得这个内部的这个表示可能是个量子叠加态。就是你有一个那个很多的状态，他们通过加法或者通过某种信息叠加叠加起来然后用叠加态来做一些推理啊。然后当时是我们那个做了这样的一些工作啊，然后发现它确实是可以做到这一点啊你就发现就是它里面那个一些那个隐空间的或者说那个隐向量这些向量它内部那个结构呢可能是不同的思维方式的叠加，或者说不同的思维链的一个一个一个叠加的过程啊。
这个叠加的过程其实能够提高这个推理的速度，因为相当于同时在搜索不同不同路径。然后这个搜索路径的这个搜索方搜索效率应该说远远高于就比如说啊，远远高于比如说就是单一的那个那个思维链的搜索这个这个方式啊。这个这样子所以这种其实也是也是有一个就是物理上的一些有意思的这个想法能够拼起来啊嗯。这个我觉得会应该说是挺有意思那么这样的话，是不是意味着就是大语言模型的这个那个model space 是不是就是下播的空间呢？就不知道啊。
这个也是会很有意思的一些想法吧那这个想法也许以后可以用来催生更多的一些思路，能不能把这个思路能够落地了然后做出一个比较好的工作那也是挺有意思的一个一个方向啊。那么心理学这边，我觉得很多时候还是看比如说我我们家的我们家女儿什么怎么怎么他们怎么成长的啊对吧她她是她是怎么样学会这个各种各样的那个能力的？你就会发现呃其实很多时候跟大模型也有很多相似的地方啊就其实比如举个例子吧就是说比如说就是就是大模型的预训练，其实应该说是相当于对应于就是人类这个成长过程啊。
就是小孩子在刚刚刚刚刚学学东西的时候，你让他学一些超过他这个年纪的一些一些一些一些一些一些能力，他学不会的。然后他就算学会了，也是很也是属于是背诵的状态就是很难去举一反三，去理解它的内部的含义啊。所以就是但是等到他长到一定程度之后他突然就学会了很多以前学不会东西，而且学的东西非常深啊你就发现就是他应该是在你就大脑在那个发展过程中它慢慢它调整它内部的这个表征，让这个表征能够更适应这个世界的发展啊。而不是说是通过大量的数据把它灌进去的啊不是这样子啊所以其实我觉得很多时候是表征上的一些突变啊。
就是怎么样从记忆顿悟到一个呃就是一个更加这个长期的或者说更加对这个问题深刻理解的啊这样的表征，然后自然而然这个我们就学会了东西啊。所以这些其实很多时候也是通过观察然后通过一些思考去去思考这两者之间的关系啊对，大概是大概是这样的一个一个一个逻辑。还有有意思的故事就是说啊之前你其实也有个也有一些比如说一些想法，比如说啊小孩在在在慢慢长大的过程中我们到底是应该给他说英文呢还是给他说中文呢？还是应该两个混在一起用呢啊这样一些问题啊。
但是我当时在想，就是当时你做预训练的时候你其实都是混在一起的啊是不是其实没有什么关系？就是后来发现，其实小孩子在长大之后他自动能分辨什么样是什么时候用英文，什么样时候用中文的。当然，他有时候说话的时候可能会突然说了一些中英文夹杂的方的的的说的的话，但是也没有关系它至少能意思表达出来了嗯。所以其实就是说也许就是以前的教育理念要要要结合大模型的这个实践，是不是有有更新？可能有一些新的想法会冒出来。嗯感谢感谢这个哎我还是想到那句老话遇事不决量子力学行那那我们那我们这个何源先呃你先接着说。
啊啊，就是我就是当然对于那对这个隐空间推理这个特定的问题来说我觉得量子力学或者说这种叠加态的表征呢应该说是有理论基础的啊我们当时做了一些理论分析啊所以不是说是完全空穴来风吧啊对。感谢感谢那我们现在就正式观众提问呃一分钟一个问题好吧，来开始。那首先就再次感谢两位老师今天的精彩分享非常受益匪浅呃我自己我其实问的问题更多是可能帮很多人想问，就是AI是否真的能够替代人类？然后我想更多听一听两位老师在这两个方向的一个理解，一个是沟通就是沟通的本质。
呃我思思友也说了，就是可能正常人与人的沟通百分之五十五是其实是来自于这个body language，就是身体的语言。百分之三十八才是这个语音语调啊剩下的百分之七是这个具体内容而AI现在只能负责具体内容就我在想，就是因为我自己其实除了主业做data science之外，我自己也做一些生意。那生意其实有很多的沟通和交流我想知道就是in the future的话你们是否觉得就是AI在这个领域它是否真的能够替代，还是说这个其实是人类的一个护城河。
第二个就是关于信任呃或呃更多是 responsibility，因为很多人在做决策的时候是我会基于这个人他是否能够 take responsibility。或者说是如果他做这个决定我至少有个人可以找个人兜底，我可以去找他挨追一个问题。那对于 A就很多人可能也听到一些就是 AI 它没办法承担责任，没办法去有这个信任。我想好奇听一听两位老师怎么看哦感谢嗯呃交流这要要我那我先说，就是交流这一块我觉得很难讲这个是个护城河。因为有可能以后都是agent对agent，而不是人对人。
这个是一种可能的逻辑吧？就比如说啊我是个水管工然后我雇一个agent，然后让他去蹲在网上蹲着。然后二一天七天二十小时每天就接接单子，接完单子之后再自动排排排完。每天早上起来我看啊今天我有三个单子我就开着车过去全部做完一遍就好了我并我为什么我需要打电话给给人去把这个事情做完？对。所以有可能会出现，就是说以后我跟你约一个meeting，我并不是说要打电话给你或者说要发信给你。
我直接让我的agent跟你连链去对接，然后meeting就约完了嗯大概是这样的逻辑。所以有可能最终是重复劳动这一块或者说这种就是有清楚的价值的然后大家也知道这个劳动的那个收益和后果啊还有那个付出过程都非常清楚的这样一个劳动，他们应该可能有可能会被A证取代。对所以是这样就比如说我就觉得房产中介会很危险因为像房产中介这样的一个逻辑就是我们是不是就是把数据这样都拿到手之后它是不是可以用AI自动取代？这个这个都是有可能会发生的啊。
但是有些创造性的或者说一些从来没有见过的一些新的要求，那这个部分可能还是需要人来来做一个是AI很难去界定这个这个任务的那个边界在哪里对吧？还需要很多的那个negotiation这种可能需要那个agent啊需要人。大概是这样的一个一个逻辑嗯对，对还有一个新人嗯你说对吧呃呃对我我我其实也是类似的看法就是我觉得就是其实呃也是刚刚讲的就是说 low level 的那个 agent，现在在 human agent 做的工作。因为它是比较重复性的比较确定性这个事情其实你可以交给AI来做，而且这个trust也会逐步上升。
和大家这个开无人车一样就是当它真的开得越好你的那个trust自然就会上去然后关于responsibility，其实现在大家也在说对吧？无人车是有保险那这个AI agent能不能有保险啊？对吧呃呃我觉得这个其实大家只要它能力一上来，大家都会开始就其他的配套措施会跟着上呃。我觉得这里面不太能取取代的可能更多的就是，其实也就是像如果说你是CEO如果你跟别的老板在一起呃很多时候你们那顿饭可能是没法取的。对吧？因为你们在饭上面讨论的东西并不是一个确定性的东西，你们很多时候可能会说啊这个对吧？
就是聊聊天然后聊了一些 business idea。然后你觉得互相有资源可以对接，然后这个是一个 personal 的这个对吧？ creativity 的这个这个表现嗯。所以我觉得就是说其实是一些散那个呃就是说嗯开开散就散华性的这些这个 vision 的不太能做。对另外还有一点的话，就是因为人这个东西我觉得最终实际上这也是涉及到就是说在后AI时代我们到底价值是什么？呃。
我觉得有一点重要的就是说你你希望跟别人建立一个连接，你希望在一个community对然后这些人与人之间的就是让你变得更开心的东西对。好一分钟一个问题哈看证据嗯我很高兴今天能够参加这个会议哈就是因为 AI 呢我们也用我是用了一点点里边的东西都是 black box，都不懂。然后但是我有个很大的很大的疑问就是说你们现在训练大模型嗯要用无限大的数据、无限大的算力来搞一个大模型。你是不是要把这个大模型应用到各个行业去、各个方向去啊？我认为这个是根本的错误，不可能。
呃为什么你你你说人对吧你要想把它做像人这么聪明这都不说你你每个行业搞化学的搞生物的不一样你看这个里边的具体东西都很不一样。你搞一个大模型跑到化学实验室里去，你教它怎么做？我认为将来发展的方向是这个有一个基础的模型啊就是说到各个领域的呃专门的知识放进去，放就开发那个小的专业专业方向的这样的AI模式还比较实用。
还不需要那么无穷大的数据还有一个数据从哪里来？都都在网上飞的数据靠得住吗？数据要用sensor去去搞，你要我们我们做实验的这个数据物理数据、什么化学数据都是实验做出来的。因为对于sensor对于仪器标出来的不是好你自己说出来的对不对？所以这个数据要可靠的数据是要有一个嗯怎么说呢？要有个物理的那个就是sensor，这是一方面啊。当然其他每所以你把没有问题吧？还是可以讲一下This is my question. Question is, do you want to develop a infinite bigger bigger model for AI?I okay. Please give comments.
其实我觉得很好的问题就是这两个小模小模型和数据的，阿威有没有？要不我我我我先说一下我觉得其实应该说这个AI其实也经历了这个过程嘛因为一开始用深度学习来做问题都是单单独的小模型啊。应该说比如说在二零一七年的二零二二零二零二零二一年的时候呢，其实很多人在做那个Graph Neural Network。啊就是那个图神经网络当时用在了AI for
Science，用了很多，嗯，就是用它来预测各种东西。啊，比如说包括预测一个分子的各个性质。比如你把每一个单独的元素当成节点，元素间的连接当成边。这两个原子有价键关系，比如共价键或其他键，它们之间有关系。这个关系可以作为图神经网络的关系放入其中，用图神经网络预测分子的一些性质。比如它是否有毒、是否导电或稳定性如何等。当时确实有这类工作，应该说还是有一定成效的。
但我觉得大语言模型厉害的地方在于它能学习。它建模了大量的元层面知识，包括常识。不是说训练完后只能做一件事，而是通过学习将世界上的所有知识放入模型中，学到很好的表征。这种表征可以用在很多不同的地方。学过物理化学会发现很多结构间有相似性，比如有机化学与数学中的群论有关。
例如计算同分异构体数量或结构间的同构关系，这背后有数学逻辑。要算这个数字肯定要让模型来算。还有价键结构及与物理的关系，如电子云杂化、原子间连接训练方式等。所以这与数学有关，结构相似性可传递。通过大量数据涌现出共有结构后，模型便具备各方面能力。
当然这些能力不一定很深，问深了可能不行，但初步结构都能学会。这就是它厉害的原因。这也是为什么要做这件事：把大量数据放入后，能否找到共通结构服务于各领域？现在大家担心垂直领域小模型比不过大模型的下一版本迭代，因为存在这种共通结构。
确实从数学结构上看可能发生这样的事：大模型学到共通结构，提高各领域能力。这就是现在大模型能做到这个程度的原因。我再加一个评论，田老师说的同分异构特别有意思。虽然我做有机化学很差，但做过相关题，从举证和算法角度讲这是经典题。
这是我离有机化学最近的一次，确实学科间有很多相似性。这个问题问得好，我最近在思考：科学是人类边界吗？去太空需要根本突破，这是AI现在不会的。大家更多说让AI取代人类会的，但最重要的是让AI解决人类目前不会的东西。
在这个意义上，我认为LM与我们常说的普通AI模型不太一样。应该把LM当成一个人——比如您的学生（本科生）。不一定要专门训练给物理、生物或数学的本科生，这个学生可以都学。像人一样学会使用工具，比如传感器收集数据。
在这个意义上，学生要学会怎么用传感器并写程序分析它。它可以训练出另一个模型来预测传感器数据。我现在认为，我们应更多把LM当成人，而不是当成预测下一个传感器数据的模型。那个预测功能可以让LM帮我们写代码实现。
对，感谢两位老师和赵博士的经验分享。时间差不多了，只能问一个问题。我想问问三位对端侧视觉（on-device vision）的看法？现在用户数据行为如短信、照片、文章、邮件等都在手机里，将来更多AI设备直接存在本地。今天讨论多在服务器端智能体（agent）。
我也是从业者，做企业和个人Agent。我想问三位对无偏置智能体（unbiased agent）前景怎么看？我先抛砖引玉。现在有很多工作试图把部分推理、计算、分类、生成和Agent放到端侧，但端侧能力有限。模型能力及耗电仍是大问题。
真正困难的是复杂问题无法完全在端侧完成，但部分可以放端侧训练个性化小模型。关于隐私问题，有一个领域叫机密计算（confidential computing）。它在云端进行硬件层面保证数据不被第三方看到。英伟达、AMD等芯片都有这套系统。
我觉得未来会是机密计算云端与一定程度端侧离线模式的混合，实现隐私保护、运算效率和定义性的最好平衡。二位呢？我觉得商业空间肯定很大，像Liquid AI等公司发展好且融资多。另外Cursor的Demo例子显示：数据在本地，交互时它作为Agent操作并调用其他AI。
这种商业模式大家会看得越来越多。上下文管理发生在自己的设备上，所以显式写上下文比较好。它只作为接口，每一步找你要特定上下文或用特定工具在电脑上搜索。我个人觉得这种商业模式会很流行，能覆盖很大一部分用户。
我同意这些都很重要。现在大模型权重里大部分是知识性内容，如果把知识和推理分开，训练小模型只做推理或Agent是可以做到的。比如最近Qwen 3.5有个新模型三十B参数说还可以，大家去试试。如果Agent能力强且模型小（七B以内），手机也能放下。
随着手机内存变大，可以放入专门做Agent调用和工具使用的端侧模型。至于知识让它去查书或调工具即可，可能存在完全在设备上的Agent。这样对隐私保护、实时性都好很多。以后可能很多人做，Apple等大厂也可能加入竞争。
好，感谢大家。时间到了实在抱歉后面还有问题只能缓休一下。致敬田老师，体验样本先对。再次掌声感谢大家。今天的讨论很有意思。感谢中国女美协和各大全球青年可持续发展联盟的支持，以及幕后英雄无限在背后的持续工作。
欢迎大家关注各协会和社团未来的活动并积极参与。好的，谢谢大家。田兄再见。感谢大家。