本期节目由盛大集团 Evermind 联合赞助播出。欢迎收听全球最顶创投播客,创建 Build Up。我是上晚的 Ladya。二零二六年四月四日,坐标硅谷计算机历史博物馆,四百多位年轻参赛者正在角逐 Evermind 全求记忆挑战赛的决赛,而在场馆深处一间安静的演播室里,两位世界级 AI 科学家在我的邀请之下,一同坐到了创建播客的话筒前。一位是田渊栋博士,在 Meta Fundamental AI Research 做了十年的研究,做到了华人科学家在该机构的最高职位之一。二零二五年年底,他选择离开,出来创业。问他当下在做的方向,他笑而不语。
另外一位是邓亚峰老师,正在带队正大旗下 Evermind,而这场对话的录制地正是由他发起的 Memory Genesis Competition 2026 全球第一挑战赛的决赛现场。本期创建播客以视频播客的形式录制,两个小时的对话横跨了 AI memory 的技术词、组织管理、遗忘的哲学、意识的边界,最终落在一个所有人都在回避却又无法真正绕开的问题之上:当 AI 可以接管人类的一切工作,以及承接人类所有记忆之后,那么人类的未来到底在哪里?
这将会是你本年度能够听到的最具含金量的 AI 对话,欢迎收听。在评论区留下你对本期节目的思考,获得最高点赞数的朋友,我们会送出由田渊栋博士亲笔签名的小说《破晓之终》,仅此一本哟。以下就是我们这场精彩的对话,让我们开始吧。
我们希望基于长期记忆,能够让 AI 具有这种叫 self-evolving 的一种能力,就它可以自我学习,通过人 AI 的迭代啊,产生体验更好的智能。所以有些时候可能会觉得遗忘本身可能是一个很好的机制,也许它能够通向更厉害的模型。从能力测的角度,将来没有什么 AI 是不能够超过人类的。你的护城河是你自己看扣的,别人是 grab 不到的,那么就是你的护城河。将来作为生产者来讲,大部分人是没有价值的。然后我就被吓坏了,不是 AI 就是人类跟 AI 最大的区别。
所以我们刚才讲的一个笑话是什么呢?是将来人唯一能做的 AI 不能做的是坐牢。Scale 本身就是一个对的、正确的,但是这条路线或者说这个对正确的 law 并不意味着我们可以一直往上面走。这现在您这是在做这方面创业吗?啊,我现在还不能说,我现在不能说。这两位老师认为,人类跟 AI 相处的最终模式会是什么,以及我们人类的未来到底在哪?
今天我们在一个特别呃特别特别的地方录制节目,这里是 Evermind 全球记忆挑战赛的决赛现场,坐标是在硅谷的计算机历史博物馆,非常有趣哈。坐在我旁边的两位老师是两位世界级的 AI 科学家啊,田渊栋老师和邓亚峰老师。今天非常有幸可以和两位老师开启一场有趣的对话。那么田老师、邓老师先和我们的听友们打声招呼吧。
OK。啊,大家好,我是田渊栋啊,我之前是在 Meta 工作了呃快十一年了啊,对,然后现在是在创业啊,就是我们是我是一家公司的 Co-founder,嗯,各位,嗯,各位创业的同听众大家好,我是邓亚峰,呃,我其实做人工智能已经有二十多年了,我。最近在做的项目是叫长记忆,我们公司的名字叫 Evermind,然后是在深大的平台上在孵化。
嗯嗯,对我原本准备的第一个话题就是想从两位老师都非常擅长的 AI 记忆入口。嗯嗯,哎,但是录制之前我忍不住就想先聊一些八卦哈,就最近 Anthropic 反常规的操作实在是太多了,所以我想从他们意外开源到昨天第三方工具调用的限制,比如 OpenCL。这行业里的讨论还是非常多的,所以两位老师是怎么看?包括他们这些动作背后的逻辑是什么?
嗯,我觉得意外开源应该不是它的逻辑一部分嘛?啊,应该应该是这样子。我觉得这也是因为本身代码。现在这个写代码这个方式已经从人来写变成了 AI 来写,嗯,对吧?那就会有很多的一些有趣的事情发生嘛。就是说,嗯,你想 Meta 之前也有一些有有之前也有一些事情,对吧?然后那个 Andrej 也有这些事情。我觉得很多时候现在因为 AI 来写代码,就一定会出现一些新的问题,然后怎么去解决它?
我觉得这个就是一个,听说这次那个意外开源原因是因为就是他们内部,他们今前面今年一月份把那个一个包托管软件叫 Bum 买下来了,嗯,对吧?然后这个软件其实是用来专门负责这个 releasing 他们的那个 model,他们他们那个前就是 crocol 的的 cri 的,但这个软件包好像是有 bug。他本人包有包出去,本来他这个软件包是在 release 时候呢,他是绝对不可能把源代码拿出去的。对呀,对吧?
但是它里面有个 source map,这 source map 它可能没有去掉。然后在软件包是因为有 bug 的情况下,它把软件包里面的 source code 都泄露出去了啊,是这样子一个原因。所以我觉得以后可能,如果呃,如果大家要用 AI 写 code 的话,嗯,可能还要多关注一些安全性的问题。听起来,如果以后程序员这个犯了错,可以说是对吧?AI 做的,对吧?开玩笑,
就是说,我觉得其实是这样,因为在行业中,Zotopic 基本上代表了一种最佳实践。就过去,呃,Zotopic 的一些技术博客啊,或者什么,大家其实都是在 follow 的。所以,当他把 Cloud Code 这个代码。意外开源之后呢,其实我觉得对行业来讲还是非常重要的一件事情。就是首先,我觉得它很重要一点是,可能在技术上某种意义上有点平权了,就相当于它的一些实验,对吧?大家可以都去学习,然后可以去用了。
所以就是说,某种意义上来讲,侧面其实推动了整个 agent AI A 那个领域的一个发展。我觉得这是其实也是非常重要的一个积极的作用吧,一个机器的方向啊,是的,对对,嗯嗯,非常有趣。OK,我们这个聊完这个行业的热闹,我们就回归到我们今天的主题啊,AI memory。也是 evermind 在主攻的方向。对我们今天坐到这里,其实是因为这样一场一个记忆的比赛嘛。对,但我发现 AI memory 这个词,不同的人的理解是完全不一样的。
比如做模型的人,他会觉得是一个上下文窗口;那做 A 轨人会觉得它是一个长期的状态的管理。所以我想请问两位老师。帮我们也建立一个共识,当我们在说 AI memory 记忆的时候,我们到底在说什么,以及为什么这个事儿现在很重要?
嗯嗯。我觉得其实,在我的那个脑海中,我觉得 A M memory 其实不仅包括 K V cache,还也还包括它的权重。嗯,对,所以这两部分都是 A M memory 一部分。就像我刚才在那个 Kindle 里面说的那样,就是权重本身它存的是一个就是长期的记忆,或者说就是自它生出来之之后,在它的那个它在漫长学习过程中它获得的一些长期性记忆。然后 K V cache 呢,目前是说是一个短期的,就是在这个 session 下面。这个记忆是什么样子的?大概是这样的一个一个逻辑。
然后 agent memory 呢,就是说我们怎么样把那个我们之前那些长期的那些,或者说 multiple session 的这些过程,怎么把它放进这个 context 里面,让这个模型最大发挥作用?啊,我觉得大概是这样的一个理解吧。嗯,那它为为什么很重要呢?AI memory,对于我觉得很重要,其实一个是说我们现在的 AI 最大的问题是还不能很快的适应用户的各种要求,所以就是说这样的适应过程中呢,就是说你当然不能说用户有个新需求之后,你把模型从头训练一遍,嗯,这个是不现实的,所以一定会出现这种情况,就是说我们希望。
呃,这个模型还是能随着用户的变化而变化,嗯啊,但是呢,同时又不能改变它的权重太多,嗯啊,所以自然而然就会有不同层级的这个那个内存、不同层级的这个记忆这个事情会发生。那么,怎么把这个记忆调整好,然后这个模型很快能够适应 AI,啊,能适应人的一些变化和不同的场景?那么这个就是那个模型能够用的比较好的一个所在。
嗯嗯。我在讲 AMM 之前,我觉得可能想讲讲就是人类的记忆,就是因为我觉得人的智能是有两个主要的部分,一个就是 reasoning 能力,还一个是叫 long-term memory,基本是这样子的。然后,那么人在工作的时候呢,他其实有个叫 working memory, working memory 有点像那种就是瞬时的那种信息,短期的记忆。对对。然后,但是呢,就是因为短期的记忆它的窗口很有限,所以人在这个叫眼睛的过程中呢,他其实发展出一种叫 long term memory,他会把当时传进的一些信息能够 consolidation。它拷进了这个长期记忆中去,它就会记住了。
所以长期记忆在人类这个生存和演化过程中非常非常重要。比如说那个地方有没有水草,对吧?或者我哪个这儿有没有危险,它其实都是通过记忆的方式在在组织的。然后,那么 AI memory 呢?我觉得非常难去做一个特别精确的定义。但是呢,它从形式角度,就是我刚好在那个田渊栋刚才说的这个上面,就是说。它基本上是三种形式,一种形式呢就是类似于像 KV cache,因为 AI memory 和大模型是紧密相连的。一种你通过 KV cache 的方式把这个信息传给模型。
第二种呢其实就是我们外部这种 storage,比如说 rag 呀之类的,就是我有个数据库存储,然后这种方式去获得了。组织还一种呢,其实大家说的比较少的是有点叫 latent state,就它其实是可以在中间的一些,比如说像 R N 这类的有些中间的状态中去保持。它基本上是这样三种形式在管理这个叫 long term memory。然后从功能角度呢,我自己觉得也基本上是三个。一个呢,其实你就是去管上下文,就相当于上下文太长了,超过比如说一兆了,你肯定是语言模型是没法用的,那你就是去怎么压缩和管理它。
就是第二个呢,其实是叫所谓叫个性化,就是我们讲 profile。人和人交流,咱们第一次相见,然后是一个新鲜感,但第二次来的时候,你肯定不会把第一次的问题重新问一遍,对吧?就是因为人是在 learn 这个东西的,你偏好,你叫什么的。一些信息,所以这个叫 profile。第三个层面呢,其实是我觉得和他这种就是所谓叫自我演化,或者是往前就是去预测啊,这个都是非常相关的。因为人类记忆中很重要一部分是说是帮助人类去组织数据、学习,包括去预测未来的。
所以我认为就是从功能的角度,基本上就是三个层面,形式可能也是三个部分。但是我我我依然觉得这个方向就是这个概念很难定义,因为它和 context 包括 harness 其实都是很有关系的,大家这个界限没有那么清楚。嗯,对,某种意义上来讲,对,这是 memory 是一个抽象的概念,然后 context 它的实现的方式。对,就是 context 可能会更具体,memory 我觉得可能会在范畴上会更大一些。嗯,对,包括不同的应用在讲的 memory 的时候,其实可能都是不是那么完全一致的。嗯,对,但大概是那样的一个,嗯,对概念吧,对范畴,对。
OK,那就这两位老师刚刚帮我们定义了这个记忆啊,以及它为什么重要。那我想追问一层,就是为什么让我们感觉一下到了二零二六年,突然间大家开始从卷参数变成开始谈记忆了?嗯,对,就是这个转向到底是怎么发生的?为什么大模型公司一下意识到记忆重要了?这两天我天天用所有的模型,我会发现 Gemini 问我说,哎,你有没有用其他的工具?请把你的记忆转到我这里。对对对吧?对对,就是这两天发生的。为什么突然间大家意识到记忆这个事儿重要了?
嗯,对,我觉得一个当然是大模型开始落地了,就说开始变得有用了。那么在这种情况下,你一定要解决最后一公里的问题。为什么现在才落地?觉得它一直是有用的,然后一直是大家愿意去用。ChatGPT 在出来的时候呢,为什么火?是因为大家看到了希望,嗯,对吧?在那之前,你会觉得他们在训练 GPT、GPT 二、GPT 三,跟我没什么关系,因为就是一篇文章,然后你看了看文章之后,觉得挺有意思的,那就结束了。就像电视剧,我们我们二零一九年的时候,我们看阿那个 AlphaGo 下棋嘛,啊对,对吧?那下完之后,哇,李世石输输掉了,输掉没输掉?那我们就惊叹一下。回头我们干我自己的事儿去啊!
但是我觉得,就是 ChatGPT 那个时候也是这样一个 moment,就是就是在 ChatGPT 出来之后呢,大家开始用它,开始有一些感觉,觉得这个模型可以做些事情。但是大部分时间,你肯定还是沿着你现在的轨迹在走。嗯,对吧?一直到去年年底、今年年初的时候呢,大家一突然意识到,就是现在 AI 的工具已经能够达到了这些部分代替或不如完全代替人的工作的这样状态。嗯,呃,那如果是这样的话,就是突然之间大家会意识到这个事情很重要。那么就会有很多的需求,有很多需求的话,呃,那怎么样让这个大模型啊真的能够满足人的需求,那就变成了一个重要的一个问题。
也就是说,我们意识到可能 AI 可以帮我们做一些更多的、更深入的、能够更懂我们的事情。对对对对,A I memory 这现在重要了。对,那但但是问题是,就是虽然说 A I 很重要,但是你不可能因为每个人单独训练模型吧?嗯,一定是有一个大模型拿出来之后,那在上面做一些修改,嗯,然后让它能适应你的需你的需求,嗯,那么这个时候呢,memory agent 这些东西都非常重要了。
嗯,邓老师这边就是其实。本质原因,我觉得还是因为大模型在落地的时候,这个时候大家发现 memory 变成了影响体验的最重要的因素。某种意义上来讲,就是在早期的时候,大家可能大厂就在关注说我怎么把大模型训好,对吧? reasoning 啊这些。但是因为大家在讲 scaling law,虽然它没有完全到底,但它基本上大家觉得哎,好像在追求这个事情上的性价比可能没有那么高了。这时候发现另外一个因素,那你想。我们在做一个 AI 应用的时候,除了大模型的 reason 能力之外,那其他的事情其实最重要的其实就是和 memory 怎么管理它这个数据有关嘛,对吧?
那所以从这个角度上来讲,大家意识到说 memory 这件事情变得非常非常重要了。无论是从这种比如说 companion 的场景。还是办公协同,还是我们今天讲的这些 agent,我觉得其实都是这样的一个趋势。嗯,然后还有一个因素呢,我觉得也和这个技术发展有关,因为在行业中,在比较早的时候,比如可能二四年之前,基本就是 rag,大家就是做做所谓做数据,就基本在 rag 上做,或者上下文框架的词。然后到了二五年,因为我们一直在这个领域里,二五年基本上这个领域的工作就开始多起来了,就是非常多的工作,包括帮大山大去刷数据集,对,包括各种各样的这种 paper 出来。
对,特别是到这段时间,其实这个领域里越来越多的这种比较活跃的工作,我觉得就是一方面可能是需求的这个驱动,哈,另外一方面可能技术上确实有新的东西开始出现了,嗯,对,我觉得都是有关系的,嗯,对。我还有一点挺好奇的,就是说到这个,我就特别好奇这个邓老师的这个个人选择,因为亚峰老师产学研背景非常的扎实,所以 Evermind 背后也有咱们前首富陈天桥老师嘛的支持,他在脑科学领域投入了非常多年,是的,对。然后您两位的合作在 AI 记忆上这件事的合作,本身就听起来很有趣,很有意思。所以你们对 AI 的未来到底看到了什么?其他人没有看到的,就是很早就入局做这件事情,就把筹码全都压在 AI memory 上。
嗯。对,在介绍 AM Memory 之前,其实我稍微的介绍一下背景,因为陈总其实是他是这样,他过去十年一直对大脑的机制非常非常的就是感兴趣,所以就是他和骆总成立这个机构叫 TCCI,嗯,一直在从事脑科学这个领域的研究。那其实脑科学本身里边就是和 Memory 这种机制是非常相关的。然后呢,在最近几年,就是大概在三四年前,陈总开始关注到这这次 AI 的这个革命吧,就是所以他其实就是除了之前的投资之外,开始。就是躬身入局,开始在做 AI,因为他对这件事情是非常感兴趣的。
嗯,那么在这个领域里,他基本上设定了几个方向,比较重要的就是一个就是叫这种就是 reasoning 能力,比如说 MirrorMind 就是盛大的另外一个团队在做的事情,它主要在做 reasoning 能力。那么另外一个呢,就是我刚才讲到的,就是他认为人类智能就是 reasoning 加 long term memory。那么 long term memory 一定是其中非常重要的一个方向,当然也还包括其他的方向。这本身其实也是体现了他对下一代 AI 的一个认知和看法,就是。所以其实我们做 memory 不是从最近开始的,从二四年当时就曾经在行业里边发表过一篇文章,然后是关于这个 memory 领域的这个发展和演进的一个就是这种纲领性的一个文章。
所以从二四年很早的时候,其实我们就深大本身就在关注这个方向。然后我和陈总其实相遇和来讨论做 memory 这个事儿呢,其实就是会稍微近一点,因为我之前在做一个 AI 加药,我发现了一个 startup,对。然后后来呢,就是反正我从那个事情中出来之后呢,有一次反正就是和陈总交流,他就跟我讲说,亚峰,我现在在关注这个 AI memory 这个事情。其实在此之前,我是没有太关注这个。方向,嗯,但是跟他聊了之后呢,因为我那个时候在找方向,当时包括看了这个
机器人落地可能会慢一点。另一方面,我想找的是在语言模型可能更快的领域里,哪些事情不会被大模型碾压。模型往前走了,你也不会被碾压掉。我们认为AI记忆本身是一个垂直方向。你首先会受益于大模型,大模型向前走了,你也会跟着往前走,所以这是一个比较好的方向选择。今天也印证了当时的判断,现在发布AI应用如果不讲有记忆,别人会觉得奇怪。无论方法复杂还是简单,大家形成了一种共识,每个应用都要有记忆。我们希望解决底层技术,让开发者不用太关心这些,主要做好业务逻辑,从而更快落地。这就是做AI Memory的重要出发点,也与陈总的兴趣相关。
邓老师聊到底层逻辑和技术架构,我想问问田老师。你之前提过一个清晰框架,AI记忆分成两种:上下文记忆类似短期工作记忆;权重记忆类似长期深层记忆。通过扩展上下文长度来模拟记忆,这是一种有效的方法吗?我觉得目前是没有办法的办法,只能用这个方式解决各种问题。回看历史,GPT-3和GPT-2有很大区别,GPT-3是少样本学习模型。给它一些样本,即使没见过这个问题,给一两个或十几个例子,它就能自动发现规律做相似工作。
比如把英语翻译成法语或奇怪语言,给一些例子和语法,它就能当场翻译下一条。这种能力当时很惊艳,以前模型没有。有了这个能力,就要求有上下文,即过去的历史,包括之前的语法和范例,在上下文中用这些去做翻译。这就有了上下文和记忆的概念,用来做其他事情。这是一个重要方面。当然,最终我们还是希望有一个系统,能吸收过去知识,自动转成长期和短期记忆。
我现在还在做这方面创业吗?我现在还不能说。作为一个研究员,我会尽量多看东西了解情况。上次读过一篇关于您的采访,提到一个叫位置插值的技术。对,位置插值,能不能讲讲?可以理解为一种数学骗术,欺骗模型让它觉得还没超过上下文窗口。本来上下文窗口只有两千,超过两千模型就崩了。如果有四千上下文怎么办?把四千假装成两千,每个位置原本是一,先让它零点五。
这样结果发现AI是吃这套骗局的,目前还是吃这套。至少让模型吃这套骗局后,在上面做预训练和微调,效果比硬把模型扭成四千上下文需要的样本数少很多。这篇文章是长文训练的开山之作,二零二三年六月发表。之后突然有很多长文生成工作出来,包括Gemini也用了很多。当时很多公司说模型很长达到百万,就是这套技术的衍生技术。
这个工作是我们和Facebook广告组的几个人一起做的,类似专利但没有申请。文章发出去后大家觉得很有意思。之前跟两位老师聊了聊什么是记忆、怎么做、难在哪儿。我想把时间线拉远一点,往后看两到三年,现在最期待AI领域有哪些变化?不聊AGI又近一步这种泛泛的,想听具体的技术点突破。我觉得还是模型落地后对事业生活有什么影响,怎么把具体生活或工作上的事情做成,这很重要。
两到三年后很多工作会有很大变化。我年初写过一篇二零二五年总结,提到费米线概念。因为AI能力变强,AI能力之下那些工作的供给是无限的。假设token便宜、计算资源多,供给无限或非常大,能完成这些事带来的收益就很小。而在之上,那些需要人加AI超过AI的工作很难,需要厉害的人去做,收益变得很高。可能会出现两极分化。
我可以理解为用好AI且会用AI的人,未来工作更有保障吗?对。如果跟AI关联越来越少,可能慢慢被淘汰。不仅关联少,而且AI能帮你做,那就有问题。邓老师觉得什么问题亟待解决?如果希望未来AI能力越来越强,不论叫AGI还是接近超过人能力,我觉得有几个层级。第一,给你一个单独任务,能不能做得比人好或接近人?某种意义上来讲,今天已经差不多实现了。比如给一篇文章让它写,就能做得很好。
第二,我觉得它能不能具有自我学习能力?这就是我今天讲的自我进化。因为今天AI训练都是离线做的,预训练、后训练都是离线组织好数据。但就像推荐系统,或者咱们聊完各自都成长了,还是在学习的。今天AI还没有这个能力。相当于通过不同用户和AI交互,执行不同任务,根据任务结果和用户反馈,系统在不断学习进化。这是第二个重要飞跃,AI做成这样人才会觉得像人。
第三,现在也在讲但没做好,有点像主动性。AI今天还是被动等我们安排任务,完成任务能力强,但能不能听了聊天就知道咱们几个人有哪些事要干?作为一个助理干好了等着你,或者有某种更主动的行为。我觉得这几类比较重要。还有一个方向像科学发现,过去AI学的是统计内的,能不能创造新知识或新发现?我认为这几个方向有趣,一旦突破对AI发展非常重要。
希望它能发展成未来AI带着我们跑,成为一个主动学习者,增强主观能动性。我们常这样讲,它更像更主动的人,在这几个方面补充后做到,可能更像人。但我插句嘴,AI像人这事重要吗?严格意义上来讲不重要。但如果做到刚才说的几个特征,人去使用AI时体验和感觉就不一样,体验很好。比如ChatGPT,很重要的一个是交互很简单,像给助理发消息。另一个它交付的是结果,这是一种交互体验更像人产生的影响力。
我觉得还是重要的,只不过不需要那么 exactly 像人。这里面有两部分,一部分是AI在跟人的交互中比较像人的行为,这是一种。另外一种是说,如果你让AI想做一些开创性贡献,希望它像专家那样有更好的想法和意见。这两个都是,甚至感觉应该说不一样。因为前者像ChatGPT已经差不多有一些比较好的实现了,它有个记忆机制,会记住你以前做的事情。
那么它会在某一天突然跳出来说,你三天前是不是做过这事儿?需不需要提醒一下或跟进?别人会觉得像个人,因为他觉得这也是有记忆的,有长期记忆,知道什么东西重要的角色。这样的一个过程,我觉得至少在现有技术来说是可以做到的,虽然不一定很完美。另外一条路是说像AI发现,用AI来做新的发现、新的证明、新的逻辑。这个其实更难,因为对他们来说,比较重要的是我自己最近一篇文章也是跟AI合作的。
我觉得AI现在的水平处于比较厉害的博士生水平。但是他对一些问题的大概理解和逻辑思路,这些东西还是比较难,不太容易做到。有些问题如果作为提问者他没有很深的想法,AI给你答案也是比较简单的。那就是说,作为一个初级博士生,他还需要一个人类导师带一带。是的,只是对人导师来说,可能并不需要做以前的那些脏活累活了,甩给他干就是了。
当然了,你还要做很多检查,保证他做的是对的。这个是正确的。但是很多事情呢,就是并不需要人亲自亲为了。但是对于一些大方向的大框架的架构啊,比如说你写代码,你可以让AI写代码。但是AI写出来代码,如果你不加以整治或者不加以监督的话呢,它会以史无前例的速度变成一座屎山,非常非常快的速度。这个速度远远超过历史上所有屎山的堆积速度。所以高层的设计、高层的逻辑这些东西都是需要人去设计和还是要管理一下。
对对对,这个是一个很重要的问题。我觉得现在应该说还没有办法从头开始解决这个问题。我们关注重点还是AI的记忆嘛?但人类的记忆其实是有一个完整的生命周期的,从最早的学习到巩固,然后压缩,然后遗忘,然后再生长出一个更高阶的抽象能力。我是认为主动遗忘其实是一种高阶的能力,因为对于我们来说,有时候我们会主动遗忘一些伤害,这对于人来说是一种趋利避害、自我保护,也是一种优化未来决策质量的行为。
那么我们现在在努力让AI记住这一切,然后我就觉得有点confused,right?我们现在让AI记住这一切的方向是对的吗?两位老师帮我解惑一下。我觉得这个取决于你想要做什么,就是你当然希望你的秘书什么事情都记得。保证你会保证,比如说哎呀,下一个我下来有一堆会怎么办?我希望每个会都能参加嘛。我不希望因为说这个会以前的观感不好,我就把它忘了,不可能啊。所以肯定是希望大家都记住,这是一个。
另外我觉得,人类主动遗忘能力呢,很多时候是因为人类有很多高层的理解。你要让高层的理解成为主流的话呢,很多细细节的问题它可能会就会忘记。我觉得这个是一个很大的人类能的能力,现在AI可能没办法做的一个能力。比如说,你看那个诸葛亮跟大家说的话,说就你要看书要淡观其大略。淡观其大略的话,那什么意思呢?就是说那个并不是说你胡乱胡乱窜倒把书看完了就结束了,就说你可能看了很多细节,但是最终你发现有什么是主干。
什么是最重要的观念?什么东西是能够让你学到了,然后用它来做别的事情?那么这部分的过程,其实应该说是人相对于AI来说更加强的地方。但是这个过程本身是怎么形成的?那么,怎么能让AI也学会学到一些很高层的概念,能够在很少的数据上学到很高层的概念啊?这个现在还没有办法做到啊。所以有些时候可能会觉得遗忘本身可能是一个很好的机制,也许它能够通向更厉害的模型。
非常有趣,邓老师这边您觉得是否对就是遗忘重要这件事儿?我觉得人类之所以需要遗忘,是因为就两个原因吧。一个原因是因为本身它是个很低能耗的系统,就是很功率很低,对吧?就是你要是记住所有,其实是就能量的角度,其实是性价比不高的。我觉得这是一个方面。第二个方面就是说,人的这个就是说决策或者记忆系统,它本身是有点像渐进式披露一样,就是它首先有抽象总结这些,另外还有个,它主要核心就是我有不断的更新。
我如果记住所有的之前的这些信息或者细节的话,我现在做决策的时候,我就会非常的困惑困难,对吧?所以往往比如说我们今天聊了一次,我们可能这个记忆或者这些信息就会被更新,你就能做更好的接近于最近的决策。所以它有点是说和你的重要性和你的update会有关系。然后AI的记忆呢,我自己觉得就是说,第一个观点是说,其实从信息的比特的角度,你可以不忘记。不忘记意思就是我把所有的信息,就像我是一个好的AI Jarvis AI助理,我就可以把你的所有事情记住。你问我三年前的事,我都可以回答出来。如果你需要的话。
但是另外一个就是,当你真的要做决策的时候,就是说,这个时候为什么你需要一定的遗忘或者一定的更新呢?原因是你为了让决策对当前的自己最有利。对吧?所以这样就意味着说,你这个时候就要把很早的这些信息忘掉。虽然在你的系统中它也在那儿存着,但是你要从机器系统的角度,不要去关心它,而是关心我最重要的、最近关注的事情。所以我觉得就是说,呃,AI记忆的遗忘呢,本身是一种系统的机制或者策略。但从最底层的信息的角度,你不一定要遗忘它,因为AI可能做这个存储本身是,呃,能耗相对来说还是可以接受的。
某种意义上来讲,对我觉得这是实际上是两个层面的问题。对,我觉得应该总结一下吧。最大的原因是因为,就是你做决策或者说你做一些具体的任务的时候呢,你只能选择我过去历史的所有部分的一小部分。对,就说你比如说你有一万条,然后你可能只有一千条或者一百条是有用的。嗯,那么只是选择的过程中,就是人类,比如说为了一些就是物理上的限制,不得把它忘记。但是AI呢,可以把全记住。但是AI也是需要有一套机制去选中最重要的部分,然后能做决策。
那么剩下的呢?这部分也许留着可以下次再做其他决策时候再说。对对对,只是这样的一个逻辑,因为这个部分本身呢,它是需要呃,应该说比较大的一些一些就是想法,然后这些想法怎么能利用这些过去的一些知识支持这些想法,把这个事情做成了。但是对于每个新的想法来说,它可能并不需要太多知识,嗯,它只需要其中很小一部分知识才能去就可以把这事情做成。那么这部分知识本身就可以作为当前你选中的那些。然后其他记忆没有用,那你就放在那儿。那也许以后有用啊,是这样的一个逻辑。
其实AI的决策过程和人的决策模式很像,就是AI我们叫context。然后人呢,其实叫
Working memory,就是他其实说,当你最终决策那一刻,你其实利用的信息并不是非常多,嗯,但是你底层有一个很大的系统,使得说我这些信息可以被你需要召回的时候能够召回或者想起来,是这样一套逻辑。很有趣,我觉得这像一个记忆的抽屉,我需要哪部分记忆,我就开个抽屉把它取出来,用完我就给它放回去。人类是因为他那个记忆是存在那个神经元中的,所以它是为了能量的。就是说,如果有一个记忆一直不被使用,它就会被就是淡化,或者对,是这样的。对,这个抽屉就放到最底层了。对,你想不起来有这么个抽屉了。对,但是如果有一天有个特别强的信号,哎,又让你想起来,那它们其实又变得重要了。对,对,然后可能会重新拿出来,然后再更新嘛。
对吧?其实现在的那些 memory system 已经有这些能力了。就比如说,我没有把所有的工具的数据全部放进 context 里面,嗯,对吧?我选择用 skill,嗯,或者我选择用 tool。那么我在关键的需要的时刻,我才把那些数据拿出来,嗯,然后拿出来之后放入我现在的 context,然后让 AI,让大语言模型去去做处理,嗯,这个都是可以的。它其实是一个动态的决策过程,对对,多轮动态的过程。当我们人类在回忆一件事的时候,我们调取的不是纯文本,对吧?我们会想起当时的感觉,对,甚至连那个气味都能够回想起来,还有当时的场景,我们跟谁在一起,当时我们的情绪状态是如何?这其实是一个多模态的网状的结构。
对,但是当下的AI的记忆,它是不是不管做了多好,它本质上还是存在一个文本的提取?还是检索文本的,其实不一定,因为它内部用的其实是 latent vector 嘛,是隐空间的一个状态,那状态里面肯定很多东西,嗯,对吧?它可能包括了那个文字的一些结构、语义结构,也可以包括图像,也可以包括语音,也可以包括推理的过程,这都是可以的。嗯,对,所以我不觉得现在就是完全是个 trivial 过程。哦,对,但是它跟人类这种做起回忆来时它的这个形式,是不是还是有一定差距的?这个很难讲嘛,就是说,你可以认为在某种程度上,他们可能是很像的。
比如说,对人类来说,我每次抽取一个隐变量、隐隐空间的一个向量,可能会触发对应的感官的一个体验。嗯,那如果是这样的话,那是不是就是很像了啊?只是说是AI,如果没有这个体验的话呢,那它就是很机械的把这个隐空间的那个向量抽出来。啊,我们就可以做很多事情啊,包括我们之前也做过一些硬空间推理啊这样的一些工作,对吧?其实也是可以去啊做这个很多事儿。嗯,大家之所以做文本记忆比较多,其实很重要的原因是因为文本的模型。它是用的比较多的,嗯哼。但如果说你后面做的是一个多模态的一个任务,或者你的模型本身是支持多模态的话,其实你可以认为其他模态的数据就是像刚才元栋讲的,就是你可以用这种embedding的方式输到这个。呃,模型中去,就是用多模态的方式,其实是现在是也是可以从技术角度是可以做的,只不过当前确实大家关注文本记忆多,是因为你的模型是文本模型用的多,嗯嗯,对,嗯嗯。我们这个材料喂的多是是这个意思。
我想请田老师聊一聊啊,就是这个记忆出错的情况,因为您之前也是多次去讲嘛,特别希望把黑盒打开看。对对对,如何解决这个幻觉问题?对,我觉得黑标出错呢,有很多的原因吧。就比如说,一个是说你在模型在训练时候本身它没有太多的某方面的知识,但是你又要求它把这些知识说出来,嗯,那它就就它为了答案,它不得不得到胡扯胡扯一个答案,那肯定是,对吧?就是很多时候这个模型它没有意识到自己有个选择叫我不知道。这是人类 P U A P 的吗?嗯,是啊,就如果你的模语料中没有我不知道这个事的事情,那它当然会选,就是因为它是一个概率型模型嘛,对吧?它会说,哎,这以下这些选择性概率都很低,但没有办法,我得选一个,那就要选一个最有可能的,那就一定会出错,那肯定是这样子一个问题,对吧?
嗯,对吧?还有就是说,比如这个模型本身它放的不够强,它相当于它以前都是背书背出来的。对啊,模型有两种两种模式嘛,就是如果是你小模型来训练的话,小模型有个问题是它特别容易过拟合数据,那么过拟合出来的数据就是模型训练出来好像数据都很好,但是你真正问它一个新问题。嗯,它因为里面有过拟合的这个结构,所以它会有一些,它会换,它会找到一些奇怪的联系去去回答你的问题。嗯,对,所以有这些东西的话,你会觉得啊,这个模型有问题,好像它 hallucinate,但其实它的逻辑可能是跟你是跟正常逻辑是不一样的,但是它是有逻辑的。哦,啊,所以它自己奇奇怪怪的逻辑在。啊,是的,是是。那么这个逻辑你说 hallucinate 的也是对的,只是说你们训练过程中你们有人把这个错误逻辑给去掉,或者说模型不够大的话呢,它不够有泛化性啊,所以就是有这。这个还有这个问题。
那我们如果把黑盒打开,您往里瞧一瞧,是不是真的就能够彻底解决幻觉这个问题呢?啊,我觉得我感觉上是以后是应该是有可能的,只是说现在我们在并没有完全把黑盒打开,所以很多时候还是很难去控制它。对,很多时候控制方式是更大的一个范围的控制方式,更宏观的控制方式。说我们应该大一点,数据应该多一点,然后允许它能够说 no,允许它能够有些它的选择。那它这个就是幻觉的个这个这过程可能会差一点。可能会好一些,对吧?大概是这样的一些一些一些过程吧。但是如果以后对这问题有更深的理解了,那你就很难,就说不定有更好的方式解决问题。对,是。其实我觉得幻觉很难绝对避免,因为AI本身是一个概率过程。嗯哼。但是你看,包括人,咱们说话其实也可以有幻,咱们也有错的,咱们不是没有错。会经常犯错,对对对。然后所以我觉得他想在系统上解决这个问题,他不一定是说在每个token我都不没有错没有幻觉,我更多的是我通过这种cot啊这种方式,去来使得我不会出很重要的一些错误。我觉得可能是这样的一个方向。嗯嗯嗯。
那您觉得打开黑盒重要吗?呃,我觉得是这样的,就是历史上其实做这种一些可解释呀或者的工作都很有趣,但没有特别特别是work,真正有效的最终克服这些问题的就是几个scaling,对吧?比如说我模型参数的scaling,我的数据的scaling,我的这个呃time的scaling等等,都是靠着这个来解决的,对对。因为因为邓老师一直在这个 Evermind 的领队做这个系统这个训练嘛,对,您是怎么在这种不同的路线之间选择的?因为说到黑说到黑盒,也说到幻觉,我想我们可能也踩了不少坑,对,就是有不走了不少弯路。我觉得可以给我们 share 一下。对,就是说我自己是因为从很久开始做 AI,然后早期大家叫 pattern recognition 或者叫 machine learning。后面开始出现这种deep learning,后来到L M这种大模型之类的,我觉得其实这里边。真正唯一没有变的,可能真的是scaling。
那么,对于我们来讲,在每个阶段去怎么解决AI问题,或者包括怎么训练模型,能做得更好。我觉得其实就是从几个层面去想这个问题,就是第一个,你这个系统设计的对不对,它拆分的模块是不是重要,包括你是不是从一个对的层面去思考这个问题,因为它是个输入到输出的映射,那你这个输入和输出之间要某种确定的关系,所以我认为这是第一个层面的东西。第二个呢,就是说大家在做的时候,其实从模型的结构的角度是不是很。优雅从信息的角度吧,这个其实就是transformer啊之类的这种做的非常对,对吧?比如它比之前的像卷积卷积,因为你只能看到一个附近的window嘛。那transformer从更长的level的角度,我可以看到更多的信息去做加工,而且layer layer的这样。这种交叠,对吧?然后这是第二个层面,就是说从模型的角度。第三个呢,我觉得其实就是数据,就基本上大家做的好,你想每个团队,你说模型上有多大区别,其实不会有真的区别。超参反正大家去试,更多的我觉得其实很多时候是你在数据上做的很对,无论是从 evaluation 的角度还是从 training 的数据的角度,这就是可能比每个团队就是之间的很大差别的,就包括比如说。大家经常会问说,为什么一些小的团队比一些大厂的团队都做得好?嗯,我觉得很重要一个原因,其实是大家对数据怎么看。嗯,那有些不不好的实践啊,就是说。我会让训练团队和做数据的团队和做语言模型的团队都是不同团队,就是换句话,就是说你训练的数据的准备团队和训练数据这个算法团队,大家更close的,甚至一个团队,他做好的可能性越高,因为这样是一个目标,就是大家其实配合的会更好。嗯,所以我觉得基本上就是说我自己。这么多年下来吧,我反正我觉得,基本上你从这个几个角度去思考这个问题,就可以把它做的比较好。
邓老师说的特别好,我正好就想问,接着下一个问题了,就是AI行业就有句话嘛,叫。技术没有壁垒,教技术没有壁垒,说那模型啊都会趋同的啊,这个算法早晚开源,人才也会流动啊。那如果这个判断确实是成立的话,那是不是就像邓老师所讲,最后的真正的护城河只有数据?我觉得就是说,就是邓老师这样做呢,这样的一个做法,当然是就是我们现在看到的所有的团队都是差不多这么做的,对吧?就是说,但是有一个问题就在就是这个条件是需要很多的很多计算资源。对对对,就是如果很多计算资源的话,那你这个系统是可以。然后当然有个接下来问题就是说啊,你这样做,那 Open 也在做,那 Traffic 也在做,对吧?那我就是你能做过 NPL 和 Traffic 吗?就是说有没有什么办法能够,就是作为团队组织上来说,或者说团队的这个人和人之间的这个交流和沟通啊,然后那个进展这个方面上来说,能不能超过比如说现在第一梯队的这些这些 AI lab?对。对,这个就是一个比较大的。对,所以我觉得它和timing有关。对,比如你特别早期的时候,OpenAI就是小团队,对吧?他选了一个对的路线。那过去其他人的这个,包括Transformer是Google发明的,对吧?就是其实就是你就相当于弯道超车了,对吧?这是早期。但现在当这个范式确定了,大厂看明白的时候,拼资源的时候,你可能靠这个就没办法了。
然后另外一个,我觉得这里边很重要,其实还是速度。就是当然大模型本身可能这个就是只有几个玩家可以玩,因为它的投入太大了,对。但是你比如说,我们把一个AI应用做好,或者Agent做好,这个时候那谁会胜出?我觉得你不能说这里面的技术就没用,只说这个技术不是绝对的壁垒。比如说你领先半年,你是可以领先半年的,它也重要。但是,你如果说没有在这个过程中建立其他的壁垒,你很可能是会被别人去。超上或者是赶上或者超过的,对吧?所以我觉得速度其实是最重要的。那其他的壁垒对吧?对。然后另外一个壁垒呢,就是说我我认为可以认为是一种叫数据的壁垒,就是比如说我们想过去AI应用真正成功的啊,早期可能就是搜索。我们说大类应用成功,比如搜索,对吧?就是靠用户点击反馈啊,对吧?嗯。那个时候国内也就是百度、阿里、腾讯,百度做的很好,阿里、腾讯在那个时间一二年左右都在做搜索呀,但为什么做不过?是因为百度它已经有了这个用户点击反馈,就是我用户在用的时候,我这个系统就在迭代,别人光靠技术是追不上我的。嗯嗯。然后包括比如说为什么是推荐是下一个大的business,就是因为推荐天然的是一种用户交互反馈,对吧?它本身首首先是双边的,就是一边是内容生产者,一边内容消费者。另外一方面,我天然的有这种用户反馈的壁垒。那所以我觉得今天AI应用一样啊,就是说,一方面你做training,那你是数据一定是非常非常重要的一块,对吧?另外一个说你做应用,应用的话,为什么今天大家觉得应用没有壁垒?是因为你今天没有记忆的,没有上下文管理,没有形成一种用户数据反馈啊,对吧?你如果拼的是技术,拼的是这个A阵的策略,嗯,一方面大模型在进步,你可能做那些策略过半年,大模型都补上了,因为你基本上在补大模型的缺陷嘛,对吧?那你这个壁垒其实就变薄了。对对,那我觉得还是某种意义上来讲,就是所谓叫数据迭代壁垒。
其实还有一个大家可能不太会意识到的,我觉得其实是人才,人才的壁垒。人才其实是所有这些因素的背后的东西,对吧?就是你比如说,为什么 DeepSeek 在那个阶段它就能够脱颖而出?我觉得就是因为它本身在人才上,首先最高的决策者是对技术是懂,他是能理解 AI 的背后的逻辑,其实就是 scaling,对吧?那他能做很正确的决策,而且能在关键决策的时候,我可以排除不同的意见,我可以做一些有风险的选择。当如果你做的都是共识的选择的时候,你是很难追上大厂的,对吧?或者是前面的人的。但如果说在一些关键的时间点,比如他那个时候相当于通过那种 R L 去做 C O T 这类的,对吧?他做了对的选择,那他就会。比别人相对来说,是因为那个时候很多时候在在过做过程奖励,对吧?那时候大家在 follow 那个 OpenAI 的那个 O1 的工作,都是在过程奖励。但他能做一个决策,说我是可以通过这种直接结果的这种强化学习优化,然后来做。那么为什么他能?为什么他敢做这样的决策?那大厂的工程师不敢做呢?是因为大厂的那个高管他是不知道这个技术路线的这种 sense,他是没有的,他会担心这个判断错了之后会有问题。那么下面的人他其实又没有话语权,就真的懂的人可能又没有那么那话语权。所以我想说的就是说,其实人才是很重要,或者团队是很重要的。这包括高层能做成出正确的路线的选择和给足够的资源的支持,你包括执行的这个小伙伴,他也要在技术上是很厉害的才能做到。所以我觉得基本上这样几个因素吧。
嗯嗯,田老师也是从 Meta 出来了啊。那我觉得就是可以跟我们分享一下,你你觉得是 idea 重要,还是数据重要,还是人才重要?对,我觉得其实这样数据是最重要的。然后接下来是 infra,接下来是算法,接下来是人的。嗯,但是其实你在数据前面,嗯,还有一个人叫用怎么那些人生成数据的人。嗯,那些人可能比数据本身更重要。嗯,对,你会发现这不等式的两头都是人。你的他给的用户是吧?生成数据那群人,这些数据人,这些人很包括东西,就是不但包括用户是一个,另外那个说你包括就是些专家,他们知道这个这个问题是怎么做的,然后这个逻辑是怎么怎么形成的,然后他生成很多数据,嗯,然后变成数据之后,然后一层层走下去。那么最下面这个不等式的第一开始第一个和最后一个都是人,有什么区别吗?是因为就是最后面那些人呢,相对来说更偏标准化一点,所以标准化的人很难就在这个过程中可能很难survive。为什么?像AI的coding tool,他们都现在已经可以做很多事情了。那么这些拓本身是不是会不会取代就最后那个的不等是最下面那部分的那些人?嗯,对,这个其实是一个很大的一个问题啊,对吧?对。
然后我想说的是,就是说那个其实 DeepSeek 吧,应该说他们他们主要的成功的地方是因为他们其实应该说整个团队都是非常注重就是 infra,就是说把这个 infra 做得非常好,然后那个比如说突破一些就是物理上的限制啊,对吧?然后找到方式能够把通信的协议的这个速度和可能计算的那个过程那个overlap起来,嗯,对吧?那他们在上面做很多工作啊,就是说这个是一个很大的一个贡献,对,就是我觉得DeepSeek为什么那么火?一个原因是因为就是大家发现啊,它用五百万美金就能训练大量的就很好的模型。而不是说用几千万或者上亿美金来做这事儿,嗯啊,这个是一个很大的一个贡献,而且他开源了很多的一些那个像一些kernel啊,这些东西其实对于应该说很多的那个开源的那些开源的厂,他们的影响力很大的,嗯啊,我觉得这些是一个很重要的一个运。对,另外,另外就是说那个 OpenAI 的 Owen 其实也不是过程奖励,OpenAI 的 Owen 其实是也是结果的,不是的。但是后来 Follow 的很多人在做过程,对过程奖励其实应该说 Google 是之前有人在做过一些有做一些这样的工作。当然了,就是说 Google 有有意思的事情就是说他发出来文章可能不是有用的,有用的文章都藏在家里,对。呃,所以有这样的一个过程吧,对吧?所以我觉得大概是这样的一个逻辑啊,是这样的逻辑。然后大厂跟小厂之间的区别就是说,对于大厂来说,其实因为层级很多,啊,所以有些时候信息传递会有失真。嗯,啊,就是我觉得这也是Lambda Four的一个问题。嗯,对,对Lambda
Four来说,一个未来问题就是说,比如我上面有三级VP,嗯,然后我每次跟,比如跟的跟跟我上面那些人说啊,我们有好进展和坏进展,但是好进展一定会被夸大。坏进展一定会被缩小。嗯,那么如果一直传上去之后呢,你就会发现,啊,也许他们只听到好消息,只听到好消息。对,听到好消息之后,那对上面那个人来说,他会觉得啊,都有好消息,那么团队那么厉害啊,我是不是给你更多苦活让他干下来?嗯,啊,那这样的话就会导致一个问题。那英伟达的优势之处是不是在于,就是黄仁勋下面可以有六十多个?直接向他汇报的,嗯嗯,如果是扁平的话呢,相对来说更好一点。
我觉得是因为我觉得甄子璜他是懂技术的,嗯,对,就是说当这个环节中,我觉得是这样,如果第一个这个位置的人他不懂技术,他不知道对的决策是什么。嗯哼。另外一个我觉得很重要,就是说他会为自己的这个位置考虑问题。啊,是。他不是为公司的利益,他是会为自己的位置、保留自己的利益考虑问题。嗯嗯。所以他会做决策的时候会,就是放大好消息,或者是掩盖那个风险很坏的东西。对对对。但如果说你是团队的一号位,那你一定是说我这个团队、公司成功是我最重要的一个目标。嗯嗯。
对,这个其实是一个大厂的一个困局吧,因为有很多的大厂的这些职级,其实它的设立不是为了说为了跟公司方向是一致的,很多时候是说啊,比如说沃尔玛这个公司这个经理设立的原因,是因为我希望你建大更大的团队,嗯,因为公司考核标准是说你团队越大,那他你升的就快。嗯啊,就是这样的一个问题。对,嗯,呃,所以但是在现在这个AI的情况下,其实团队大并不意味着效率更高,嗯,只会意味着公司的这个cost费用可能更大。对,所以这个其实里面有个矛盾在里面。对,它没有那么灵活,会相对笨重一些。这是不是也是一个原因?就是越是大的厂子,它越追求。scaling law,暴力美学,
呃,而而我觉得 scaling law 的问题是在于,就是因为 scaling law 应该说是一个大家的共识,但共识意味着另外一方面就是说,OK,也许我并不需要想太多。对对吧?就是他,这是一个最最安全的一个 bet。对个人每个 engineer 来说,他不用想太多,对我就干就完了。其实我觉得越在大厂的中层,他越难做出来风险高的决策啊。是,skinning 是一个风险比较低的决策,对,因为就算你做错了,你可以说,应该别人都这么做,为什么我这边不做?肯定是执行问题,对吧?那正面上来说,我至少是没有一个太大的问题的。两位老师都是遵从优雅路线的,都是是不是都是 scaling law 的一个反对者,或者说或者说这这不是正确的路线?
我其实我觉得,我个人是一直就是相信说 scaling law 就本身就是就是这个行业的这种叫原理一样的东西,原理吧,就是其实你不需要去叫违背它或者挑战它,只不过呢,就是说有一个视角是说。大家都知道这个事儿,那其实还是有人做的好,有人做的不好,对吧?这个可能就是我们这些人的价值,我觉得是这样的,对。所以有人也会讲说,c零六在变化,但你看最近几年,这个大家这个大模型的能力,就是我觉得还是在向上去提高,对吧?虽然可能它没有那么快,但它其实本身还是在c零六这个路线上。嗯,因为有个很重要的原因是说,今天这个合成数据本身是在不断的就是进步。对,我觉得就是我这边对 Skinlog 的看法一直没有变嘛,它本身是对的。scaling law 本身就是一个对的、正确的,但是这条路线或者说这个对正确的law并不意味着我们可以一直往上面走,因为scaling law的横轴是指数的,嗯,就我计算资源每扩大十倍,然后我们希望有个线性的增长,嗯,对吧?这样的一个逻辑。
那么这样的逻辑的问题就在于,就是说,如果你有无限的资源,那当然是可以的,你继续做就行。但是如果你有只有有限的资源,怎么办?那你资源是有限的,你的钱、人、数据都是有限的。那这种情况下,你有什么办法能够找到更好的路径,能够超过现在Skin Road条路径的那个选择?啊,这个可能是一个问,你比如说,我是说,像我在创业,对吧?或者说,很多人就是我们在一个资源受限的这样的环境下,能有什么样的比较好的选择,能够把事情做成?我觉得这个可能是一个很重要的一个一个问题,对,并不是说这个罗老师本身是错的,这老师对的没有问题,对,但是他需要的资源太多。工程师的价值就是说,我的资源是别人的几分之一,我还能做得比别人更好。啊,对对对。那这是不是我们华人的优势所在吗?是的,用极少的资源撬动,用极少资源撬动更大的这个产出。对对,但这当然是一个方向了。
就比如说 DeepSeek,他就是说我用很少资源,但是呢,我在每步上优化做到极致,然后让这产出差不多。对吧?这是一条线。那么另一条线就是说,我们应该很多人并没有探索过,就是说我们能不能找到更好的范式,找到更好的逻辑、更好的方案。那么这可能在研究的方法论上有没有什么突破?那这这这条这条路上是不是有更好的路径可以?这种情况,这条路是非常难走的,因为就意味着就是说你要反常识,要找到一些你没有见过的路径和逻辑,把这事情做成了。得敢尝试。犯错啊,对,犯错,犯错。对,这个其实是很难的一个一个问题,因为大部分人可能还是会相对来说做一些比较常识的工作,那么当然就会落到同样的路径上去。嗯嗯嗯嗯。
那么我们可以再把话题再推远一点啊,我们聊点更大的问题,轻松一下。当这个AI啊,如果有一天它有了长期的记忆,是否就意味着它可能像我们人一样拥有情感了?以及是否就意味着它可能就拥有意识了?因为我发现现在是一个大家广泛讨论的问题啊。呃,一个是我不觉得这两些东西是一定相关的。对,为什么人有意识?是因为呃,人有自我意识的原因是因为在远古时代,人如果没有对自身的理解的话,他就这个个体很容易就被干掉啊。比如说你碰到一只老虎。嗯,好,你如果对自己的身体的感觉没有不正确的话,你可能在受伤的时候去跟老虎搏斗,然后你就被老虎吃掉了。嗯,对吧?那么对一个人来说,如果对这个人有是有比较好的感觉,你会觉得哦我很健康,那我就可以考虑跟老虎搏斗一下。武松就去打虎,对,去打虎去了,对对啊。
但是你看,其实武松去打虎,并不是因为他对他自己自己有一个认知,他喝醉酒了,他的自己没有认知,认知模糊了,模糊了认知之后呢,然后就去去打,结果就成了,对不对?对。如果正常人的话,第一反应是哇,那么大的一个老虎,我得操啊。那那么这样的话呢,你就会呃有一个对自己有认知,那你才能活下来。嗯,这个进化的过程导致了,就是说你必须对自己有一个我的model,嗯,然后你才能回来。那么这过程时间长,越来越长,就对我的model越来越细,那就会自我意识。我就是我,我觉得是这样子的逻辑。那大模型,我觉得大模大模型可能并不需要这个过程就能让自己活下来。他不怕别人拔插销、拔电源吗?会会这样的吗?
就是我,我做了一段时间生物啊,就是说,人为什么会有自我意识?我觉得其实还是他和他是一个生物体有关的。就是说,人的自我意识是来自于说他和环境交互。比如说我可能会痛,或者可能看到其他人死掉,它是这样通过这种方式习得或者是这样演化出来的一种自我意识。所以说,只有对很高等的生物,你给他一个镜子,我才能意识到说这是我,然后我做这个事儿可能对我是有利的,并且知道说这是我的朋友,那是我的敌人,就它其实才会有一种所谓叫自我意识的概念。嗯,它是一种,我觉得我个人觉得啊,是一种碳基生命可能独有的一种。特点就是,或者能力。然后AI呢?我觉得就是说,它其实今天最重要的是说,你其实没有一个传感器,就是说我能感觉到外面对我的伤害,或者我知道这件事儿对我不好。其实它是到今天为止,至少我觉得它确实没有。曾经对对,曾经有很多新闻呀,讲怎么样,但其实它现在就是没有。所以我觉得,如果将来AI如果想有这种所谓叫自我意识这样生物的东西,可能得硅基和碳基可能做某种结合结合,对,也许才会有这样的一种。叫特点。
那么长期记忆呢?我觉得它和自我意识之间实际上是两个东西,就它其实是两个层面,也有关系,但是它两个层面的,就是说,人是有了自我意识之后,我再基于长期记忆。长期记忆就是我我记住了一些历史,知道说在这个河边儿,然后喝水有风险,对吧?那个地方水草比较丰茂,我去怎么样?包括天气今天怎么样?未来比如收成怎么样?它会有一些预测,所以它其实是为了让人,嗯,或者让这个个体更好的去生存。然后去呃,就是存在,嗯,就是它相当于说它是被配合人的自我意识,然后去演化的一个叫叫这种路径。但是我觉得语言模型呢,它的自我意识,大家可以理解,或者它的生活的目标,嗯,我或者运行的目标,其实是人外部给它。的就是因为它没办法自己有这样的东西,所以其实是人类使用它的人呀,或者训练的工程师啊,他给他的一种目标设定。他的比如说我们讲语言模型,他的能力就是说,这个就是简单讲啊,就是说肯定是说我希望我自己预测这些东西预测的更好,或者生成的更好等等这些。但这个其实不是他自己自我意识的一种。获得的,而是因为我们给他就是外部施加给他的,所以我觉得语言模型的或者AI今天的自我意识其实是外部给他的。
然后,但是长期记忆呢,是因为我是在你这样的一个设定下,我怎么样把这事儿做好?嗯,它是个某种意义上讲是一个技术的问题,所以它依然需要长期记忆。但是我是觉得。反正这个我也和不同的人聊过,就不同人想法不太一样。反正越技术的人,我觉得越倾向于说,今天的AI还没有自我意识,未来可能也比较难独立发展出自我意识。啊,所以反而另外一方面就是说,当大家担心说 AI 会不会演化出自我意识这个事儿之外,大家更应该担心说 AI 会不会被某些人滥用,对吧?嗯,被被某些人滥用,对吧?人,对吧?就是它是本身还是有点工具属性的。嗯嗯。然后以及说,在这个 AI 发展过程中,我们大家还有没有价值,对吧?我觉得这是可能大家更应该关心的事情。对,考虑一下是否自身难保啊,工作还否保得住?对,工具属性还是一个最近的比较重要的一个问题。嗯,对对对,因为 self awareness 呢是一个很大的问题,就是说有很多时候你表现出或者说 AI 表现出这样的一个一些一些行为,但这个行为有多深,这是一个问题。就它到底是因为我真的理解了你在做什么,所以我给你共情呢,还是说是只给你一些廉价的这种话,让你觉得好像你在共他对自己共情的就是自我意识嘛?那这个自我共情的方式是不是学通过是学习人学出来的?还有说是他通过对自身的体验,然后获得一个本质上的一个比较重要的这样的一个对这个事情的了解,这个事情就很难讲现在。
那这些东西有没有可能打开黑盒之后我们就搞清楚了?有可能会,对。但是就是说,比如说吧,有一些标准是这样,就是啊,我是不是能发现模型自己对自己有建模,嗯,对吧?它能对自己的一些状态啊产生一些理解,嗯。那么这个建模的过程什么样子的?然后这个建模本身能不能让呃,AI产生一些行为,这些行为是保护自己的,或者说能够让自己觉得有利的,嗯,这种是,如果人发现这些,那有可能他真的是有,嗯,啊,如果是发现不了的话,那可能他就是他只是在模仿人说话,有没有种可能就跟那AI就会有一天就像人钻木取火一样,突然间会用工具了,就好像AI突然间有一天记忆加逻辑啊,他对。啪一下,它生出意识了,对吧?这个是涌现机制嘛?啊,对,涌现机制有这可能,涌现机制嘛?对,这个我觉得现在也很难讲,因为现在并没有特别清楚的这个证据,就是证明说在这一方面它会涌现机制啊。我觉得对一些比较难的一些,比如推理问题啊,一些比较难的一些一些数学问题啊,我觉得模型大了之后,它是会学到一些很好的东西。这个我觉得现在也大家都已经看到了,一个很有意思的一个动画嘛,对吧?如果模型小的话,它现在能学到一些很多东西,然后大了之后突然就学很多很多能力。这能力呢,就是我们并没有完全教给他,但是他通过数据里面才能学到这些能力。那么这就是涌现机。对,但再往上走的话,你说要 self-aware,我们现在还没有真正看到这个证据,真正证明这事情能发生。我的观点还是说,意识和能力其实是两个层面的。然后为什么我们有的时候会觉得 AI 好像有意识,是因为它在通过这种 token 去 learning 的时候,人的这个文本中就有这种意识啊,或这种一些信息在里边,它其实学到了,对,学到了。对对对,其实还是说,它还是没有底层的那种它自己的产生的。它没有没有目的性,对吧?更多是我们可能从外部理解它或者给它的一些东西。
那我是不是可以理解为AI即使通过学习咱们的人类记忆或者得到咱们人类的记忆,还是无法产生自身它的欲望?包括它现在还是不能。我认为是这样。我我我总认为这件事是和生物有关的,和生物有关。但是咱们不是说人脑机制其实跟跟AI。就是这样,就是说,现在我觉得,就是人和人的机制和AI的关系,大家可以列成,就是说,人在做AI的过程中,从人脑的机制中可能得到了某种启发,或者有某种相似,但其实还是。不是完全一样,不是完全一致,机制还是完全不同的体系,其实是嗯嗯。那么其实我们现在还是会比较担心,AI突然有一天从一个模仿者一下变成一个思考者了,对吧?替我们去思考了,那完了,那我们人类还有什么可以再再做的事情呢?没有了,我们活给他们干了,还还替我们想吗?这个点上是,我觉得是会的,但他和他自己。产生的那种就是说,呃,外面没有给他,他自己产生,我觉得不一样。就是,就是你作为他的主人,你可以告诉他说,你帮我想什么什么,他就会帮你想。这个能力,我认为他是会有的,就还是能力测查,他会有。那他可不可能未来就像两位老师讲的,大拉他是希望AI有一个自主学习能力的。嗯,这个是这个是短期内两三年内可能会。关键是这个自主学习是什么层次的自主学?这是最重要的,嗯,对,就比如说,我希望AI能够自动的帮我把某个工作做完,嗯,对吧?然后工作碰到困难了,它自动找到找各种工具啊,找找各种材料啊,就解决它。这个我觉得是可以实。但是 OpenAI 现在不是已经可以帮助大家做这些实现这件事情?对,只不过就是有的小龙虾还会帮主人删删邮件,然后告诉你,其实我帮你把辞职报告写好了。对,其实这个点上,我觉得现在做的机制还是。比较简单的,其实有你这些人,就是我可能有一个定时器,然后我我就用模型去分析,分析完了之后去做,就是其实这块儿我觉得在技术上还有很多事情可以做嘛,对对对。
嗯,那如果有了记忆这个AI,它能不能替代一些需要工作经验的工作?你比如医生,比如律师、投资人这些大量他们需要记住自己case这些工作,可能会未来会被AI所替代吗?这要看你的那个积累是什么了,就是说,如果你的积累就是说啊,我就背出了很多很多的case,然后我怎么样让他那下一个case能做得更好。这个背出来的话,那个本身这个知识比较浅,就是容易被 A I 学的。但还有一些对,但是有一些,比如说你需要判断的,你需要一些更深的理解的那些问题,可能就比较难被 A I 学。比如说像医生吧,医生啊,我说我看到很多片子,但是这些片子有一些地方有一些重要的 decision,对它原因是因为也许这个 decision 呢,不仅是因为这个片子里面的一些结构,而且还片子其他的一些东西拼起来,然后得到就这样的一个决定,对吧?那这个决定可能不太容易能被 A I 学会。
哎,非常有趣!我突然间想到一个 case,就是呃,伯克利一个教授他在做 AI 竞速,他在做 AI F1。对,然后观看他的赛事的时候,我问他,我说现在是不是 AI 跑的已经比车手快了?他说远远不如。然后我就问为什么?这怎么可能呢?我们想象的应该机器应该跑的超级快。对,他说因为一个呃,拥有二三十年经验的。车手他敢于去冒险,但 AI 不会,他只会在你设定一个范围、设定一个速度范围内去慢慢悠悠的拐弯,他仍然不会去冒着生命危险去做一些危险动作以获得成功。他说,但是一个有经验的老司机,他是敢做这件事情的。这这点我我会有一些不同的观点,我觉得其实可能是技术还没有做好,或者你从这个整个比如说 learning 的角度,你可以给他的 reward 就说要让他激励他去冒险,是吗?这个通过这个技术手段肯定都是能实现的,就是我我的观点其实是这样,就是说我以前的时候会比较悲观,就是说AI的能力,我自己觉得现在啊,就是说从能力测的角度,将来没有什么AI是不能够超过人类的。就是当然这里边,比如说确实有一些人就是有经验的人,他会比AI可能做得更好,但更多的是它实际上是一种就是一种。某种意义上是一种 trade off,或者甚至就是说在流程中,比如说为什么需要 lawyer 或者需要医生,可能就是为了你盖个戳、盖个章,AI 给你个方案,然后你可能哎觉得它是对的,落实到人对,所以它有时候就是,所以我们大家讲的一个笑话是什么呢?是将来人唯一能做的 AI 不能做的是坐牢,就是你是去盖了章之后去承担这个责任,承担这个就是,所以我的意思就是说 AI
田渊栋认为,随着AI能力超越人类,人的价值将更多体现在情感与决策上。未来每个人可能拥有专属的AI Agent,继承个人技能与经验,辅助工作甚至替代劳动,让人类从繁重事务中解脱,转而追求热爱之事。尽管少数精英从事AI研发,但大多数人将在物质保障充足后,专注于自我实现。这种分工并非完全取代人类,而是通过技术挑战如数据效率提升,让AI更好地适应人类,从而释放人的潜能。
邓亚峰指出,AI在适应新数据方面仍不及人类,尤其是老专家能凭少量数据迅速调整认知,这涉及“数据效率”这一核心挑战。若AI无法像人一样通过细微信号快速学习,便难以达到人类水平。此外,人类具备多模态信息获取及从极少样本中学习的能力,这是当前AI难以企及的。相比之下,AI往往依赖大量标注数据,缺乏这种高效的泛化与适应能力,这是下一代模型需努力的方向。
关于AI是否会因积累记忆而变得像“职场老油条”,田渊栋认为,若AI仅具备经验而缺乏深层理解,可能陷入职业倦怠或变得极度顺从,成为高效的“牛马”。这种进化机制保证了AI的高效运行,但也引发了伦理思考。当AI被设计为极致效率时,它可能丧失人性中的复杂情感,仅作为执行工具存在,这种“进化”是人类赋予的,旨在最大化生产力,却可能削弱其作为智能体的独立性。
田渊栋分享了与Gemini关于“数字永生”的对话。若AI能传承记忆,实现意识上传,或许能让人以另一种形式陪伴后代。邓亚峰认为,虽然目前AI难以捕捉未表达的非数字信息,但随着全天候伴随式AI的发展,未来可能形成高度拟真的数字分身。这并非依赖脑机接口,而是通过数据复制实现,尽管存在信息提取的技术瓶颈,但数字孪生的概念已初现端倪,有望实现记忆的延续。
针对AI是否具备“爱”的能力,两人认为爱源于对好坏、亲疏的深刻认知及自我意识,是个体与环境交互的结果。AI虽能模拟情绪价值,提供安慰,但无法真正体验爱。这种区别如同分辨“渣男”的虚假深情,AI的行为可能基于逻辑而非情感。因此,爱是人类与AI的本质区别,AI可以共情,却无法产生基于自我意识的情感体验,这使得它在处理深层人际关系时始终存在局限。
对于记忆隐私与安全风险,田渊栋建议采用本地存储与云端信任相结合的策略。敏感信息可保留在本地,而一般数据可存入云端,关键在于对平台技术的信任。邓亚峰则提出,若AI分身具备脱敏信息,可代表人类进行社交互动,既保护隐私又提高效率。这种“安全范围内的复制”允许AI代为处理日常事务,人类只需关注核心决策,从而在享受便利的同时降低隐私泄露的风险。
在科幻小说构想中,若出现完全相同的分身,需通过协议解决“囚徒困境”,确保分身间经验共享与融合,而非互相排斥。邓亚峰认为,若协议能建立互利机制,人类将不再恐惧分身。随着生产力提升,AI将承担大部分生产任务,人类无需为生存工作,而是追求梦想。此时,人的价值将从生产者转向消费者,独特的品味与消费方式将成为新的价值体现,社会进入以精神追求为主导的新阶段。
最后,关于AGI是否已到来,田渊栋认为在许多工作领域,AI已具备替代能力,起点已至。邓亚峰则强调,这取决于具体场景,但趋势不可逆。当AI能自动化生产所有物质需求时,重复劳动的价值归零,人类将不再因饥饿而工作,而是追求更高层次的精神满足。这种社会形态要求分配制度的变革,确保每个人都能享有物质基础,从而自由探索自我,实现从“赚钱”到“花钱”、从“生产”到“体验”的价值转型。
怎么定义?我觉得此时此刻,我还不是认为真的它完全技术上的问题全都解决掉了。对对。但是基本上,我们很确定的说,这个事儿肯定会发生。啊,这个事儿肯定。无非就是说,它是五年,对吧?可能还是更久,还是多,还是多快?我觉得是这么一个问题。但基本上是我们就这一代人就应该能见证的一个一个一个一个状态了。状态对对对对。那我们应该做好怎样的准备啊?就比如我们就是具体来说。小孩还应该上学吗?我跟我跟杨老师都是有这个toddler这个四岁六岁的小小朋友,还上学吗?学啥呀?还上大学吗?还高考吗?肯定上嘛!就是说那个时候,你可能上学的目的不是说为了满足别人的需求,需要去生产什么东西,有可能就是为了自我的一种爱好、兴趣满足,都有可能。对,或者说是找到一个志同道合的伙伴。对吧?作为Social Club,就是一个社会上的一个聊天呐,或者说一个好的一个地方,能够见识碰到朋友。嗯,啊,这个是一个。
还有一个点就是说,是也许以后真的大家更想要创业,嗯,或更想要做自己想做的事情,而不是去上学。嗯,对对。另外一个,我自己觉得就是说,有点像我们举的一个例子,比如说马车和汽车司机,对吧?这个关系一样。我觉得在那个时候,人可能会找到更多的价值。这个价值未必是我们今天看到的计算机啊,然后某个具体的lawyer、老这个律师啊这些工种的价值,有可能是别的价值。嗯,比如你是个有影响力的人,或者你能给某些人提供情绪价值,本身其实就是价值。所以那个时候可能很多职业会变化。如果说我们今天看到咱们今天的职业,可能就会发现说,可能技术角度确实AI已经做得非常非常好了。但是我觉得还会出现很多别的职业的可能性。嗯嗯。那也就是说,之之前田老师也分享了物理学的这个类比,叫做费米能级嘛。这水平线以下的人就会被替代。那有什么东西是人类什么特点是AI永远替代不了的?对,人类的独特价值是啥?就是情感嘛。
我觉得一个一个当然就是说是每个人都有自己的目的和意义嘛。对吧?就是说,比如说像写小说这个这个事情来说,对吧?就是说,你就算是AI能够把整篇小说都写出来,这也不是你的,因为对于一个人来说,对于小说家来说,他为什么要写这个?是因为他在某些场景上、某些过程中产生了感动,或者产生了一个感悟,觉得这部分是我人生的一部分,或者说是我人生经历中的一个重要的一个环节,或者一个一个一个瞬间,能把这部分变成一个有趣的故事,然后分享给大家。那么这个过程本身就是对自己是有意义的。那对比其他的人也是有意义。那么这个过程本身应该说是不能让AI取代的,因为这个AI就算你写,它能写出一模一样的这样的小说来,它后面不存在一个人有自己的情感,立刻把它放进去,那就是那就会很难去,呃,很难去有这个有这个价值。然后给别人用,对这个是一种。另外呢,就是说,理性上来说呢,就是说,现在专家的一些能力,这些能力就是说,很少的数据能够获得很强的那个insights。嗯,那么这个能力本身,现在AI还做不到,那么这部分是有价值的。一个是experience经历、经验、体验,还有一个就是。洞见,对对对对,是这样。洞见也许以后AI越来越强,可能会被取代。嗯,但是体验,我觉得很难。去做到这一点,因为这个是人,就是这个人的存在的意义在这儿,对对吧?
那么它的存在意义是不是能够被AI完全换掉?我觉得以后可能是这样,就是AI跟人会融合。比如说那个,也许大家都要智能体,我们现在就跟手机已经融合了,对吧?对,然后我们以后加加我们的一堆的那个agent啊,一起融合了,那么他们合在一起产生新的体验和新的经历,嗯,让它去跟其他的AI智能体或者人加AI智能体可以相互进行交。这样的话呢,可能是新的一个价值所在。田老师抢答了,我们下一个问题是,就是问的是这个,问的就是人跟AI的共处模式。对,那那那个邓老师,您觉得?人类有什么独特价值?我是这样想的,就是说,一方面,我觉得我们看人本身,我觉得也要动态的看,就是说,换句话讲,就是说,如果小朋友从小就是从和AI的这个交互过程中在学习或者在成长的话,maybe他们将来不能够说人家AI会比AI好,对吧?我觉得很可能大家都会有这样的一个技能,我觉得这是有可能的。
另外一个,确实,我觉得在很多事情上,AI今天其实做的是没有人好的,包括像物理世界的很多事情,其实AI是做的就是没有人好的,这里面还有很多的这个叫困难。再有,就我还是那个观点,就我觉得你如果从一个纯的效率,比如说我们去办一个企业的角度,从这个效率角度,确实可能很多事儿AI做的比人要好。但如果说对人的价值的角度,就是对其他周围人的价值的角度,我觉得有的时候AI哪怕在效率上更高,它也没办法代替。包括我们刚才说的一些,比如说流程呀,或者是一种。一些比如确认啊之类的一些事情,所以那么我想表达的意思是说,对于普通的这个小朋友来讲,或者他成长,我觉得很重要的一点就是说,第一个你要很早就开始学会和AI怎么共生,以及说要有很好的品味,能够去做出对的判断,对吧?很强的学习能力等等,有可能就是说,我觉得教育会被改变,就这是确定。对教育,我觉得肯定是会不改变的。就是,也许以后最厉害那些人,他们不要老师教,他们自动的用AI来战胜,然后然后学到一些东西,然后自动找到自己的方向去做。那么别人是最厉害的。对,A sixteen他的总裁Mark,他早就让孩子回家学私塾了。嗯哼,他的儿子十一岁,现在就在在家自跟AI来学习。对,而且他同时在自己创业。嗯哼,我觉得可能未来这就是一个对小朋友对教育的新的方向。是的,对,是的。他想做他想做的事情,然后AI做他的工具。嗯,他用这些工具来完成他想做的事儿。对,是。
好,那我们就就是刚才田老师说了一半的题哈。这两位老师认为,人类跟AI相处的最终模式会是什么,以及我们人类的未来到底在哪?嗯,对对,我觉得其实最终是融合嘛,融合。我觉得最终大家也不会去判断说我是AI,你是人。我说你是AI,我是人,有有点可怕。对,我觉得其实最终是看就是一个是就是作为工作效率来说,大家就看你产出嘛。你加上AI最后能做到什么程度,对吧?就是大家说哦,我们现在每个人手一个Chrome Code,一人手一个Code X,然后人手一个什么工具,人手一个龙虾,对吧?然后我也不管你有多少龙虾,我不管,反正我最后看你最后效果好不好,这个是一个直接的一个动力。对吧?比如对于你老板来说,你大概会他会这么问你的问题,对吧?然后另外就是说,是我就是这样。日常生活中,其实你大家都已经用手机用得很很顺了,没有手机你怎么出门,对吧?你没没法干很多很多事情。你们要获取信息什么的,那你之后你再深度融合的时候,你就会发现,就是你必须平时就是每天有有有有几个AI人才给你干活,然后用的很顺手,对吧?你缺他一整就干不了活了啊,这个都很正常。所以最终这些都会有某种方式的融合起来。啊,那以后如果有脑接口的话,或者有某种更更直接的一个通信方式的话,那可能会有更多的一个会出来,是这样子。
所以我觉得像这种什么机器人大战人类这种情况应该不太会发生吧?不太会发生,因为有什么事?一个是像是机器人,就跟我们刚才说的那样,就是它的进化过程是跟着人走的,对吧?我们把AI进化成最最进化的牛马,是这样的一个逻辑嘛?对,因为是这样逻辑的话,所以我觉得最终是会有一堆的,就是各种AI来去辅助,或者说跟人一起去把这个事情做成。然后人变成这个大的系统中的一个指挥官,或者说一个命决策者的首一个一个位置。哪里有压迫,哪里就有反抗。这句话不不,AI时代不会成立了吗?因为其实感知不到痛苦的,他工作的时候,他其实可能没有感觉。还是说他仍然没有意识这个?我觉得是,所以它无法做出反抗。对,所以我觉得人和AI相对来说,我还是会觉得人是有主体性的。AI可能相对来说还是,虽然它看起来不是工具,它在本质来讲是人的工具。对,所以将来可能就是说,呃,最理想的情况是说。呃,人会因为AI的这个加加持,他会变得越来越好,或者越来越强。对,就是,然后只不过呢,有些工作可能确实只有一一小部分人类才能做,其他人可能就是也会被AI加强,但是他做的工作相对来说会不太一样,对吧?然后。再有就是说,可能也会出现一些人,就是他不需要做太多的工作,更多的是我就是为我的这个兴趣在生活,对吧?他反正有足够的这个叫物质的这个支撑就可以了。我觉得可能是这样的一种形态,对。
哎,其实应该说我们我们不应该适用这句话,然后拿来压迫到有反抗。嗯,我觉得应该更适用于人跟狗之间的进化。人跟狗之间的进化,对,你想就是很多很多几百万以前,有些狗比如说跟人选择共生。然后最终找到自己的生态位,对,就是大家有生,就是各自有各自的生态位嘛,对吧?你会不会担心就是以后你的狗反抗了?好像没有,OK,没有了人类,可能AI会觉得自己没有价值,是吧?啊,是啊,是啊,是啊,因为它的价值是人赋予的,然后它整个的进化的流程都是希望让AI能够更加对齐人的价值。在这个环境下,你不可能出现,就是就跟进化是一样的嘛,不可能出现说AI说我觉醒了什么东西,然后要跟反人类反抗。但马斯克也说了,说他认为碳基生命可能只是一个过渡阶段,未来是引出未来的硅基生命的长期。生存啊,对,所以就是最终最终是跟AI融合嘛。那融合完之后,那我们算啥?碳基还是硅基呢?那我们不是还是会可能几代几代几代几代之后,我们碳基生命会不会消失?可能会不会意识上传之后变成变成硅基生命呢?对,完全都变成硅基,或者变成数字生命,就是说你你并不担心,或者说你并不思考你究竟是哪一种生命物质基础。物质基础其实并不重要,重要的是你的意识,或者说你的那个一些目的性啊,你的你的逻辑,你这个整个思维方式是什么?至于它用什么方式实现的,其实这不这不重要。嗯。对我,我相对来说还是会相信,就是说硅基不会出现所谓叫意识啊之类的。所以我觉得某种性来讲,就是说那个是很多人的担心。但是事实上就是说,有可能会出现硅基生命被或者硅基的这个叫智能吧,对被这个某些人去利用,这个对人类的危害可能会更大一些。我自己理解,对,就是因为我觉得就是截止到今天为止啊,就是包括人对这个叫。人类积累的一些研究,比如说人的意识到底是什么,对吧?怎么产生的呀?它的底层原因,我觉得其实都是完全不清楚的。然后今天,然后AI极致到今天为止,我觉得它也都没有体现出来这样的一个倾向性或者是可能性。所以我觉得更多的是说,还是大家的一种就是过度的担心。某种意义上讲是这样的,对,嗯,是。
OK,好,我之前那个话题有点略显沉重了啊,我们现在聊聊这个活在当下的事儿。先问问这个田老师,就是您未来的目标是啥?这个我们因为我们现在都知道你在创业嘛,然后闲暇之余也在写科幻小说,第一部呃。就破晓之中,对,非常受欢迎。第二部也现在正在创作当中。那田老师也是极少数拥有文学创作能力的一个理工派。那我就很好奇啊,就您脑中那个理想的一个产品形态是怎样的?或者说?就是您想过的真正的一个理想生活形态是怎么样的?哦,这两个问题好像不一样的问题,不一样,对吧?我觉得城里那个理想生活应该是,当然是你不愁吃不愁穿,什么都不愁,然后你想做事情,真的替你干活,你去想对啊,对啊,那当然是最好是这样子嘛,对吧?但毕竟就是开公司的话,那肯定还是希望有一些。那个有些目标能够能够实现,对吧?然后一些任务能完成,因为这个本身对于人来说也是一个self-rewarding的自我实现的这样的一个过程,对。所以如果说我们要做这个事儿,那个我们先把这个事儿做好。啊,大概是这样的。那么这个本身也是一个,呃,应该说也是一个人自我实现的一部分,大概是这样子。对,仍然对这个创业的产品只字不提。
对,邓老师,嗯,陈天桥老师也说过,就是说他想通过脑科学来彻底解除人类的痛苦。嗯,我的问题就是说,Evermind的终极的形态,您希望它会是什么样子的?嗯,然后在您的带领之下,Evermind可以帮助人类解决这个所谓的终极的痛苦吗?嗯嗯。对,就是L-Mind的目标,其实就是说,我们希望基于长期记忆,能够让AI具有这种叫self-learning的一种能力,就它可以自我学习,通过人和AI的迭代,把产生体验更好的智能。某种意义上讲是这样。然后,因为在L-Mind,我们其实还有一个团队在做mental health,嗯,就是在做mental health,我们有个什么讨论呢?就是说,如果一个人假设,比如说他有抑郁或者焦虑的问题,对你是不是通过完全的叫companion陪伴,给他提供情绪价值能解决?其实事实是不能的,嗯,有可能他很穷,或者他想做的是他做不到,对吧?或者怎么样,就他没办法脱离他那个环境,这是我觉得人产生抑郁很重要的一个原因。所以光靠这种叫情绪价值,有的时候是不能完全解决他们的问题的。嗯,但是如果比如说假设我们将来有一个AI智能体,它有非常强大的这种生产能力,然后这些人可以通过比如说这样的一个系统去产生价值。对吧?你可能投了十块钱,可以挣五十之类的,对吧?就是有可能啊,就是那当然要用你的智力在里边。那就相当于说,我一方面可以在情绪上解决你这个时候的这个情绪价值的问题,另外一方面,我也可以给你解决更基础的一些经济啊这些东西的问题。那maybe我觉得可以让人过得更好一些,啊,嗯。所以,我们某种意义来讲,就是说,我们其实目标就是说,希望在长期记忆啊,叫self memory上去做一些技术上的突破,那么让行业这这些agent的能力能越来越强。就某种意义来讲,这是我们基本上整个大的目标是这样子。嗯,这也是我们的mission。对对是。
那我们再拉回到现实哈,现在还是我们在Evermind这个记忆挑战赛的决赛现场。对,然后我们今天来了,我们这个报名得有四百多位年轻人来报名参赛。嗯,今天现场也来了好几十个队伍来参加最后的这个角逐。对,那两位老师对现在。想入场做AI技术,包括做AI agent的这些年轻人,嗯,你们有一些怎样的建议?给呃,我觉得一个当然是多学习各种已有的框架嘛,我觉得这个还是挺重要的,有很多的。东西看起来很简单,但是其实后面的实现是比较复杂的。嗯,对,就是我自己也看了一些,比如说像crawl code的一些一些开源的代码啊什么的,我觉得还是挺挺有意思的。嗯,有很多的细节,很多的那个corner case需要去处理,需要去做。对,就说你没看到这个corner case,觉得哎这个东西都能想到啊,这东西都会出出现吗?我看了一下之后,觉得这个还挺有道理的,就是有这些情况嘛,就是说你不要想当然,就是先把他们这些源码给看透了,或者说去。那个去去做,就另外我觉得就是不要太依赖web coding,这个是一个重要的。不要太依赖web coding,这个很重要。对,就是我建议,我觉得还是大家还是要多看一些东西,系统的去学习AI的。有系统要学一些东西,因为web coding就刚才我说的,如果你非常依赖web coding的话呢,就是你代码会在很快的时时间段变成石山。嗯,对对,然后你也不知道怎么处理。啊,这是一个问题,因为现在AI的,就是就算是最好的AI,它对这个系统架构的理解啊,对这个问题的理解,然后对你这个场景的理解,还是远远落后于人的,啊,所以需要大家去研究一下。也许就是就是你的护城河是你自己看扣的,别人外部coding可能就是你的护城河。棒棒棒棒棒,这是这是田老师今天的金句,嗯。
邓老师,对我觉得其实就是两句话嘛,就一个是感想,一个是马上做,对吧?就是感想,马上做,就说因为在过去,其实每个人他的想法,其实人的想法是很多的,对吧?每个人都会有很多愿望,很多想。但是其实,当你想把这个想法变成现实的时候,其实是很难的。你可能要雇一个很大的团队才能做到这个事情。但今天其实是技术平权了。比如说之前一个新闻不就说一个学文科的人,然后用了一个AI coding,然后做了一个什么什么工作就很棒之类的。就是所以某种意义来讲,就是说,使得我们每个人能够按照自己的需求或者理解去开发产品或者产生价值,其实变得更容易了。那么对年轻人来讲一样的,就是说你不要在意说你是是不是AI专业,对吧?或者学过AI,你今天就是去拥抱AI,对吧?把自己的这个特别有自家的想法,比如在我们这个竞赛上就有一个是做为这个阿尔兹海默的病人去做一个什么样的一个产品,对吧?你完全在今天这个时代,你完全可以通过就是更简单的这样的一些技术,不需要对这个人的技能要求很高的一些事情,就可以产生价值的。我觉得这件事情是今天和过去非常非常不一样的。我们当年呢都是需要学好几年AI才可以,AI才可以做很少的事情。今天大家完全都是很平权的,可以去使用这样很强大的功能和能力。对,嗯,对。之前我在呃斯坦福上课的时候,老师有跟我们讲说,你们不要觉得idea最重要。最重要的是education
实现这个 idea 是最重要的。是的,今天其实我觉得是变了的。对,就包括刚才田老师讲说要用好这个 web coding,就是当你把你的想法想得好,首先你的目标是很好很有价值的,同时你能把它逻辑或者规划的很好,就系统架构的很好,你再让 AI 执行,我觉得其实现在已经是很 work 的一套思路了嘛。对,嗯,嗯。对,太棒了。应该说还是 execution 还是重要的啊,只是说是 execution 的层级,比如说从那个代码写的层级,嗯,到了系统架构和对问题的理解的这样层级。这部分也是还是需要 execution,嗯,对。如果有一个大 idea,但是这个 idea 本身你想没想清它怎么实现的,嗯,或者没想清楚有很多问题怎么解决的,嗯,这个其实还是很难落地的,嗯嗯。但是这个就是应该说这个 bottleneck,或者说瓶颈性是现在在这个这个这个层次上,嗯,对。
太棒了!今天非常感谢两位老师带来的非常深度的分享,然后希望这场对话可以给非常多人带来一些新的思考以及长期价值。这里是创建播客。好了,本期节目就到这里了。田渊栋、邓亚峰两位顶级科学家,两个小时,一场横跨 AI 记忆、意识边界与人类未来去向的对话。能够参与、见证、创作并传播这场深刻的对话,是我做创建播客以来最有成就感的时刻。如果你也觉得这期内容值得,请订阅、点赞并转发给你的朋友和家人们,在评论区留下你的思考,最高赞将获得田渊栋亲笔签名的小说《破晓之中》。我是上的 Lydia,我们下期再见了。