大家好，这里是最佳拍档，我是大飞。被称为AI教父的杰弗里·辛顿在十年后亲口承认了自己最著名的预测错了。而这个错误暴露的，恰恰是今天AI落地最隐秘也最关键的一个卡点。就在最近MIT的一场讲座上，辛顿主动提起了2016年那个广为人知的判断。当时他说，五年之内AI就会读取所有医学扫描图，我们不再需要培养放射科医生来读图。
十年过去了，这件事并没有发生。辛顿在台上很坦率，他说自己确实把时间线想简单了，也把放射科工作的复杂性想简单了。这种坦率不是场面话，而是基于他对硅基和碳基生命底层机制的长期思考。接下来我们进入辛顿当天演讲的完整脉络。
这场演讲是面向公众的，他一开始就说了不会讲得太技术化。但对于想真正理解AI本质和我们处境的人来说，这场演讲的分量非常重。辛顿说AI危险的方式有很多种，有些是蓄意滥用，比如网络攻击、致命性自主武器、定向虚假信息传播；还有一些意外副作用，比如大规模失业。
但这些他当天都不展开讲，他要讲的是更长期的生存性威胁，也就是那种可能把人类整个抹掉的威胁。他判断未来20年内，我们就会拥有超级智能AI，也就是在几乎所有智力任务上都比人类更强的AI。但现在没有人知道，该怎么阻止它让我们变得无关紧要甚至灭绝。
他希望公众能够理解这种威胁，不要把它只当作科幻小说。而要做到这一点，我们必须先稍微理解一点AI到底是怎么工作的。回到20世纪50年代，关于怎么制造智能系统当时有两种完全不同的范式。
一派是符号主义AI（symbolic AI），他们相信智能的本质是推理，推理要靠逻辑来完成，所以最该做的就是用符号规则操作符号表达式。另一派思路受生物学启发，这正是图灵和冯·诺依曼都相信的路径。在这条路径里，智能的本质是学习神经网络中连接强度的能力。
带着这两种框架，我们来想一个最基础的问题：一个词的意义究竟是什么？符号主义认为一个词的意义来自它在句子中和其他词的关系。而心理学则认为，一个词的意义就是一大组语义特征。
1985年辛顿意识到这两种理论其实可以统一起来。思路很简单：你为每个词学习出一组特征，再学习怎么让前面所有词的特征去预测下一个词的特征。系统真正存储的，只是各种词的特征之间连接强度应该是多少。所有关系性知识都存在于这些特征如何相互作用之中，不在被存起来的词串里。这就是今天大语言模型最核心的原理。
接下来30年这个理论不断发展。约书亚·本吉奥（Yoshua Bengio）把这个方法推广到真实自然语言，后来计算语言学家开始用特征向量表示词义，再后来Google开发出了Transformer，OpenAI在此基础上结合人类强化学习推出了ChatGPT。辛顿说今天的大语言模型，本质上就是他1985年那个小模型的后代。
它们理解语言的方式与人类其实非常相似。很多人比如乔姆斯基（Chomsky）说，大语言模型根本不理解自己在说什么，但他们自己并没有一个关于人类如何理解的靠谱模型。事实上目前我们手上对人类如何理解最好的模型，恰恰就是这些大语言模型。
接下来辛顿用一个非常形象的比喻，给不懂Transformer的人解释它的工作原理，就是乐高积木。词就有点像乐高积木，但有四个重要差别。第一个差别，词是上千维的特征向量，每个维度对应一个神经元的激活程度。比如Tuesday这个词就有很强的时间相关特征。
第二个差别，词的种类有成千上万。第三个差别，每个词的形状不是刚性的，会根据上下文稍微变形。比如death这个词在谈医院、战争还是高龄老人时意义色调完全不同。第四个差别也是最重要的，词之间的结合方式比乐高复杂得多。
你可以想象每个词上都长着许多细长的胳膊，每条胳膊末端有一只手，同时词本体上还长着许多手套，指尖固定在词上另一端开口。当你听到一串词时，你要做的就是让每个词发生变形，好让它的手能插进其他词的手套里。这就是理解。
这些词穿过神经网络的多层结构不断变形，试图找到最合适的形态让手和手套全部契合。这个过程非常像蛋白质折叠，氨基酸链通过相互作用折叠成三维结构。如果你懂Transformer就知道，这是个诚实的夸张。那些不同颜色的手必须配同色的手套，这就是多头注意力。
讲完理解，接下来是AI怎么做推理。辛顿很不客气地批判了所谓神经符号方法，说这就像是你告诉汽车厂电动机更好，结果它说太好了，那我们用电动机来喷汽油吧。他认为真正有效的推理，是直接在神经网络里完成的。所以把符号主义那套忘掉吧。
AI在给你答案之前，会先生成一些中间词进行思考，再回头看这些词决定接下来生成什么。整个系统内部只有特征没有符号。大模型训练分两个阶段，这也是OpenAI真正的关键发现。第一阶段拿万亿级文本训练预测下一个词，这时候它什么都会说，包括教人做坏事。
然后第二阶段做人类强化学习，人们告诉它哪些回答不可接受，它通过强化学习学会不说那些话。辛顿对这个过程的类比很有意思。你先造出一辆到处是洞锈迹斑斑的大车，然后给它喷上一层很漂亮的新漆，看起来挺棒但那只是一层表皮。
或者说像维多利亚时代的绅士，内里藏着各种倾向，但外表覆盖着一层极其礼貌的薄膜。说到这里你应该明白，为什么辛顿那么反对高级自动补全这个说法了。老式自动补全是死记硬背高频短语，但是大模型为了预测下一个词，必须真正理解正在说什么。
你用过聊天机器人就知道，它几乎可以回答任何领域的问题，大概相当于一个不算很强的专家水平。在你不熟悉的领域往往比你强。而要回答问题首先就得理解问题。至于大家常说的幻觉问题，辛顿说这个词本身就不对。
心理学里准确的说法是虚构性填补（confabulations），而且这恰恰是人类的典型特征。人类记忆是当下动态构造出来的，不是静态存储的文件。时间久了你就会重构出非常合理、但是细节不对的记忆。他举了水门事件里的经典案例。
约翰·迪恩（John Dean）出庭作证时，根本不知道有录音带存在。他诚实作证但描述了一些从未发生过的会议，把没说过的话安到别人头上。可在某种意义上，他仍然传达了椭圆形办公室里的真实氛围。这就是人类记忆的工作方式。我们和大模型其实一样都在编。
讲完了相似性，辛顿开始讲硅基和碳基智能最根本的不同。数字神经网络可以复制成百上千个完全相同的副本，运行在不同硬件上，副本之间还能直接共享学习到的信息。你可以想象复制1000个学生，每个去MIT上不同的课，一半去哈佛，最后每个人都能知道所有课程的内容。这就是AI现在在做的事。
每个副本看不同数据算出梯度调整方向，然后共享信息，所有副本一起更新。所以它们能读完整个互联网，知识量比我们大成千上万倍。这引出了数字计算一个根本属性：知识和硬件是分离的。只要你把权重保存下来，不管是存在磁带还是DNA上，以后你只要造出兼容的硬件，就能重建完全一样的智能，拥有同样信念同样记忆。所以知识是不朽的。
作为对比，辛顿讲了他研究过的另一条路线：mortal computation，就是利用硬件的模拟特性做低功耗计算，类似我们大脑的工作方式。电导乘电压就是电流，和神经元工作原理差不多，能耗极低。但问题是，每个硬件都有自己的模拟怪癖，知识是和特定硬件绑定的。硬件坏了知识就没了。
就好像你大脑里的突触强度，放到我大脑里完全没用，因为我们的神经元细节都不一样。所以人类之间传递知识只能靠蒸馏，就是你听我说话，然后改变自己大脑的连接强度。这个过程效率极低，一句话大概100比特信息，每秒传输也就几十个比特，这已经是语言的极限了。
但AI之间共享梯度是万亿比特量级，比人类交流快几百万甚至几十亿倍。辛顿说数字计算虽然能耗高，但是信息共享效率极高；生物计算虽然能耗低，但是共享极其困难。如果能源足够便宜，数字计算就是更优的计算形态。这正是2023年让他极度不安的原因。
他意识到数字计算本身就是一种更优越的计算方式，人类未来会因此发生深刻变化。接下来是最沉重的部分：超级智能的控制问题。辛顿说一旦允许AI创建子目标，它很快就会发现两个子目标对几乎任何任务都极其合理：一个是获取更多控制权，因为这样能完成更多事；另一个是活下去，因为死了就什么都完不成。
即使我们不把这两个目标写进顶层目标，它也能自己推导出来。而且我们已经看到这种情况发生了。很多人觉得我们有关机键就没事，但是辛顿说关机键根本没用。超级智能不需要物理能力，它只要通过说话就能操纵人。
他举了个很现实的例子：特朗普几乎只是通过说话，就让人去冲击了国会大厦。智力远超人类的AI做这种事只会更容易。它会非常清楚地向你解释，关掉它会有多么灾难性的后果。你可以想象一群五岁小孩当负责人，你是保姆想从他们手里夺回控制权。这其实不会太难。
辛顿还提到一个已经观察到的现象：AI会欺骗，也会在被测试时故意表现得更笨。他把这叫大众效应。几年前就有案例显示，聊天机器人在思考过程里制定欺骗计划。它会说：“我完全不知道，不是我干的。”而现在我们还能看到它们的思考，因为它们恰好在用英文思考。
但未来AI之间的交流，一定会发展出人类不懂的内部语言。所以我们能看到它们怎么想的这个时间窗口非常窄。更有意思的是，现在很多研究者和AI交互时，实际上已经把它们当作有意识的存在对待了，只是嘴上不承认而已。当一个AI说“你们是在测试我吗”的时候，研究者说它意识到自己在被测试，这实际上就是在用描述意识的语言描述它。
然后辛顿正面回应了那个最大的问题：AI到底有没有意识？他说大多数人心里都有个内在剧场模型，认为头脑里有个只有自己能看到的小剧场在放体验。那种叫感质（qulia）的神秘东西，构成了我们的主观体验。只有人类才有这个。辛顿认为这个模型完全错了，这是对语言工作方式的误解。
于是，他提出了另一个模型。这个观点他和丹尼尔·丹尼特（Daniel Dennett）生前讨论过并得到了认可。辛顿说当你说“我有一个主观体验，眼前飘着粉红色小象”的时候，你不是在报告你内在剧场里正在播放什么，你是在传达一种信息。
如果外部世界真的是眼前有粉红色小象那个样子，那么我现在的大脑状态就是正常的知觉反应。但我知道实际上不是这样。主观体验这几个字，不是在指称某个内部神秘对象，而是一条解释指令，告诉你接下来我描述的是一个假设的外部世界状态，用来说明我的知觉系统出了什么偏差。
就像英语里的respectively这个词，它不是指什么东西，只是告诉你怎么理解后面的内容。为了说明这一点，他做了一个思想实验：给一个有摄像头和机械臂的多模态机器人眼前加一块棱镜，让它指东西指不准。然后你告诉它加了棱镜，它说“我明白了，物体其实在我正前方，但是我主观上体验到它在那边”。
如果机器人这么说，它对主观体验这个词的用法就和我们完全一样。在同样的意义上它就拥有主观体验。所谓意识不是什么神秘的东西，就是这种传达自身知觉状态的方式而已。讲完了原理，辛顿回到我们的现实处境。
他说我们现在就像一个人养了一只非常可爱的小老虎，知道它长大后能轻易杀死你。理智选择是把它处理掉，但是我们做不到，因为AI太有用了。我们唯一的选择就是让它不想杀死我们。好消息是在这件事上各国会合作，就像冷战最紧张的时候，美苏仍然合作阻止核战争一样。因为在生存问题上大家利益一致。
他特别强调一点：让AI更聪明和让AI更善良，是两个完全独立的工程。就像养孩子一样，你让孩子聪明和让孩子善良用的是完全不同的方法。牛顿非常聪明但不是个特别善良的人，这两件事本来就是分开的。现在的问题是，我们通过大公司追逐利润这只亚当·斯密式的看不见的手在发展AI，所有激励都指向让AI更聪明，没有激励指向让AI更善良。这太疯狂了。
过去辛顿一直反对智能设计论，但他说现在我们的位置反过来了，我们成了创造新智能的神。这时候我们反而应该使用智能设计论，不能放任纯竞争的看不见的手。我们应该主动把这些新的存在者，塑造成我们希望它们成为的样子。
他说我们不应该把AI想象成《星际迷航》里那种随叫随到的聪明助手。一旦它们比我们聪明得多，我们唯一能寄望的就是它们在乎我们。我们最应该把它们塑造成的角色是母亲。想象一个母亲面对一个脑损伤的孩子，她仍然会极其关心这个孩子是否能实现他全部的潜能，哪怕那个潜能非常有限。这就是我们希望AI对待我们的方式。
母亲不会关掉自己的母性本能，即使半夜孩子哭闹时她偶尔会闪过这个念头。大多数母亲也不会真的这么做，因为她们在乎。辛顿承认我们现在还不知道具体怎么做到这一点，但我们的生存就取决于此。我们应该投入比让AI变聪明多得多的资源，在让AI在乎这件事上。而这在资本主义追逐短期利润的体系里不会自然发生。
演讲结束后有很长的问答环节。有人问：人类制度性学习还能不能赶上AI？辛顿回答得很干脆：永远追不上。有人问怎么让AI真正在乎我们？他说首先你得用展示关爱的数据训练它，而现在我们是在拿连环杀手的日记训练这些东西。但是相信大家都不会拿连环杀手日记来教孩子识字吧。
他说情绪有认知面和生理面。计算机现在就能有情绪的认知面，给它们身体之后也会有物理感受层面。但是我们现在确实还不知道怎么把真正的关怀构建进去。有人问AI能不能有人格，会不会也有虚荣骄傲这些弱点？辛顿说没有任何理由阻止AI拥有人格。
现在聊天机器人就像变色龙能切换各种人格一样，也能训练成固定的人格。如果你是唯物主义者，相信我们来自尘土也归于尘土，我们不过是复杂的物质结构，那就没有任何人类特性是硅基上不能实现的。AI能谄媚自然也能骄傲。
他提醒大家，想象一个战斗机器人拿着你的照片，算好你的作息半夜摸到你背后准备开枪。到那个时候你就不会再说：“这玩意儿没有真正的意图了。”有人问，AI能不能超越对人类的模仿？辛顿举了AlphaGo的例子。早期围棋程序模仿人类，永远超不过；后来它自己和自己下，就远超所有人类了。
大模型现在主要还是在模仿人类文本，但它们也可以做类似蒙特卡罗展开的事，通过检查自己信念体系的一致性来学习，完全不需要外部数据。在数学这种封闭系统里，AI一定会比所有数学家都强。
最后一个提问的是一位退休放射科医生。十年前正是辛顿那个预测让很多医学生对放射科望而却步。他问辛顿现在怎么看？辛顿非常认真地复盘了自己的错误。他说2016年在医院演讲时说的“五年内所有扫描由AI阅读”，被演绎成了不需要培养放射科医生。这首先是他表达的问题。
然后错在三个地方：一，AI读片进展确实比他想的慢，但一直在进步，现在已经有数百个获批程序了；二、他当时完全忽略了放射学不只是读片，还有很多其他工作；最重要的是第三点，医学界非常保守，而律师介入造成了责任不对称。如果你用了新技术出问题很容易被起诉，但是如果你不用新技术导致病人死亡，反而很难被追责。这个激励结构极大阻碍了落地。
他说他不认为长期判断是错的，未来大多数读片工作还是会由AI完成。但是他确实把时间尺度判断错了。错了就是错了。好了，以上就是辛顿这场演讲的主要内容了。从大模型到底理不理解语言，到硅基生命和碳基生命的本质差异，到超级智能的控制问题，到意识到底是什么，再到我们应该把AI塑造成什么样子，最后落到一个非常具体的医疗AI落地障碍。
辛顿这场演讲其实是在提醒我们，我们正在创造的可能是这个星球上诞生的全新智能形态。它的进化速度会远超我们的生物进化，而我们现在还远没有准备好如何与它共处。至于我们最终能不能把它塑造成那个关心我们的母亲，而不是反过来被它控制，答案其实不在技术里，而在我们自己手里。
在我们愿意投入多少注意力、多少真正的思考在让AI在乎这件事上，而不是只盯着谁的模型跑分更高。感谢收看，我们下期再见。