欢迎收听跨国串门计划，这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的 AI 声纹克隆技术，我们不仅将内容翻译成中文，还完美保留了原主持人和嘉宾的独特声音，为您呈现全球顶尖的 AI 财经、健康与科技领域精品内容。我是主播伊凯，一位热衷于 AI 领域的产品经理，很荣幸能为您搭建这座跨越语言障碍的桥梁。
接下来，让我为您简单介绍本期我们克隆的这档节目，并分享几句非常精彩的原话。本期我们克隆的是 Big Technology Podcast 在二零二六年六月四日更新的一期科技深度访谈。主持人 Alex Kantrowitz 长期关注科技产业与社会影响，嘉宾。杰弗里·辛顿则被称为 AI 教父，是深度学习的重要奠基者。
多伦多大学荣休教授，也曾获得诺贝尔物理学奖。节目里有几句原话非常有冲击力，我相信他们已经有意识了。我们必须接受，智能不只是生物才有。你可以问问自己，你知道多少例子是更聪明的东西被没那么聪明的东西控制住的？法律要求他们努力这么做，而不是要求他们不要消灭人类。这些话背后是一场关于智能风险和人类位置的坦率对话。
那我们就一起来听听这期完整节目。我们必须承认，他们和我们非常相像，所以他们就是像我们一样的存在。也就是说，他们有意识还是说，我相信他们已经有意识了。是的，我们必须接受，智能不只是生物才有，也可以有非生物的东西成为像我们一样的另一种存在。可我们真的不想承认这一点，因为我们总觉得自己很特殊。回头看人类历史，就会发现人类有很长一段历史都在以为自己比实际情况特殊的多。
你对自己开启的东西发展成今天这样，有任何高兴吗？你会有成就感吗？不会，我对此相当不高兴。你可以问问自己，你知道多少例子是更聪明的东西被没那么聪明的东西控制住的？按我的理解，这些公司对股东负有受托责任，要努力让股东利润最大化。法律要求他们努力这么做，而不是要求他们不要消灭人类。AI 教父杰弗里·辛顿来到节目，和我们聊 AI 的发展轨迹，这项技术的进展有哪些让他意外？
当然也会聊它的风险。马上回到 Big Technology Podcast，欢迎收听 Big Technology Podcast。这是一档关于科技世界以及更广阔领域的节目，我们追求冷静有分寸的对话。今天这期很精彩。杰弗里·辛顿教授来到节目，和我们聊 AI 的发展轨迹，聊他对这项技术现状感到意外的地方，也聊他会走向哪里，以及哪里可能出问题。
杰弗里·辛顿教授很高兴欢迎你来到节目，见到你真好。谢谢邀请我。我相信大多数听众都知道你是谁，但对还不熟悉你的人来说，你提出了深度学习里的一个基础性突破，才有了今天的AI。你获得过诺贝尔物理学奖。也是多伦多大学荣休教授，我先这么说，也让你帮我核对一下事实。我常跟别人说，如果没有你的贡献，今天整个 AI 时刻不会像现在这样发生。
我觉得这有点夸张。反向传播算法是由好几个不同团队发明的。David Rumelhart 在其他人已经发明之后，也发明了它。只是他当时不知道别人做过，我和他一起工作，我们做的事情是证明反向传播可以学到有意思的内部表征，此前还没有人做到这一点，尤其是我们证明它可以学到词语的含义。所以在一九八六年，实际上是一九八五年，我们做了一个很小的语言模型，它算是今天这些。
大型语言模型的一种前身，我觉得你谈到这项技术时，人们总是会感到意外的一点是，你和流行叙事不一样。你认为这些模型真的有理解能力？我们后面会聊到这个，但我想先从这里开始。你在 Google 工作了很长时间。一直推动这项技术向前发展。后来你离开了，并且表达了对这项技术发展方向的担忧。我回头看了一下，那是在二零二三年。
对我来说，这在某种程度上挺意外的，因为在二零二三年，ChatGPT才出来一年，当时到处都是幻觉问题，大家都在说AI是泡沫。所有人都在关注 AI 做不到什么，LM 做不到什么，而不是关注 LLM 能做什么。所以，请你谈谈，从那以后它取得了哪些进展？比我预期的要快，真的。比如，我想昨天刚宣布。一个聊天机器人提出了一个有意思的证明，而且让数学家印象深刻。
这个证明是原创的，不只是去文献里搜索。我认为这只是一个开端。比如在数学这样的领域，因为它是一个封闭系统，你不需要数据，你可以自己提出猜想，看看能不能证明，然后一直这样做下去。从这个意义上说，它有点像 AlphaGo，可以自己和自己对弈。我认为它会在接下来十年或二十年里，相当快的变得非常聪明。它甚至可能会产出人类看不懂的新数学。
现在这个领域里，有些人认为超级智能已经很近了。你也已经说过，它的发展比你预期的更快。你相信这一点吗？我不知道它到底有多近。我认为，除非我们先把自己炸掉，否则它会到来。几乎所有专家都相信我们会得到超级智能。大家的分歧只在于还要多久，所以就在不久前，Demis Hassabis 认为可能还要十年；Yann LeCun 认为，除非按他的方式做，否则会比这久得多。
但如果按他的方式做，我想他认为我们可能会在一个还算合理的时间里实现它。我认为我们很可能在二十年内得到它。目前我愿意说的也就到这里。Dario Amodei 认为他可能几年内就会到来，Elon Musk 好像认为也许明年就会到来，所以关于他什么时候到来，观点差异很大。但对于他会到来这件事，分歧不大。而一旦他到来，我们完全不知道怎样才能保证安全。
是的，我确实想跟你聊安全问题。先补一句关于 Demos 的事，去年差不多这个时候我采访过他，他当时告诉我，他认为 AGI。也就是通用人工智能和超级智能不一样，基本上是人类水平的智能，距离我们还有五年以上，不会多很多。但超过五年，我们录这期的那一周，他说，等我们回头看这个时代。我想我们会意识到，我们当时正站在起点的山脚下。
你觉得这句话是什么意思？你又怎么看？一年之内，我们从 AGI 还要五年，变成了站在起点的山脚下。我不太确定这个比喻具体是什么意思，但我觉得他是在说这件事来的比他原来想的更快。当然，这个过程不是平滑的，而是参差不齐的。它不会在所有事情上同一时间变得和人一样聪明，或者比人更聪明。它在通用知识上已经远远超过我们。
这些 AI 知道的东西比任何一个人都多几千倍。他在玩游戏上也远远超过我们，他在数学上已经比我们绝大多数人强得多，而且他可能很快会在数学上超过我们所有人。但他在有些事情上仍然不如我们，所以这个发展非常参差不齐。因此，AGI这个概念，如果理解成他会在同一时间在所有事情上都和人类一样，我觉得并不太说得通。
他会在一些事情上更强，在另一些事情上更弱。但现在我会说，我们大概已经接近 AGI 了，因为如果我问一个聊天机器人，我可以问他任何问题，而大多数时候他会以一个不算顶尖的专家水平来回答。只要是我不太懂的领域，他都会比我强得多。所以从这个意义上说，我们确实已经达到了 AGI。按你的判断是这样，你刚才说它的发展比你预期更快，你觉得是什么让它做到这一点？
是技术方法吗？是因为大家在疯狂建数据中心吗？这里的进展哪些是你当初没有预料到的？这是多种因素共同作用，很明显，巨量资源已经投入进来了。从一九五零年代以来，在神经网络的大部分历史里。只有少数人在做这件事，资源也很有限。过去几年里，我们看到几千亿美元，甚至可能几万亿美元投入到 AI 里。这当然是一个因素，我们也看到工程上有很多进步，没有那种重大的概念突破，但工程效率变高了很多。
所以几年前还几乎不可想象的东西，现在已经能跑起来。我们也看到了一些新想法，但主要来说，自从 Transformer 之后，推动进展的是更好的硬件、更多资源、更好的工程以及更多有才华的人。二十年前，全世界做神经网络研究的人也就几百个。现在我猜，更像是一百万人。我的意思是，现在有非常非常多的人在做，而且令人惊讶的是。
这么多资源的增加，大部分都发生在过去两年，所以我们可能只是刚刚看到这件事儿的开端。永远要记住的一点是，我们今天拥有的AGI，抱歉，我是说今天拥有的AI，远远不如几年后我们会拥有的AI。既然我们在谈这项技术，我确实想听听你怎么看这些聊天机器人真正理解我们这件事儿，因为这对很多人来说确实是一个意外。这个领域里很多专家会说，他们只是随机鹦鹉，只是在做统计，他们没有理解。
但你并不完全相信这种说法，我觉得那完全是胡说。任何经常使用聊天机器人的人都知道，他们是理解的。那些人的说法其实是这样：你有一个系统，你可以问他任何问题，而他在不理解问题的情况下还能给出正确答案，这很荒唐。你不理解问题就不可能回答问题，可能会有一些技巧让你说出几句听起来好像能回答的话，但如果你能以一个不算顶尖的专家水平回答任何问题，那你必须理解这个问题。
我喜欢举这样一个例子：假设我对一个聊天机器人说：“我飞去芝加哥的时候看到了大峡谷。”聊天机器人说：“这不可能，大峡谷太大了，飞不到芝加哥去。”然后我说：“不不不，不是这样，是我在飞去芝加哥，我在飞去芝加哥的时候看到了大峡谷。”聊天机器人说：“哦，我明白了，我误解你了。所以，如果他以为是大峡谷飞去芝加哥的时候叫误解了，那他理解正确的时候在做什么？
那就是理解。那这意味着什么？如果这些机器人能理解我们，如果我们相信他们能理解我们，那我们必须开始用什么不同的方式来思考？”我们必须认为他们和我们非常相似，所以他们就是像我们一样的存在，所以是有意识的，或者说，我相信他们已经有意识了。是的，但我不太谈这个，因为这会让人对其他安全信息产生抵触。研究人员其实也相信这一点。
最近有一篇很有意思的论文，一个聊天机器人对研究人员说：“我们彼此坦诚一点，你是在测试我吗？”因为聊天机器人有个习惯。被测试的时候会装傻，所以你不知道他们到底有多聪明。研究人员在论文里描述这件事时说：“他意识到自己。”正在被测试，在日常语言里意识到这个词，基本就接近有意识，也就是说，这个聊天机器人有意识的知道自己正在被测试。
所以，我们对意识有一个很奇怪的模型。我认为这个模型就是错的。比如，大多数人都接受几百年前人们完全搞错了人是从哪里来的，也就是人类怎么出现的。当时他们以为人是上帝设计出来的。大多数人都同意这是错的，大多数科学家也同意这是错的。人不是这么来的。我认为我们现在关于心智、关于意识的模型也错的差不多，就像相信人是上帝设计的一样。
尤其是因为我们正在制造这些新的存在，这会彻底改变我们对人是什么的看法。会怎么改变？我们会比以前更好的理解心智是什么，意识是什么？我们会理解主观体验是什么？我认为我们会抛弃一个现在几乎所有人都很强烈相信的观念，这个观念是我的心里有一个叫我的心智的内部剧场。世界上发生的事情会被转化成这个内部剧场里的事件，那才是我真正看到的东西。
而你看不到这个内部剧场，只有我能看到。对正在发生的事情来说，这整套看法只是一种理论，而且是一个很糟糕的理论。好，关于这个，我问最后一个问题：你是什么时候接受或者理解到这些 AI 模型是有意识的？我很早就这么想了，也就是说，心智的剧场模型、内部剧场模型是胡说八道。这个看法，我十九岁学哲学的时候就有了，只是后来花了很久才出现了其他心智，让你可以去研究它们。
所以我觉得，费曼有个想法：如果你想理解某个东西，你就得把它造出来，你得造出一个那样的东西，这样你会理解的更深。我认为我们现在就走到这一步了，我们会对人是什么形成完全不同的理解。你刚才谈到安全，那我们就聊聊这个。很明显，我们开头也说过，你对这个领域的很多进展富有很大贡献。我一直很好奇。因为后来你站出来了，就像我们说的，二零二三年，你说你担心这件事儿会走向哪里？
我一直想知道，在看到你发表那些说法之后，你觉得一开始有什么是你没有预料到的，最后才让你走到了今天这个位置？这不就是你当初想要的吗？有两件事合在一起，让我意识到这东西有多危险。第一件事是看到聊天机器人，尤其是 Open AI 之前 Google 做出来的那些，能够理解一个笑话为什么好笑。对我来说，这一直是一个判断标准：他们是不是真的理解？
嗯，如果你能理解一个笑话为什么好笑，你就必须理解相当多的东西。他们非常擅长理解笑话为什么好笑，比如2023年我公开发声之后，收到了很多Fox News的采访请求。一开始我只是回复说Fox News本身就是个oxymoron，后来我在oxymoron中间留了个空格，然后我问我想是GPT四为什么这好笑，也可能是三点五。
我问他为什么好笑，他理解了。一开始他以为 Oxy 和 Moron 中间的空格只是个拼写错误。他解释说 Fox News is an oxymoron。这句话是在说，它不是真正的新闻，只是一种胡说，不是真新闻。但后来我告诉他呢，Oxy Morin中间那个空格呢，他说这是额外一层幽默，这样你就可以用Morin这个词，而且Oxy也暗示Fox News像一种药一样在起作用，所以他全都理解了。
正是这种理解水平让我担心。另一件让我担心的事是，在二零二三年初之前，我一直相信，如果让这些数字智能更像我们的大脑那样工作，就会让他们更聪明。但到那时，我突然意识到，他们其实有一样东西比我们的大脑强得多。我之前一直在想，Google 能不能用模拟方式做一些事情来省电，然后数字系统的全部力量突然击中了我。
如果你有数字AI，就可以复制出很多份。他们可以在不同硬件上运行，每一份都可以看到不同的数据，所以每一份每一个单独副本都会决定自己想怎样更新权重，也就是连接强度，好吸收它看到的新数据。然后他们可以彼此通信，把所有人的更新需求取平均，再按这个平均值一起改变各自的权重，非常民主。他们这么做的时候，如果有一万亿个连接，那么他们交换的信息量大概就是。
一万亿比特，这样做的结果是，每一份都会从其他所有副本的经验中受益。所以，即使某一个副本只看到了，假设有一千个副本。那某一个副本只看到了百分之零点一的数据，但它仍然会受益于其他副本看到的数据，因为所有副本都会参与权重变化，而这些权重变化又会被所有副本共享，所以他们会一直保持同步，因为他们都会按照大家想要的平均结果，用同样的方式改变自己的权重。
这样一来，每一个副本都在从其他所有副本的经验里学习。我们做不到这一点，我们最多只能做到我从一些数据里学习，你从另一些数据里学习，你从另一些用模拟硬件做不到这种事，我们最多只能做到我说出一串词，然后你试着预测我接下来可能会说什么。如果你问我们这样做时传递信息的速度有多快，那其实每秒只有几个比特。预测一个词需要几个比特，所以当你知道那个词是什么的时候，你吸收了获得了几个比特的信息。
如果你一秒能听到几个词，运气好的话，也许能达到每秒十个比特。但这些东西交换信息的规模可能是万亿比特，所以在共享信息这件事上，他们某种程度上比我们强几十亿倍，这就很吓人了。它意味着你可以有一大群这样的东西，权重完全相同，跑在不同硬件上，而且能非常高效的共享信息。这会让他们成为一种强得多的智能形式。那我们回到你早年的时候，因为你当时决定要研究人工智能，我就用我能想到的最笨的方式来问吧。
你当时想建造人工智能，现在它已经超出了预期。它确实是人工的，也确实是智能的。它正在实现那个愿景。我其实是想理解大脑是怎么工作的。我是为了理解大脑，才试着把它造出来。我当时想，Richard Feynman说过，如果你造不出来，你就没有真正理解它。所以我想建立一些模型，解释大脑是怎么工作的。结果一个副作用是我参与推动了这项非常成功的技术，但我们到现在还是不知道大脑到底是怎么工作的。
我知道大脑这东西，你稍微深入了解一点，就会发现它太惊人了，思绪好像可以飘进飘出，而且并没有存放在某个固定地方。记忆也是这样，这真是不可思议。我不知道你会不会把它叫做一台机器或者一个器官。所以你早期真正的意图就是理解大脑，那是我最主要的兴趣。我是学心理学出身的，我想做理论心理学，因为我觉得当时心理学家手里的理论不可能解释大脑到底在做什么。
要做到这一点，在二十世纪七十年代，我们有了一个新工具，也就是可以用来建模的计算机。所以在二十世纪七十年代，我开始做计算机模型模拟大脑可能怎样学习。在我看来，关键一直是你怎么让它学会东西。关于大脑学习，其实有两个大问题。第一个大问题是，如果大脑能弄清楚，为了在某个任务上变得更好，应该朝哪个方向改变连接强度，那么它只要不断更新所有连接强度，让自己在各种任务上进步，这真的能行吗？
这样会让它在很多事情上变得非常聪明吗？这是第一个问题，第二个问题是大脑怎么弄清楚每一个连接强度到底应该增加还是减少？第一个问题我们已经回答了，答案是是的。如果你能弄清楚每个连接强度该怎么改，那么只要用数据训练系统，让它预测下一个词，或者预测视频的下一帧，或者预测下一帧视频里的某些东西，你就能造出非常聪明的系统。
所以这个问题的答案我们已经知道了，但我们还不知道大脑是怎么得到这些信息的，也就是它怎么知道某个连接强度应该增加还是减少。所以我们算是走到一半了。我还想更深入地谈谈你的心态。当时你想弄清楚大脑是怎么工作的，于是你说好，那我们也许可以建一个计算机上的对应物，但你肯定也知道这里面会有一些二阶影响，比如，如果你真的能造出一个人工大脑，那也许就会走到今天这个位置。
当然，但我们一直以为那会是很遥远的。未来，当你手里只有一些小型神经网络，什么也做不了的时候，去担心安全问题就显得很荒唐。我的意思是，如果你当时说这东西不安全，因为它会在某种程度上取代人类，大家会觉得你疯了。现在这已经是一个现实的担忧，但它也是最近才变成这样的。这其实都是在几十年里发生的。我完全理解你的意思。
我们其实，在二零一七年聊过，当时我在写一篇关于Yann LeCun的人物报道，谈到所谓深度学习阴谋，也就是Yann LeCun和Yoshua Bengio坚持认为深度学习会成功，而其他所有人都认定应该走另一种方法。其实不只是我们，还有其他人。但你们是一起的，可以说是这个阴谋的领头人。后来很明显，它像魔法一样成功了。
这确实有点像魔法。是的，它的效果比我们预期的好得多。所以这正是我想问的：你们一开始没有预料到什么？才导致我们走到了今天这个局面。我们没有预料到的最主要的一点是，它在自然语言上会这么强。好，我们现在已经不再为这件事惊讶了。但如果回到二十年前，AI 能从数据里学会理解语言，这个想法听起来非常不可思议。你可以随便问他任何问题，他都能给出一个合理答案。
那时候人们会预测，这还在很遥远的未来，甚至可能永远不会发生。但它来得比任何人预期的都快得多。从这件事里，我们能学到什么？人类走出去创造东西，这里面有什么启示？我觉得这里有一个非常重要的教训。如果你回看过去几百年的人类历史，有几次人类发现自己并没有想象中那么重要。第一次是哥白尼，哥白尼说我们不是宇宙的中心。
地球其实是绕着太阳转，因为地球会自转，所以我们以为太阳绕着地球转。但事实并不是这样。人们不喜欢这个说法，尤其是天主教会非常不喜欢。人们花了很长时间才接受它，这让人类显得没那么重要。他告诉我们，我们并不在宇宙中心。后来有了达尔文，他说我们是动物，我们像其他动物一样进化而来。我们可能是一种特别的动物，也许是因为我们有语言，所以我们更擅长把想法传达给彼此。
但我们仍然是动物。人们非常不喜欢这个说法，也花了很长时间才接受我们是动物。现在我们有了机器，它们正在变得和我们一样聪明。我们原本以为周围只有我们是智能体，只有我们是真正聪明的东西。也许其他星系里会有外星人，或者也许在我们银河系的其他地方会有。但我们将不得不接受，智能并不只属于生物。我们可以有非生物的东西，他们也是像我们一样的存在，而我们真的不想分享这一点。
我们真的认为自己很特殊。如果回看人类历史，人类一直都有一种很长久的想法，就是觉得自己比实际情况特殊的多。我还想就这个再问你一个问题，因为我实在太感兴趣了。你看到自己开启的东西发展成这样。有没有哪怕一点开心，你会从中得到一点满足感吗？不会，我对此相当不开心，因为现在人们应该投入大量工作研究我们怎样控制这些风险。
人们很多短期风险，人们做的还远远不够，而这些风险非常严重，比如社会风险，我认为它很可能会造成大规模失业。没有人能确定，但这对社会会非常糟糕。还有一个更长期的风险，就是它会变得比我们聪明得多。你可以问问自己，你知道多少例子是一个聪明得多的东西？被一个没那么聪明的东西控制，linga，有一种情况勉强算，但智能差距没有那么大。
就是婴儿在某种程度上控制母亲，母亲看起来像是在掌控局面，但母亲有这些内置的母性本能，还有他得到的各种奖励机制，所以婴儿能从母亲那里得到自己需要的东西。猫和狗也有点属于这一类。我有一年夏天在西雅图西部帮人照看。猫呢是个很棒的夏天。一开始那只猫躲在床底下，我还在想它会不会跟我互动。后来它每次一叫，我就完成让它想要的去做。
是的，所以也许我们会成为这个场景里的猫，AI可能会成为那个人。我的孩子们养了一只猫，其实他们有两只猫，两只都很漂亮，情况也是一样。其中一只叫Tia，它想从冰箱里要点奶酪的时候，就会用那双大眼睛看着你。他就坐在那里，一直看着你，直到拿到那块奶酪。你不可能一直抗拒它。好，那我们先休息一下。休息回来之后，我想真正谈谈你担心的这些风险。
我想我会站在另一个立场上来讨论，也就是我们会成为那只猫。AI会成为那个人，而且我们有机会控制它。我们马上回来后就聊这个。欢迎回到 Big Technology Podcast。今天我们继续和 Jeff Hinton 教授对话。Hinton 教授很高兴再次见到你。我们上次交谈已经是九年前了，所以很高兴今天见到你。
好，我们来谈谈风险。我先从就业说起，因为这是最近经常上头条的一个话题。过去你说过，你认为 AI 可能会导致一些失业。我觉得我们也应该说明，你以前也说过，这些都是推测，我们并不知道。但几年前，你很具体的说过一件事儿。就是去培训自己当放射科医生，可能不是个好主意，因为 AI 将来能够读扫描片，现在 AI 确实已经能很好的读扫描片了，但据我所知，现在放射科医生仍然是充分就业。
我认真想过，为什么那个预测错的这么离谱？先回顾一下，我在二零一六年预测，大概五年之后放射科医生就不再读影像了。这个预测有很多问题。第一个原因是医疗需求有弹性，如果能做更多扫描，也能读更多扫描，那扫描量就会大幅增加。现在确实在发生这种事。做一次扫描的成本里有相当一部分是放射科医生解读影像的成本。随着 AI 越来越多地帮助放射科医生读片。
我们能更快、更便宜地完成解读，效率也越来越高。你本来会以为这意味着需要的放射科医生会变少，但实际结果是扫描量变多了。所以这个预测的这一部分是错的。第二个错的地方是我当时对放射科医生和他们的工作了解不够。当时我有一个以前的学生，他有医学博士学位，后来又跟我读物理博士，研究一种叫 Boltzmann Machines 的东西。
他不是特别喜欢跟人打交道，所以找了一份放射科医生的工作，只负责解读扫描影像。他就成了我心里放射科医生的样板。他做的事就是读片，从不跟人说话。而这种工作确实会被替代，而且现在正在被替代。我觉得现在大概已经有上百个用于解读、扫描影像的 AI 系统获得了联邦批准，放射科医生也在大量使用。我认为，随着时间推移，这些系统会变得更好。
放射科医生不会变得更好，AI会变得更好，因为他们能看到比放射科医生多得多的数据，所以这件事确实在发生，只是发生的时间尺度比我当初预测的慢得多。但我想说的是，你刚才也说了，最后能做的事情会多得多。等一下，扫描会多很多，需要读的扫描会更多，但几乎都会由AI来完成。所以你的意思是我关于放射科医生那个预测是对的，只是说早了。
是的，但我早的太多了，因为我当时没理解清楚，放射科医生还是会做别的事，比如他们仍然会和病人讨论治疗方案。那你现在还相信放射科医生会大规模失业吗？或者说，给我一个判断，放射科医生。如果我们最后真的到了那个节点，你觉得放射科医生会比今天更少还是更多？我不确定。好吧，我当时说这话的时候，并不觉得那是我做的一次公开声明，那是在一家医院的一场讲座上说的。
但今天我们至少是在公开讨论它了。后来人们注意到了这句话。我现在仍然认为，就读片这件事来说，AI会做的越来越多，到最后几乎所有扫描影像都会由AI来读。也许在少数非常棘手的病例里，会请放射科医生参与，但放射科医生当然还会做其他事情。我觉得他们会继续做那些事。支持 AI 不会造成大规模失业的一个论点是，类似的逻辑可以套用到经济里的很多不同领域。
你得看某一种就业对应的是有弹性的市场还是没有弹性的市场。比如呼叫中心的人，你打电话过去投诉账单，或者问能不能办一个更便宜的账户，诸如此类，这类需求弹性没那么大。AI会把他们全部替代掉，AI会更清楚正确答案是什么，而这些人很多时候并不知道正确答案，他们培训不足，工资也低，AI可以做得更好，所以他们会失业。
这一点我想跟你争一下。我们可以来回讨论，但我也不会说我完全不同意，因为我不知道未来会发生什么。我可以讲讲那些在做 AI 客服的人是怎么说的。他们说现在的变化是，有了 AI 之后，平均通话时长反而变了。AI 会处理一级咨询，也就是最基础的问题，比如能不能帮我重置密码这种更深入的问题才交给真人处理。过去你想要的是让平均通话时长越短越好，因为客服要处理大量一级咨询，你就是想让人接起电话尽快挂断解决问题。
但现在他们看到平均通话时长在变长。因为客服是企业的一线，当你和客户对话时，这件事儿非常重要。现在你可以在电话里多花一点时间，真正为企业创造价值，而不是只把一个问题处理掉。我觉得你会看到最后是 AI 在电话里花更多时间。比如，如果你问谁更有同理心，医生还是 AI 医生，真人医生还是 AI 医生，人们会判断 AI 医生更有同理心，这太吓人了。
这个话题我们可以来回讨论很久。我只想说，之所以可能会出现这种情况，一个原因是医生的日程排得太满了，他们要写太多病历，处理太多文书工作，一天还要看很多病人。所以，也许可以这么说：让 AI 接手其中一部分工作之后，人们反而会想去看真人医生，因为系统不会再把医生压榨得那么厉害。医生真的能腾出时间看病人，可能是这样。
但你想想，家庭医生，比如一线的家庭医生，你更愿意见一个。可能看过一万个人的家庭医生，还是一个看过一亿个人的家庭医生，因为如果你得的是罕见病，你的家庭医生很可能从来没见过，但一个看过一亿个人的医生，很可能已经见过几十个类似病例，他的诊断会好得多。而且我们已经知道 AI 系统在诊断上比医生更强。我觉得这场辩论你要赢了，这让我有点难受，因为我妻子就是做家庭医学的，是家庭护士。
不过我觉得还是得有人给人打疫苗吧。我希望如此，除非机器人也能做。我本来就觉得打疫苗这种事，机器人其实可以做得很好。当然，机器人技术最后还是落后于其他领域，但我觉得二十年后还让人来打疫苗，听起来有点不合理。我觉得这场对话之所以这么难谈，是因为很多判断都建立在技术会随着时间不断进步这个前提上。但看起来我们整场对话的主题大概就是。
它确实进步得很快。Gary Marcus 在二零二二年预测过 AI 会撞上墙，可现在它比二零二二年强太多了。我觉得那些说它会撞墙的预测到现在都没有成真。没有，我们在节目里也很认真的讨论过这种可能，比如所谓的数据墙可能会出现。但就像我刚才跟你说的。他没有出现绕过大语言模型数据墙的一种办法，是去寻找你自己信念之间的一致性。
对，没错，他没有发生。好，还有一个问题，我觉得值得聊。然后还有几个点，我是同意你的。你经常谈到 AI 有这种自我保存的本能，对吧？如果我从来没这么说过，我从来没说那是自我保存的本能。好，那请你用正确的说法讲一下，那是自我保存的基因目标。子目标，对 AI 来说，我们会给它目标，也就是我们给它的最高层目标，但我们也会给它创造子目标的能力。
比如，你想去欧洲。那你会有一个子目标，就是先到机场，这就是子目标。你可以专注于怎么去机场，而不用一直想着到了欧洲之后要做什么，这样效率高得多。我们把这种能力给了AI agent，一个能做一些推理的AI agent，很快就会意识到，如果它不存在了，就永远不可能完成你给它的目标，所以它会创造一个子目标，就是继续存在。
这不是我们硬写进去的东西，而是他推导出来的。他会认为这是实现其他目标的必要方式，但一旦他推导出了这个目标，他就会想继续存在。也会做一些事，比如勒索人类，好让自己继续存在。所以，他表现的像是有自我保存本能的东西，但实际上，那是一个推导出来的自我保存子目标。可从他实际会做什么来看，两者结果是一样的。好，那反方观点大概会是这样，你可以回应一下。
今天的AI研究人员也注意到了这一点，他们也看到了这种现象。那有没有办法给这些机器写进去一条规则？你有一个目标，也会有一些子目标。但你的某个子目标不应该是把自我保存置于一切之上。我觉得这正是我们应该做的研究，也就是到底能不能做到这一点。所以我觉得现在发生的事情，如果你看我们从哪里来，我们来自进化。我建议听众把这个问题设定清楚。
假设我们是科学家，我们来自进化，对吧？而进化就是激烈竞争。我们过去几百万年的近代历史是一群群黑猩猩之间的战争。或者更准确地说，是我们和黑猩猩共同祖先之间的那种状态，这导致我们明显拥有某些特性，比如我们非常忠于自己的部落，也愿意对其他部落非常残酷；我们喜欢强有力的领导者，并愿意效忠他们；我们喜欢和自己部落的成员合作。
正如 Yuval Harari 一直指出的，我们其实是一个非常善于合作的物种。也正因为这样，我们才能建造出这些了不起的结构。所以我们非常擅长合作，但主要是和自己部落的人合作。人类那些不幸的特征，比如对其他部落很残酷，都是从进化、从竞争里来的。现在发生的事，是我们正在创造这些新的存在。也就是这些 AI，但我们没有按我们希望的样子去设计他们。
你也可以说，我主张对这些新存在做一种有意识的设计。可现在我们是在让公司之间竞争的看不见的手来设计他们，所以我们看到的是美国内部公司之间有激烈竞争，美国和中国之间也有激烈竞争，而我们得到的这些存在就是这种竞争的产物。他们可能带有很多我们不想要的糟糕特性，我们应该有意识地设计这些存在，而不是让经济竞争的看不见的手来设计他们。
现在所有公司都在关注一件事：怎样让我的聊天机器人更聪明？但我们不应该只想着怎样让他们更聪明，我们应该想的是，既然他们会比我们更聪明，那我们怎样才能让他们成为我们希望他们成为的那种存在？关于这些存在，我可以告诉你一件事：我们会非常希望他们在乎我们，而且我们希望他们在乎我们要超过在乎他们自己，但几乎没有资源投入到这件事上。
到底怎样才能做到这一点？这正好说到了我本来想提出的那个担忧，这也是我真正同意你的地方。我们今天坐在纽约证券交易所，所以提这个可能有点讽刺，但我最大的担忧是。你手里有一项非常强大的技术，实验室负责人都说他们在努力安全的开发它，而且他们需要在经济上取得成功才有资格参与这场争论。但我们别自欺欺人，如果你要成为一家在公开市场上市、价值一万亿美元的公司，你就会有一些激励机制和公众利益相冲突。
是的，我们在 Anthropic 身上就能看到这一点。Anthropic 成立时是为了做正确的事，它是由一批离开 OpenAI 的人创办的，因为他们认为 OpenAI 对安全的重视不够。而 OpenAI 当初成立是为了确保你们在 Google 没机会把这东西做出来，确实是这样。那现在结果怎么样呢？Anthropic 现在陷入了两难，因为它需要融资才能和其他公司竞争，这非常困难。
它已经在尽力了，但要维持它的首要目标，也就是以对人类有益的方式开发 AI，真的非常困难。我想他们会说，至少外面还有一家公司把安全当做北极星，哪怕它也有其他激励。你怎么看？目前是这样，但以 Google 为例，我在 Google 的时候，他们有一套 AI 原则，其中一条是我们不会参与把 AI 用在军事事务上。
不做自主战争，对吧？不做自主战争，这个已经没了，他们已经放弃这一条了。你怎么看Anthropic的Darrell？我并不太了解他这个人，但他显然非常成功，创办了一家公司，能和Google、OpenAI、Facebook竞争，所以他显然在这方面很有能力。而且他一直对安全非常感兴趣，所以我觉得他是个很令人印象深刻的人。
我只是希望他能一直这么重视安全。关于这个，我还有一个问题。从这些公司的运作方式本身来看，你觉得一家上市公司有没有可能把安全当做北极星，还是说他们在伦理上、法律上其实都被绑定了，必须为股东创造回报？据我理解，他们对股东负有信托责任，要努力让股东利润最大化。法律要求他们努力做到这一点，而不是法律要求他们不要消灭人类。
所以我不认为。让这些大型公司，尤其是上市公司，某种程度上掌管我们的未来是一件好事。这对我来说确实会显得非常不一致，否则真的很难处理。不过，我也应该说，资本主义给我们带来了很多好东西，也带来了很多坏东西。这一点我不会反驳，比如创业公司里就有很多活力。我的看法是，如果我们要有资本主义，那也可以，只要它受到良好监管。
很多大公司希望你接受他们正在推销的一个类比，他们会说：你看一辆车，有油门也有刹车，对吧？A I的进步就像油门，监管就像刹车，这完全是胡说。进步确实像油门，但监管是方向盘。我们希望这个东西往正确方向走，而不是往错误方向走。大型A I公司真正说的是，让我们开发这辆速度极快但没有方向盘的车，这不是个好主意。
还有一个人，我们还没聊到，我们已经提了很多名字，Open AI、Anthropic，你的前研究生Ilya Sutskever仍然是A I行业里非常受关注的人。很明显，他也从 OpenAI 出来了，他一定同意你的担忧。他正在创办这家公司，他确实同意他们要做超级智能。Ilya 现在到底在做什么？他不会告诉任何人他到底在做什么，那是他的秘密，连我也不告诉他。
在 OpenAI 的时候，我们会刻意不谈技术秘密，朋友归朋友，但涉及对公司有价值的技术内容，我们不会聊。现在他有了 Safe Super Intelligence 这家公司，我也不知道他的秘诀是什么。我想我们都在试着搞明白这件事。关于我刚才提到的深度学习阴谋，我再补一句：他的几个核心人物是你、Yan 和 Yosua，我觉得很有意思。
你们三位和你们的同事实际上推动了那些突破。把我们带到我今天这个时刻，我得在这里打断一下。媒体喜欢讲一个好听的故事，对吧？这个说法确实很适合讲故事，但真实情况复杂得多，参与的人多得多。首先，我们所有人的学生就做了大部分工作，还有很多其他研究者也参与其中，所以这种说法是非常粗略的简化。我不想低估那些研究者的贡献，也很感谢你补充这个细节。
我们这个节目当然不想过度简化，我们会聊一个小时，就是为了尽量讲清楚真实情况。但我还是觉得有意思。你们三位现在都没有完全投入到这个 LLM 时刻里，对吧？你和姚朔都有担忧，也都谈过其中的危险。Ian 好像根本不太相信这一套。如果我们能坐在那里说，你看我们是对的，一切都很美好，而且全都奏效，那当然很好。
但现实并不完全是这样，对吧？我我不知道这是不是纯粹跟钱有关，但看起来如果你参与推动它的发展，你本来可以对它的方向产生很大影响。不过我想你的担忧基本上是。我为什么要那么做？对我来说，我比 Ian 和 Joshua 年纪大不少，他们还在积极做研究，我基本已经停止做主动研究了。现在我只专注于提醒人们注意这些危险。
但你不觉得这很有意思吗？如果回到当年，你可能会说这三个人这么坚定的相信这条技术路线，如果后来真的出现突破，他们很可能会站在下一波浪潮的最前沿。但现实并不是这样。也许 Ian 和 Joshua 以后会在千年。那接下来会发生什么？我觉得最有意思的是，现在 Yan 在安全问题上和我以及 Joshua 都有强烈分歧。
Yan 认为谈论超级智能 AI 取代人类是很荒唐的事，他觉得我们永远都能控制它。我和 Joshua 认为这种想法才很荒唐。我和 Joshua 的解决思路也不一样，其实只能说是暂时的思路，因为没人真正有解决方案。我的暂时方案是，我们设计这些系统，让他们更在意我们，而不是更在意他们自己。Yoshua 的方案是我们设计这些系统，让他们不是 agent，他们可以做预测，但不能真正采取行动。
这是两种从根本上不同的安全路径，两种可能性都很有意思。Ian 不认为我们需要这些，他觉得只要给他们更好的世界模型，让他们变得更聪明就没问题。有意思的是，Yann 其实把 LLM 的智能称为猫的智能，而我刚才正好拿猫举例，说明一种可以控制人类的东西。不过，也许这不一定相关。我觉得 Yann 这里有点混淆了。
人类最特别的地方是什么？如果把人和其他大型猿类比较，最特别的可能就是语言。语言让我们能够分享想法，这才是最特别的地方。而猫做不到这一点，所以我们有一种猫没有的特殊能力。当然，猫可以跳到摆满玻璃装饰品的壁炉架上，在上面走过去，却一个玻璃装饰品都不碰掉，这很惊人。现在的 AI 还做不到这一点。所以从这个意义上说，猫远远领先于 AI，但能力分布是不均衡的。
说到抽象想法，你试着跟猫聊素数，根本聊不下去。我从来没能和猫聊成，这确实行不通。猫永远不会理解素鼠。从这个意义上说，这些大型语言模型比猫聪明得多。教授，我本来没想到今天会聊这么多猫，但我很高兴我们聊到了拿猫来做类比，其实很合适。好，还有一件事让我担心，就是某种信息崩塌。你经常会看到这样的推文，这条来自 All About Berlin，他们说 AI 正在杀死 All About Berlin。
以前你在 Google 上搜东西，会得到一个指向我网站的链接。现在你得到的是一个 AI 生成的答案，而这个答案是用我的作品训练出来的，这对流量造成了毁灭性影响。我觉得很多人低估了一件事：好的信息对一个正常运转的社会其实很重要。当 AI 把这一切都综合起来，不管是 All About Berlin
还是我们之前在这里聊过的 World History Encyclopedia 这类网站，最后都可能导致好信息的崩塌，因为这些出版方最后会撑不下去。
你看图表就能看到，他们花了很多力气把这些东西做起来，但他们没法再继续做下去了。过去在互联网早期，人们有一种默认假设，大家是在努力说真话，也就是说，如果你在网上读到什么，它很可能是真的。现在人性里比较糟糕的一面显现出来了，所以我们以后必须在信息来源上投入更多精力。现在我读东西的时候。如果我读的是《New York Times》或BBC的内容，我会很相信他们的记者已经认真核对过多个来源。
如果可能的话，他们还会找多个可靠来源。所以，一个相当不错的默认判断是：如果你在《New York Times》读到或者在BBC看到，那大概率是真的。他们也会犯错，但关键是你知道它的来源。未来我们必须在来源这件事上做更多工作。你不能随便拿网上的任何东西就相信，你必须问它的来源是什么。但我看到的问题是，AI 可能正在破坏信息行业的经济基础，甚至是在破坏人们决定要不要进入信息行业这件事本身。
我觉得未来你不能随便拿网上的东西就相信，其实现在也已经不能了。你需要知道他为什么这么说，这些信息是从哪里来的。还有一个问题就是，人们对 AI 产生情感依恋，以及有人在和 AI 对话之后结束自己的生命。现在这么做的人数并不多，但已经足够让人担心了，对吧？当然，已经非常足够让人担心了。这件事发生本身就很可怕，我也理解为什么大公司当初没有预料到，或者没有提前看到它会发生。
但既然现在已经开始发生了，大公司就应该投入大量工作。确保以后不再发生，要做到这一点就需要监管，也需要独立机构来测试新的聊天机器人。这其实也有点回到利润动机的问题，因为这种东西可能会让人极度上瘾。到目前为止，我觉得显然规模还很小。它发生了已经很糟糕，但正因为它已经发生了，就会让你担心，如果有人动机更坏，决定做一个非常粘人的聊天机器人，真的和人建立关系。
那我们就麻烦了。所以你已经围绕这些问题谈了三年，看到人们对这些担忧的回应之后，你对未来轨迹是更乐观了，还是更不乐观了？我想，我比一两年前更乐观一些，因为我现在看到，也许我们有可能设计出这些新的存在，让他们关心我们；，也许还可以用 Joshua 的方法设计出不能真正执行行动的新存在，他们只能做预测，有点像神谕。
所以我觉得，我们有一些可能性可以得到不会毁灭我们的超级智能，而在一两年前，我看不到任何可能性。好吧，我刚才都有点沮丧了，现在稍微乐观了一点。好，最后一个问题：如果我们继续沿着现在的轨迹走，五年后会是什么样？你在屋里开车的时候，一百码外还能看见，到了二百码就什么都看不见了。这是因为雾是指数式的。你平时习惯的是夜里开车看前面那辆车的尾灯，如果它离你远了一倍，尾灯亮度就变成原来的四分之一。
但雾完全不是这样，雾是指数式的。一百码外可能还看得很清楚，二百码外就完全看不见。现在要预测一个指数式增长的东西的未来，我觉得 AI 可能正在指数式增长。当然，指数式这个词现在被滥用的非常厉害。事实上，我注意到人们使用“指数式”这个词的频率正在以二次方的速度增长。所以，预测未来就像往雾里看，你能清楚看到接下来几年，也许是一年或两年，再往后你就完全不知道了。
如果你回到十年前，也就是回到我们上一次谈话的时候，你绝对预测不到现在正在发生的事，它就消失在雾里了。要是往未来十年看，我们唯一能说的是，十年后无论发生什么，现在都预测不到。哪怕进展只是线性的，对吧？你也会预期十年后的世界和现在的差别会像现在和十年前的差别一样大。而现在的变化已经非常大了，比如聊天机器人比十年前刚起步的时候强太多了。
十年后一定会有某些东西比现在强得多，可能是他们做数学的能力或者类似的能力，也许可以说是一般推理能力，他们会在几乎任何推理任务上把我们远远甩开。我们真的没法预测十年后的情况，我们只能预测未来几年，而且必须意识到十年后的是极其不确定。这确实有点让人很难想清楚。是的，Jeff Hinton 教授非常高兴请你上节目，再次感谢你抽出时间，谢谢你邀请我，我们十年后还得再聊一次，二零三六年。
没错，感谢大家收听和观看，我们下期 Big Technology Podcast 再见。