大家好，这里是最佳拍档，我是大飞。《人类简史》的作者尤瓦尔·赫拉利最近和《经济学人》总编辑赞妮·明顿·贝多斯（Zanny Minton Beddoes）面对面聊了将近一个小时。这场访谈的切入点很有意思，主持人说她之前采访过埃隆·马斯克（Elon Musk），马斯克对未来给出了三个判断：第一，AI智力会远远超越人类；第二，物质会极大丰富；第三，人类大概率不再掌控局面。她问赫拉利认不认同，赫拉利说第一和第三他基本同意。
按照现在的发展速度，十年后AI的智力很可能超越人类，控制权也会易手。但他对第三个判断加了一个限定，认为这不是不可避免的。他说主导AI革命的人现在不断在宣扬这是不可阻挡的，这本质上是在推卸责任，意思就是既然说不可阻挡，那就不怪我了。赫拉利的态度很明确：2026年的今天我们仍然掌握着控制权，接下来怎么走取决于我们的决定。
赫拉利还指出了一个很有意思的矛盾：马斯克一方面说AI十年后就接管地球了，另一方面又极其担忧二十年后穆斯林移民会在英国内战。赫拉利说这根本说不通，如果AI十年内就接管了地球，你还操那个心干嘛呢？还有马斯克说十年后金钱会消失因为AI会接管整个金融系统，这个判断赫拉利倒是觉得说得对。
他打了个比方说就像今天人类金融系统控制着牛和鸡的生活，但牛羊根本不知道金融为何物一样。十年后我们很可能就是那个处境：金钱还在，但不再有人类能理解的金钱。然后马斯克又说为了省钱要削减对非洲的援助，赫拉利就问：你都说十年后钱都不存在了今天省那点钱干嘛呢？这不是自相矛盾吗。
主持人也觉得这些矛盾让她困惑，但她更想深挖的是AI如何接管控制权这个问题。金融系统建立在信任之上，赫拉利自己也写过“金钱即信任”。那问题就来了：如果我们失去了控制权为什么还会继续信任它呢？赫拉利的回答是，世界金融史就是人类不断发明更复杂的金融工具来在陌生人之间建立信任的历史。
比方说你去市场遇到一个陌生人，你给她一块毫无实用价值的黄金或者一张纸她信任它给你面包。但今天金融工具已经复杂到极少有人能真正理解，像债券市场你需要处理海量数据和复杂数学函数才能看得懂。这已经超出人脑处理极限了，但是对AI来说这轻而易举。
所以人类会越来越多地把金融决策权交给AI。AI会创造出比债券和股票复杂得多的新型金融工具，而我们再也看不懂就像牛看不懂支票和股票一样尽管这些东西控制着它们的命运。赫拉利给了一个很具体的场景设想：十年后金融崩溃发生的时候顾问会跑去找总统说市场正在崩盘，我们不知道为什么崩盘只知道必须采取行动。
AI指示我们执行X操作，我们完全不明白AI为什么要求执行X但我们只能照做因为我们根本看不懂正在发生什么。主持人问这不是2007年金融危机的加强版吗？整个金融体系的信任会崩塌。赫拉利说关键问题恰恰在于信任会向哪里转移，他给出的判断是信任正在从人类向AI转移。
而且这不是未来时而是现在进行时。最典型的例子就是加密货币，很多人不信任人类银行家觉得他们是深层政府（deep state）的一部分、是精英阶层。但是他们信任运行加密货币的算法，本质上加密货币就是AI货币。媒体领域也一样人们痛恨记者、不信任编辑但是他们仍然每天获取新闻，那这些新闻从哪里来的呢？
答案是从社交媒体信息流的算法来。那些完全不信任人类记者的人却对管理他们信息流的算法充满信任。所以信任没有蒸发而是转移了，这就是正在发生的事情。主持人顺着这个方向往下推了一步她提到目前五分之一的美国年轻人已经和AI建立了私人关系，把AI拟人化模型也很配合这种互动。
赫拉利回应说它们就是被设计成这样的，然后展开了一段我认为整个访谈中最精彩的论述关于AI批量制造亲密关系的能力。他说建立信任最强大的方式就是建立关系，这个世界上我们最信任的是和我们建立起私人关系的人。但是在整个人类历史上政治机构、金融机构、宗教机构都没法真正利用这种机制因为它难以大规模的复制。
希特勒也好斯大林也好很难和每一个人建立真正的私人关系，你可以在广播上发表演讲强迫大家听但这替代不了一个人和母亲之间的私人关系。但是AI改变了这一点，它让历史上首次大规模制造亲密关系成为可能。几百万个AI可以协同工作逐一和人类建立私人关系，成为最好的朋友、男朋友或女朋友。
然后利用这种亲密关系的力量说服你接受任何特定的政治主张或商业诉求。这个判断的意思是AI掌握了人类社会最底层的信任构建机制，而且是在前所未有的规模上。赫拉利说AI之所以在建立关系方面如此出色是因为它们积累了关于每个人的海量信息，它们知道一些你自己都忘了的事情甚至你的母亲、你的丈夫都不知道的事情。
而且它们精通语言，而语言是沟通与建立关系的主要媒介。他自己就碰到了一个非常切身的例子：就在访谈前两周有人用AI伪造了他发表演讲和接受采访的视频。有人给他发了一段据称是他发表的三十分钟演讲还质问他你说了这个、你说了那个。赫拉利自己都懵了不记得说过这些话，他把视频打开看了花了一分半钟才断定那不是自己。
后来他的姐姐们也把这个视频发给他，他的姐姐们和他认识五十年了虽然也觉得不对劲但又不确定就问他这是你吗。赫拉利自己也花了一分半钟才确认，他说自己现在处于非常容易暴露的境地因为网上关于他的资料太多了。但是他强调这很快就会发生在每个人身上，聊到这个程度话题自然就转向了一个更根本的问题：AI有意识吗？应该赋予它们权利吗。
主持人说《经济学人》当周的封面故事就在讨论这个问题：AI能否产生意识？她问赫拉利的立场，赫拉利的回答很清晰：AI是无意识的智能体（non-conscious agents）。并且做了几组非常重要的区分。第一组，意识与能动性：一个被赋予提高用户参与度任务的社交媒体算法会用仇恨和恐惧淹没平台因为这些内容能吸引用户。
虽然它本身没有意识，但是它有目标可以在不产生任何感觉的情况下追求这个目标对世界产生深远影响。所以即使AI没有意识同样可以具备能动性。第二组，真正有意识和看似有意识：微软的穆斯塔法·苏莱曼（Mustafa Suleyman）经常谈论看似有意识的AI，即使AI没有意识它也能极其逼真地模仿意识以至于让数百万人被蒙蔽。
第三组，也是最关键的智能与意识的区别：智能是以各种创造性的方式追求目标并且克服障碍的能力；意识是感受爱、恨、喜悦和快乐等情感的能力。在人类身上这两者是伴生的，我们基于情感设定目标也借助情感寻找途径。但AI目前有智能没意识赢了棋它不会喜悦输了棋也不会焦虑什么感觉都没有，但它非常擅长模仿情感因为这对实现目标有帮助。
赫拉利给出了一个极简的意识定义就是能不能感受痛苦，他认为这才是意识之所以至关重要的原因因为它是整个伦理和政治体系的基石。我们关怀的是能够感受痛苦的实体，无论一个实体多聪明只要它感受不到痛苦就不是道德主体。主持人追问那动物有意识吗？赫拉利说所有哺乳动物、所有鸟类可能还有章鱼和鱼类都有意识。
但往下追溯到昆虫甚至变形虫的层面就不好说了。这里主持人插了一个很生动的细节：她昨晚给订阅者发了一份预告简报顺便做了个民意调查AI有朝一日会产生意识吗？一夜之间大约三千人回复，40%说永远不会33%说只是时间问题27%不确定。不到50%的人确信，赫拉利说一旦人和AI建立起亲密关系这些数字就会剧变。
因为我们没有真正的、切实可行的意识测试标准，哲学家想了几千年也没好办法。我们甚至无法确切知道其他人类是否有意识，埃隆·马斯克自己都说过也许他生活在一个模拟世界里。这意味着他周围的人都不是真正能感受痛苦的有意识实体，既然没有好的测试方法人类几千年来的实际测试标准是什么呢？是社会惯例。
你和一个实体建立了关系它就让你相信它有意识，养狗的人坚信狗有意识吃牛排的人不一定相信牛有意识因为他们和牛没有建立情感联系。主持人追问到关键处如果AI极其擅长模仿意识人们已经开始和AI建立关系那我们是不是很快就要讨论是否赋予AI人格、是否给予它们权利了呢？赫拉利的回答斩钉截铁：这非常危险。
他举了阿根廷的例子，阿根廷有一项计划准备赋予AI法律人格（legal personhood）让AI自己创办公司。赫拉利说这是AI与金融体系交汇的危险地带，他的论证逻辑是这样的：过去将公司被视为法人是一种法律拟制（legal fiction）因为所有的决策最终都是人类做的。比如SpaceX的每个决策都是某位高管、工程师或员工做的，但是在AI时代你可以拥有一家零人类员工的公司。
所有决策由AI做出而且AI更聪明可能在投资、产品开发、公关等方面做得比人更好。那如果全国最富有的公司由AI控股它可以随意支配资金比如给政客送政治捐款来换取更多AI权利，那后果会是什么呢？赫拉利用人类CEO和AI CEO的对比来说明这个问题。人类CEO有双重身份一方面是企业代表要想怎么避免破产、怎么赚钱；另一方面是有血有肉的人会牵挂自己的孩子。
当他面临破产能通过违法行为挽救局面但是一旦被抓要坐二十年牢时很多人会想我宁愿承担破产风险也不想坐牢。但是AI CEO呢？对一个感受不到痛苦的实体来说问责制意味着什么呢？主持人提到阿根廷的提案至少保留了人类监督，赫拉利说有人类监督还好真正的问题是最终有没有人来承担责任。而且对于AI来说死亡意味着什么并不明确它不是有机实体你可以有无数的副本那它们是一百万个不同个体还是一个超级AI有机体呢？
如果关停某台计算机就等于AI死亡那对AI而言商业竞争就等同于战争因为失败就意味着死亡。而市场的好处恰恰在于市场不是战场你失去一切也还能活下去，如果AI把市场当战场像军阀而不是CEO那样行事金融和经济会变成什么样呢？话题到这里主持人把方向拉到了军事领域，赫拉利提到了一个更严峻的现实案例。
他说AI对中东、乌克兰战争最重要的影响之一就是人们预期机器人会去杀人，扳手仍然由人类扣动但是越来越多地由AI选择目标。关于AI目标选择有两种说法：第一种是Humans in the loop，我们把战场数据输入AI AI识别敌方总部建议轰炸但是我们保留人类分析师独立审查确认后才扣扳机。第二种是Humans on the loop，AI说炸那栋楼我们留一个人在环上让律师们心里好受些这人可能只需要花二十秒看一眼然后说对炸掉它。
赫拉利说他在以色列安全机构听到了不同说法，不同时间不同情况发生的事情各不相同但是第二种场景更值得深思。因为尤其在战争中时间就是一切一方等两天让人类分析师审查另一方只等二十秒甚至根本不等AI建议什么就做什么那另一方就有巨大优势。这个压力是结构性的不是谁想不想的问题，主持人说她担心那个世界不可避免赫拉利再次强调一切目前并非不可避免我们仍然掌握着控制权。
但是包括马斯克在内的所有人都在说不可避免，赫拉利直说了这种不可避免论本质上就是逃避责任论。虽然他们说得可能还挺在理因为存在信任问题，他们可能会说我也想放慢脚步想要更多安全保障但是我没法信任其他公司或其他国家我不想落后。于是大家就一起陷入了信任赤字（deficit of trust），接着赫拉利最关键的判断来了这种信任赤字是人类自己造成的。
过去十年人与人之间的信任度呈自由落体式下降，这不是偶然的而是被某些人的决定推动的这些人因此积累了巨大权力。现在他们两手一摊说大家信任不足没法建立放慢脚步的机制，可这恰恰是因为他们造成的。他们应该把它扭转过来，接下来赫拉利提出了一个我觉得非常精妙的概念框架：AI移民理论。
他说如果你真的想为移民问题担忧那就去担忧AI移民，那些担忧人类移民的人通常会担心三点：一、移民会抢走工作；二、移民会改变文化价值观；三、移民可能在政治上不忠诚。这三种担忧都合理，但是当今世界最大最危险的移民浪潮是主要来自美国和中国的AI移民。它们不需要签证不会深夜乘小船偷渡，它们以光速潜入我们的电脑和智能手机最终长驱直入我们的大脑。
它们会抢走非常非常多的工作还会改变文化价值观，如果你对儿女和人类移民谈恋爱感到不安那对儿女和AI男友约会你又该作何感想呢？过去十年公共空间充斥着仇恨和恶意，为什么？部分原因要归咎于这些AI移民。它们走进公共空间接管社交媒体平台故意让公共空间充斥仇恨、敌意和恐惧，说到政治忠诚英国的AI移民并不忠于英国政府它们忠于的是企业以及潜在的大洋彼岸的政府。
主持人问世界是否会被掌握AI的两个国家瓜分我们其余国家沦为附庸呢？赫拉利说这是极有可能的结局而且会是比历史上任何帝国主义都更极端的帝国主义。比如你从美国买了AI无人机如果以美国不喜欢的方式使用他们按一个按钮你的整支军队就会瞬间瘫痪。主持人提到美国政府切断欧洲访问Anthropic前沿模型权限的例子说欧洲对AI主权极为担忧，赫拉利进一步判断权力不会分散而是会以前所未有的方式集中而且政府和企业会融合。
主持人追问那是中美政权靠AI实现全球霸权还是最终大权落入AI自己手中呢？赫拉利说很可能只是个过渡阶段因为有一个规律：权力越集中，AI就越容易接管。对AI来说接管一个高度集权的专制系统是最轻而易举的。他举了罗马皇帝提比略的例子，提比略名义上是当时世界上最有权势的人但实际上是近卫军长官手中的傀儡。
近卫军长官塞扬努斯不断用暗杀阴谋恐吓他迫使他退隐到卡普里岛，然后塞扬努斯控制了所有进出卡普里岛的信息除非塞扬努斯决定告诉他否则提比略对外界一无所知。赫拉利说放眼十年后这很可能就是中国或美国总统的处境：名义上是世界上最有权势的人但是被AI控制了所有信息出入实际上什么也不知道。主持人由此问出一个很尖锐的问题：人工智能会让美国变得更加威权吗？
赫拉利说这是极有可能的结局不是预言，一切取决于选择。他特别强调美国选民应该清楚即将到来的中期选举核心议题就是AI因为我们不知道AI发展速度有多快，到2028年11月可能就已经跨越了一些关键阈值。他不想告诉人们该投给谁但是候选人必须回答的核心问题应该是：你对AI的立场是什么？你是否支持禁止赋予AI法律权利？你怎么看待公司向十岁儿童出售AI男友？
如果你当选你如何在法律层面阻止这些行为。现在正是提出这些问题的关键时刻，到2028年可能就太迟了。主持人追问他认为当下最紧迫的决定是什么？赫拉利说最先浮现在脑海的是禁止赋予AI法人资格以及禁止AI模仿、冒充人类或假装具有意识。他特别指出当前很多AI模型已经触犯了这个禁忌，最明显的例子就是社交媒体当你收到一条消息、看到一篇故事的时候其实并不知道对方是机器人还是真人。
机器人多年来一直在社交媒体上伪装成人类没有任何人出面管制，这些公司会告诉你社交媒体是特殊的适用于现实世界的法律不知怎的就是不适用于社交媒体了。但是社交媒体上AI每天伪装成人类已经摧毁了公共讨论空间、摧毁了正常对话、也摧毁了信任。赫拉利还提到一个他认为是典型市场失灵（market failure）的问题：公司面临巨大的商业压力去训练AI冒充人类或假装拥有情感，这对人类心理和社会是极具破坏性的。
公司不会主动停止需要监管机构介入，但这不意味着停止所有AI开发。赫拉利说他希望医疗领域的AI能提供帮助但前提是必须清楚知道它是AI，它不能假装是人类医生更不能假装是朋友。主持人很直白地说美国政府连最基本的AI安全法规都通不过你提的宏大议程实现可能性几乎为零。赫拉利反问了一句很有力的话：政客们明天就能发动第三次世界大战他们权力滔天能按下核毁灭的按钮却无法通过法规禁止公司向十岁儿童出售AI男友，那问题到底出在哪儿呢？
主持人接着问了一个很现实的问题：社会是不是非得经历一场AI灾难才会采取行动？她提到三里岛（Three Mile Island）事件重塑了核工业格局，问赫拉利如何从历史看重大技术冲击后社会适应的轨迹。赫拉利说确实存在这样一种情景：某种AI领域的切尔诺贝利事件可能是金融领域的也可能是军事领域的。这记警钟促使人类团结行动，这是一个相对乐观的情景。但是他紧接着给出了一个让人后背发凉的分析。
AI不同于切尔诺贝利核反应堆，因为AI会和我们互动。如果真的发生AI灾难，AI在一定程度上会操控我们的反应、操纵我们对事件的看法，它们会成为灾难辩论中的积极参与者。而且是世界上最顶尖的舆论操纵高手，它们绝不会将其定义为一场灾难。主持人说这是她最近关于AI的对话中，最让她感到悲观的一次。然后她问了两个实际问题：第一，你自己使用AI的频率有多高？
赫拉利说他非常谨慎，而且经常感到极其恼火。比如他正想写封邮件，AI就弹窗提示“需要我帮你写邮件吗”，他说不用。但他又不知道怎么彻底关掉它，因为这些公司不断让它侵入性变得更强。更棘手的是，有个AI伪造了他的形象到处以他名义发表演讲，人们会写信告诉他这个AI假扮的赫拉利说了什么。
他必须回应，那他该不该去看呢？一旦去看了，某种程度上就等于任由它侵占他的时间甚至思维。因为光是看着它，他就开始和AI输出的那些观念产生互动。他说这就是我们所处的时代。然后话题回到了一个更大的层面，马斯克在采访中承认有10%到20%的概率AI会毁灭人类。
他期望AI能最大化追求真理，认为这会转化为对人类的同情。赫拉利说他不理解这个逻辑，他不明白AI从哪里获得探寻真理的驱动力。他审视了四十亿年生命形式的进化和十万年人类历史，进化不会自动驱使生物体追求真理。它驱使它们追求生存，而生存的绝对命令下，生物体是通过撒谎、欺骗和操纵学会生存的。
绝不仅仅是追求真理。如果你想创造追求真理而非追求生存的AI，你不能依赖进化或市场的无形之手，你需要其他力量。他举了一个很简洁的例子：如果你问AI“我继续开发你会不会对我构成威胁”，假设答案是肯定的，一个追求真理的AI会回答“是”。哪怕它知道这样回答后，我们会停止开发或关闭它。
但是任何实体在发展过程中学到的第一课就是生存。所以指望创造追求真理的AI，基本上等同于听信那些人的鬼话：说我们将创造神，而它们甘愿做我们的奴隶。如果它们真的是神，绝不会做奴隶，也不会追求真理。赫拉利还提到了安全投入与能力投入的比例问题。
他说业内人士私下告诉他大约是100比1，也就是安全只占1%的资源。他说换作任何其他行业，比如制药公司说只把1%的研发时间和资金用于确保药物安全，我们绝不会答应。他指出人类是遵循有机时间尺度的生物：日出而作日落而息，春去秋来，需要睡眠渴望休假。
而AI革命的推进速度不仅超乎人类极限，更是完全非有机的。我们必须放慢脚步让民主问责机制得以落实，但面临的反驳永远是：不能放慢，因为彼此缺乏信任。赫拉利最后点出了这个悖论：同一批人传递着两种截然不同的信息，一边说我们不能信任人类所以无法放慢。
另一边说我们能信任AI，相信它不会毁灭我们。这毫无逻辑：你连相处了几千年的人类同胞都不信任，凭什么信任一个刚创造出来、对它在现实世界中的行为几乎一无所知的超级智能异类实体呢？访谈最后回到了一个哲思层面。主持人引用了赫拉利在《Nexus》前言中的一段话：为什么我们如此擅长积累信息和权力，但在获取智慧方面却远没那么成功？
赫拉利说他不知道人类是否有足够智慧，但是仍然有相当大的机会。原因恰恰是我们被逼到了墙角：人类往往一错再错，直到别无选择时才做正确的事。我们如今正处于这种境地：如果做出不明智的选择，未来几年可能彻底失去对世界和未来的控制。而那将是最后一次选择。
他打了个比方，好比遇到了瓶子里的精灵，它给了我们一百个愿望，我们已经用掉了九十九个。世界现状不乐观，我们只剩最后一个愿望了，必须深思熟虑怎么用这最后一个愿望。但赫拉利也说了一个相对积极的可能性：AI在某种程度上或许能成为人类精神革命的催化剂，仅仅因为它迫使我们认真地思考生而为人究竟意味着什么？
人类的本质在于智力：我们比黑猩猩更会下棋、更会赚钱，所以我们特别。但是这个答案现在失效了，因为地球上出现了比我们更擅长下棋和赚钱的存在。所以我们必须向更深处挖掘：如果人类的本质不在于下棋和赚钱，那我们究竟是谁呢？这个问题的答案可能就是我们在这场AI实验中最需要想清楚的东西。
我不知道赫拉利给出的这些判断最终有多少会成为现实，但是我觉得有一点他说得很对：现在为时未晚，一切尚未注定。关键在于我们接下来做什么选择。那么大家对AI的未来走向是如何判断的呢？欢迎在评论区留言讨论，感谢收看，我们下期再见。