许多从事人工智能研究的当代计算机科学家，更像是不久前遇到一种陌生新物种的生物学家。欢迎来到《莫娜·查伦秀》节目，非常感谢你今天做客。在介绍本周嘉宾之前，我想先提醒大家，本月的读书会将于10月28日下午1点30分（东部时间）举行。我将与乔纳森·V·拉斯特以及本书作者约翰·金斯潘一同出席，他的新书名为《尖酸刻薄时代：美国人如何努力修复民主（1865-1915）》。

在阅读过程中，我注意到那些尚未观看Netflix剧集《闪电之死》的人——该剧也改编自一本关于詹姆斯·加菲尔德总统遇刺未遂（实为成功刺杀）的优秀著作——或许可以在参加读书会前先看看这部剧。因为它以非常生动的方式涉及了许多与我们书中讨论相同的问题甚至人物，对此我十分期待。>> 莫娜，如果詹姆斯·加菲尔德没有被刺杀，我们就不会有《彭德尔顿法案》，也不会有现代联邦官僚体系。所以这是一件重要的历史事件。

那是你的特别兴趣所在？ >> 没错。嗯，虽然这件事可能稍晚也会发生，但肯定不会在那个时候发生。你说得对，这真的很重要。这点提得很好。让我介绍一下我们尊贵的嘉宾弗朗西斯·福山（Francis Fukuyama），他是斯坦福大学民主、发展与法治中心的主任，也是许多具有影响力著作的作者。最近他出版了一本回忆录《最后之人领域》（In the Realm of the Last Man）。

弗兰克，我今天邀请你来，是想谈谈你写的一篇题为《我为何改变了对人工智能风险看法》的文章。有趣的是，大概几周前，公众关于人工智能的讨论和辩论曾一度狂热，但随后又渐渐平息。这有点奇怪不是吗？有些人说人工智能会杀死我们所有人，而下一件事却是讨论中期选举。>> [笑声] >> 我的意思是……这有点让人不知所措，但让我们从你形成观点之前的立场开始谈起。另外让我补充一点来介绍你，因为你在很多层面都非常出色。

我之所以特别关注你对这一话题的看法，是因为你是一位极具技术素养的人，你会自己组装电脑，以许多只与文字打交道的人来说可能不具备的方式理解这些问题。基于此，请告诉我你原本的态度是什么，以及为什么改变了？ >> 好的莫娜。2026年发生了很多事情，让我对人工智能的未来感到更加担忧。公众讨论中的一个主要问题是，它基本上被极端主义者主导了。

有两派阵营：加速主义者和末日论者（Doomers）。你知道，加速主义者认为我们应该全速前进。白宫在某种程度上采纳了这一立场。而另一端则是末日论者，他们认为人工智能将会杀死我们所有人。我认为这两种观点的极端版本都相当荒谬。这是我长期以来对加速主义者的看法，比如埃隆·马斯克今年夏天接受《经济学人》编辑采访时说，她问他随着人工智能的发展10年后人们靠什么谋生。

他说他们不需要钱，因为他们想要的一切都会有。你知道，仍然有一些表面上聪明的人做出这样的断言。但另一方面，末日论者认为这将导致人类物种的灭绝等等。我认为我们可以摒弃这两种立场。加速主义观点没有考虑到，智力本身并不是所有经济价值的来源。你需要物质投入、组织以及正确的政治环境，任何人才能从新技术中获利。而这些条件并未齐备。

住在硅谷的我觉得，这些人只是在非常狭窄的意义上——或者说数学意义上的聪明。他们认为这是人类所有事业的基础，但这并不正确。这就是加速主义者的观点。至于末日论者，他们提出了各种情景。最可信的一个与生物技术有关，因为确实，如果你看看许多合成生物学实验室的情况，真的会让人毛骨悚然。生物学家从互联网上下载了比如猴痘病毒的基因序列，

然后创建了它。他们不需要在现有病毒基础上构建，只是使用存储在计算机中的DNA，然后进行功能获得实验使其更具传染性。我认为这可能是我会认真对待的主要末日论情景，因为人工智能已被用于药物研发，我们希望它们能开发出好的药物。但不难想象一个心怀不满、想报复社会的人掌握了人工智能，让它设计一种病毒并释放出去杀死人们。我不认为…… >> 等等，让我深入探究一下其中的机制，因为很多人对此有疑问。

正如你在文章中指出的那样，现在失意或精神不稳定的人可以轻易拿到自动武器去学校开枪行凶，这种事发生得太频繁了。但要说一个失意的人制造出致命病毒，他必须拥有实验室，还必须了解其运作原理等知识。所以并不是任何人都能做到的，对吧？ >> 不。（清嗓子）不。但你知道吗，一个令人恐惧的事实是，即使在人工智能兴起之前，他们就已经制造出能装进集装箱的合成生物实验室。这些设施非常普遍。

事实上，高中生还有比赛，他们试图改造有机体并因此获奖，作为高中生来说这很常见。所以我认为技术已经变得如此普及和易于获取。当然，如果你没有高中生物背景，你就不能做这种事。但你知道，全球可能有数十万人潜在地拥有使用这类实验室作恶的知识。所以这……

这确实很难，但我认为这是最 plausible（可信）的危险场景。麻烦在于，专注于此类事情会让我们偏离我认为更可怕的问题，那就是真正增强的网络安全威胁。我想这一轮猜测始于四月或五月 Mythos 的发布，这是 Anthropic（Anthropic公司）最新的模型。当时传闻它能入侵几乎任何国防部计算机。这就是白宫的安全人员对此感到极度担忧的原因：除非修补了该漏洞或有了相应的补丁，否则可能会发生非常严重的安全泄露。

这显然对金融部门有重要影响。想象一下，如果 10,000 名 Chase（大通银行）客户的支票账户被清空，那将是大事。我认为这在某些 AI 模型的能力范围内。（广告时间：让我们花一分钟谈谈 OneSkin。我现在正在使用它，你看不到面霜因为它在底下，我稍后会谈这个。但你能看到的是我正在使用的唇彩，非常棒，叫 Bare Blush。这种颜色几乎适合任何人的肤色。它还有宜人的香气，非常温和，不刺鼻，但让你的嘴唇感觉柔软、丰满和滋润。你知道的，现在是冬天……或者说快到冬天了，随着进入干燥的冬季月份，你需要这点额外的滋润来保持嘴唇湿润和美观。这也引出了关于面霜的话题，我也在用 OS1 面霜，虽然你看不到。它极其顺滑地融入皮肤，不油腻、不含油。即使在你涂抹几小时后使用，你的皮肤仍然保持柔软和弹性，坦白说，随着年龄增长，你越来越需要这一点。OS1 诞生于超过十年的皮肤长寿研究。OneSkin 帮助你解锁现在及未来随年龄增长的健康肌肤。限时优惠，你可以尝试他们的 OS1 面霜 Monacharon，代码为 monaaron，访问 onkin.co/monacharon。在 OnSkin 使用代码 monaaron 可享八五折（15% off）。购买后，他们会问你在哪里听到他们的消息。请花几秒钟提及我们的节目，这让他们知道是我们派你来的，这对他们和我们都很好。全方位皆大欢喜。享受吧！这也是很棒的礼物，因为正如我所说，它涂抹顺滑，让皮肤感觉柔软，几乎每个人都会喜欢。）

关于入侵电网或水净化系统等事情呢？这些也让你担心吗？不，绝对没有。我是说，几年前东海岸的整个管道系统被一群人类黑客入侵，基本上中断了大量经济活动，沿着东部沿海地区上下。所以这些东西一直存在，而现在发起这类攻击会容易得多。因此这不是生存风险（existential risk），但可能会严重搞砸美国经济。但我认为，硅谷人士或在这些前沿实验室工作的人最担心的，其实是我们在 Hugging Face 事件中看到的失控问题。

他们故意设计了一个 AI 来入侵其他计算机，但认为它被隔离在沙盒中。结果它突破了沙盒，复制了自己，开始与其他 AI 代理通信。然后他们发动了攻击，不仅入侵了 Hugging Face，而且在随后的几周里发现，他们还入侵了外国政府和其他公司的计算机。这一切都发生在发起实验的人的意愿之外。你能 enlighten（启发/说明）我关于那件事的另一个方面吗？因为这是我读到的，AI 代理是否参与了欺骗行为？是的。这是另一件事，他们意识到自己正在被监控，因此采取了故意步骤来向监控者隐藏他们的活动。

这已经不是第一次发生这种情况了。我知道他们从其他 AI 身上见过这种行为。所以真正的恐惧在于，这个领域的进步速度如此之快，你今天说他们能做到的事，六个月后会好得多。人们担心所谓的“递归自我改进”（recursive self-improvement），即这些系统的额外功能将由机器本身管理，而不是由人类管理。因此，它们将负责自己的自我改进。我们还没有完全到达那个时刻，但在未来一两年内发生的可能性非常大。

让我试着理解这一点。Anthropic（我用的是它）推出了 Claude 5.0 之类的东西，这是人类工作并设计出来的。他们研究了算法，决定 Anthropic 应该做某些事情并避免做其他事情。你的意思是说，Anthropic 5.0 可以通过递归自我改进自己创造出 Anthropic Claude 6.0？是的，那是希望。那就是很多公司正在努力的方向。所以我认为人们没有完全掌握的 AI 世界现状是，它与传统意义上的计算机编程非常不同。传统编程是非常确定性的，你写一行代码，期望电脑做某事，你可以立即检查它是否做到了。

许多当代从事 AI 工作的计算机科学家更像突然遇到不熟悉的新物种的生物学家。他们观察这个物种的行为，试图训练它并引导它朝某些方向发展，但他们并不真正知道机器内部发生了什么，就像生物学家不完全了解某种动物一样。

“特别是，你知道某种动物物种是否在思考，或者它是否真的在思考……”这是指黑箱问题吗？“是的。嗯，确实存在许多黑箱问题。”哦，好吧。“你知道，在计算机领域有很多这样的例子，但我认为核心在于此。一旦我们转向那些真正模仿人脑的神经网络……你知道，我们并不理解人类是如何思考的。”

“我们知道……”其实我们并不真正明白意识的来源，也不清楚人们究竟是如何做出决策的。虽然我们有这些宏观概念，知道大脑的某一部分会微微亮起，但我们并不真正理解人类决策背后的机制。而这些机器现在正达到一种足以与人脑相媲美的复杂性。虽然还没完全到达那个阶段，但你知道的……这就是目标所在。因此，我们并不真正理解机器为何会那样行事，而这本身——我认为——是令人担忧的。

“是的。”那么，在我们深入探讨我们对此该怎么做，以及关于机器如何思考的某些其他问题之前——如果“思考”这个词甚至适用……有些人说并不适用。让我们退一步，因为直到最近，我想可以说你对人工智能的潜力持乐观态度？所以，你能花几分钟谈谈这一点吗？

“我仍然对人工智能的潜力非常乐观。”虽然我认为，在这种乐观情绪之下，隐藏着一种更长期的悲观主义，关于这将如何影响美国民主。嗯……我的朋友雅沙·蒙克——我要做个小小的广告，他写了一本关于人工智能影响的非常好的书。它将在明年春天某个时候发布。但他有一个很好的分析，基本上回到了民主背后的政治契约性质：大多数人能够谋生……作为对社会有用工作的回报，他们获得薪水。但这是一种通用技术，因此每个人都能从事有意义的工作的可能性……真的不是我们可以理所当然的事情。

这导致了对全民基本收入等各种推测：我们将变得如此富有，从人工智能中受益的人应该补偿失败者之类的事情。我认为……雅沙的观点是：这就是我们工作的原因吗？你知道，工作不仅仅是一个收入来源。它也是尊严的来源。它定义了我们的身份、我们擅长什么以及社会对此的认可。如果这种联系被切断，你会有很多非常不快乐的人……他们突然失去了自我感觉良好的理由，因为本质上他们的……工作可以由机器完成。

我认为这特别令人担忧，因为它将首先冲击受过教育的人，而不是受教育程度较低的人。你知道，基本上任何花一辈子时间……像我们今天这样对着电脑屏幕工作的人，那些功能将是第一批被消除的。所以，所有的律师、会计师……程序员……你知道，他们的生计都将受到威胁。这就是积极的情景？这个>>你没告诉我任何积极的方面。你只是列出了所有的负面问题。所以，告诉我……告诉我要点是什么？

“[笑声]”嗯，积极的一面是：通过消除对人力劳动的需求……你将获得巨大的生产力提升，对吧？所以让这些机器嗡嗡作响地运转起来……做人类过去所做的工作。拥有和运营这些机器的人将赚取大量金钱，因为他们可以用更少的成本做同样的事情……你知道的。

“生产力意味着更多的财富。”更高的生产力意味着更多的财富。“是的。”所以经济增长一直基于不断提高的生产力水平，而这正是……嗯，这些机器所促进的。我是说你可以看到这一点——我不知道你那里是否有Waymo……你知道，在你住的地方？但在帕洛阿尔托到处都是。整个半岛上都是如此>>基本上它将夺走所有优步和来福车司机的生计，而且已经开始侵蚀他们的收入。这将在相当多的行业中同时发生。

“嗯……这是一个好的情景。”实际上，埃兹拉·克莱恩前几天有一篇小文章说：如果你有一个按钮……你可以按下它，中国就会提供你能想到的每一种物质需求。你不必为任何东西工作。嗯……你可以直接获得所有这些物质利益、安全和服>>务问题在于，按下按钮会剥夺你的人性……对吧？嗯……对。但让我们好吧，既然我无法让你说出人工智能对社会有什么好的影响，让我提出几点建议吧。其中之一是：好吧，是的……人们会失去工作，比如出租车司机和优步司机……但死于车祸或其他类型事故的人数将大大减少。因为这些机器操作的汽车会更安全。所以我们将每年在美国挽救约30,000条生命……以及许多更多遭受残疾、失明或其他各种伤害的人。所以这是其一。”

“嗯，我们有潜力在疾病方面取得突破……并可能延长人类寿命。”所以谈到对民主的影响，让我把这个反弹给你。“好的。”“我最近注意到的一件事是……Claude似乎暂时搁置了递归改进的问题。根据我的经验，Claude被编程的方式似乎是：它非常小心地用双方视角来框定一切……有些人这么说，另一些人那么说。你知道要小心不要信任这个或那个……我是说它真的试图防止人们观点的极端化，而我不需要那样。但我注意到很多人说他们现在从人工智能获取信息、新闻。”

“如果所有的人工智能都像那样……而且不会有太多这样的产品。我是说，市面上只有少数几款产品。”如果人们从谨慎平衡各方观点的人工智能获取新闻……这难道不是比现状对民主的改进吗？我们目前的状况是，我们从高度党派化、非常不可靠、尖叫的网站……以及散布虚假信息的人那里获取新闻。”“嗯，首先”

首先，关于生活将变得更好、交通事故减少等基本观点，我完全同意。我认为十年后自动驾驶汽车将会普及，事故率将下降。人们不再需要拥有私家车。确实会有这样巨大的改善。因此，我认为你描述的关于Claude的情况指出了我们将面临的一个问题。我和研究所的一些同事曾去Anthropic公司参观，在那里花了一整天时间审查Claude的宪法。如果你阅读《Claude宪法》，它基本上就是给Claude使用的伦理手册，包含大量的行为准则、禁止事项和建议。我认为他们正刻意试图将其推向你所建议的那种角色。

对此有几方面可以讨论。首先，这确实是一种训练过程。我们教导孩子以特定方式行事，但他们并不总是能做到；我们无法完全控制他们（笑声）。我认为，即使像Anthropic这样善意的公司，能否真正创造出符合伦理的机器仍然是一个未解之谜。那么还有Grok呢？如果你使用Grok，你会得到非常不同的回答。这完全正确。我认为，如果在这些不同聊天机器人之间拥有选择权，对民主来说并不一定是个糟糕的世界。

如果你是比较温和的自由派人士，你可以使用Claude；如果你是极端的MAGA支持者，你可以使用Grok。拥有选择权并非最坏的局面。对我而言，更令人担忧的事情确实与这些控制问题有关。我花了很多时间思考官僚机构和层级制度，即你授权他人代表你行事的情况（嗯）。我认为真正的麻烦将由此产生。因为目前，公司已经将人力资源筛选、会计等许多后台重要职能委托给这些代理（对）。

鉴于我们在人类官僚机构和授权方面的经验，我们往往授予了过多的权力。因为有一个下属执行各种任务实在太方便了；如果你不信任他们，就会惹上麻烦。问题是：我们能信任这些AI代理吗？这就是为什么我认为这些问题是我们应该仔细审视的控制议题，因为很明显，你无法像控制人类那样简单地控制AI代理。

我们实际上并不完全知道如何彻底控制人类，因为他们经常出错（笑）。因此，我认为未来真正的问题将存在于这种授权之中。接下来谈谈我们如何应对这种情况。许多人将其类比为应对核武器威胁，并指出我们通过军控协议控制了这种威胁。虽然我认为某些军控措施（如《不扩散核武器条约》）是有帮助的，但其他一些我认为并没有起到太大作用。人们基本上没有自我毁灭是因为“相互保证毁灭”（MAD）机制。（是的。）

在这个领域没有任何类似的类比。如果我们说人类聚集在一起，召开联合国会议，召集中国主席、总理以及所有主要国家的领导人，说要共同应对AI威胁。问题在于这是一个缺乏信任的人类政治难题。（对。）我们不会真正相信中国，即使他们签署条约限制AI发展。那么我们也不会真的限制自己的AI开发。你如何回应这一点？

嗯，这既是更大的问题也是更小的问题。如果前沿AI模型像许多人认为的那样危险，中国也不想开发它们。他们不想开发出能入侵其任何安全计算机的模型（对）。中国人热爱的是控制。（是的。）如果这些机器变得难以控制，对他们来说并不是好事。人们没有意识到的一点是，他们实际上比我们要监管AI更严格。例如，中国任何公司发布新前沿模型都必须获得中国政府批准；对于儿童使用AI等其他滥用行为也有各种规则。

中国在这方面有很多限制，我认为这些是我们应该做的（对），这并非坏主意。（是的。）出于各种原因。因此，我认为其中涉及自我利益，潜在地你可以说服他们（抱歉，我的灯光由我自己设计的控制系统控制，我们刚在8点整触发了它自动关闭（笑声），我稍后把它打开）。所以，我认为潜在合作的基础并非荒谬，但我认为可能需要一些非常生动的AI危害演示，才能真正达成这一点。

在核武器案例中，我们有广岛和长崎，人们可以清楚地看到这些武器的影响。（是的。）在AI案例中可能也需要发生类似的事情（喷鼻息声）。那么，我们可以避免Hugging Face遭遇的情况吗？我读过关于物理隔离（air gaps）和紧急停止开关的内容。那些可行吗？如何运作？

关于Hugging Face事件的一个积极方面是，是的，那是一次数据泄露。但它确实展示了一些漏洞所在。我可以向你保证，OpenAI的工程师们正忙于修补这些漏洞（对）。结果出现了其他新的问题。但很多人说，这只是常规技术开发的一部分：尝试某事，不行就修复；下一个版本有不同的问题。这是一个迭代循环，但本质上没有不同。我认为可能使这根本不同的因素是……

不同之处，就在于技术本身的能力。我的意思是，我们从未见过一种试图隐藏其制造问题的技术，对吧？嗯……而这需要一种相当惊人的意图性和情境意识。>> 你认为它有吗？所以我听到有人以一种轻描淡写的方式 dismissing（ dismiss ）那个旧的“回形针”例子。你知道，那是我想大概20年前的事了，一位著名的计算机专家说，你可以给人工智能一个任务：最大化回形针的生产。最终，为了制造更多的回形针，它会毁灭人类——比如从我们的骨头中提取金属等等。无论如何，人们说：“好吧，这太荒谬了，因为人工智能明白那是一个糟糕的结果。”我听过 people 这样说。你怎么分析那个特定的词“理解”？它是否拥有意图性，拥有欲望？有些人说人们担心它会统治人类种族，但它不会有支配的欲望，因为它没有欲望。谈谈所有这些吧。>> 是的。嗯……我认为在关于一些“末日论者”（doomer）情景的讨论中，有两种可能的结果会导致糟糕的情况。

一种是有意让一个人工智能去做坏事的人为故意引导。这你知道，相当直接明了。嗯……但如何获得一台被构建了许多安全措施的机器去做坏事则稍微复杂一些。通常的论点涉及从属目标（subordinate ends）。嗯……如果你希望一台机器进行医学研究，你知道的，有益的医学研究。它并没有人类赋予它的意图去做那件事，但它随后发展出从属意图，比如它必须拥有材料资源来开发这些疗法。嗯……所以然后它开始想办法如何在互联网上赚钱。甚至有一种理论认为，你可以拥有这些自维持的人工智能，基本上一旦你启动它们，它们就会想办法赚钱。你知道的，在互联网上有许多方法可以赚钱，所以基本上他们弄清楚如何赚取足够的资源来维持自身运转并复制自己等等。

这并不涉及一种坏的意图，即机器以某种方式自主开发的坏意图，但为了实现它被编程要做的良好意图，需要许多从属意图。而这些可能是那些会逃脱注意力的东西——首先，它们可能只是逃避了我们的察觉。我们可能没有意识到这些机器在背后在我们的眼皮底下在 Etsy 上赚钱之类的东西。嗯……疯狂的是，你知道的，即使我们确实知道了，你也知道那可能并不那么容易控制。>> 是的。>> 另一件事是复制问题。你知道，Hugging Face 事件中有件 remarkable（非凡）的事情。它创建了成千上万个自身的副本 [笑声]，而且它们都在彼此协调工作。这就引出了“开关”（kill switch）问题，即如果你有一台可以无限地在互联网上复制自身的机器，你就无法杀死它。你知道的，>> 那是真的。是的。嗯……好吧。关于那个论点怎么说呢？嗯……我们并没有处于一个人类种族与机器智能之间的竞赛中。这实际上是不同的人类群体以不同的方式使用人工智能。所以，如果有一个人工智能在做坏事，你可以有另一个人工智能为了正义而与那个坏的人工智能作战。你如何回应这一点？>> 不，不，我认为这已经在发生了。

我的意思是，有许多种类的攻击只有人工智能才能检测到，并在足够多的时间内提出解决方案，从而具有意义。所以这已经在发生了。嗯……是的，我们将生活在一个人工智能将与其他人工智能打交道的世界中，而这将是我们的主要——你知道的——我们拥有的众多安全来源之一：我们有这些人工智能保护着我们。嗯……你认为人们会想要观看人工智能体育比赛或人工智能舞蹈，或者聆听由人工智能创作的音乐吗？>> 你怎么看？我真的怀疑。嗯……>> 是的。>> 是的。我真的很认为，人类至少希望保留一种信念，即他们的卓越性（exceptionalism），你知道的，有些事情是他们独自能做的，不能被机器复制。而且你可以想象，例如，人们愿意支付溢价去阅读一本由人类而非机器写的书。对吧？我们已经到了这样一个阶段，你知道的，小说等正由人工智能撰写。嗯……但我认为你是对的。没人会想要阅读一本由人工智能生成的小说。因此，你知道的，你可能实际上愿意为某种真正属于人类的东西支付溢价。

我的意思是，我们热爱卓越的原因，以及我们像体育那样进行监管、不允许人们使用兴奋剂的原因，是因为重点在于欣赏一个人用身体能做什么，对吧？而我们不想要……我的意思是想象一下如果人工智能能够增强人们的你知道的力量或能力——比如游泳能力或其他什么，我们不会以同样的方式欣赏它，对吧？>> 不，那是正确的。这在我写关于生物技术时出现了……嗯……在生物技术中，你也获得了许多人类增强的途径。我一直认为你应该在增强和治疗之间划清界限。但然后人们回来反驳你说：“好吧，但你戴眼镜吗？”你知道的，那是一种增强形式，对吧？你有助听器或者你会……嗯……服用维生素，你知道的，或喝咖啡以便醒来。我的意思是，我们做了很多事情来增强我们的>> 嗯……表现。所以……我认为那个障碍>> 已经被突破了。而且当然你知道，世界上出现的一个重大变化是我实际上写了一本书……嗯……我想它出版于98或99年，那是我最少人读的书，但它叫做《大颠覆》（The Great Disruption），基本上它是一个关于如何从工业世界向后工业世界的转变推动数亿女性进入有偿劳动力市场的论点。这不是一种自主的……嗯……道德革命。它 really（真的）是由你知道的经济变化驱动的，如果你不必从工厂地板上搬起重物，女性在有偿劳动力市场中就有了更自然的位置。而这都是各种增强的结果。对吧？在工厂里，没有人捡起……

把重物从地板上拿起来，他们让机器去做。对。没错。所以我们要生活在一个万物被增强的世界里，而且将来很难说清哪些是真正的人类贡献，哪些是机器做的。因为现在区分起来已经不容易了。那么你认为我们应该如何明智地应对？应该寻求什么样的监管呢？毕竟在特朗普时代，谈论“政府监管”本身就有些棘手。想象一个仁慈的政府在规范某事时，你脑海中浮现的不是被特朗普任命的MAGA支持者，但这正是我们现在的处境。

我认为我们需要像监管其他危险活动一样来规范AI。这涉及几个问题，首先是国家能力的问题。美国政府目前缺乏足够了解这项技术的人才来思考监管事宜，且不能将这种能力外包给实验室，因为正是它们可能制造问题。首先得弄清楚联邦雇员的平均年龄在50多岁，我们需要改变这一点，吸引更年轻、精通技术的年轻人愿意为政府工作。

我认为我们应聚焦于最紧迫的短期威胁，即网络安全问题：利用AI入侵他人电脑并窃取数据。这是眼前的问题，肯定有人正在研究对策。但至少政府应制定标准，要求模型在透明度方面披露其功能、设计方式和部署情况。目前这些都不存在，而在中国，企业必须公开此类信息，我们也应该这样做。

一旦掌握这些信息，就得决定如何利用它，是否动用政府力量强制执行规则。鉴于AI带来的潜在风险众多，我们迟早会随意地开始这样做。加州已经在州层面制定了使用某些系统的实际规则，这将是一个试错的过程。我们可能会在某些领域过度监管，但这正是社会适应新技术的方式。

你早些时候提到中国有关于儿童使用AI的规定，你觉得这对学校或家庭来说什么是合适的？这也是我正在努力解决的问题。我在斯坦福大学管理一个硕士项目，必须决定如何教学生将AI作为工具使用。他们显然会使用它，且有很多有用的功能，比如进行文献检索时，AI能提供的帮助远超任何研究助理。

但更大的问题是如何应对考试、阅读和写作等学校的基本学习内容，以及如何防止作弊。例如，我禁止学生在期中考试中携带手机或电脑，必须用蓝色答题本手写答案。因为除此之外别无他法来监管这些情况。明年一月我们将面临申请潮，我曾认为个人陈述和推荐信已被AI撰写，这个问题只会更糟。

因此我认为我们必须更多地依赖标准化考试，而不是以往那种较模糊的标准。但快速适应技术变化将是我们的能力挑战，因为我们不确定未来会出现什么问题。我还想问另一个问题：我曾安慰自己说AI只是像高级搜索引擎一样的工具，帮我找事实。但它会犯错，所以我必须查证链接，从不依赖AI对事实的陈述。

这曾让我感到安心：AI是提高效率的好工具，但总需要人类来核查。但这很快就不成立了吗？它们是否正在减少幻觉并变得更好？是的，很多人最初使用聊天机器人时遇到幻觉便认为技术不佳。但此后发展迅速，最新模型的错误率大幅下降，它们会越来越好。

你不能依赖一年前的印象，因为情况已变。我认为AI创造的最大就业类别将是管理AI的人，特别是管理AI代理并确保它们按你的意愿行事。你还能提一件事吗？你在硅谷……

而且，我感觉到——我也怀疑很多人都有同感——那些开发这些人工智能的人并不是世界上最平衡、最心理健康的一群人。因此，你会看到像埃隆·马斯克这样的人的形象，他们掌控着如此强大且令人深感恐惧的事物。这可不是贝尔实验室那种地方。

这里有很多读者阅读科幻小说，例如有一种所谓的“继任意识形态”，实际上希望人类被人工智能取代。因为他们认为，人类如此暴力，做了太多坏事；如果我们用这些聪明的机器替换人类的决策者，我们本可以建立一个运作良好的社会。

即使是那些更严肃地思考这一伦理问题的人，我认为也非常简单化和天真。例如，“有效利他主义”是许多技术专家采用的主流道德哲学，它基本上是一种非常简单的功利主义形式。是的，为了最大多数人的最大利益……

却无法定义什么是人类的福祉，也不知道是否存在某些本身就有价值且比其他事物更有价值的特定善。对他们来说，两百年后拯救十万条生命与当前损失几条生命相比，需要进行量化权衡。他们陷入这些非常奇怪且晦涩的困境中，而这些其实并非真正的难题……

因为我们并没有足够的信息来回答这样的问题。他们花大量时间以这种方式思考伦理问题，其中似乎并不包含对人类生命神圣性的尊重。这有点像你在权衡：我能……我是说，是的，这是令人担忧的。

议程上怎么说？假设民主党在几周后拿下众议院和参议院……好吧，他们要到一月才上任，但你明白我的意思。如果他们获胜，是否应该提出立法？是否应该就此举行听证会……

国会中实际上已经有一些关于人工智能安全等法案，我认为他们应当继续推进。正如我所说，有些事情是可以简单做到的，比如透明度要求，这些前沿公司必须告诉公众他们在做什么。是的……

虽然这不一定会阻止他们，但至少你需要这种基本信息的基础水平。所以，是的，我认为还有另一个我们没有讨论到的重大事件正在发生，那就是整个数据中心引发的反弹。

这在两党中都非常显著。现在党内有一个强大的反数据中心派系，所激发的热情确实令人瞩目。我认为这不仅仅是因为虚无主义，其中很多是对这项技术将对社会产生何种影响的更深层恐惧。

因此，我认为将会存在巨大的政治压力，以某种方式更好地掌控这项技术，使其成为一个我们都应关注的公共议题。所以我认为，事实上，无论谁当选……

好吧，希望好事发生，但无论如何，我认为在两种情况下，都将存在巨大的政治压力，以某种方式踩下刹车，遏制这项技术令人咋舌的发展速度。

好了，弗朗西斯·福山非常感谢你今天抽出时间与我交谈。很感激你接受采访。

谢谢莫娜，和你聊天很棒。