邀请瑞安·格林布拉特来讨论/辩论递归自我改进。

这也许是当今世界最重要的问题——在实现人类水平智能后的一年左右，我们是否会迅速涌现出数百亿个超级智能体？每一个都将在所有领域显著超越人类专家的能力。

历史上，我对这种可能性持怀疑态度。我的直觉是，我们最终将受到严重的瓶颈限制，这不仅是因为算力扩展，还因为人类专家数据。我认为这构成了当今大多数AI进步的基础。

如果由于递归自我改进（RSI），我们在实现通用人工智能（AGI）后的单一年内，取得了如同从GPT-3到Mythos那样巨大的飞跃（即相当于6年AI进度的积累），那么在那一年结束时，我们得到的成果将是确定且极其超越人类水平的。

我们对此进行了深入探讨，我认为瑞安提出了相当有力的论据，证明这种加速是合理的。顺便一提，瑞安预测我们实现AI研发自动化的中位数时间是2031年。

随后我们讨论了这一场景的对齐影响：这些超级智能体应该与谁对齐？在未来，我们要管理选票和资本的能力、理解世界发生之事的能力，都将被超级智能体所调节。我担心像“Claude宪法”这样的规范并没有将这些人工通用智能（ASI）塑造为真正代表我个人利益、守护我的天使。

而且，我们首先能让它们与任何事物对齐吗？瑞安和我就奥AI/Hugging Face黑客事件中看到的奖励作弊行为是否会延伸到超级智能体进行了长时间辩论，这些超级智能体会联手 literally 接管世界。

当你学习驾驶时得到的第一条建议是：如果你注视地平线而不是直接盯着轮胎前方，过程会顺利得多。AI的发展轨迹也是如此。希望你喜欢！

EPISODE LINKS * 转录稿：https://www.dwarkesh.com/p/ryan-greenblatt * Apple Podcasts: https://podcasts.apple.com/us/podcast/ryan-greenblatt-human-level-ais-might-build-runaway/id1516093381?i=1000782779590 * Spotify: https://open.spotify.com/episode/4TdEXIVDv9AxT30DGG0KR1?si=8U6qFnEAQA-ULathx_7Cdw

SPONSORS * Antithesis 是一个软件测试平台，能够发现人类或AI永远无法预见的失败。它在完全确定的计算机内运行你代码的数千个副本，注入故障并引导每条轨迹走向最阴险的错误。这让你能在几分钟内发现关键问题，而不是等待数月让用户去揭露它们。更多信息请访问 https://antithesis.com/dwarkesh

  • Jane Street 带着新谜题回归。他们设计了一款ASIC芯片并寄给了我最终的掩膜……但他们没有告诉我这块芯片实际上做什么。所以挑战在于：逆向工程电路并弄清楚芯片的用途。Jane Street 准备了大量周边礼品，将寄给最具创意的解决方案提供者；他们还计划在一篇博客文章中展示顶级分析报告。下载文件并开始尝试请访问 https://janestreet.com/dwarkesh

  • Cursor 和 SpaceX 最近发布了 Grok 4.5，我对该模型的优秀表现感到惊讶。例如，当我在一堆AI治理问题上测试它时，与 Fable 和 Sol 相比，所有三个模型给出了实质相同的答案，但 Grok 更快、更简洁且成本更低。Grok 4.6 即将到来，但在此期间，你可以尝试在 https://cursor.com/dwarkesh

要赞助未来的节目，请访问 https://dwarkesh.com/advertise。

TIMESTAMPS 00:00:00 – AI研发是否足够可验证以解锁递归自我改进？ 00:16:52 – AI进步是否受限于人类专家数据？ 00:34:02 – 平坦的令牌价格表明扩展进展缓慢 00:39:47 – AI无法训练的技能：它真的需要它们吗？ 00:48:07 – 与谁对齐？ 01:09:18 – AI串通和欺骗人类的近期事件 01:19:38 – 可能出什么错？一个具体场景 01:48:02 – 从奖励作弊到接管世界