背景与预测准确性验证
丹尼尔·科科塔伊洛(Daniel Kokotajlo)和托马斯·拉森(Thomas Larsen)创立了AI Futures Project,旨在打破行业内部信息与公众认知之间的巨大鸿沟。丹尼尔曾供职于OpenAI,负责评估、预测和治理工作,但他发现公司内部掌握的关键信息无法对外公开。离开后,他们发布了《AI 2027》情景预测报告,该报告引发了远超预期的关注。托马斯指出,现实世界的发展轨迹与《AI 2027》中的描述高度吻合,关键指标如收入趋势基本走在预测轨道上。他们对已验证的预测进行了量化复盘,发现整体进度达到了75%的速度,方向正确但稍慢。这种准确性促使他们进一步思考如何利用预测来引导政策。
“现实世界的发展轨迹和AI 2027中的描述高度吻合,收入趋势等关键指标基本走在轨道上。”
在方法论上,托马斯将他们的预测工作类比为军事兵棋推演。他认为,虽然无法精确预测每场战斗的细节,但如果没有初始的概念和计划,成功的概率会极低。《AI 2040》方案A并非单纯的预测,而是预测与建议的混合体。他们通过情景审视(scenario scrutiny)和约一百次兵棋推演来暴露计划中的潜在问题。例如,在推演中发现即将面临选举的总统可能会为了不让政敌掌控超级智能而加速研发,这种政治考量是纯预测模型中容易忽略的变量。
自我实现预言与技术乐观主义
针对“预测是否会导致自我实现的预言”这一尖锐问题,托马斯承认这是《AI 2027》发布时最大的担忧之一。如果人们意识到超级智能的重要性并加速竞赛,预测本身可能成为催化剂。然而,托马斯表示如果计划A被自我实现,他们会很高兴。丹尼尔则持更务实的观点,认为人们往往高估了预测对行为的影响。正确的做法是先尽力准确预测未来,再尝试引导其走向更好的方向。
“自我实现确实存在,但是人们往往高估了它的影响。正确做法是先尽力准确预测未来,再去尝试引导它走向更好的方向。”
技术层面的变化也推动了这一观点的转变。托马斯指出,AI在现实世界中的有用性显著提升,例如自动化工作环节的能力从两年前的基本不可能发展到现在的显著改善。他引用杰弗里·辛顿(Geoffrey Hinton)的标准,即AI能否讲一个有趣的笑话,这一里程碑在GPT-3到GPT-4之间已被跨越。关于AI取代人类研究员的时间点,托马斯提出了一个关键指标:当AI公司宁愿开除人类员工也不愿放弃AI的那一刻。目前这一时刻尚未到来,但他认为随着强化学习规模的扩展,没有什么根本性的东西能够阻止AI达到人类水平的能力。蒂姆提到的Inherent公司案例显示,强化学习微调的模型在复现机器学习论文实验时表现优异,进一步佐证了AI科学家自动化的可能性。
经济重构与硬件算力对比
面对“完全由AI组成的经济体是否有意义”的质疑,托马斯引用了大卫·格雷伯《狗屁工作》的概念。他认为关键在于核心经济活动(如造芯片、做AI)能否被自主完成。一旦这些环节由AI和机器人主导,即使其他领域存在无意义的工作,核心部分也能以指数级速度增长。丹尼尔从宏观视角补充道,经济本质上是自我复制系统,未来可能出现倍增时间远快于当前约20年的AI驱动经济体。他描绘了一个画面:自动驾驶卡车和人形机器人工厂在生产更多的人形机器人,芯片工厂持续扩张,整个系统可能每半年甚至每季度翻一番。
在模型架构上,蒂姆认为当前模型缺乏组合性,不同Agent间难以共享技能。丹尼尔反驳称,足够大的模型可以一次性学完所有东西,且学习编码对物理模拟甚至有小的增益。即便未来存在多个专业化模型,也不影响整体图景。托马斯用埃隆·马斯克类比,指出AI可以在每个维度上都达到顶尖水平,产生罕见的多维能力叠加效应。
“自动驾驶卡车和人形机器人工厂在生产更多的人形机器人,芯片工厂持续的扩张。整个系统可能每半年甚至每三个月就翻一番。”
在硬件层面,托马斯指出英伟达H100 GPU的浮点运算能力约为每秒10^15次FP16运算,与人脑估算的10^12到10^18次计算量相当。尽管计算机串行速度快,但人脑并行度更高。丹尼尔补充说神经网络与人脑在架构上相似,都是通过训练修剪连接形成有效回路。
计划A的核心机制与中美合作
《AI 2040》方案A旨在解决五大问题:失控风险、权力集中、冲突风险、就业冲击和滥用风险。其核心解决方案是争取时间。具体而言,在达到大致人类水平的AI后实施暂停:第一阶段为6到12个月的硬暂停期,用于建立基础设施;第二阶段在AI能力达到最大可控水平(顶尖人类专家级别)时进行第二次暂停。第二条原则是透明性,托马斯强调透明性能缓解权力集中问题。如果全社会都能看到AI的对齐情况和技术细节,就很难在非民主方式下被某一方掌控。他特别提到Hugging Face事件中OpenAI内部消息板的案例,指出如果研究完全公开,整个社会、学术界都能参与进来。这意味着核心训练配方将公之于众,虽然会大幅削减OpenAI等公司的估值,但有助于实现AI的商品化而非垄断化。丹尼尔认为这确实是对中国的让利,因为中国能获取原本难以获得的算法,但可通过谈判在其他方面(如算力分配)找补。
“透明性能缓解权力集中问题,因为如果全社会都能看到AI有多聪明、对齐给了谁,就很难在非民主的方式下被某一方掌控。”
执行层面涉及中美合作机制。丹尼尔描述了收集99%的算力(大型数据中心)、派驻核查人员确认GPU数量,以及设立完全透明的训练和推理数据中心。针对作弊担忧,托马斯认为隐藏大规模集群(几十万块H100)不足以竞争前沿,且长期情报搜集下被发现概率极大。关于对齐与控制的区别,托马斯界定对AI本身有正确的价值观为目标是对齐,而通过机制防止危害是控制。丹尼尔举例OpenAI让其他AI监控训练中的新AI,这属于控制手段。但他强调当AI足够聪明能绕过任何控制措施时,控制就失效了,最终必须解决对齐问题。
公共讨论困境与技术范式分歧
蒂姆询问为何AI领域公共讨论质量低下。托马斯认为部分原因是公司人员有动机合理化自身行为,但更主要的原因是对话本身很难在社交媒体上深入进行。他提到Less Wrong社区讨论质量较好,而华盛顿的政策圈缺乏技术专家,激励导向是政治可接受性而非准确理解。许多讨论仍停留在AI是泡沫或类似互联网早期的阶段,尚未消化通用人工智能假说(AGI Hypothesis)这一现实。
丹尼尔指出,双方共识在于如果未来出现云端人类级别AI(能替代一切知识工作甚至研究),它就不是正常技术。分歧仅在于时间线:丹尼尔认为近几年内实现,而对方认为遥远。他借用阿姆达尔定律解释当前局限:AI只能完成工作流的一部分,总会卡在人类必须做的那一环。但如果未来AI能100%完成重要经济工作流,将是质变。丹尼尔表示,如果有人正确预测了当前范式的真正限制且几年后未被克服,他会延长自己的时间线。但截至目前,那些被专家们反复提出的限制一直在被突破。蒂姆最后指出,若看到递归式结构适应和自我进化,即非正常技术。丹尼尔赞同这与递归自我改进、AI自动化自身研究过程的概念一致。
“分歧只在于时间线,丹尼尔和托马斯认为这在近几年内就会实现。能改变他想法的情况是如果有人正确预测了当前范式的某个真正限制,而且几年后这个限制确实没有被克服。”
结论
《AI 2040》方案A的核心逻辑是通过中美合作、算力监控和高度透明化,在超级智能到来前争取6-12个月的缓冲期及后续谨慎推进机制。该方案基于对《AI 2027》预测准确性的验证,认为技术突破速度远超公众预期。其最终目标是在控制失效前解决对齐问题,防止权力集中和冲突风险。尽管面临自我实现预言和政治博弈的挑战,该计划主张通过商品化AI和公开训练数据来自然放慢发展速度并建立全球治理基础。