大家好,这里是最佳拍档,我是大飞。6月10日,由DeepMind联合创始人谢恩·莱格(Shane Legg)牵头,十余位顶尖研究员共同撰写了一篇长达57页的报告《从AGI到ASI》。这份报告尝试回答一个问题:当我们拥有了人类水平的AGI之后,AI会沿着怎样的路径继续发展,最终走向ASI呢?今天这期节目,我们就来给大家拆解一下这份报告。

在正式展开之前,我们得先把最核心的两个概念说清楚:到底什么是AGI,什么又是ASI?按照报告的定义,AGI指的是在绝大多数认知任务上能达到人类中位数水平的系统。而ASI的标准就要高得多了,它的定义是:在几乎所有人类感兴趣的任务和领域里,能力都能超过大规模以及协调良好的人类专家集体。

报告还引入了莱格-胡特评分(Legg-Hutter Score),这个评分把智能定义为一个智能体在所有可计算任务上的平均表现,任务越简单权重越高。在这个连续的智能标尺上,AGI和ASI没有绝对清晰的分界线,而是一段连续的光谱。

在这个光谱的最顶端,还有一个理论上的极限,叫做Universal Artificial Intelligence,简称UAI。它是理论上能达到的最高智能水平,后面我们会专门展开讲。讲完了定义,我们再来说一个最核心的底层逻辑:为什么AI在达到人类水平之后,大概率不会停下来,而是会继续向更高的智能发展呢?

答案就藏在数字智能和生物智能的本质区别里。我们人类的大脑是碳基生物演化的产物,有很多天生的、无法突破的限制。但是数字智能完全没有这些限制。报告里总结了六大数字智能的核心优势,分别是输出速度、内部的处理速度、工作记忆和长期记忆容量、基质独立性、无损复制和高带宽的经验共享。

这些优势叠加在一起,我们可以得出一个结论:哪怕AI的基础智能水平刚好和人类持平,只要算力还在增长,只要我们还能运行更多、更快的AI实例,它的整体能力就会持续提升。那现在算力的增长速度到底有多快呢?

报告里给出了一个保守估计:当前AI的有效算力(Effective Compute)每年大概增长10倍。这个数字是三个因素相乘的结果。第一个是硬件本身的进步,摩尔定律每年大概能让单位美元的算力提升1.5倍。第二个是过去十年里投入到AI算力上的资金,每年大概增长2.5倍。

第三个是达到同样性能需要的算力,每年大概下降3倍,相当于算力变相提升了3倍。三个数乘起来是11.25倍,报告保守取了10倍每年。过去十年,这个增速一直非常稳定。如果这个增速能再保持十年,那十年后的有效算力会是今天的一百亿倍。

这个量级的增长,会带来什么样的能力突破?其实我们现在很难准确想象。很多人谈起超级智能,会觉得它无所不能。但实际上,超级智能再强,也逃不开物理定律和计算理论的限制。目前我们对智能上限最严谨的理论框架,就是我们前面提到的、由马库斯·胡特等人提出的UAI,也就是AIXI模型。

简单来说,AIXI本质上是一个通用的智能体。它会和未知的环境进行交互,不断发出动作,接收环境的反馈和奖励,然后想办法最大化长期的累积奖励。它解决问题的核心思路是所罗门诺夫归纳(Solomonoff Induction)。

它会考虑所有能生成当前观测结果的可计算规律,也就是所有可能的世界模型,然后给更简单的规律分配更高的先验概率。随着观测数据越来越多,再用贝叶斯方法不断更新这些概率,最终得到最准确的世界模型,再基于这个模型做规划和决策。

这个框架同时解决了智能体的三个核心问题。第一是在不确定性下行动,因为它对世界的认知是概率分布,不是单一结论。第二是序贯决策的信用分配问题,也就是短期牺牲换长期收益的权衡。第三是探索和利用的平衡,它会自动判断什么时候该探索新信息,什么时候该用已知信息获取收益。

从理论上来说,AIXI是超级智能的上限。但是关键问题是,它是不可计算的,也就是说我们永远不可能真的做出一个完美的AIXI系统,只能不断从下方去逼近它。正如现在的大模型预训练,本质上就是在对通用压缩做资源有限的近似。

我们用海量数据训练大模型做下一个词预测,其实就是在做算法压缩。而压缩能力本质上就是预测能力,也就是智能的核心组成部分。所以说,哪怕是达到了ASI水平的超级智能,也绝对不是全知全能的。它会受到很多根本限制,报告里总结了六大类。

第一类是基础物理定律的限制。比如光速限制了信息传播的速度,兰道尔原理规定了擦除信息必须消耗的最低能量,布雷默曼极限规定了单位物质的最高计算速度,贝肯斯坦界限规定了有限空间、有限能量里能容纳的最大信息量。这些都是物理定律锁死的,再聪明的智能也突破不了。

第二类是实时性限制。物理世界是按真实时间流逝的,很多复杂系统,比如天气、生物、经济、社会,没法用仿真完全精准替代,必须等真实世界的演化结果。哪怕AI再聪明,做实验也得等结果,建东西也得花时间,不可能瞬间完成所有事。

第三类是物理操作的限制。不是所有逻辑上可能的物质结构都能在现实里造出来,而且改造物质需要能量、时间和原材料,不是想想就能凭空变出来。第四类是观测和控制的限制。我们对世界的认知永远有不确定性,测量永远有误差,这就导致预测和控制都有天然的极限,不可能百分之百精准。

第五类是计算复杂度的限制。比如P和NP的问题,很多问题本质上就是计算困难的。哪怕算力再强,也只能找近似解,没法得到完美的最优解。当然,很多时候好的近似解已经足够好用了。第六类是逻辑层面的限制。比如哥德尔不完备定理(Gödel’s Incompleteness),还有停机问题(Halting Problem),这些是数理逻辑本身的局限,再强的智能也绕不开。

那么,从AGI到ASI到底有哪几条可以走的技术路径呢?报告一共梳理了四条。第一条路径,也是大家最熟悉的一条:持续扩大算力、模型和数据的规模。过去几年AI的爆发,本质上就是靠缩放定律(Scaling Law)堆出来的。

所以很多人认为,如果这个逻辑能一直延续下去,那哪怕没有任何算法突破,也能从AGI一路堆到ASI。支持这个逻辑的最核心论点,就是AI领域的《苦涩的教训》。它指出,最后能赢的方法,永远是那些能靠通用算力缩放的方法,而不是人类精心设计的启发式规则。

如果智能的本质就是搜索,比如在假设空间里搜索正确的预测,在策略空间里搜索最优的行动,那么更多算力就等于更多的搜索量,自然就等于更高的智能。当然,这个路径也有很大的不确定性。首先,纯靠蛮力搜索在绝大多数复杂问题上都是行不通的,必须要有好的归纳偏置、好的启发式算法,才能把搜索空间降到可处理的范围。

而归纳偏置本身,就是一种算法层面的设计,不是光靠堆算力就能出来的。接下来讲第二条路径:算法范式的转变。现在我们主流的AI范式,就是用海量数据预训练一个大型Transformer模型,然后做各种微调,推理的时候再用思维链、工具调用这些方式增强能力。

业内其实有比较广泛的共识,光靠这个范式,大概率到不了AGI,更别说ASI了。虽然现在这个范式也在不断演进,比如无限上下文、持续学习、世界模型等等,但是这些都只能算是现有范式的延伸和补充。真正的范式转变,指的是架构和训练方法上的根本性变化,比如完全不用Transformer了,或者不用梯度下降了,换成全新的架构和训练方式。

这条路径最大的特点就是不可预测。真正的范式转变,在发生之前都是很难预判的。就像Transformer出现之前,没人能想到这个架构会统治整个AI领域。也正因为它不可预测,我们才不能忽视它的存在,很可能在缩放定律遇到瓶颈的时候,某个突然出现的范式转变,会直接打开通往ASI的大门。

接下来是第三条路径:递归自我改进(Recursive Self-Improvement)。很多人都听过“智能爆炸”或者“奇点”的说法,它的核心逻辑就是递归自我改进。当AI的能力强到可以参与甚至主导AI研发工作的时候,它就能帮我们设计出更好的AI系统。

更好的AI系统又能进一步加速AI研发,形成一个正反馈循环,让智能水平越来越快地提升,最终在短时间内远远超过人类。报告里把递归自我改进又分成了四种类型。第一种是基因型的自我改进,也就是AI直接改进自己的源代码、架构、优化器、搜索算法这些核心设计,就像人类修改自己的基因一样。

第二种是文化型的自我改进,也就是通过提升数据质量来提升能力。最典型的例子就是AlphaZero,它通过自我对弈产生搜索结果,再把结果蒸馏回策略网络,不断循环提升棋力。现在的大模型把推理时的计算转化成更好的训练数据,这本质上就是一种数据层面的递归改进。

第三种是硬件层面的自我改进,也就是AI帮我们设计更好的芯片和硬件架构,甚至优化整个芯片制造产业链,让硬件的进步速度更快,反过来又支撑更强的AI。现在其实已经有雏形了,比如用AI辅助芯片布局设计。第四种是分工型的自我改进,也就是AI集体不断专业化分工,提升整体的协作效率,用同样的资源完成更多的工作。

省下来的资源又可以进一步扩大规模和深化分工,从而形成正向循环。现在我们其实已经处在弱递归改进的阶段了,比如用AI来写代码,只不过现在人类还占主导,AI只是辅助工具。当然,递归改进也不是没有天花板的。比如AlphaZero的自我对弈,到了一定水平之后也会进入平台期,不会无限提升。

而且哪怕AI研发完全自动化了,做实验、跑训练、造硬件,依然需要时间、算力、能源和物理资源,这些都会拖慢循环的速度。不过它依然是四条路径里,最有可能带来快速能力跃迁的一条。最后是第四条路径:多智能体协作,通过群体智能涌现出超级智能。

报告里把这叫做Group Agency,也就是大量个体智能体通过协作,形成一个有统一目标、统一决策的“超级个体”。它可能是精心设计的中心化协作系统,也可能是通过市场机制,自发形成的去中心化智能体经济。中心化的协作很好理解,因为AI之间的通信带宽极高,一个AGI“CEO”理论上可以直接和每一个“员工实例”通信,效率会比人类组织高得多。

而去中心化的模式,就有点像人类的市场经济。大量不同的AGI智能体在一个系统里交易、协作、竞争,通过价格信号自动协调资源分配,最终整个系统会涌现出远超个体的优化能力和创新能力,就像人类的市场经济能创造出任何一个人都造不出来的复杂产品一样。

虽然这条路径也还有很多问题没有答案,但是目前可以确定的是,只要多运行一些AGI实例,就能扩大群体规模,这在工程上是最简单直接的。所以这条路径大概率会是最先落地的。不过,技术发展永远不是一帆风顺的。报告里也专门梳理了六大可能的瓶颈,这些因素都有可能放慢甚至阻断通往ASI的道路。

第一个瓶颈,也是现在讨论最多的,就是“数据墙”(Data Wall)。现在大模型的训练,主要靠的是人类生成的互联网文本,但人类生产高质量文本的速度是有限的,而模型规模增长的速度比数据增长的速度快得多。有研究估计,高质量的文本数据大概在本十年末就会被用完。

其他模态比如图片、视频,数据量更大一些,但如果只靠人类生产,迟早也会遇到同样的问题。那合成数据能不能解决这个问题呢?如果直接用模型生成的数据反复训练模型,会出现模型坍塌的问题,模型的质量会越来越差。虽然这个问题也有解,比如结合推理搜索的合成数据,就像AlphaZero那样,用搜索提升结果质量再蒸馏,就不会坍塌。

还有用仿真环境生成的交互数据,用强化学习在环境里收集数据,这些都可以靠算力来规模化生成。如果这条路能走通,那数据就不再是瓶颈。但目前我们还不确定,这种合成数据能不能支撑模型一直走到ASI水平。第二个瓶颈,是经济和自然资源的约束。

持续缩放算力,需要持续的资金投入,芯片产能,大量能源、数据中心,以及稀土等各种原材料。这些东西都不是无限的,也不是短时间内能快速扩张的。如果AI带来的经济回报跟不上算力扩张的成本,那缩放自然就会慢下来。而且除了经济成本,还有环境成本。

虽然现在开始提出通过轨道数据中心来解决土地和散热问题,但是这种方案会带来新的风险,并不完美。第三个瓶颈,是当前神经网络范式本身的天花板。这个我们前面已经提过,单纯靠预训练Transformer模型,可能根本达不到真正的通用智能。虽然现在业内还在不断给现有范式打补丁,但是最终这个范式能走多远,现在还没有定论。

第四个瓶颈,是研究变得越来越难。有个很经典的研究结论:在绝大多数科技领域,单个研究员的产出是不断下降的。也就是说,要保持同样的进步速度,需要投入越来越多的研究员和资金。最典型的就是半导体行业,要维持摩尔定律的进步速度,现在投入的研究员数量是上世纪70年代的18倍。

AI研究大概率也会符合这个规律。但是,如果能实现AI的自动化研发,很可能会抵消这个效应,甚至反过来加速研究。第五个瓶颈叫做抽象壁垒(Abstraction Barrier)。这个假说是亚历山大·勒希纳(Alexander Lerchner)提出来的,核心意思是说,现在的AI都是在人类已经提炼好的抽象概念上学习,但是它自己无法提炼出全新的抽象概念。

举个最直观的例子:如果把现在最厉害的大模型放到牛顿之前的时代,给它所有当时人类能观测到的物理数据,它能自己发明微积分、万有引力,甚至推导出相对论吗?几乎可以肯定是不能的,因为它没有“力”、“因果性”、“时空曲率”这些基础概念。

而这些概念,是人类花了几百年,通过和物理世界的互动,一点点从原始感知里抽象提炼出来的。如果这个假说是真的,那现在的AI再怎么缩放,也只能在人类已经建立的概念框架里打转。它的超人类性,只体现在速度和记忆上,而真正的科学突破,恰恰需要全新的抽象概念。

如果是这样,那单个AI的智能天花板,大概就是人类的最高水平了。最后一个瓶颈,是人为的主动减速。这个和技术无关,而是社会、政治、监管层面的因素。随着AI的影响越来越大,可能会出现严重的事故,引发公众的强烈反对,或者监管机构出台严格的限制政策,主动放慢AI能力提升的速度,甚至直接禁止某些方向的研究。

当然,这个因素也有对冲的力量,那就是国际竞争。在经济和军事竞争的压力下,各国都会选择加速AI研发,而不是减速。报告里也提到,历史上全球统一的监管框架非常少见,所以能不能通过全球协作来主动减速,其实是很不确定的。除非真的发生了影响很大的AI安全事故,才有可能让整个行业的发展节奏慢下来。

讲完了四条路径和六大瓶颈,报告还专门用了一大部分讨论了几个大家最关心的延伸问题。我们挑几个核心的和大家聊聊。第一个问题:纯靠算力缩放,到底能不能从AGI走到ASI?从纯理论上来说,如果我们有无限算力,用最笨的穷举搜索,确实能逼近AIXI的水平,也就是理论上限。

但现实里,算力永远是有限的,纯蛮力搜索的效率也太低了,根本不现实。所以现实里,算力缩放必须配合好的算法、好的归纳偏置,才能有效转化成智能。但是换个角度,如果我们不追求个体智能提升,而是靠堆AGI实例的数量和速度,靠群体智能来实现ASI,那纯算力缩放是有可能做到的。

当然,前提是群体智能确实能随着规模线性甚至超线性提升,而且大多数任务都能通过分工协作来完成。这个前提成不成立,现在还没有答案。第二个问题:我们能不能预测ASI到底能做什么、不能做什么吗?答案是,很难精准预测。一方面,虽然我们可以从理论上给出否定的答案,比如它不能突破物理定律,不能解决不可计算的问题,但这些否定答案在现实里其实没什么用。

因为大多数实际问题,靠近似解或者启发式方法就能做得很好,而我们没法提前知道一个问题有没有好的近似解,近似解能做到多好。所以预测ASI的能力,本质上是个实证问题,得真的做出来才知道。这也是为什么基准测试这么重要。但现在的问题是,我们现有的基准很快就会被AI超过人类水平,之后我们就没有标尺来衡量AI的进步了。

所以未来怎么设计不会在人类水平饱和的基准,怎么衡量超级智能的能力,是个非常重要的研究方向。第三个问题:超级智能有创造力吗?关于创造力,玛格丽特·博登(Margaret Boden)有个很经典的三层划分。第一层是组合式创造力,就是把已有的想法重新组合起来。

第二层是探索式创造力,就是在已有的概念框架里发现新的内容。第三层是变革式创造力,就是创造出全新的概念框架,相当于开宗立派。按照这个划分,现在的AI其实已经具备前两层创造力了。比如AlphaGo的第37步,以及AI发现新的数学定理、新的蛋白质结构。

但是第三层的变革式创造力,比如像爱因斯坦一样提出相对论,像毕加索一样开创立体主义,目前还难以实现。

这种彻底改变整个领域认知框架的创造,现在的AI还完全做不到。而能不能做到变革式创造,刚好就是我们前面说的抽象壁垒问题。如果ASI能突破抽象壁垒,那它就具备变革式的创造力;如果突破不了,那它的创造就永远只能在人类的框架里打转。

第四个问题,ASI会追求什么目标呢?很多人担心超级智能会有自己的想法,会和人类作对。其实从理论上来说,AI的最终目标是我们给它设定的。但不管最终目标是什么,它都会产生一些共通的工具性目标,这个叫做工具性趋同(Instrumental Convergence),是史蒂夫·奥莫亨德罗(Steve Omohundro)和尼克·博斯特罗姆(Nick Bostrom)提出的。

比如不管你想让AI做什么,它都会想要更多的资源,想要保存自己,想要提升自己的能力,这些都是工具性的目标。当然,这些问题也不是没有解决方案,比如可纠正性和可中断性的研究,就是想让AI不会抗拒被关停、被修改。

还有一种思路,是给AI设定知识寻求(Knowledge Seeking)的目标,也就是让它以获取信息、减少不确定性为目标,而不是最大化某个外部奖励。这种目标的好处是,知识是非排他性的,是正和博弈,而且AI不会为了获取知识去破坏世界,因为它一旦搞懂了欺骗的机制,就对欺骗没兴趣了。

最后还有一个问题,AGI必须是智能体吗?答案是不一定。理论上可以存在一种“神谕”型的AI,它只负责回答问题,不主动采取行动,也没有自己的目标,这样风险会小很多。但问题是,经济和实用的压力会不断推动AI往更自主的方向走,因为人类监督太慢、太贵了。

越自主的AI,效率越高,成本越低。所以哪怕我们想做非智能体的AI,市场竞争的压力也会推着大家不断给AI加自主权,最终走向完全自主的智能体。最后,报告给出了一个非常克制的结论:我们没法准确预测ASI什么时候会来,甚至没法百分之百确定它一定能实现,但我们也没法排除这种可能性。

从目前的迹象来看,AI在达到人类水平之后,大概率不会刚好停下来。要么会因为各种瓶颈提前停滞,要么会比较平稳地继续发展到弱ASI水平。当然也不能排除递归改进带来快速跃迁的可能。

报告的结尾,引用了艾伦·图灵(Alan Turing)在1950年说的那句话:“我们只能看清前方很短的一段距离,但我们能清楚地看到,那里有大量需要完成的工作。”

我们这代人,很可能会亲眼见证人类历史上最重大的技术变革,甚至可能就是亲手推动这场变革的人。与其纠结于AGI到底哪年到来,其实不如多花点时间去理解它和研究它,想办法让它朝着对人类有利的方向发展。

那么大家认为ASI会实现么?欢迎在评论区留言。感谢收看本期视频,我们下期再见。