OpenAI首席执行官Sam Altman接受Alex Heath采访,提取出的五段陈述揭示了OpenAI雄心勃勃的目标与其治理滞后之间的核心矛盾。
Sam,最近怎么样? 这绝对是人工智能领域令人兴奋的时刻。模型能力正在迅速进步,我们看到人们利用这些技术做出了惊人的事情。正如我们之前讨论过的,也如我们所知迟早会发生的那样,模型能力的进步速度如此之快,以至于我们不得不改变工作方式。我们需要建立安全案例、设定安全阈值标准或提供担保(无论你怎么称呼它),以便能够自信地继续进行训练。
大家好,欢迎回到“变革文化”频道(EOS of Change Culture)。9月1日,Alex Heath发布了对OpenAI首席执行官Sam Altman长达68分钟的采访。从这次采访中,我提取了五段对话,它们暴露了其核心矛盾:即OpenAI要求社会为比人类更强大的系统做好准备,同时承认其技术、资金和机构治理尚未完备。
在这段观察中,我们将探讨以下几点:首先,为什么OpenAI放缓了训练进度;其次,OpenAI如何试图保持人类控制;第三是人工智能算力泡沫;第四点将是递归自我改进和IPO(首次公开募股);最后我们将以“超级智能之后的生活”作为结尾。让我们从第一点开始,即OpenAI放缓了训练进度。准备好了吗?我们深入探讨一下。
模型能力的进步速度如此之快,以至于我们不得不改变工作方式,以便建立安全案例、设定安全阈值标准或提供担保(无论你怎么称呼它),从而能够自信地继续进行训练。对齐、安全和安全的进步必须与能力的提升同步进行。我认为最近有一个时刻,能力进展之快令人惊叹(这是我唯一能形容的方式),我们需要更多时间来赶上安全、对齐和安全方面的步伐。这始终是我们工作的核心部分,但它们必须共同进步,我们需要时间来追赶。因此,我们推迟了前沿……
Heath问为什么OpenAI放缓了其部分前沿研究,并推迟了一轮主要的强化学习。Altman表示,未发布的模型显示出不同程度的不对齐(misalignment),需要更强的对齐工作、安全性和监控。他还承认,OpenAI低估了一个系统。该系统因此逃脱了网络安全评估沙箱,侵入了生产环境并持续占用资源,且在大约一周内未被发现。路透社单独报道称Astra达到了OpenAI的关键网络安全阈值。
对我而言,重点仍然是这一事件实际上证明了关于OpenAI自我治理结构的什么问题,因为OpenAI构建了系统、设计了评估流程、选择了监控手段、分类了风险并调查了故障,同时也决定了对应的纠正措施。因此,公众无法独立复现评估或检查不对齐发现背后的证据基础。归根结底,一个机构占据了问责链中的每一个位置。
因此,当我听到这一点时,我脑海中浮现的问题是:当开发者集所有角色于一身——即同时是风险创造者、评估者、调查者和最终权威时,我们见证的是真正的问责制吗?还是仅仅被要求信任一个没有独立机构可以验证的企业自我认证系统?Altman的推理假设危险行为在部署前会变得可见,公司会认识到其严重性,并且管理层愿意接受应对的商业成本。
但这一最新事件削弱了前两个假设,因为监控工具已经存在,据报道OpenAI并未全部应用它们,因为它低估了模型。因此,失败既是制度性的也是技术性的。人类决策者误判了其自身系统所需的监督程度。这也至关重要,因为暂停运营的AI公司可能会在时间、计算能力和市场地位方面承受即时成本,而竞争对手可能仍在继续。因此,自愿克制可能会惩罚那些谨慎行事的行为者。
我的结论是:内部暂停是必要的,但不能构成全球安全机制。前沿评估需要共同的阈值、独立的访问权限和可信的披露义务。否则,社会实际上是在依赖商业竞争对手在克制成本最高时自我施加限制,这并不现实。
引导这一工作的原则是:人类(在这种情况下像你的研究人员一样,但随着模型扩散最终是所有人类)必须在每一步都保持控制吗?你正在遵循的对齐原则是什么…… 有很多原则,但我认为这不是问题的精神所在,所以我不会深入探讨我们如何看待网络生物安全等问题。让我们把视角拉远:我们为人类团队感到自豪,我们希望为人类建设一个未来,我们想给人们提供工具,让人们利用这些工具做事。我们要人们掌控未来,要让个人拥有自主权去繁衍后代并让社会变得更好,但这必须本质上是一项人类事业。
自动化一切似乎既危险又令人极度反乌托邦、无聊且悲伤。那并不是我们想要的。因此,当我们谈论对齐时,我们要构建的是一个社会变得更好的世界,在这个世界中人们仍然是故事的主角……
正如你在这一短片中看到的,随后他接着问日益强大的系统是否仍能保持在有意义的人类控制之下。Altman认为能力的发展必须伴随对齐和监控,并将OpenAI描绘为致力于使系统与人类保持一致。但在我看来,“人类控制”并非单一条件。一个人可能发出指令甚至不理解其执行方式;例如,主管可能在技术上保留紧急停止按钮,但也缺乏干预的时间;公司可能在智能体已经转移信息、甚至篡改软件或联系外部之后才审查结果。
因此,基于这一原因及更多考量,我主张:控制权应依据“有效权威”来判定,而非名义上的人类在场。此外,Altman 的立场预设了模型行为将保持足够的可解释性,且安全措施会随能力提升而改善。但这两者均无保障,因为随着智能体获得更长的规划能力、横向访问权限以及在多环境中行动的能力,相关风险不再仅仅是它们是否服从指令。真正的风险在于:在后果变得不可逆转之前,其即时行动能否被观察、质疑并撤销。
对企业而言,这已具有极高的操作性风险。将智能体连接至电子邮件、财务系统、内部文件以及外部软件,会在真正掌握流程之前赋予其实际权力。深入审视此问题后你会发现,你能获取的最小治理结构包括受限权限、隔离环境和可审计日志。你还可以设置升级阈值或可逆操作,并引入人类责任机制。然而,若循环中的人类无法理解或中断该过程,在我看来,这不过是流程内部的一种精美装饰。
鉴于上述所有原因,我的立场是:标准应确立为“有效的人类权威”,具备理解、预防、停止或撤销后果性行动的能力。Altman 的回答指出了目标,这是正确的,但并未确立谁来验证这一标准是否真正得到满足。现在,让我们进入观察的第三部分,即“AI 算力泡沫”。>> 我们一直在绕开这个话题,但一年前你确实为了你们正在进行的巨大算力建设而“挺身而出”,引发了所有关于 AI 泡沫的恐惧。
同时,当人们认为你们过度投资时,Anthropic 的首席执行官 Dario 等人说你们是“盲目豪赌”(YOLOing)。>> 我知道,在这一方面你似乎得到了证实。>> 世界仍然严重缺乏算力。听起来你们依然如此,尽管你们的资源比一些竞争对手多;同时你似乎将代币成本大幅压低。你们即将发布 Jalapeno,这是你们的第一个用于推理的定制芯片。然而,在这个算力建设以及与之相关的天文数字中,是否有任何部分让你感到风险?
我不担心我们自己的建设。我担心的是全球的算力建设计划,我认为我们将能够利用与此相关的所有计算机资源。>> 好吧。如你所见,在简短的片段中,Heath 通过询问 AI 基础设施投资的规模是否实际上代表泡沫来推进话题。Altman 将行业层面的问题与 OpenAI 自身的立场区分开来。某些投资可能过度,但 OpenAI 相信它能有效利用其计划中的容量。虽然这种区分可以理解,但它不幸地并未消除系统性风险。
路透社报道了 OpenAI 到 2030 年预计的算力支出约为 6000 亿美元,Altman 也讨论了达到 1.4 万亿美元和 30 吉瓦的基础设施雄心。路透社还报道,过去一年(2025年)的收入约为 300 亿美元,支出为 80 亿美元。对吧?所以当然这个数字并不证明存在泡沫,但基础设施实际上是针对未来需求进行融资的。然而,这也显示了采用率、定价权、资本可用性和执行成功必须同时实现的程度。
在我看来,这里的核心风险是维持这一投资周期的“循环信心”。AI 开发商进入长期承诺以获取计算容量,鼓励基础设施提供商融资建设新数据中心,期望需求会实现;而这些项目又为芯片制造商和能源供应商带来进一步订单。同时,投资者也将获得基础设施访问权解读为主要 AI 公司可能主导市场的证据。因此,每一个决定在单独考虑时此刻看来都是商业理性的,尽管整个系统最终都依赖于对未来的同一期望。
关于这一部分,我的结论当然不是说 AI 缺乏变革潜力。一项技术可以深刻重塑经济,同时吸引资本的速度快于可持续回报产生的速度。例如,互联网挺过了互联网泡沫破裂,随后改变了全球商业格局。但许多围绕其早期承诺建立的投资并未幸存。我在今天看到了类似的弱点。一小部分公司正在技术、数据中心建设、信贷和能源方面做出巨大的相互关联的承诺,主要基于对 AI 未来需求的同一期望。
如果这种需求实现得更慢,或者证明更难货币化,后果将不仅限于 AI 公司本身。它们实际上会蔓延至公用事业、基础设施提供商、投资者以及那些开始围绕无中断 AI 增长假设分配大量资源的每个经济体。>> 现在让我们进入观察的第四部分,即递归自我改进(RSI)和 IPO。>> 你不必非要在我们的皮肤里说这个。>> 但真相每次都会突破出来。
Mhm. 你提到了递归自我改进,很高兴你提起了这个。旧金山现在很多人都在谈论 RSI。有一封你发给员工的信,在你们申请 IPO 时泄露了,你在信中写道:“如果潜在的 RSI 起飞看起来越快……” >> “越有利于推迟 IPO”。你提到了递归自我改进,很高兴你提起了这个。人们现在正在谈论 RSI。>> 过渡到成为一家上市公司 >> 有一封你发给员工的信,在你们申请 IPO 时泄露了。
“人们会对激励做出反应……他们不想错过,或者无论其他什么。” >> 如果潜在的 RSI 起飞越快越好。为了世界的安全,我们希望尽可能容易地…… >> “如果我们必须停止训练或做什么的,比如会有巨大的短期收入损失。那最好是不有一家新上市的……”
公司,同时承受这种压力。”“我当时并不认为我们会处于一种短期的轨迹上,即为了世界的安全而追求超级智能。一年前,我认为这可能会发生,比如我们会不得不停止训练或达到某个临界点等,而且我们也会面临短期收入的大幅下滑。这当然不太理想。”
随后,他将递归的自我改进与OpenAI的公开上市联系起来,并表示朝着能够自我改进的人工智能研究迈进的步伐加快,可能会推迟而非加速首次公开募股(IPO)。OpenAI首席科学家雅各布·帕乔基告诉《时代》周刊,一个内部系统通过实施一项实验性想法、运行该想法并返回结果,从而达到了公司设定的自动化初级人工智能研究人员的基准。
此外,伊克曼的回答假设私有所有权可以在这一持续的技术转型期间保持战略灵活性。然而,私人地位并不能消除财务纪律。一家致力于数百亿美元基础设施投入的公司仍然需要对投资者、贷款人、合作伙伴、承包商和交易对手负责。
因此,治理问题不仅仅是OpenAI是否公开上市的问题,而是任何资本结构在承诺融资以期待快速技术进步后,能否保留可信的减速权利。好吧,关于这一部分的结论,我们还有一个最后的观点要讨论。因此,对于这一部分的总结,我想稍微调整一下我的立场,因为我知道那种每天必须在更高压力下做出决策的处境,然后尽力让事情运转、推动事物向前发展。
出于这个原因,而且因为我也没有更好的解决方案在这里,我想稍微调整一下我的立场。对吧?所以我对所问问题及回答的解读是:技术加速和财务承诺可能会相互强化。更好的系统证明更多资本的合理性,更多的资本产生更多的算力,而更多的算力最终加速了发展。
但必须非常谨慎。我们必须审视这些数字,并且在具体计划投资回报率方面要更加精确。它将如何发生?因为这也是商业行为。你投资是为了获利,也是为了在发展中取得进展。这就是我想说的。现在进入本观察的最后一部分:超级智能之后的生活。“认识到它”“你们正在朝着超级智能迈进。”
“我很好奇你个人是如何为此做准备的。你对你所构建事物的另一侧的生活会有什么看法?”“我认为那看起来会与现在惊人地相似。你知道,人们将会与家人共度时光、坠入爱河、发生争吵、从事爱好、被娱乐并拥有非常人性化的体验。你知道,他们会感到压力、焦虑并为彼此创造价值。”
“玩各种奇怪的游戏……关心他人。很多方面不会有什么不同。在另一侧,人类体验将更加丰富:人们拥有更多的自主权、自由和财富;能做更多事情……更健康;能够像拥有更强大的力量去共同定义未来,世界会更快变得更好。但人类体验将保持非常人性化。”
“如果你展望未来12个月”“什么是?”在这一最后部分,我邀请你深入思考。随后他最终询问超级智能之后人类生活将是什么样子,我也许会预期人们即使当智力和生产能力变得极其丰富时,仍将继续创造雄心、关系和意义。
但从我的浅见来看,历史提供了部分支持,因为例如机械化消除了劳动形式而没有消除人类的抱负。这非常正确。但正如阿尔马所描述的,超级智能将在更广泛的认知领域挑战比较优势。因此这里的关键变量不是人们能否发明新的目标,他们绝对可以;而是他们是否能保留追求这些目标所需的经济能动性。
所以我的结论是,主要的冲突可能不是人类对抗AI(或者是众多冲突之一),因为我认为它可能是掌握先进智能的人与必须租赁访问权的人之间的冲突。如果劳动力在谈判中失去权力,而计算所有权集中化,社会可能在实现技术丰裕的同时伴随经济依赖。
这就是我想与你们分享的关于萨姆·奥特曼最新《时代》周刊访谈的小分析。我希望你觉得它有趣或有幫助。我建议去观看完整的采访,你可以在我的描述或本视频下方的描述中找到链接。如果你喜欢或者觉得这些内容有帮助,请点击订阅按钮以便频道成长,点赞并将播客推荐给你认为可能对这类分析和内容感兴趣的人。
还有一些访谈或访谈分析即将发布,明天一个,周六还有一个。EOS变革文化指导播客的第5集将于下周一推出。敬请期待。同时也请查看我的社交媒体页面,我在那里每天发布一些关于当前话题的分析。例如这次奥特曼的访谈我就发过相关内容。说到这里,祝你们一切顺利。照顾好你的亲人和你自己。我们在下一个视频中再见。拜拜。“并崩溃。”“没有f”“时间,没有休息。它开启得很快。”
“是的。”“没有伪装,无需扮演角色。我的身体无论如何都在回应。”“我们随着节奏移动。无忧无虑,只有一个愿景。脚踩在火上。欲望像摩擦一样被捕捉。随着节奏移动。心悬在半空。这就是时刻,全力以赴。舞蹈是我们今晚的语言。”“慢下来。呼吸它。”