OpenAI内部模型最近取得的数学成果真的让我深受触动,因为这些结果似乎涉及极具创造性的思维。我认为这类能力具有普遍性,最终将推动AI研发中的创造力突破,从而促使模型实现重大新进展。感觉我们离那一天真的不远了,因为一旦模型能够完成某项任务,你知道的,在12个月内甚至更短的时间内,他们就会变得非常擅长此事,我们也能以更快速度、更低成本完成它。所以我认为我们正处于临界点。
欢迎回来,我们正在直播连线Prince,他是目前最顶尖的AI匿名人士之一。Prince,再次欢迎来到MTS节目。 早上好,Theo。很高兴来到这里。
我们之前聊过一些枯燥的话题,比如RSI和FUM等,这些在MTS上已经讨论多次。但今天的重磅新闻是网络安全:我们是否正处于网络末日之中? 嗯,是的。这是个很好的问题。你知道的,你正在和一位律师对话……
所以很难让我给出技术性的评估。但一般来说,当一个事件发生后30分钟内又发生另一个事件,一小时后再接一个,如此每隔几小时不断重复,这让人感觉我们似乎已经跨越了某种阈值。Visa的遭遇被许多人预料到,所以如果现在正在发生这种情况,我也不会感到惊讶。它确实看起来正在发生。
嗯,也许我不确定……你预计实际后果会是什么?我认为当人们想到“网络末日”时,脑海中会有多种不同的画面。有些人认为:“哦,只是一部分人会在一段时间内被黑客攻击,你需要为账户开启双重身份验证。如果不小心的话,Instagram账号可能会被偷之类的。”
而我认为其他人想象的是更严重的情况:针对现实世界中关键基础设施的真实网络攻击。比如,美国所有超市无法再冷藏食品,物流系统瘫痪,电力中断数周等。
嗯,这确实是个好问题。这让我想起2020年2月,当我们第一次听说COVID-19时,大家都问:“情况会有多糟?会像之前的流感大流行那样,还是更疯狂?”当时有些人持强烈观点,但今天做预测很危险。不过我还是想试试:我希望并祈祷美国政府自今年2月以来接触Mythos以来,已经在幕后秘密加强了关键系统,以确保最坏的情况不会发生。
但我们无法确定。目前任何易受攻击的系统都可能遭到私人团体或国家黑客的攻击。所以,让我们拭目以待。作为一名非技术人员,我强烈建议所有听众尽最大努力保护个人数据:开启双重身份验证、更改密码等,能做的都去做。
是的,我想接下来几天我会着手做这件事。人们经常使用COVID的类比来描述这种情况。值得提醒的是,COVID远非最坏的情景。回顾2019年11月、12月中国武汉的疫情状况,以及随后从中国和意大利传来的新闻——那里医院人满为患,不得不新建医院,停尸房因死亡人数过多而爆满。疫情蔓延至意大利北部时,我的去意假期也因此取消。
当时人们不禁惊叹:这到底会变成什么样?事实证明,从世界历史尺度以及发达国家人民日常生活角度来看,COVID只是中等程度的糟糕事件。它远不如第二次世界大战那样严重。
是的,原本可能更糟,比如杀死10%的人口等。 没错。它本可以像中世纪的黑死病那样严重,对吧?确实如此。
我认为有很多与COVID类似的类比,因为那是一个“预期之外”的重大时刻。在COVID之前,至少在我周围的人群中,普遍存在一种“什么也不会发生”的心态:无论世界如何变化、股市下跌多少,几年后总会恢复。对我个人而言,这是第二次经历如此疯狂的事件,因为我的童年是在东欧共产主义政权下度过的。我们也曾认为“什么也不会发生”,苏联及其卫星国本应持续数十年甚至数百年,正如美国情报机构所预测的那样。
然而短短几年内一切彻底崩溃:经济瓦解、政权倒台,各地陷入混乱,伴随大量死亡和内战。所以我完全做好了应对“第三号”情景的准备(对我而言),也理解许多听众处于“第二号”情景中。虽然难以预测走向,但我认为现在做好最充分的准备是正确的选择。
没错。 我要感谢我们的赞助商Lovable。你知道那个你一直想开发的应用、内部工具、副业项目或产品吗?否则你可能会为此浪费一个周末。使用Lovable,你可以今天就能交付软件成果。这包括可编辑的代码库供你检查和修改,以及双向GitHub同步功能。
同时也处理后端和基础设施,包括管理 Postgress、O 存储、托管、支付等。这样你就不必自己将所有内容连接起来。通过 Lovable 的 MCP 服务器,你可以直接从你已经使用的代理中创建和部署项目。用 Lovable 将想法变成人们喜爱的软件。Lovable.dev。(音乐)现在,进入正题。>> 所以,我们还将讨论 RSI 和 FUM。嗯,当你想到 RSI 时,你脑海中浮现的是什么?我想你知道,就像“网络末日”对不同的人意味着不同的事情一样,RSI 对不同的人也有不同的含义。当一些人构想 RSI 时,他们认为哦,我们已经在经历 RSI了,因为 OpenAI 和 Anthropic的研究人员正在大量使用模型来为他们编写实验代码等等,这在某种程度上加速了 AI 研发的投资回报率,也许是两倍。
而当其他人想到 RSI 时,他们认为 AI 完全自动化了 AI 研发过程,这导致了 AI 能力出现极其不连续的、快速的起飞和双曲线增长,在很短的时间内真正实现了超级智能。>> 嗯,是的,看呃,我认为这两件事都是真的,唯一的问题在于定义。所以和你这样一位律师交谈是件好事,因为定义是我们做什么的?嗯,在某种程度上,定义的细节并不是特别重要,因为你概述的过程已经开始,最终我认为这将是一种自动化增长和能力,速度会非常快。 但对我来说,我专注于“自我改进”中的“自我”这个词。>> 对 >> 直到模型能够改善自身,事实上是显著地改善自身。不仅仅是像训练一个非模型那样在更大模型的监督下进行训练。你需要能够训练一个作为你继任者的模型,并使其比你更有能力。在我们拥有这一点之前,我不认为这是 RSI。所以我认为目前我们还没有 RSI,至少没有公开披露过,我也不认为实验室内部拥有它。嗯,我认为当 OpenAI 和 Anthropic 的 AI 模型能够完全自主地不仅构建下一个模型,还能想出真正创造性的方法来使新模型更具能力时,我们就有了 RSI。 就像 Ilia Sutskever 那种类型的、在 AI 研发中导致能力巨大飞跃的极其 Brilliant 的时刻,我认为这很快就会到来。>> 多久? >> 我的意思是很难说。我一直认为 RSI 最重要的能力是模型能够为各种随机问题想出真正新颖的解决方案,所以直到今年八月为止,我们主要看到的是模型提出像数学中解决各种问题的暴力方法。嗯,确实比如当我使用 GPT6 Astra 时,我摆弄过几个以前未解决的密码,来自第一次世界大战的历史遗留问题。嗯,我成功地让 Astra 解密了其中几个,这真的很酷。 但我用 Astra 实现的每一个结果都是模型拥有密钥的情况。但在每种情况下,这都是人类由于某种原因无法使用密钥的场景,比如密码缺少一些字符或某些字符难以辨认等等。然后 Astra 可以通过搜索所有可能的可能性空间来暴力破解解决方案,并发现哦,实际上这种方法有效,密码应该这样读。嗯,我个人还没有能够让 Astra 基于一些新颖的酷想法自己想出密钥,比如哦,你知道,这个人住在意大利的马德纳,所以这里有一个线索说塔楼,那一定是距离他家 55 英里的那座塔。所以让我们看看那个哦,那就是密钥。你明白我的意思吗?就像那种东西。像这样巨大的创造性飞跃。 嗯,所以总而言之,OpenAI 内部模型最近取得的数学结果真的让我更新了看法,因为这些结果似乎涉及真正的创造性思维。嗯,我认为 Terrence Dao 曾关于 Quasman 解决方案表示,它是三到四个现有想法的组合,但以非常不寻常的方式排列。对,对。所以当你能够以非常新颖的不寻常方式组合想法时,你开始思考人类天才所展现的创造力。嗯,我认为一般来说,这类能力具有通用性,最终它们会让你在 AI 研发中获得创造力,然后这使模型能够解锁重大的新进展。 我认为数学创造力和其他事物的创造力之间存在差异。我说这个只是因为我认为 Rune 曾公开说过存在这种差异。我在他的推文或两篇推文中看到了这一点,我相信他的话。嗯,所以这并不一定意味着 OpenAI 目前拥有的永恒模型已经能够实现 RSI。我猜可能还没有,但感觉我们真的离那不远了。嗯,因为一旦模型能够做到某事,你知道在 12 个月内或可能更短的时间内,我们将非常擅长它。而且我们会做得更快、更便宜。所以我认为我们正处于边缘,>> 对吗?嗯,你认为 RSI 会仅仅解决 LLM 当前的所有弱点,解决锯齿状问题吗?嗯,你认为这会发生吗?我的意思是我想是的。 如果我是前沿实验室之一,我会指向 RSI 的第一个方向将是某种比 Transformer 更好的新型模型架构。也许更高效,也许更像人类,也许是更节能的,但感觉我们像是偶然发现了 Transformer 架构,对吧?自从那以后我们就一直在使用它。目前尚不清楚这是否是最终形态。嗯,而且似乎就其局限性而言,将是自动化的 AI 研究人员能够发现它。所以你知道这很难说嗯,那是否是低垂的果实。有可能即使模型变得足够有创造力去发现真正非常非常好的东西,也可能需要几年甚至几年的时间。但我认为这是一种可能性,我不会感到惊讶
如果五年后,大家所熟悉的AI架构变得与我们现在所用的截然不同且完全陌生呢?是的。但我不明白这如何能神奇地解决“锯齿状”(jaggedness)问题。在我看来,语言模型之所以存在锯齿状现象,很大程度上是因为数据瓶颈。例如生物领域,这似乎并非完全不可能。我是说,你不能排除某些可能性,但AI仅通过在计算机上进行强化学习(RSI)就能解决其生物学约束的可能性相当低,无论那意味着什么。
不,我认为你说得完全正确。听着,如果你把阿尔伯特·爱因斯坦放进实验室,告诉他你需要在明天治愈癌症,即使他拥有相关知识,他也做不到。他是无法做到的,除非他有正确的数据和实验支持。但这我不确定这是否是锯齿状的证据。我认为这表明有时无论是人类还是人工智能的卓越智力,都需要被给予合适的环境和数据。
另一方面,例如我是律师,所以我经常思考大型语言模型(LLM)撰写优秀法律研究备忘录的能力。在这方面你不需要爱因斯坦,但目前的LLMs表现并不特别出色。它们正在变得更好,但并不惊人。我并不认为这是数据的问题。我认为只是LLMs在学习某些不可验证的内容时不如人类高效。
一种答案可能是一年后它们在这方面会变得非常出色,无论原因如何。另一种答案可能是更好的架构将使它们在模仿人类学习方式上更加拟人化,从而使LLM能够像律师事务所初级律师那样撰写法律备忘录。我们将在这段赞助商广告后继续讨论。
11 Labs,一种能在每个渠道和模态上以人类水平进行交流的AI。访问 11labs.io/mts。在 Neon 上扩展你的初创企业。数百万开发者和初创公司已选择 Neon 作为其后端平台。从免费计划开始,或在 neon.com/mts 获取高达10万美元的初创企业积分。特别感谢我们的赞助商 Kong,AI连接平台。
[音乐] 以严肃的安全性和治理性连接 API、LLM、代理和系统。访问 konghq.com。最后,用 Laridan 证明你的 AI 投资的价值 [音乐]。今天访问 laridin.com 开始衡量你 AI 的底线。MongoDB,被75%的世界100强企业信任以运行关键应用,这是智能时代的智能数据平台。立即申请访问高达15,000美元的 Atlas 积分、专属技术支持以及独家活动和上市机会。[音乐] mongodb.com ChargeB,AI时代的账单和货币化基础设施。chargeby.com
目前LLM在撰写法律备忘录方面存在什么问题?我认为,你知道的,LLMs仍然产生大量垃圾内容。现在我觉得即使我喂给最好的LLM一个法律问题,得到的输出将是 haystack(干草堆)中的一根针。这根针确实存在,所以如果我是专业律师且知道自己在做什么,我会立即提取出那根针,这将非常有帮助。
因此,与其让我花10个小时找到这根针,LLM会在一个小时内给我,这很完美。但对于非律师来说,比如第一年助理之类的,剩下的干草堆部分并不太有用。所以在法律备忘录的背景下也是如此:如果我问LLM一个复杂的法律问题,它会给我一个35页的备忘录,而实际上两页就能说清楚,且更尖锐、更快。
很多时候,如果你使用正确的模型和适当的推理力度(而不是像 Sonnet 5.5 即时版之类的),答案将是正确的。但要超越这个结果需要大量的处理工作。
那么,你认为经济真的会每年增长17%吗?我相信这是 Anthropic 员工的中位数预期,到2030年。嗯,我希望如此。你知道这很有趣吗?在西方世界,我们习惯了经济每年只增长百分之几,几十年来一直如此。如果我们深入看很多原因,是因为我们的经济体极其发达,我们并没有每年发生惊人的科学进步或百万次科学飞跃来推动我们前进。
很多时候我们的经济增长真的来自于像私募股权公司购买超市并弄清楚如何使其物流效率提高2%。这都很好,从长远来看这是一个非常巨大且成功的组合,但你无法从中获得17%的经济增长。
当然。但我认为如果你是一家HGI(高影响力)公司,并期望LLMs开始严肃地发现科学中的新事物——你知道的,药物发现、材料科学,或者弄清楚如何操作机器人并去太空殖民月球等等。如果你认为大规模进行重大科学发现以及由此带来的经济影响,比如想象人们平均寿命延长30年并在 Fertelland 拥有更富有成效的职业。
这可能解锁巨大的经济增长。所以我不确定基于过去几十年先验期望的看法是否真的是正确的方式来看待这个问题。我要说的是,例如中国在毛泽东1976年去世后的80年代和90年代,每年增长10%或更多是很常见的。那时的经济体量较小,但很大程度上是因为在毛主义共产主义下经济并不发达。
所以你可以想象在中国中部建一家快餐店之类的,它创造了巨大的净新增价值,但经济迅速增长。我认为如果你用新药替代快餐店这种类比,就能得到类似的效果。嗯,我不知道是否是17%,也不知道是否到2030年,但如果我们看到一些重大的经济增长,我也不会感到惊讶。
好吧,时间到了,但有你来到 MTS 真的很精彩。非常感谢你参加 Prince 的节目。谢谢。
非常感谢你的邀请。>> 绝对没问题。 >> 衷心感谢 MTS 的赞助商 Blitzy,为企业提供自主软件开发服务,让企业代码库的开发速度提升五倍。请访问 blitzy.com。[音乐] Adqu 让你的品牌成为广告牌,让户外广告像数字广告一样易于扩展。请访问 Adqu.com。Arena 在现实世界中衡量 AI 性能,网址为 Arena.ai。本节目的支持来自 VCX,这是私有科技公司的公开股票代码。[音乐] 美国股市开启了历史上最大规模的财富创造浪潮,从底特律的工厂工人到奥马哈的农民,任何人都可以拥有伟大美国公司的一部分。但如今,最具创新力的企业更倾向于保持私有状态,这意味着普通美国人错过了这一机会。直到现在,我们推出了 VCX,这是私有科技公司的公开股票代码。欲了解更多信息,请访问 getvcx.com(即 getvcx.com)。[音乐] 投资前请仔细考虑相关材料,包括目标、风险、费用和开支。这些信息可在 getvcx.com 上的创新基金 prospectus(说明书)中找到。这是一则付费赞助内容。