大家好,我们回来了。我的耳机在哪?让我看看能不能找到它们。
好了,各位,我们到位了。我们要开始写代码了。嗯,让我看看。好的,酷。让我戴上耳机。
确保你们能看见我。你们看不见我。好吧。能听见我吗?是的,你们能听见。酷。太好了。好了,各位。我们在这里。我们在直播。今天是星期四。嗯,我们要继续写这篇关于 CodeEx 的文章。所以,如果你是新来的,我是 Dan Shipper。我是 Every 的联合创始人兼 CEO。Every 是你了解 AI 前沿所需的唯一订阅服务。嗯,让我调整一下。嗯,
我正在写,呃,我试图写出一部关于编解码器的 definitive history(权威历史)。嗯,我认为这是科技史上一个如此重要的故事,我从内部见证了它的发生,从 GT5 时代开始,然后我对 OpenAI 内部的一些人做了一系列采访。嗯,我就打算写下来,呃,所以我就打算写出我希望能成为权威的历史,
其中一件我正在做的事情是,我用 CodeEx 来写它,这真的很有趣,或者如果你用 ChatGPT for Work 的话。嗯,特别是语音模式,它真的改变了我过去几天的工作方式,所以我正在深入探索它。今天发生了一件很疯狂的事情,就是嗯,我在想,你知道,我已经做了所有这些采访。所以就像
你可以看到屏幕上方有一些来自 Greg Brockman 的引言,这是我与他采访的内容。我讨厌阅读文章的一点是,就像你看到的,你能看到引言,但你看不到它周围的所有内容。我认为我们要做的是,当读者阅读这篇文章时,让它变得非常简单,嗯,点击任何引言,然后你将能够看到
整个采访在侧边栏中弹出,你可以自行调查。你可以让你的代理去查看,所有这类事情。我和 ChatGPT 讨论过这一点,它说哦,是的,这是一个很好的“开放式厨房叙事”的例子。我说那是什么?它说哦,这只是你知道的,基本上是我编造的一个词,而“开放式厨房叙事”
正是如此,这是一个形容这类事物的绝佳术语。所以,今天我们将进行一点开放式厨房叙事,意思是你们将观看我制作这篇文章,然后嗯,当你消费它时,你将能够自行查看所有原始材料。我只是想确保一切运作正常。是的,它是。嗯,如果你有任何
问题或东西,呃,你想了解,只需把它放在聊天中。我会偶尔检查一下聊天。也随时欢迎就像在我身边工作一样。嗯,我认为这也可能是消费这篇文章的好方法,但由你决定。我要放点音乐。嗯,好了。所以,聊天,呃,你能提醒我吗?我想让你朗读我们刚刚写好的上一节
关于“思考”的内容,然后提醒我在这个新章节中的进度。呃,请逐字逐句地大声读给我听。
我分享音频了吗?我不知道我是否分享了。
思考闪烁,响应将出现在那里。它看起来像是一个多余的加载旋转图标,但它标志着一种新的计算风格,使得 CodeEx 成为可能。早期的模型立即回答,即兴发挥。然后,思维链导致了推理模型,它们在回答前思考,随着测试时间计算的增加而改进。这使得战略优先级变得显而易见。他们必须
全力以赴投入编码。>> 你是逐字朗读吗?我不想让你跳过任何内容。请重新逐字朗读。>> 明白了。我会重新检查并逐字朗读。商业史上最大的回归始于一些简单的事情,思考。在 2026 年,每当你在任何复杂的请求中与 AI 模型交互时,你都会看到那个词“思考”在你响应出现的地方闪烁。它可能看起来像是一个无关紧要的词,是 Mac OS 上旋转沙滩球或 Windows 光标旁蓝色圆圈的冗长替代品,每一个都是计算机在其容量极限下运行的普遍标志。但在此背景下,“思考”不仅仅是一个标签。它表示一种新的计算风格,没有它,CodeEx 永远不会发生。第一代
大型语言模型是外部过程。它们没有闪烁的思考 UI。相反,它们通过直接回应你来思考。无论你要它们做什么,写一封电子邮件或一行代码,它们都必须立即且公开地一个字一个字地得出答案。以这种方式,早期的聊天模型就像即兴演员,由观众给出提示,被迫回应
不允许重来或排练。结果令人印象深刻,有时 predictable funny(可预测地有趣),因为这些外星工具在运行中创作。早期使用这些模型的用户注意到,如果你要求模型向你大声思考步骤,它通常会比不这样做时得出更好的答案。这被称为思维链,要求模型在给出最终答案之前,一步步展示其工作过程。
这导致了第二代 AI 模型和我们一直在讨论的闪烁思考 UI 的出现。与其要求模型在答案中一步步解决问题,OpenAI 转向了一种新类型的模型,推理模型,它们可以在回答前大声思考。OpenAI 称其第一种此类模型为 o1。他们意识到
一件激进的事情。在困难的任务上,当允许它在回答前花更多时间思考时,它会变得更好。如果我们增加测试时间计算,性能就会提高。Alexander 告诉我:“测试时间计算正是听起来的样子。与其在任何人使用模型之前通过训练更大更久的模型来使模型更聪明,你可以在难题出现后花费更多的计算能力。你
现在给予它的时间和金钱,它在回答前可以工作的时间越长。这就创造了第二种扩展 AI 的方式。在此之前,大多数改进必须通过训练更大更久的模型来提前购买。现在,在困难的任务上,你面前的模型已经可以通过允许它继续工作而变得更好。这使得战略优先级显而易见。Open
AI 需要全力以赴投入编码。之后,草稿仅保留 Greg 关于编码成为公司首要目标的两个引言,以及此桥接部分的产物序列和交接说明。>> 哦,好的。酷。这很好。嗯,我实际上非常喜欢这个。好的,两个小笔记。一个是嗯,在思考部分,有一段你说我们写了这被称为思维链。
我想让你编辑一下这句话,加入“思维链提示”(chain of thought prompting),并确保其逻辑通顺。另外,在解释推理模型及其区别时,我想加一点注释,补充一些更具体的技术细节。我现在就想做,但先加个注释,比如“TK,更多技术细节,请补充”。
好的,我会更新措辞并添加那个占位符注释。
好的,并行处理。同时,你能帮我读一下文档里已有的 Greg Brockman 的引语吗?
好的,我现在编辑并提取那些引语。
就是文档里已经有的那些。嗯。
正在检查。2025 年初,我们实际上将代码软件工程设定为公司最高级别的目标。起初是自动补全,然后转向类似 Cursor 的风格,接着是这种代理式的 CodeEx 应用或命令行界面。两者都很棒,Brockman。我还将句子修改为“思维链提示”,并在推理模型部分添加了“TK 更多技术细节,请补充”的注释。
酷。你确认它们确实在文档里吗?
再次检查,现在已保存。
嗯,好的,酷。我喜欢用 Greg 的引语开始这一新章节。我只是希望它作为普通文本存在,而不是用那种奇怪的格式。比如,“2025 年初,我们将编码设定为公司最高级别的目标。”Greg Brockman 在一次采访中告诉我,我想他说的是“我们确实设定了”。所以,我们需要确保在“我”和“设定”之间加上省略号,以确保证引语的准确性。
你能做这个吗?
可以。我会清理这部分并重新检查交接点。我会将其转换为普通段落,保留省略号,在“我们”和“设定”之间加上省略号。
完成了。现在它这样开头:2025 年初,我们将代码软件工程设定为公司最高级别的目标。Greg Brockman 在一次采访中告诉我。第二个 Greg 引语仍在下方,准备融入。思考部分写着“思维链提示”,并且 TK 注释已附加在……
你能告诉我你写的“代码软件工程”是什么意思吗?能告诉我那里发生了什么吗?
是的,正在检查这个细节。那是 Greg 的用词,不是两个独立的优先事项。他说“代码软件工程”是为了澄清他对“编码”的含义。
我明白了。好的,只需确保它在文档中看起来是正确的,比如应该是括号形式,没有破折号或注释之类的。我不确定。
明白了。我会快速检查这种呈现方式。它已经是正确的括号形式,没有破折号。所以我保留它以匹配 Greg 的原话。
所以我认为,我们需要做的是,第一,解释为什么这说得通。Greg 在一次采访中告诉我,然后我们需要两三句话来解释为什么推理模型——即你可以扩展测试时计算——意味着编程是最有价值的使用案例。基本上,编程是那些拥有大量训练数据且结果可验证的领域之一。因此,你有快速的反馈循环,如果你能扩展测试时计算,你可以预测性地获得越来越好的结果,大概是这样。但我可能遗漏了一些东西和一些细微差别。所以,让我们回到今天的头脑风暴文档,你能写出一段话来阐述这一点吗?比如,让我们明确我们的论点,解释为什么测试计算意味着 OpenAI 应该全力投入编程,特别是针对其他可以应用测试计算的领域。
好的,我会在今天的头脑风暴文档中起草这部分。
我会在今天的写作跑道中添加一个明确标记的工作草稿,将技术机制与战略推断分开,并使其不进入主草稿。
我已经在今天的写作跑道中添加了工作草稿。关键行是:编码并非唯一可能的目标,但它异常适合,因为代理可以行动、运行工具、获得机器检查反馈,并利用额外的测试时计算进行连续尝试。它还指出,这是一个需要验证的假设,而非既定事实。
你能把你写的内容全文读给我听吗?
好的,我把它调出来。推理使编程在战略上变得清晰可见,因为代码提供了一个封闭的学习和工作循环。代理可以检查真实的代码库,做出更改,运行编译器或测试,查看失败之处并进行修订。这赋予了它丰富的机器可检查反馈,并让额外的测试时计算投入到连续尝试中,而不仅仅是更长的答案。其他领域也能受益,但很少有领域能像自动化软件工程那样,将这种反馈与规模和价值结合起来。我仍然将其视为一个需要验证的假设,而非既定事实,即这是否使编程成为唯一正确的赌注,或者是推理可能转型的几个强有力赌注之一。
好的,现在我想表达我的看法,我们先把它放在头脑风暴文档里。所以,编码异常适合利用新的推理范式。代码提供了一个封闭的工作循环,代理可以在任何给定问题上工作并得到可验证的结果。这赋予了它获得丰富机器可检查反馈的能力,并使其非常擅长尝试各种不同选项或解决方案来解决问题,然后在最终解决时得到强化,从而学习更可能产生良好结果的推理链。这说得很难听,我可能也遗漏了一些东西,但你能逐字写出来,然后提出一个修订版,保留我说的主要意思,但稍微清理一下吗?
明白了。我会按原样放入你的观点。然后添加一个保留你含义的清理版本。
完成了。我添加了你的逐字观点和保留你想法的修订版,将训练反馈与测试时迭代分开。
你能逐字读给我听吗?
好的,现在调出来。编程异常适合新的推理范式,因为它提供了工作和验证的闭环。代理可以在真实的代码库中尝试一种方法,运行测试或编译器,并获得关于其是否有效的快速机器可检查信号。在训练期间,这些信号可以强化导致正确结果的轨迹。在测试期间,它们让模型花费更多计算来尝试、检查和修订竞争性解决方案。结果是一个领域,其中更长的推理通常可以转化为可衡量的改进,而不仅仅是更长的答案。
这实际上非常好。能请你把它放进草稿吗?然后从思考部分的最后一行开始,一直读到你有内容的结尾。
好的,我会放置它,然后朗读那部分。
这让战略优先级变得显而易见。OpenAI需要全力投入编码领域。2025年初,我们将编码软件工程确立为公司最高层级的目标。格雷格·布罗克曼在一次采访中告诉我:“编程非常适合新的推理范式,因为它提供了工作与验证的闭环。代理可以在真实的代码库中尝试一种方法,运行测试或编译器,并获得快速的机器可检查信号,以判断其是否有效。在训练期间,这些信号可以强化那些导致正确结果的轨迹。而在测试时,它们让模型花费更多的计算资源去尝试、检查和修正竞争性解决方案。结果就是,在一个更长的推理过程往往能转化为可衡量的改进,而不仅仅是更长的答案的领域。”
“好的,我喜欢这个思路。”
“从……嗯,有几件事。所以,我们需要在这里达成的目标是,我们需要从公司优先级开始,经过GPT-5的发布,以及格雷格的引言,基本上我们要表达的是我们之前过于关注原始基准分数,而不是现实世界中的实际应用。这就是大致的发展脉络。嗯,但我认为有几件事在这里发生会有所帮助,或者至少我们一起梳理一下:第一,他们可能将其列为公司优先级,但我确实知道,嗯,坦白说,他们……嗯,我知道他们将其列为公司优先级。所以,我很希望我们有一些具体的例子,说明这对公司内部意味着什么。我认为我们有很多来自蒂博、米娅以及亚历山大的引言等内容。所以,我们应该收集所有相关的材料,并决定如何排序以及包含哪些内容。然后,这也暗示了,例如去获取大量的算力,他们确实这么做了。所以,我们可能应该提到这一点。嗯,最后一件事是,在此期间他们还有很多支线任务。所以,我认为为了平衡好这一点,我们需要列出至少……我想了解他们在2025年还做了哪些支线任务,即使这是他们的主要优先级,我认为至少Sora是其中之一。还有很多其他东西。所以,你能对这些事情做大量研究,然后回来找我吗?嗯,随时可以问我任何关于我在寻找什么的问题。”
“我会收集编码优先级的证据、算力承诺、2025年的产品支线任务,以及格雷格关于基准测试与现实世界评估的观点。我认为蒂博的一个具体例子是,嗯,我们可以说在那个时候,蒂博开始从事基础设施方面的工作,即为编码代理提供基础设施支持。我假设这是吻合的。我们应该再次确认,但这是一个应该在这一部分出现的例子类型的东西。”
“明白了。我会将其与实际采访措辞和时间线进行核对。”
“向迈克提问:‘这会变成视频吗?’是的,我们会把它做成视频。嗯,嗯,什么……”
“我还在处理那部分。但一个重要的细节是,蒂博在2024年12月加入了一个内部编码代理项目,这与研究基础设施加速有关。而且我也……是的,这是一个很好的例子,说明这一优先级是如何早期体现出来的。”
“好的,继续并行做你正在做的事情,但我有一个想法,我觉得可能不错。所以,我们可以说,大约在那个时候,蒂博,我不知道他的确切头衔是什么,但他后来成为了Codeex的负责人。嗯,类似这样的话。我们应该查一下。当蒂博,你知道的,逗号,他的头衔,嗯,开始从事后来成为Codeex工作的先驱工作时,嗯,类似这样的话。嗯,我不知道这是否是确切的表述方式,因为我知道亚历山大也在做其他事情,我们应该注明亚历山大在做什么,我认为他说他写了一份关于强化学习编码的文件之类的。所以,我们必须确保那也在里面。但我想提出蒂博基本上开始从事……开始从事嗯,OpenAI基础设施的工作。核对来源笔记。”
“谨慎的表述是:大约在那个时候,后来领导Codeex的蒂博·索蒂奥加入了一个内部编码代理项目,以加速OpenAI自身的研究基础设施。这是一个早期的线索。亚历山大的线索则不同。在加入云之前,他曾主张开发一个具有频繁用户检查点的交互式编码产品。我将它们呈现为并行的先驱,而非单一的起源。KBO后来领导了Codeex。”
“好的,酷。嗯,实际上,嗯,有人这么说。要么是蒂博要么是安德鲁说过,Codex有许多开端。所以可能……我们应该先引用那句引言,然后再进入一些具体的起源故事或例子。”
“好主意。我会核实那句引言。”
“我可以确认实质内容,但还无法确认那句逐字引言。笔记显示Codeex始于重叠的实验,但我没有找到‘Codex有许多开端’的确切表述。你是在查看那个网站上的所有引言存储库吗?查看那个……”
“我正在核对。”
“我是基于源笔记工作的,而不是那个原始存储库。”
“是的,我希望你对我刚才让你做的所有事情,都去检查原始存储库。嗯,你刚才说什么?”
“我重试了直接访问Versel网站,但这个浏览器会话被阻止打开它。请在应用内浏览器中打开它,并告诉我何时准备好。你能再给我一次链接吗?”
“这是……这是um……在uh……codecs中的一个bug。嗯……”
“这是共享空间中的转录站点链接。”
“嗯,这是一个非常令人恼火的bug,它试图打开某些东西,然后在打开时又关闭了。嗯,我认为有一个更长的URL,包含斜杠和井号,以及类似compose的东西。你能找出那个实际的URL是什么吗?”
“正在核对。”
“我无法从这里验证compose路由。网站仍然无法加载,并且它是公开的……”
“不,你应该只是查看之前的……查看之前的codeex线程或HD for work线程。我们一起构建了这一切。其中包括用户名和密码,你昨天说过。所以,你可以在另一个线程中找到所有这些东西。现在正在核对。”
“Tth说:‘你在等待CHBT时做什么?’嗯,抱歉。嗯,继续,Ch。忘记我刚才说的。嗯,我做什么?嗯,……”
“把它捡起来。”
“我基本上就像……”
“嗨。我基本上只是盯着窗外思考。嗯,而且我认为我并没有做大量的并行研究任务,只是等待。嗯,有时候我只是……我经常这样做,比如洗碗或……折叠”
洗衣服或者做其他任何事都很有帮助。所以,我只是在做我正在做的其他任务。嗯,但这是个很好的问题。如果你们还有其他问题,请告诉我。
很好。你应该能找到它。
好的。别忘了那件事。在它烹饪的时候,如果它完成了,请告诉我。在它烹饪的时候。嗯,让我们假设我记得那句话,对吧?嗯,所以我想从……好吧,我们把它变成了公司的优先事项。原因如下:编码是正确的选择。还有为什么测试时计算(test time compute),也就是我们已有的东西。为什么测试时计算意味着编码是正确的发展方向。嗯,我认为下一步的桥梁基本上应该是:真正有趣的是,一旦他们将其设定为公司优先事项,似乎导致了这种……我不知道该怎么称呼它,我希望它能稍微平行于“区分不同的推理轨迹”或“建模大量不同路径”的想法,但
这家公司导致了这种像蜘蛛网一样的扩散……其实不是真正的蜘蛛网,而是公司不同部分的一系列独立举措,比如自下而上的倡议。在 OpenAI 内部,以各种不同方式改进编码。所以,嗯,因为我想在战略上触及的一个主题是,至少对我来说,OpenAI 似乎是一家相当自下而上的公司,就像
多个不同的团队经常从不同的角度解决同一个问题。嗯,我认为这是 CodeEx 成功的原因之一,同时也显得有些混乱。所以我认为这是一个很好的切入点,可以引出这个主题,然后举例说明。如你所知,Tibo 说过,CodeEx 有许多不同的……嗯,CodeEx 有许多不同的起源,嗯,然后谈谈
Tibo 的路径,然后再谈谈 Alexander 的路径。嗯,让我们先在头脑风暴文档中做这个。你能写出一段文字,然后根据我刚才说的读给我听吗?
我已经把它添加到写作跑道上了,我会完全按照原文读出来。编码优先事项并没有创建一个单一的 CodeEx 项目。它给围绕公司形成的几个努力提供了一个共同的战略名称。OpenAI 不同部分的不同人员从不同方向攻击同一个机会。与推理有用的平行关系不在于公司遵循了计划,
而在于它同时探索了几条可能的路径,并保留了那些产生证据的路径。优先事项可以邀请自下而上的倡议,而不是强制一条清晰的执行线。>> 好的,这太直白了。嗯,再给我读一遍你的第一句话。检查一下。
你在那儿吗?第一句话。 >> 现在获取那行文字。
怎么这么慢? >> 在这里。编码优先事项并没有创建一个单一的 CodeEx 项目。 >> 好的,这不对。我们不能那样做。呃,我们需要一个更好的第一句。你的第二句是什么? >> 检查一下,它是:它给围绕公司形成的几个努力提供了一个共同的战略名称。 >> 不,那是不同的人。 >> 嗯,我们要类似那样的
更主动的表达。所以,不要“没有……而是做了……”这样的句式,比如我不喜欢这种表述。非常像 AI 的口吻。嗯,那个……什么是好的方式,让我们就针对这一句话工作,比如怎么说比较好,嗯,当他们设定这个优先事项时,它创造了一种自下而上的东西,许多不同的团队开始从不同的角度着手。嗯,是的,给我
三个不同的选项,就一句话,嗯,考虑一下我们到目前为止在这篇文章的这一特定部分中已经写好的上下文,比如逻辑上接下来应该是什么。 >> 一旦 OpenAI 将编码定为公司优先事项,公司就成了重叠方法解决这个问题的实验室。将编码定为公司最高优先事项引发了 OpenAI 内部针对
同一问题的并行工作爆发。编码的任务解锁了 OpenAI 内部的自下而上的努力,不同的团队并行追求解决这个问题。 >> 我喜欢第二个。让我们看看。那个很好。所以现在把整段读给我听。 >> 当然。现在获取。我正在重新打开实时跑道并完全按照原文朗读。 >> 我想让你从文章中
并且让这句话在文章中。是的。 >>
检查一下
在你做那个的时候,还有什么其他事物的起源如此普遍,或者起源如此不同以至于在历史中迷失了,比如圣经之类的,还有哪些类似的东西?
你在那上面吗?
是的。最接近的类比是普通法、互联网、爵士乐或开源软件。在任何人能够命名最终成品之前,存在着大量重叠的实践。对于 CodeEx、开源或互联网来说,可能是最干净的平行类比。
好的。你把那句话放进去了吗?请读给我听这一段好吗? >> 现在获取实时部分。
我没有把那句话保存在正确的位置,所以我不打算假装它在那里。以下是当前部分的内容。这使得战略优先事项变得显而易见。OpenAI 需要全力投入编码。2025 年初,我们将编码软件工程设定为最高级别的公司目标。Greg Brockman 在一次采访中表示:“编程非常适合新的推理
范式,因为它提供了工作验证的闭环。代理可以在真实的代码库中尝试一种方法,运行测试或编译器,并获得快速的机器可检查信号,以判断是否有效。在训练期间,这些信号可以强化导致正确结果的轨迹。在测试时,它们让模型花费更多的计算资源去尝试、检查和修正竞争
解决方案。结果是一个领域,其中更长的推理通常可以转化为可衡量的改进,而不仅仅是更长的答案。你从自动补全开始,然后转向更多的光标风格。然后是这种代理式的 CodeEx 应用或 CLI。Greg Rottman >> 明天从那里开始。 >> 好的,停下。 >> 组织性的。 >> 嗯,好的。首先,与其说是更长的答案,直接删掉那部分。那没有意义。嗯,然后你能把你想到的那句话放进去吗?呃,关于引发并行工作爆发的那句。 >> 明白了。正在更新。
我正在实时草稿中进行这两处编辑。
你应该可以直接在这里用 CLI 完成。
我确实不在床上。这是……这是我的客房。但呃,可以理解。
好吧,我们继续。哇。
好吧。所以我们得到了这些。起初,我们将编码软件工程设定为最高级别的目标。编程非常适合新的推理范式,因为它提供了工作验证的闭环:在内部代码库中尝试方法,运行测试或编译,并获得快速的机器可检查信号,以判断是否有效。在训练期间,这些信号可以强化轨迹
这最终导向正确的结果,并在测试阶段让模型投入更多算力去尝试解决方案。结果就是,我想……我想我有个朋友在这儿。我有个朋友在这儿,要和我一起写点东西。嗯,不是AI。所以我要去和他待一会儿。嗯,等他安顿好之后,我可能稍后会回来。嗯,但感谢大家的参与。这真的非常有趣。我可能会做更多类似的内容。我大概会在YouTube上发布这个视频。嗯,你们应该订阅Every.TO。我们会有一些指南,教大家如何使用语音模式,如何使用它进行写作。我们每天发布大量精彩的内容。去订阅Every吧。祝大家度过愉快的一天。