我们在这里,在旧金山,我们要谈谈Dev Day。这是我经历的第四次开发者大会。第一年他们发布了11个产品和功能;第二年5个;第三年9个。而今年,在今天的Dev Day上,共有22款新产品和功能发布。如果你正在观看这段视频,说明主题演讲刚刚开始。我们提前获得了所有新发布的资料。以下是我们对这些发布内容的解读:它们是什么、什么很重要,以及这对你意味着什么。

第一点是Dots,这是一个始终在线的持久智能体,工作方式类似于OpenClaw、Muse或Instinct。这是始于大约9个月前的一个故事弧的完成,当时OpenClaw彻底爆发,OpenAI聘请了制作OpenClaw的Pete Steinberger来帮助他们开发这类持久智能体。因此,这是OpenAI进入这一竞赛的入场券。Dots是一个始终在线的持久智能体。它在ChatGPT顶部作为一个新标签页出现。

因此,与其在桌面应用或移动应用中为工作代码库启动新的聊天会话,你只需点击你的点(我的Dots名字叫Buu),你就拥有一个可以运行很长时间的聊天会话,用于在AI中完成任何你需要做的事情。你的持久智能体拥有自己计算机的访问权限,也拥有你电脑的访问权限,并且它是主动式的。所以你会注意到偶尔在一天中的某个时候,它会给你发消息说:“嘿,我做了这件事。比如你有几个人联系你要安排一些事情,我已经回复了他们。”之类的事情。

当它工作时,显然是未来。这真的很令人愉悦。过去一周左右我一直在测试它。我发现自己开始倾向于使用它,而不是在Codex或ChatGPT中启动新的聊天会话。这是那种你会觉得“如果之前我手动设置心跳之类的东西,我也能做到”的事情,但这里它只是能工作。当它能工作时是很好的。

唯一的问题是,至少在我测试的版本中,它还没有完全到位。如果你将它与Muse或Grockbots相比,这只是一个非常早期的产品,他们正在快速迭代。我发现了很多错误和不一致之处,让我觉得使用起来有点混乱,说实话,连Dots本身在弄清楚该做什么时也有些困惑。如果你让它打开一个应用内浏览器,它不知道你是指其自身线程中的应用内浏览器、单独的代码库线程还是在其云计算机上。

我在登录方面遇到了很多问题,让它登录外部网站并使用其自己的钱包等,所有这些都在得到清理。我想在一两周后情况会有所不同,但你就能感受到OpenAI运作的速度了。只是我与这个产品的体验不太好。好的,第二点。Spaces是OpenAI试图在ChatGPT内部构建类似微软Office套件的东西。这是我很久以前就希望他们做的事情,现在终于来了。

它是某种类似文件系统的原生实现,几乎就像Google Drive加上文档编辑器、幻灯片和表格。你可以在ChatGPT或代码库任务中完成所有这些操作,或者如果你使用的是你的Dots。真正酷的是它都在一个地方。所以我可以在文档中添加评论,然后标记我的Dots,它可以介入与我一起工作,这就像是一个人类和现在智能体之间的并行协作空间。你可以看到如果我用这个和我的Dots以及我公司的其他人一起使用,我就几乎不需要离开ChatGPT了。

我认为Spaces的实现相当不错。所以我很想知道今天以及未来几周,如果它们的功能足够丰富让我完全切换到使用它们会怎样。你知道,我会发现自己更倾向于使用它们而不是Google Slides、Sheets或Keynote或Notion吗?这是一个很高的要求,但我认为对于Spaces和Docs来说,仅仅集成在ChatGPT内部就是一个巨大的优势。

好的,第三点。什么是第三点?哦,这个不错。他们正在创建一种叫做插件扩展的东西。插件扩展本质上类似于代码库原生应用。就像他们在推出自己的文档、幻灯片和表格的原生版本一样,插件扩展允许你为自己创建应用,并将其分发给你的公司或用户。这些是设计用于在ChatGPT中与Dots并行使用,或者仅仅与普通的ChatGPT或代码库线程一起使用的应用。

这是我长期以来一直在要求的东西,现在终于来了。他们在此之外还增加了一项功能:允许你的插件被ChatGPT自动发现。所以他们有一个插件商店,并创建了一种机制,当用户要求ChatGPT做某事时,它会搜索并将你的插件、你的应用作为新的分发机制展示给用户供开发者使用。

这还有待观察其效果如何。他们已经尝试过三四次构建应用商店,但从我看到的演示来看,这是迄今为止最有希望的一个。第四点,这个不错。他们扩展了使用ChatGPT登录的功能。你可以将你的ChatGPT订阅用于第三方应用,并在其中花费令牌。目前有15个应用程序参与了这项计划。

所以像Devon这样的应用,当你去使用Devon时,你支付的是ChatGPT订阅费。与其在Devon上使用你的用量,你可以带着你的ChatGPT订阅过来并在那里消耗用量。我认为这太棒了。这对OpenAI来说真的很好,对应用制造商如我们这样的人也很好。每当用户来到我们的应用时,我们始终要小心:“他们使用了多少AI?”之类的事情,这会激励应用制造商使用越来越便宜模型。

现在,如果你带来自己的令牌,我们就不必担心这个问题了。你可以使用最适合你的最佳模型。我认为这对用户来说是一笔很好的交易。这意味着你的AI订阅将非常像手机数据套餐,你可以在任何地方使用你的令牌。这是这一举措的第一次尝试,但我对此非常兴奋。

好的,第五点,我们有决策API。如果你关注过任何AI方面的新闻,你就知道几周前发布了一个新模型叫Jev(推测为o1或类似命名),它提供非常快速的结构化输出响应,可用于作为LLM法官或分类器。这实际上不是一个普通的LLM,它是一种稍微不同的模型类型。而且它非常快。

便宜得多,它在许多问题上能提供类似 Fable 级别的性能,但我不知道具体数值,感觉大概便宜了几百倍。OpenAI 今日发布了该产品,它基于微调版的 GPT6 Luna 模型,速度极快。我们在内部测试中发现响应时间约为 150 毫秒,并且在某些工作负载下比 Jev 更快。关键在于它是多模态的,你可以向其输入图像。因此,如果你是开发者并关注此项技术,务必查看相关的决策 API。

第六点是有大量其他发布内容。他们推出了 500 美元的计划,其使用量远超常规的 200 美元 Pro 计划,并允许访问 Astra Ultraast,这是他们今天发布的新 Astra 速度层级。该层级每秒可处理 250 个令牌,速度快得惊人且疯狂,但会迅速耗尽你的令牌余额,因此请谨慎使用。

此外还有 Soul 6.1,即他们发布了新版本的 Soul。它拥有 Astro 级别的性能,但价格仅为原来的一半。如果你喜欢 Astra 但因定价过高而放弃,务必尝试 Soul 6.1。他们还更新了代理 API,允许你在自己的应用中基于与 Codex 相同的框架进行构建,并现在包含了计算机使用功能。

最后但同样重要的是,他们发布了一个全新的编解码器,支持语音聊天、用于跟踪代理的新且更好的界面以及其他多项功能。你应该去了解一下。以上就是他们在 DevDay 上发布的全部内容,可以看出这是面向知识工作者和消费者的混合产品,同时也包含大量针对开发者的内容。

他们正在构建一个操作系统,让你能在 ChatGPT 内完成所有工作;同时也在为开发者打造平台和生态系统,以便在 ChatGPT 内部构建应用程序并将订阅服务扩展到互联网的其他地方。每 6 到 12 个月,模型进步都会引发形态的转变。在 GPT-3 时代是网页版 ChatGPT;大约在 Sonnet 3.5 时期,转向了终端和代码代理。

到了 GPT-4(原文误作5.3,结合语境应为GPT系列迭代或特定版本指代桌面应用兴起期),开始转向桌面应用程序。而现在我们正进入持久代理时代,这是 OpenAI 首次涉足持久代理领域。正如我所说的,这是一个极具前景的形态。我认为他们有很多获胜的理由,因为它已深度集成在 ChatGPT 中。

但老实说,在我的测试中它尚未完全成熟。许多小细节未能完美运作以提供极佳体验。我打赌这将会改进,所以我的建议是等待一两周后再去尝试。我今天将全程参加 DevDay,并将在本频道采访 Sam Altman(原文误作Alman)。

请明天收看我的专访,我们还将发布 DevDay 的 Vlog。敬请期待,我们在太空见(原文为网络流行语或玩笑)。我不知道自己在说什么。(笑声)