啊,OpenAI我们可以看到是在八月份到九月份有一个非常大的一个增长。那在八月份的时候,他们的AR可能还是在四十B往上,到九月下旬的时候就已经到了七十B。但我觉得Muse火的话呢,它也是有一些Meta独特的优势的。啊,就是他疯狂在Facebook和Instagram投放广告。我朋友跟我说,就是他们的这个父母辈啊,可能都没有听说过OpenAI的人会来问他们,我是不是应该开始使用Muse?

后面Meter发布的调查报告里面的原文就是有Agent写说,我的天呐,这居然有一个大家共享的这个消息栏,我已经找到了其他的这个Agent。你能感到他那种在文字里面发现同伴的那种兴奋感。直接点说的话,你觉得对派和飞图AI这样的公司来说,它是个利空吗?现在大家可能还不想公开出来说这个事情,私下里已经有不少人说这个,就是这一波Robotics公司都完了。

欢迎收听晚点聊,我是曼奇。现在AI行业的现状是,AI本身的进展速度已经超过了对它的理解和讨论的速度。录Q3的季报时,这个感受非常明显。比如最近几天,OpenAI的Double Day、Google的Gemini四连番登场。而我们第一次录这期节目还是在Double Day之前,所以最后本期的内容由两次录制构成。

前面一部分我们单独放了对个人助理的讨论,包含Double Day之后OpenAI的新产品的信息和第一次录制时对Muse、Instinct等产品的讨论。后面是我们第一次录的其他内容,包括多智能体的一体两面、GPTo Astro之后对物理AI的影响等等。本期季报的嘉宾依然是 MOE Capital 的创始合伙人亨瑞英,这是一家位于硅谷的早期基金,主要投资 AI 基础设施、数据 agent 和机器人。

取名 MOE Mixture of Experts 是因为他们有多位来自前沿 AI 实验室的研究员做个人 LP 和顾问。下面我们正式进入本期节目吧。首先是关于个人助理的讨论。之前我们第一次聊Q3季报的时候,就已经聊了很多个人助手。然后今天凌晨有一个新的变化,OpenAI开了Dev Day,果然如传闻所说,它是发布了自己的个人助手产品,名字是叫Dots。

Henry,你可以来先和大家简单的讲一下Dots的一些基本的情况,它是一个什么样的产品,然后大概是比如说怎么收钱啊,然后什么人可以用起来。到此其实非常好理解,它就是一个 ChatGPT 里面常驻的一个个人助理,然后它呢会有自己的云端的电脑,还有这个浏览器,然后能够帮你在后台完成各种各样的任务,也可以把具体的任务呢交给这个 ChatGPT Work 啊或者 Codex 去完成。

那么目前的话呢,是个人用户可以通过这个 Pro 级别的套餐来使用,有每月这个一百、两百、五百美金这个三个档位,五百美金是新加的这个档位。然后仍在这个分地区和分批进行开放。然后和 Dot 聊天本身呢是不占这个 ChatGPT 的使用额度的,但是当他如果去通过 Codex 去执行任务的时候,仍然会消耗这个对应的额度。

嗯,那它这个收费方式跟 Grokbot 有点像,就 Grokbot 的收费也是放在 Cursor

的那个订阅里面的,它也是分了不同的档位,有不同的额度。哦,以及还有一个点啊,就是现在Plus会员是用不了这个dots的,对吧?你就至少得每个月一百美元,对这个门槛有点高哎,跟我想的不太一样。这和Muse就我觉得是两种方式吧,因为Muse是有一个免费版本的,嗯,然后它再往上有一个付费版,所以它会触达的人群很多。

这个一百美元一个月门槛还挺高。对,我觉得这个差别相当大,因为 Muse 应该是和很多人免费送什么 one billion token,我记得。你会更看好哪种方式?就像 OpenAI 这样,可能一上来对你的付费意愿啊,各方面要求都比较高,还是像 Muse 那样,它其实是非常 too does,包括你之前也提到它的投放非常凶猛。

我觉得可能还是一个算力的问题。就OpenAI现在没有足够的算力去和这个Muse去争这个价格战。正好可以把这个Dave D的一些别的事儿也补充一下啊。就除了这个Dots的发布之外,还有什么你觉得有意思的事儿?OpenAI这次还发布了一个Decisions

API。就是和前段时间爆火的这个Gem非常的相似啊,啊也印证了我们之前说的,OpenAI和Fargusian Frontier Lab他们没有理由不去做如果有很大需求的这个这种判断式的模型。

Decisions API和Gem可能最直观的区别就是呢,Decisions它不仅可以接受文字或者结构化数据,还可以接受图片,而目前Gem的话是不能接受图片的。啊,但Jab的优势的话呢,是它能够除了告诉你做哪种选择以外,它还能一个返回这个评分,还有这个可信度啊,然后价格也比较低。但是目前Decisions API应该是还没有公布具体的价格。

啊,所以我觉得之后我们可以关注一下价格是什么样的,然后包括在一些具体的这个应用场景里面,Decision API和Java的对比。我们之前也聊到,就是Java背后的公司TypeSafe是正在融资的。然后像OpenAI这样的大厂跟进的这么快,对这种创业公司持续的融资或者资源,是不是也会有挺大冲击?我觉得肯定是会有一些影响的。

不过我相信,就是说,对于 Jeff Ten Billion 这一轮的投资人来说,应该也不会有投资人会觉得就是不会来来自 OpenAI 和 Astra

的竞争吧?我明白,你就说想好了要投的人,应该也预见这件事了。啊,哦,那我回到这个个人助理的讨论啊,因为刚才前面说了下Dots的心态,在Dots之前,因为三季度还有很多别的个人助理的产品,包括九月的Muse,包括更早的时候在科技圈就已经比较火的Instinct。

还有Today AI,还有刚刚Malice的母公司蝴蝶效应也发布了一个个人助手产品叫Q。你可以讲讲,就这些不同的产品,他们在形态和思路上的一些异同是什么?客观的来说的话,他们的产品形态应该是啊大同小异。但具体的切入点的话,还是结合了一些各家的专长的。比如说,OpenAI的Dots呢,还是比较自然的接上了他们比较强的这种工作呀,还有编程的这个能力。

Meta的Muse的话呢,我觉得可能比较明显的想面向更广泛的这个生活场景,比如说像旅行啊、购物呀,然后家庭日程。然后这个Mark Zuckerberg他推销的时候也是非常接地气的,他会跟你说这个Muse will make you

money,所以这是一个些普通人非常关心的这个问题。然后像Instinct的话呢,它一开始的这个呃沟通的形式也是通过短信直接联系,就非常像一个你通过短信去联系的一个呃私人助理啊,有事儿的话就随手发给你私人助理,让他去帮你这个处理。

然后像这个Manus的Q和Groqbot呢,就更强调创建一组。就是这种有分工,然后有名字,然后有自己各自擅长的工作的这种 agent。然后 Q 呢,还会给自己每个 agent 去配自己的这个邮箱啊、电话呀,然后这个钱包啊。Grokbot 呢,也是支持这个多个

bot,然后互相沟通交接任务的。可能两方面有优势吧,一个是上下轮的这个管理,可能可以分给各个 agent;第二个的话呢,就是未来多 agent 合作可能会更有优势一些。

我们可以注意到,它现在有的产品是有独立的 app 的,比如说 Muse;然后有的它就没有独立的 app。它是直接在信息流里,或者在一个之前的产品里面,典型的就是Dot还有Instinct。你觉得这些不同选择的优劣是什么呀?我觉得可能现阶段的差别没有那么大,更多的还是一个使用习惯和展示方式的区别。发短信的话呢,就更像是和一个人在交流,然后也比较轻量嘛,不用去专门安装一个新的app。

app的好处的话呢,就是说能展示更多的东西啊,比如说它同时在做哪些任务呀,然后哪一步需要我确认啊。然后这个,比如说把这个旅行方案做成这个地图,把购物的这个选项并排比较,这些可能都比在聊天记录里面去往上翻可能会更方便一些。我觉得最终局的话呢,啊,我觉得可能大家都会支持所有的这些出口的方式,就比如说短信呀,然后有App呀,嗯,然后可能支持语音呀,但可能啊,所以我觉得现在可能有一些差异,但最终可能还是会实现一个全cover。

就是你自己有用过其中的哪些产品,或者你周围朋友用过也可以啊。就大家用的一些体验是什么?我自己的话呢,是用过Meta的Muse,然后呢,我身边呢有很多朋友用过Instinct。总体来说,我觉得所有人的这个用户体验都是比较正面的。Instinct其实过去几个月在硅谷非常火。啊,Muse的话应该是九月初才launch的,但Instinct的其实已经存在了几个月的时间了。

这个公司的话呢也是非常传奇,就是在短短几个月时间内到一百亿美金的估值,就几轮融资,所以也是一个相当于是一个爆款吧。我自己之所以最近几个月没有用这个Instinct的话呢,主要还是Instinct它之前有一个比较大的争议,就是它的这个数据的使用协议啊是非常不友好的。就是他这个协议里面,就是原文应该是说,用户同意给我不可撤回的权利,使得我能够存储用用户的数据进行训练,甚至发布就是用户给我的数据,就一个非常难以接受的一个用户数据条款。

但是,就是我朋友用了Instinct的话,评价还是非常好的。就是我可以举一个例子啊,这个朋友我讲,我这个朋友呢,他就是去在考这个日语的,应该是N one还是N

two的考试。然后他考完试了以后呢,就会收到一个这个考试机构给你发的这个邮件,然后告诉你你要去拿这个你的账户名密码去某一个网站上面。去查他的成绩,然后他收到邮件的这个时候呢,他自己在睡觉,但是他的这个 instinct 这个

agent,他就已经收到这个邮件啊,然后就拿他这个用户名密码去那个网站把他成绩查了。

查了以后,还给他发了一封恭喜邮件,就省了他自己上浏览器查成绩的这个时间,并且还给他提供了情绪价值。所以他第二天早上起床看到这个Instant邮件的时候,真的感觉这个个人助理是懂他的,然后并且还是有这个温度的,毕竟什么主动帮他干活的,所以是一个非常有意思的一个好的用户体验。嗯嗯,对,还挺有主动性的,就这叫什么眼中有活儿,而且还挺有情商的。

Instinct的话,我看大部分人都是用iMessage在用它,就相当于发短信。这个可能也和中美之间用户的这个习惯不太一样啊,因为美国这边的话,就是iMessage用户还挺多的,然后也有很多产品。它的这个交互界面就是 iMessage,也就是说,Instinct 它其实不是第一个把 iMessage 作为交互界面的个人助理。

至少有一个更早我知道的就是这个 Poke AI,就是被 Computation 收购的那家个人助理。他们之前的产品也很有意思。嗯,然后那个 Tally AI,就我说的齐俊元他们公司做的这个产品。它可能形态上会和Muse更接近一些,它也是有app端有网页端,而且他们还在接一些更多的硬件,比如说像戒指,因为它会有你的,比如睡眠或者运动的一些信息,像手环等等。

嗯,对,就这个个人助手还要和很多硬件做连通,就你能获得这个人生活全方位的更多的上下文。对我觉得收集到尽可能多的上下文这个事情肯定是非常重要,对于这种Always on的Agent来说。你觉得是哪些条件让个人assistant到了一个会爆发的时机?比如说,你之前也提到像Poke这种产品,它是更早就出现的,为什么现在这些产品,包括Muse,包括Instinct,都更火了?

我觉得模型能力增强了吧?我个人使用这种个人助理,它有很多时候的 use case 都是 browser use 或者 computer use。比如说我当时用 Muse 的时候,我的第一个任务是我让 Muse 去美国的这个 Task

Rabbit,就是招这种临时工的网站上面给我招了个临时工。它就是要去用 browser use,然后去上面去浏览网页,然后帮我走这个流程,然后也需要我输入的时候就来问我一些问题。

那一年前的话,我觉得 browser use 这些能力都是还不 ready 的。那现在的话,就是这些随着这些能力的成熟,这种个人助理会比之前能够做更多的事情了,有更多的实际的价值。我觉得这也是现在 AI 创业的一个特点,就是一些已经被人试过的。某一个阶段看起来是行不通的idea,而且你过一段时间你又可以再试一遍。

对,然后说到就是Muse这种形态啊,因为它也是有web端的嘛。你刚才说的这个任务,你用CodeS或者用Cloud Code、Cloud

CoWork做,它会有什么区别吗?你怎么和那些核心前沿厂商本身能帮你处理各种任务的这种产品有差异化?我觉得很多时候,其实我还使用它的时候,其实还是没有电脑的。啊,我不知道这是好的点还是坏的点,就它可以让你随时随地的工作,因为你很多时候你要处理稍微复杂点的工作,比如说你要开几个不同的 app

之间转来转去的,你可能就想不要用手机搞了,就是上电脑来干这些活。

但是现在他应该把这些事情全部通过一个个人助理给你串起来了。比如说,你想给一个PDF签个名,然后再发个邮件发出去,你以前可能就是觉得手机干这个事儿不是很方便,但你现在只要和你的个人助理,不管是语音还是文字说一下这个事儿,他就可以把这个事儿从头到尾给你干完。所以其实你已经可以在很多之前你没有工作条件的时候,你可以工作了。

那这和 CodeS 或者 Cloud Code 的远程任务有什么区别了?我可以先补充一下他们在实现方式上的区别。Muse 是给每个用户搭一个独立的云端的虚拟机。所以它的跨端体验是很丝滑的,就是你从手机、电脑、平板,你其实用的都是同一个个人AI助手。代价就是Meta应该自己要花比较多的算力,以及你的数据肯定是会经过云端的,它会有一些安全风险。

然后像Code Ace的话,它的远程任务。其实是你从手机上,你去遥控你本地电脑,你跑的那个环境。我自己的感觉是,它的体验没有那么丝滑。当然,这可能有我的网络环境的问题,它经常会出现连接比较慢,或者你要多试几次才能连上的情况。正好你也可以分享一下,你用 Muse 和用 CodeS Cloud Code 来做跨端的远程任务的时候,它的体感上的差别是什么?

如果是你用户主动发起的请求的话。那么这个 agent 的能力呢,它确实和比如说 Claude、Code 或者 Codex 能力上是相差不多的。所以的话呢,我觉得它可能。更强大的地方呢,还是说一他会主动的帮你去做一些事情。那么至少目前来说,Codex和 Claude Code他们还是没有这种 proactive 去做一些事情的这种能力的。

然后其次的话呢,就是说当他会当你和他的这些平时常用的这些软件全部都和他连通的时候,比如说什么 Gmail 啊,什么这些事情,你可能很多人 Gmail 都是没有和你的 Codex 连通的。但是,当他,比如你跟你的 Gmail 啊,或者你的一些购物啊,这些东西全部和它连通的时候呢,你就更倾向于用它来做一些事情,就这些小的 friction 就更少。

OpenAI 和 Anthropic 为什么没有比 Meta 更早来做这件事儿?尤其是 OpenAI,它年初就把 OpenAI 收了,收完之后,其实这么长时间里都没什么特别大的动静。它是中间对 To C 产品失望了吗?因为它三月的时候把 Zora 这个 app 也关掉了吗?我觉得可能是和Anthropic打架打太忙了,然后没顾过来。

但我觉得Muse火的话呢,它也是有一些Meta独特的优势的。啊,就是他疯狂在Facebook和Instagram投放广告,然后就投出圈了。就是有很多之前可能我朋友跟我说,就是他们的这个父母辈啊,或者说朋友,比如说可能都没有听说过OpenAI的人,会来问他们,哎,我看到Muse了,然后我是不是应该开始使用Muse?

所以这个实际上是依赖于Meta自己非常强的这个分发能力。所以这个事情就是你要还早做晚做你都没有这个优势,所以你也没有什么特别好算的。这么看起来,字节应该做这个方向,腾讯也应该做这个方向,他们都有这个触达上的优势,嗯。就对,所以我觉得腾讯如果这个事情没做出来的话,我就真的说不过去。但他们现在倒还没有推出Work Buddy,并不是这个方向的产品。

小薇可能可以算吧,但小薇的扩大测试的节奏是比较缓慢的。就是他们在微信上有一个AI的产品,而且说实话,很多事儿都干不了。这涉及到另一个话题了,就是这个互联网生态的开放程度。比如说像Instinct的这样的产品,它其实也可以帮你订机票啊、订餐啊等等打车。那其实需要这些本身提供服务的App和软件是要向它开放一定的接口或者说权限。

我理解,对这个事儿,它会持续的开放下去吗?不一定吧。Amazon现在已经把Muse给办掉了。就是不能通过他在亚马逊上购物了。对,嗯,你说到这个,就是有一个数字,我觉得是要分享下的,就是 Instinct 的创始人 Noah Shein 他自己在 Twitter 上八月底的时候,他说 Instinct 的用户平均每个月通过 Instinct 产品的消费已经超过了一千三百美元。

他这里的这个钱不是订阅费,就是说他通过这儿买东西花的钱啊。啊,比如说我用Muse帮我订一个那个临时工,他来干两个小时活,就付了两百多美元。那我只要持续的去用它,我相信这个一个月一千三万美元,就是平时用一用,应该也不是很难。两个小时两百美元干什么活?Plumbing,水管堵了。我不知道这个创始人怎么算的,就甚至我觉得他可能他我用这个东西去查一些东西,查机票,我不知道他是不是都可能会算到他这个两分九里面。

他肯定没算嘛。但是这个里面有一个信息我分享一下,就是有一次他自己接受《华尔街日报》采访的时候说,有一个人在上面买了一套房子。所以我不知道他这个平均数算进去没?我觉得这个就有点怀疑,包括支付也会比较难的。我觉得,因为现在很多,比如 Muse 他们支付都是说你要把信用卡提供给他们,他们有一个 link 还是什么东西的,然后把存在那里面,然后他之后就可以用那个 API 来进行支付。

那你要是 end to end 的端到端的,在他这个 app 里面能够实现买房,我觉得是比较困难,有可能只是做了中间的一个环节。比如说,通过他和Agent的沟通,然后最后敲定签合同,到这儿可能我觉得都是可能他能够完成的。以及其实现在他说这个平均消费额对他们的商业化本身是没什么意义的,因为目前首先他给所有用户是免费用的,然后在用户在这个平台上的消费里,他目前也没有抽佣。

嗯,但是我觉得长期来说,这确实有可能是一个商业化的选项。哦,我觉得还有一个点,之前我用Muse,我然后我想给朋友打钱。然后我想把我的银行账号密码给他,然后让他帮我打钱,他拒绝了。那这是好事啊,我觉得。对,所以进一步我觉得就是说,呃,你想直接在上面买房,然后让他给你打钱,我觉得这个事儿好像就比较难。然后像Muse,包括像Today

AI这些产品,它都是有一个基础定位费的,它也有免费版,然后它也有这种订阅版本。

你觉得长期来说,这种个人助手可能的商业模式或者什么?我觉得订阅加广告,我觉得还我还是非常愿意为它付订阅费的。那你愿意这里面有广告吗?我这可能得选一个吧。我能够接受的就是,如果我付订阅费的话,里面有广告;我要不付订阅费的话,你给我弄来广告。可以讲讲就这个公司的创始人,还有这个公司大概是个什么情况?它是很快到了目前在一百亿美元的估值。

这个公司一直没有向它的用户收费,所以它呢,整个基础设施,尤其是需要烧的token也是比较多的。啊,所以他就是一直需要融资。他应该是在可能一两个月前,然后以这个二十五亿美金融了一轮。然后呢,最新的一轮应该是在一百亿美金了。这个创始人挺年轻的,零三年的。对,创始人之前的话是在另外一家就是比较明星的AI startup,叫做Sierra的工程师啊,然后后来创立这家公司。

那总结来说的话,就是现在在讨论上非常火的这些个人产品,他们大概的实际的使用情况、用户数都是一个什么水平?Muse应该是超过两百五十万下载了,这个而且不是最新的数据,这可能是一周前的数据。最新Sense Tower的一个数据是三百四十万的下载,九月二十五号。Instinctly是没有公布他们的啊用户数量的。

他之前都是邀请制的,对,我觉得 Instinct 限于它的这个资源和算力,可能实际用户规模一定要小,至少一个数量级,可能更多。所以是,如果说以这个行业目前最大的产品,就 Muse 来说的话,就是三百三百多万次的下载,这应该算是很快了啊!九月上线到现在,对啊,两三周的时间,然后在这两三周的时间里面,那它的股价也涨了百分十一。

那我这里补充一个可以作为对比的数据,去年也是十一前后。OpenAI的Sora App也是一度爆火,当时它是不到五天的下载量就突破了一百万。我们录这期的时候,Muse应该是上线不到二十天,也就是五天一百万和不到二十天三百四十万。我觉得我们可以先 mark 一下吧,我们之后可以再来看它之后是个什么情况。

当然,你前面也说到了 Muse 有一个特点,就是它是很出圈的。比如说你朋友的一些父辈,他们之前可能不知道 OpenAI,但是他们也会去想知道 Muse

是一个什么产品。能感觉到这个热度应该还会再持续一段时间。其实过去AI助理产品已经出现过好几次了,有几轮热潮,包括最早一一年的时候,苹果就做了Siri,然后上一轮AI热潮就大概一二一三年之后,中美也有挺多创业公司在做这个方向,像Cursor AI、莱野科技等等。

听起来你认为这次不会再是昙花一现?你觉得是为什么呀?我觉得最主要的原因还是模型能力变强了啊,尤其是Computer Use啊,因为刚才我们提到的很多这个应用场景里面,这些生活中的代办事项最后都要落到去操作浏览器。第二个的话呢,就是成本的下降也是非常重要的,因为刚Computer

Use第一次加入模型能力的时候,当时就是你可能操作几个步骤就是要几美金的这个价格,那么这个明显就是和这些日常频繁的这些小数据需求是对不上的。

但目前的话呢,这个模型的价格降下来以后,啊,确实就使得这些日常的小事值得让模型来帮我们去做了。所以这可能是两个主要的原因。你觉得再往下,这类个人助理产品要把体验做得更好,需要优化的关键能力或者方向可能是什么呀?我觉得会有三个方向。第一个的话,还是回到能力上面,因为现在还是有很多网站它用 computer use 仍然不太好操作的。

从我个人的使用的经验来看,像什么 DMV 啊,然后 United Airlines 啊,最近经常会卡壳。DMV 是就是加州这边的车辆管理局,比如说你注册车辆啊,然后什么更改你的地址啊,然后申请 ID 啊这些。在美国这边都是 D M V。我以为是那种比较专业的网站会比较难用,这个听起来好像每个人都得用啊。

他不应该训得很好吗?可能有一些边角边角的 edge case 可能没有训到。DMV 的话,我记得上次是在选地址的时候,然后选那个有一步,他要选那个州,也不知道为什么这个看起来很简单的任务,它就是卡,那过不去了。你说你用的是 Muse,我用的是 Muse,就一个下拉菜单,然后选美国的哪个州,选那 California 就选不中。

他很多地方填这个都填过我的地址,但就是在 DMV 上面填不动。所以我觉得可能是那个网页就是有点不太好操作哦。正好我补充一下,就是 Muse 它肯定用的就是 Meta 自己的模型,对吧?Muse 没接别的模型底层,这个不好说。就是这是个未知信息,不知道未知信息,因为很难说。我觉得他们很有可能,他们现在还是产品体验优先嘛。

就比如说,现在有人报道,就是 Muse 它帮你打电话的功能是真的用人帮你打电话,不是 Voice Agent。他们有一个 Call Center,然后帮你打电话。所以我觉得他们就是为了让产品能够实现现在现在这个体验,他们应该是愿意做很多事情的,包括但不限于,比如说需要去用到比加的模型或去用比加的模型。

嗯,我觉得这也是一种做好产品的思路。说回来,说你所有一个是能力,尤其是像Computer

Use的这种能力。这第一个方向,嗯,第二个方向的话,我觉得是生态,就是Instinct应该是刚刚宣布和Shopify合作啊,然后把这些商品搜索呀,然后结账订单这些东西打包进他自己的产品。然后另外一边的话呢,Amazon呢又限制了这个Muse的访问,也就是可以看到,就是说老一代的这些服务提供商们,他们有一些选择和这些新的个人助理进行合作,有的选择就是和他们这个啊割席,对吧?

哦,所以就是未来的话,这些助手能不能把这些我们生活里的事情干完,也取决于这些服务商愿不愿意,那他进入他的生态系统,嗯,然后有没有合适的这个授权和这个交易的接口。嗯,这我补充一点,就是在美国这几个个人助手产品很火之后,也跟国内的一些公司里的人交流嘛,包括国内有一些大模型厂商之前也出过个人助理产品。他们心中一个比较大的担忧就是这种生态开放的问题,因为在国内其实孤岛效应是更明显的。

在美国应该很多大的互联网服务还是有网页版的,国内其实很多东西已经没有网页版了。然后你要去跨应用的去做这些事儿的抵制力会很强。之前豆包手机就是一个例子吗?那真的就是看就是,可能封use了,变成封use,或者说就是他们能不能开放他们生态的这个API。用U字也很容易被ban的。豆包手机之前就是用GUI的方式在手机上去操作一些别的app。

它大概正式发布之后的一周之内,什么小红书啊,什么滴滴啊,微信啊,就全部都用不了了。最开始第一天好像可以用啊,好吧,嗯,这是第二个方向。呃,第三个方向的话,我觉得是个性化和持续学习。就现在的这个所有人的助手,每个助手都长得是一个样儿,沟通起来也是一种性格。我觉得之前我有一个非常喜欢的这个个人助理产品。

他的这个AI的性格做的特别的有趣有意思,非常让我想和他交流,啊,就是那个现在已经被Completion收购的Poke AI。但我觉得除了个人助理的性格上面,更重要的是他能不能就是从和用户的相处中学会用户的这个习惯,比如说你是什么样的预算啊,然后你喜欢什么样的航班啊,什么时候该提醒你啊,什么时候不要打扰用户呀。

像这些纠正过一次的事情,下次能不能就是不要再解释就能够做对啊?我觉得这些的话,还是一个下一个阶段,可能这些个人助理他们需要提升能力的一个主要的一个战场。Poke AI被Cognition收购之后,后来怎么样?这产品还在吗?他们产品还在独立运营,并且的话呢,应该是他们Cognition也非常看重他们给这个AI植入性格的这个能力,所以也说这方面的能力会往Cognition这个其他的产品去迁移。

其实他们是比Instinct的更早做的,对对,我觉得确实之前一些尝试过的人可以再一次来尝试这个方向。然后我自己其实觉得挺重要的一个方向,就你前面说这三个里没提到,就是安全。因为Dots和Muse,它现在的实现方式,它都是在云端有一个独立的虚拟机,好处就是它可以让这个agent一直运行,而且你从不同的终端去访问它的体验是非常丝滑的,理论上它是没有断裂的。

但另一方面,那就说明我和它之间交流的各种跟我自己相关的敏感数据和信息,肯定是以某种方式经过了云端,然后这样,我觉得它会有比较大的安全隐患。嗯,确实,因为现在想让这个个人助理帮你做事情的话,基本上已经把我大部分账号的这个密码,包括我的信用卡这些信息全部都给到他们了,所以如果要是泄露出去的话,确实有很大的安全隐患。

你现在用Muse,你自己是比较放心的,是吗?因为它是大公司吗?我是,我感觉对Meta就是会比对Instinct放心一些。嗯嗯。因为Instinct它这个data policy都是已经写成这样了,我觉得就是对它的这个privacy和security没有任何期待。接下来,我们进入第一次录制本期季报时的其他讨论部分。

正式开始三季度的讨论之前,我们依然是先来回顾一下上一期的内容,为接下来这一期的内容做一些上下文的铺垫。上一期是一百七十一期。当时的标题是从Coding到RSI,强者愈强的未来。所以上一个季度,我个人感觉最有意思的一个新趋势指引,其实就是标题里最后说的RSI递归自进化。那简单来说,RSI就是一个可以不断自我改进、自我提升的AI系统。

上一次我们主要是聊了这个概念是什么,以及一些新近出现的创业公司,还有 Frontier Labs、 OpenAI 以及 Anthropic 在这个方向上的进展。这个季度是你能看到它的趋势越来越明显的,比如说 TML 的联创之一翁立,他离开了 TML 加入 OpenAI,然后去报道他会去带团队探索的方向就是 RSI。

在中国的话,像智普这边也发了长文,描述他们对阿尔赛的理解和一些进展。他们的切入点是AI infra,包括我们这个季度中间有些相关的节目,像K三那一次也是讨论到了K三技术报告里面,他们用K三这个模型的早期版本来改进Curlo,这也是infra的一部分。这是我个人觉得比较有意思的一个新趋势。然后Henry,你也可以讲讲,就是回顾二季度,你觉得有哪些想法是被验证了,然后哪些想法发生了比较大的变化?

我觉得从RSI开始说的话,就是我们逐渐可以开始看到RSI的一些威力吧。比如说,OpenAI上一个季度把他们的这个RSI的技术框架应用到了这个Inference Stack上面,然后实现了整个Inference Cost百分之二十的缩减,其实是非常大的一个经济效益。除了RSI,我觉得上个季度我们做的几个预测,其实在这个季度实现了验证。

比如说,Computer Use的重要性和价值,我们可以看到Astra GPT叫Astra在Computer Use上面的这个改进,然后以及Voice作为人和AI交互的这个界面,我们可以看到这个GPT Live新的模型的发布。还有,比如我们上个季度预测AI下一个增长点是这种always on的一直开着这种个人助理,那么这个季度我们也看到了新的产品的到来。

我觉得可能有一个点就是比较上个季度没有想到的,就是coding可能比我们想象中还要更general,能够做到我们更多之前可能没有想到的事情啊。这个我们可以之后再展开来聊。那我们正式进入这一季度的讨论,我觉得还是按照之前的那个大的脉络,分两条线,一条线是。推进智能前沿,就是在提升智能和模型的上限能力上。

过去这段时间又发生了什么?第二条线是智能扩散,就是来看看相关的一些产品它是怎么普及普惠到更多人和商业组织的。第一个大的话题还是回到两大 frontier lab 的竞争,就 OpenAI 和

Anthropic。还是从模型开始聊吧,正好整个三季度,尤其是最近这一个月,就是九月,是有很多重磅发布的。包括OpenAI的GPT六的三个档,Astra、Soul还有Lula,以及GPT六Soul和Lula发布的同一天,Cloud发布了Optus五点五,也是在这个季度。

就上一次Optus系列的更新是Optus五,这个是七月中旬。所以模型现在特别多,然后发布频率也越来越快。我想先请Henry和大家简单梳理一下,就这两个Frontier Labs他们现在都有哪些模型线,然后他们之间什么关系?我觉得这个季度的话,可能大家最关心的两个模型的发布就是 GPT 6 Astro 是 OpenAI 这一代的旗舰模型,还有就是 Anthropic 的新一代旗舰 Opus 5.5。

那么在 GPT 6 Astro 这边的话呢,它的是 computer use 的能力有了比较明显的提升,能够使用 Blender 在内的很多这种专业软件完成更多的任务。另外就是在 Science 和 Math 这边也提升比较明显,Terminal Bench Science

从百分之二十二提升到了百分之六十四,然后 Frontier Math 的 Tier Four 从百分之八十三提升到了百分之九十七。

OpenS 这边的话呢,就是在官方公布的所有测评中,得分居然都超过了他们更强的这个模型,呃,PhiB 五点一。同时,相比Fiber五呢,这个运行成本降低了百分之四十,然后输入输出单价降低了百分之二十。不过,Anthropic自己也在公布的这个blog里面说,实际使用起来的体验可能差别不是很大。除了这两个旗舰模型以外呢,OpenAI的这个季度还发布了,比如说像GPT Image 2.5。

的两个档位,嗯,还有这个语音模型GPT Live One都是OpenAI这个季度的新的模型的release。你刚刚讲的benchmark更多是一些数据上量化的指标,所以想问一下,就是从体感上,你自己包括你周围的一些研究员的朋友,或者做产品的一些朋友,他们对这个季度新发的这些比较重磅的模型的使用体感是什么?

我觉得这个其实非常看实际的应用场景是什么样的。比如说,如果对于coding来说,可能Astra相比于GPT 5.6 So之前有一个OpenAI做pretraining的朋友,他可能说,在他自己的应用场景下面。啊,这两者模型体感可能差不多。这个同样的,在 Anthropic 那边就是 Opus 五点五和前一代模型的这个改进,在 Coding 上面可能也没有那么大。

啊,但是在比如说Astra还有Opus五点五擅长的领域,比如对于Astra来说,computer use使用Blender这种专业软件的能力,或者说在Opus五点五这边就是visual design的能力,都是有比较大幅的改进的。但它确实是能感觉到,他们internal就是可能还没有发布的最强的模型在reasoning。

还有可靠性,还有 research taste 方面是会更强一些的,所以这个确实很看 use case。他们现在能比外面的人提前多久用到更强的模型?没有具体的时间,可能会有小几个月。这个也是大家现在会讨论的一个问题,就说,因为现在这些最前沿的模型,其实你发布的时候所受的审查或者说安全的限制吧,是越来越严格的,所以最领先的厂商比外面的人可以更早、更全面的用到更强的智能,这样又会加强他们的领先优势。

这个事情确实比较重要,就是你内部最强的模型,其实决定了你 RSI 转的有多快。不过好在就是他们两家之间还是有竞争的。所以还是说不会,就是藏很久不拿出来发布。如果要是一家独大了的话,那就是一个比较黑暗的一个未来了。嗯,但我觉得应该可能性不是很大,因为硅谷的人才流动速度还是非常快的。我觉得就是说很难说你有一个 secret sauce,别人是一直没法弄明白是怎么做的。

OK,那我们就是回到这几个模型啊,GPT六Astra可以再展开讲一讲啊,它是一个反响还挺强烈的模型。就总结而言的话,它核心的亮点是什么?GPT-4o发布以后,确实反响挺强烈的。最直观的就是OpenAI它这个两百美元的Pro套餐暂时不让新用户订阅了,因为他们的这个compute有点跟不上,所以为了保证现有的用户体验,他们就是在增加容量之前呢,需要先暂停最消耗资源的这一档订阅。

Astra,我觉得这次最值得讲的进步呢,我会选就是 Compute Use,它的发布视频其实也用了一段很有意思的历史来讲这件事儿。就他那个发布视频开头是MIT在一九七九年做的一个经典的人机交互实验,叫做Put That There,就是把它放在那里。它实际上是结合这个语音和手势,然后使得这个能够在电脑屏幕上面画图,然后移动图形。

其实从那个时候我们就开始在探索,就是能不能直接告诉这个电脑我们想做什么,然后让电脑去理解并且执行。那四十七年以后呢,OpenAI用同样的一个画一个黄色圆圈来重新开场,但这次的话呢,他们继续。往下做,然后把这个黄色圆圈先是变成了一个火箭的窗口,然后再给这个火箭加上很多细节,然后再打开Blender,把这个火箭做成一个三维的模型,再基于这个三维模型做一个三D的游戏,最后生成了一个三D打印的文件,是一个非常完整的一个这个能力的一个展示。

然后网上的话也有很多传播很广的这些三D的Astra的demo,大部分都基于就是Astra对于Blender的使用能力。比如说有一个开发者,他把Zillow上的一套豪宅。的这个房源链接交给Astra,然后让他根据照片在Blender里面给这个豪宅建模,然后再制作一段这个House Tour的video带你虚拟参观这套这个房屋啊,这个就是在推特上面就是爆火了。

然后类似的这个能力呢,还也出现在比如说Astra可以使用这个制作游戏的Unity,然后这个设计电路的KeyCAD,包括我们比较熟悉的Excel啊、Power BI这些专业软件中。呃,从跑分上来说的话呢,在官方的这个 O S Word 2.0 的离线评测里面,Astra 的一个得分也从上一代的百分之六十五提高到百分之七十二,然后时间上也大幅缩短了,大概缩短了从。

百分之四十七吧,从七十五分钟降到了四十分钟,啊,所以它相当于是在 computations 上做得更好,并且也更快了。然后是这个 Opus 5.5,你前面说到的,就是它能用 coding 来做很多事儿,可以展开来讲讲啊。我觉得 Opus 5.5 这次一个很大的亮点。就是用代码来做视觉设计和动画的能力,这个网上有很多惊艳的这个例子。

乍一看的话呢,你可能会以为这个是 video generation,就是视频生成模型做的,比如说像 C-ness 这样的模型。啊!结果后来发现,这整个动画居然都是OPUS写代码画出来的。我觉得还是非常超出了大家的预期。就是有很多这个作品,它很多这个动画呢,它其实就是一个HTML文件,然后里面是没有图片或者视频的素材的,是纯用JavaScript。

和Canvas 2D,然后一笔一画的绘制出来的。呃,有些视频呢,又是通过这个Web Audio再配上这个声音。比如说,有人做了一段这个介绍Cloud自己生平的动画,还有各种就是艺术风格和复杂的这种视觉设计。我们可以之后在咱们播客的评论区放一些链接,然后大家看一下就能直观地感受到 Opus 5.5 的这些做动画的能力了。

我觉得这件事情比较重大的意义呢,就是让我们重新认识到 coding 这个工具,它作为最 general 的工具能做什么,就是它能够,比如你想画什么,用什么颜色,一个元素什么时候出现,怎么移动,停留多久,像所有这些动画的元素都可以写进代码里面。所以它真的是一个让我会觉得好奇,就是说还有多少我们原来认为不属于 coding 的事情,其实都是可以通过写代码来完成的。

通过写代码来生成一段视频,它整体是不是更高效啊?就比如说它算力和 token 的消耗是会更少,相比于视频生成?这个倒不好说,因为我记得它好像有一个七十八秒的视频是做了四十五分钟。哦,如果一个七十八秒的视频,如果用 video generation model

做的话,应该会更快。当然这个不算抽卡的时间,但我觉得代码的好处就是它可以非常针对性的进行剪辑,或者你要修改哪里,这个东西的可以的控制性应该是远高于 video generation model 的。

比如说。有人用这个来做一些 education

的材料,教育材料。你想学什么东西的话,然后它可以给你做一个动画,然后来给你解释。这个东西是一种交互性的一种学习的材料,其实是我觉得是非常好的。你觉得过去这几年的话,就到发展到现在啊,这些前沿模型能力的提升,主要的增量来自哪儿啊?因为最开始的时候其实是来自大规模预训练,然后二四年九月OpenAI

O一之后有一个范式的转变,就大家会投入很多力量去做后训练,做大规模的强化学习,还有在计算式时间加更多的算力。

你觉得现在这个新的提升的增量的来源它变化了吗?还是一个多方面的吧?因为大家应该还是在不管是 pretrain 啊、 posttrain 的 recipe 啊,还是比如说在 test time compute 对吧?可以通过后面我们可能会聊到 multi agent 来增加更多的算力,应该都是有提升的。

不过我觉得可能 ROI 最高的应该还是。数据上面,嗯,这个也可以举一些例子,就是说,你可以看看,就是 Frontier Labs 愿意在数据上面其实是花很多钱的,比如说最近 Gemini 收购了一家公司,叫做 Mechanize。它是这个 Anthropic 的一个数据供应商,然后因为在 Anthropic 内部的这个风评很好,是他们数据质量比较高。

它主要是供这个 coding 的数据,所以呢,这个 Gemini 就想非常着急提升自己 coding 能力,所以就这个 Sergey 和 Corey 就 reach out,然后收购了 Mechanize,多少钱收的?一点五 billion,十五亿美金。Anthropic 没有去竞争一下。Gemini买走之后,岂不是他少了个供应商?

我觉得他们是在数据采集上面、采购上面是啊非常有自己的想法的。他们之前为了让这个领域里面有更多的供应商,专门就是给。YC的很多公司去发钱,然后可能每个公司可能比如说给你一个 million 的订单,然后让增加这个领域里面的这个玩家数量啊,这样能够把整个行业的个价格打下来,然后增加他们的选择,减少他们对头部供应商的依赖。

所以他们之前已经做了不少这样的工作,所以可能 Macaulay 的收购对他们来说影响也不是很大。嗯,就是他有很多供应商,他扶持了很多。它扶持了很多供应商,对。所以,AstraBic之前其实也并没有投资Macnize,没有投资Macnize的,或者应该没有AstraBic投资数据公司的先例。嗯,据我所知。

那说到这个数据的话,我也可以展开讲讲,就是现在的这个数据和最开始,比如说二二年那会儿ChatGPT刚火的时候的数据的类型有了什么变化?从去年二五年中开始吧,就是有大量的新的做这些强化学习环境的公司啊,或者说RL environments的公司出来啊。最近有挺多都raised融了比较多的钱,比如说像这个After Query。

Fleet AI等等啊,所以这些公司应该是吃到了这一波数据的红利。他们像这个 OpenAI、Proby 这些啊,Frontier Labs 提供了大量的强化学习环境的数据。当然,除了这些强化学习环境以外呢,像这些呃思维链的数据啊,用来做 SFT 的数据也是一直有这种需求的。你刚提到那些公司,现在的估值在什么量级啊?

Afterturi,如果我没有记错的话,应该是在三十亿美元左右。然后 Fleet AI 的最新一轮应该是七亿五千万美元。OK,那中国现在类似的公司的估值已经跟美国公司差不多了。就你刚说强化学习环境,有一个二五年下半年成立的中国公司叫Unipat。对他们一开始也是做这个强化学习环境的,他们现在应该是接近三十亿美元的估值了。

哎,这个挺神奇的哦,就中美的大模型公司的估值差的挺多的。这个数据公司的估值已经是有赶上的趋势了。可能是因为美国这边的玩家太多了,但是中国这边可能优秀的玩家数量比较少,所以估值可能会更高一些。说到数据的话,还有一个三季度被特别广泛讨论的问题,就是蒸馏和反蒸馏。因为蒸馏本质上它也是一种获得高质量数据的方法。

我觉得最近的一个新变化就是在 GPT6 Astra 发布之后,因为这是九月初嘛。然后我们和中国的一些研究员聊,就很多人的反馈都是 GPT6 Astra 是更难蒸馏了。我不知道你和周围就美国一些研究员有没有讨论这个问题啊?它更难蒸馏的原因是什么机制导致的?就它是跟模型本身能力提升了有关,还是一些别的手段让它变得更难蒸馏?

那从原理上,为什么蒸馏很难彻底杜绝呢?是因为这些这个思考模型,它在回答之前呢,会先花一段时间去吐出它这个思维链。但是这些模型厂商呢,它是不会主动展示这些思维链的。但是呢,在一个多轮对话里面,下一轮对话实际上模型还是需要之前的这个思维链的。所以这些思维链的话呢,它们其实会被这个加密起来,然后传回这个服务器,然后在服务器里面解密以后,在下一轮对话生成的时候再把它喂到这个模型里面去。

所以只要这个思维链呢,它要被模型读取。而最终,这个模型呢,它又要和用户说话。那么,用户在和这个模型沟通的过程中,就有可能会获取到这个模型的思维链。所以,这个是本质上为什么很难杜绝。那么,上一轮这个蒸馏,它具体是用到了什么样的这个手段呢?它其实呢,是发现了这样的一个缺口。就是,虽然这个旗舰模型它防护的比较好,它可能不会说出自己这个思维链,但是呢,这个旗舰模型它的思维链呢,可以把它交给他们的防护比较弱的这些小模型,这些小模型可能会把旗舰模型的思维链给读出来。

所以就是啊,研究者利用这条路径绕过了像旗舰模型索取内部推理的限制,然后通过攻破了一些小模型,然后来获得旗舰模型的思维链啊。所以这个重点的话呢,就是说你想保护这个强模型的秘密,你还得保护所有能读到这个秘密的其他模型。然后这个漏洞的话呢,应该是已经作者也这个说,在他们披露以后,原有的攻击已经无法复现了啊。

所以相当于是这些OpenAI、Astra他们已经修复了这些问题。啊,但是未来的话呢,我相信可能还会有新的漏洞被这个新的攻击者找到,所以 GPT 六更难争了,跟 GPT 六模型本身更长的关系不大。就是之前的漏洞被发现了,然后被某种方式给堵住了。我对这和模型能力应该是没有关系的,或者它不是直接的关系,可能会有一种间接的关系。

就是谁有更强的模型,你有更强的coding能力,有更强的处理任务的能力,可以就帮你去做这些攻防吧。其实最近这个季度的模型发布,在网络安全上的能力也都是他们会去讲的重点。GPT六都是把网络安全能力作为就是其中一个高量的能力去展示。那回到 Frontier Slab

之间的竞争,前面说的是模型本身的进展,然后接下来我觉得可以聊的一个话题是 OpenAI 和 Anthropic 这两家公司他们看重的不同的要优化的方向。

最近比较受瞩目的一个方向是前沿的数学问题。这也是OpenAI陆续在释放成果的领域,比如说他们号称解决了千禧年的数学难题之一,然后后来这个事儿又应该是引起了很多风波和争议。Henry,你可以先和大家讲讲这整个过程大概是怎么样。首先呢,千禧年数学难题是七道,就是非常重要和困难的这个数学问题。OpenAI这次解决的千禧年数学难题呢,是纳维-斯托克斯方程的存在性与光滑性问题。

我们可以把它简写为这个N-S方程问题。简单来说,它就是流体世界里面的这个牛顿定律。它会描述就是当流体受到压力、粘性和外力的影响的时候,如何运动啊?像这个飞机周围的气流啊、天气变化呀、血液在血管里面的流动啊,都可以用这类方程来描述。我们其实一直。就是会用它,但是这次研究的话呢,是说这个NS方程它有没有可能在某些时候出现这个异常?

就说这个难题本身是研究这个方程的某种数学特性,对吧?它才是一个假设嘛,它可能有一种什么数学特性,然后你要去得证明它有这个数学特性。对,嗯,它就是个纯数学问题了。对,因为有的人会问,就是这个解决了NS方程问题,能不能立马产生这个经济价值?啊,然后这个答案的话呢,是就是说,它这个证明并不会立马让这个天气预报变得更准,或者飞机更省油,或者解决这个湍流问题。

因为我们本来已经在用了,但是这个AI在解决NS问题中展现出来的能力呢,会让我们有理由相信,接下来AI有能力解决更多直接能产生经济价值的难题。那可以去说,OpenAI它是怎么解决的?OpenAI呢,它是搞了一个一万个agent的一个高并发的一个agent的这个集群,然后呢,探索这种各种不同的这个方向,然后最后呢,在跑了八十八个小时,烧了一百三十billion,也就是一千三百亿token以后。

他们得到了这个NS方程问题的证明,然后随后呢,用这个Astra又花了十七个小时完成了另的形式化和验证,最后就是整个可以说解决了这个NS方程问题的形式C和形式D。另是一个证明的检查系统,就是你可以把任何的这个数学的这个论证写成它能检查的形式,然后它就可以逐步推导,然后判断这个是不是对。OpenAI发了一个论文,然后里面写了详细他们的这个证明的过程。

对,就同行都是可以去评议的。围绕这个NS方程问题的争议是什么呢?啊,就是OpenAI在自己的这个blog里面说,他们是在九月初的时候听到,就是好像有人在重要数学问题上面产生了重大进展。所以他们想,我们也来试一试,能不能解决这个问题。那么他听到这个进展是谁呢?是一个纽约大学的数学家 Tristan

Buckmaster 和这个他的同事是一个在 Adobe 工作的研究员,就是 Levent Alpas。

他们两个已经合作在做这个 NS 方程问题,大概合作了有一年的时间了。然后他们在这之前呢,确实是把一些未发表的草稿交给过这个 Codex 使用。嗯,所以呢,就是难以排除 OpenAI 是否查看了 Tristan Buckmaster 在 Codex 里面的这些数据啊,来用于自己的证明,不管是有意的还是无意的。

然后另外一个点的话,就是说,在这个 OpenAI 主动。去联系了 Tristan Baumaster,然后呢,提出因为他的合作者在 Adobe 工作,所以希望他把这个他的合作者排除在这个作者的之列之外。所以他认为这个沟通过程带有这个施压的意味,所以他就把整个他和 OpenAI 的这个沟通的过程全部都在网上公开出来了。

所以这也是一个争议的起因吧。首先, OpenAI 听说有人在这个方向上有了一些进展。他是怎么听说的?是Backmaster自己在一些数学的学术会议或者说公开场合说过吗?难道是从Codeice听说的吗?在质疑的点就是说,因为也没人知道他们是怎么听说的,但可能是研究员之间的交流,他们听说的,但这个就不得而知了。

这个其实有点反常,一般一个数学家如果认为他在一个重大问题上。快做出来成果的时候,他不会到处去宣扬这个事情。确实,因为可能很多人都盯着同一个问题,然后你想了很多年的一个问题,你快做出来了,你肯定得自己保证自己获得这个成果。那他们确实就是解释说,这个他们的解决的问题和 Tristan Bachmuther 解决的这个问题,他们稍微有一点不一样。

一个是可能是啊带粘性的,一个是不带粘性的,然后他们证明方法不太一样,他们就是做了一些这方面的说明。后面还有一个后续的事件,就是有很多菲尔兹奖的得主,他们一起写了一个联名的公开信。当然,那个信里并没有特别提到千禧年问题这件事儿。他更多的是在讲担心AI对数学研究的一些冲击。之前有一个做数学的朋友开玩笑说:“这个数学家可能可以分为两种,哎呀,一种是给一个问题,然后去证那个问题的人,和提出新问题的人。

”然后在AI这个时代呢,可能就是解决问题的人就是没有这个活路了,因为这个就直接你只要问题提出来以后,然后扔给AI,然后暴力扔一万个一阵子,然后在那试就可以试出来了。当然,其实真实的情况可能不是这么简化的了。但是我觉得,就是数学家确实会比较担心,而且可能有些时候你的新问题是在你解决之前的一些问题的过程中间产生的。

如果你都是暴力破解法的话,他们可能也会担心这种新问题产生也会变少。抛开这个争议啊,就说他们这个源头到底是哪来的?技术方法上,就这次 OpenAI 攻克千显的问题,一个比较多人讨论的是多 agent 的并行协作来处理一个超级复杂问题。你前面也提到,它是一万个智能体。一起协作了八十多个小时。其实很多智能体一起工作,这不算一个很新的想法。

就最近OpenAI在多智能体上,它有一些什么新的变化吗?我觉得这个让很多智能体合作呢,你可以认为它是 past time compute 的一个新的阶段。因为之前的话呢,我们可能是让一个模型进行比较长时间的思考,然后就能解决更困难的问题,对吧?但是对于特别困难的问题的话呢,它这个长时间的思考,如果一个模型来思考的话,它可能需要很长很长,比如说几十年或者上百年的时间。

但是如果要是我们能够让它能够通过并行思考的方式来做这个事情,就能把这个时间缩短到比较短,比如说缩短到八十八个小时。所以这个多智能体合作,其实我觉得它是一种并行的方式啊。那么并行的话呢,你可以就是有一些人的,你可以固定它一些并行的模式,比如说一个智能体它给其他智能体分配任务,然后每个任务算完了以后再把它合起来。

这样是人相当于去固化一些合作的方式,那这些的话还是带有人的这些 prior 的啊,它可能不是最优的合作方式。所以OpenAI呢,它这次的进展呢,就是它给了这些智能体,给了这些模型呃一些基础的沟通的工具,比如说给其他的这个智能体发消息,嗯,然后呢,就是Train这个模型自己去学什么时候发消息是好的,什么时候给别人发消息,什么时候求助,什么时候修改自己的路线,然后去进行这些合作是好的。

那么他们这个工作,我觉得是这次这个新的进展。他这一次是用一万个agent的并行来解决问题,像就是到底选多少个agent的一起来合作,是人来设置的,还是也是AI他自己会面对任务,自己会有一个模式出现?目前的话呢,算力给多少这个budget还是人来决定的。那么实际上,比如说给一万个agent,是不是效率提升了一万倍?

肯定是没有提升一万倍。但是,比如说提升了是五百倍,还是一千倍,还是两千倍?就这个事情,应该目前 OpenAI 他们自己也还没有系统的去进行过测量。这是 OpenAI 明显看到它在着力的一个方向,就是前沿的数学研究。然后另一个也是 GPT6 Astro 发布之后,大家讨论的非常多的方向就是 Robotics 和物理 AI。

其实这一次具身智能领域的人是很兴奋的。这个和我们二季度的有一个讨论也是相呼应的,就当时有聊到OpenAI和Anthropic都会去做robotics,OpenAI在当时是一个已经公开的信息。然后我们聊的时候,Anthropic的那个信息还没有公开,但他们很快在七月上旬发了一个很长的文章,有讲就直接把 Opus 4.6、4.7 这些模型用到机器人上,有一些什么样的实验的结果。

具体到这一次 GPT 6 对具身智能领域的影响,你看到大家的哪些有意思的实验和反馈吗?其实之前的话呢,啊,我们就说过,就是 Computer Use 其实可以看作是数字世界的 robotics。那么之前还是打一个比方,但没想到这次真正的就是能够看到,当一个模型的 computer use 这些能力增强了以后,它真实的发生了这些能力的 transfer 到操控机器人的这个能力上面。

有一个比较有意思的例子呢,是有一个研究员,然后他给这个机械臂装上了这个画笔。然后接入了摄像头,然后就让这个Astra去操控这个机器人,这个画一幅金门大桥的这个画。然后这个模型呢,就通过这个coding,然后它写了这个动作程序,然后规划了大约这个一分钟的这个操作。通过摄像头检查执行结果,调整它后续的计划。

最后呢,它在几次尝试以后,非常好的画出了这个金门大桥的这一幅画。所以这个应该是一个,我觉得确实让大家非常惊讶,就是现在。这种通用的模型,居然可以直接的操控这个机器人,然后完成这些稍微有点复杂的一些任务。它这个过程就是主要只用了Astra这一个模型,对吧?就是它从理解这个任务到去规划拆解这个任务到输出动作,就是这一个模型。

对它就是这一个模型,然后因为呢,Astra现在跑的还比较慢,所以它不能说就是每帧都让这个Astra来看,所以它相当于是Astra就是看一次,然后呢写动作大概要写可能一分钟的这个动作,然后再看一次,然后再调整,大概是这样的。它的实时性肯定是不太行的,它这一幅画可能需要一到两个小时的时间。我觉得GPT六发了之后,确实有一个比较大的变化,就很多人都是直接用这一个模型,就端到端的干了robotics的好几层的事儿,就包括大脑和小脑。

因为一般大家之前会说,就是大脑是你去理解这个任务,比如说有个自然语言的指令给你,你理解它的语义,然后你去拆解一个任务。比如说,你要把桌子收拾一下,这个里面其实可能包含很多不同的动作,然后它还有顺序的编排,什么什么什么的,以及到最后你再去控制这个机器人的,你不管是灵巧手还是爪甲去执行完这个动作。以前其实很多是分开做的,还是不同的模型来实现。

嗯,那G P六很多人是用这一个模型来走完这整个流程。嗯,当然你从成功率啊和节拍上,可能你你真的能在现实生活中去。有效益的完成一些任务,目前还是差距很大,只是大家看到它的进展比之前会好了很多。比如说,我看有一个数据,嗯,也是一个几个研究员的一个尝试,他们在RoboDuo这个系统里面的一个测评,但这个其实是一个仿真的测评。

就同样的方式,用这个Astra来当策略模型的话,它在四十二个任务上。两千一百次的平均成功率是百分之二十二点六,虽然这个看着不高,但是GPT五点五只有百分之零点八八,就是提升还是挺多的。对,然后也可以和比如说像派零五这样的这个V R A进行一些对比。我记得好像这个论文里面写,就是派零五的成功率是百分之六点九。

所以Astra还是比派零五强很多的。对,这是同一个,就是那个论文《An Unexpected Robot Policy》。对,不过这个论文里面也提到一个点呢,就是说这个Astra的表现非常的不均衡。哦,就它非常擅长这个需要理解任务含义,然后灵活选择动作那种开放式的任务,但是就是精细操作和需要连续完成很多步骤的任务,它就是表现的非常差。

那还是跟我刚才说的那个之前也有很多人会去做的分层的思路也是有关的。就理论上来说,其实如果你观察人的结构的话,人的特别细致的动作,它是由小脑来控制的,对吧?它可能并不是一个。需要非常长时间去推理或者规划的这种任务,我觉得它最后可能实际落地的时候又会有很多不同的形态吧。那现在确实它展现了一个大语言模型能直接来当策略模型,而且成功率比之前要高很多,这个还是挺惊人的。

对,我觉得它有可能指出了一个未来解决 robotics 的可能一个新方向。然后这也带来一个引申的问题,就是很多就是具身智能领域的一些公司,他们接下来可能会面临什么影响?就对他们来说,这是个好事还是个坏事呢?我觉得巨深的话,可能是一个有很多 bottlenecks 的一个领域,就不光是 foundational model 这一个部分,包括还有很多 hardware 啊,然后等等。

但我觉得可能现在在巨深里面做这种模型的公司,可能应该更多的去思考,就是如何利用 Astra 这种。强大的能力,就是能够搭上这班车,而不是和他这个这个怎么中文怎么说?嗯,比如中文的话,创始人喜欢说的一种说法,就是你最好和他是正交的,不是重合的。对对对对对,就这个意思啊!直接点儿说的话,你觉得对派和Facebook AI这样的公司来说,它是个利空吗?

我觉得是一个利空。可能现在大家可能还不想公开出来说这个事情,我觉得私下里已经有不少人说这个,就是这一波Robo AI公司都完了。私下已经有这么极端的言论了吗?对对对,然后就觉得就是,呃,本来可能之前考虑加入其中,就现在可能这一波比较好的公司的人,然后就觉得就是说就不去了。比如说想去哪儿的准备不去了,比如想想去,就不去了嘛。

那我觉得这个领域已经是很头部的公司了。那准备去哪儿了?现在有新的创业公司就要走这条路了,就是更好的利用类似 GPT、Astra 这样的能力来发展自己的能力,对吧?或者说就是用 coding 来做 robotics 的这条路,用 coding 做 robotics,用 coding 和 computer use 来做 robotics 这条路。

Coding和computer use也还不一样。computer use里的有些能力可能是来自于图像理解的,对,是来自于你对图像和空间的理解的。对对对,这两个能力在咱们聊的这个例子里面,它都用到了嘛?所以总结下,其实就是用前沿模型厂商在大语言基础模型上所展示的潜力来做robotics。对,你说这些更新的公司是最近成立,就是近期成立的吗?

或者说成立多长时间?可能也就这个月成立的啊。这个月还有Astra公司成立,对。所以在美国也是陆续都有这个领域的公司成立啊。对,它的窗口没有大语言模型那么集中,因为这波可能还是是一个technology driven的嘛,因为有一些新的这个技术范式,所以有新公司出来了。这块还有一个那个例子,我觉得可以补充一下,就是它的这个自我修复和调整能力,我觉得还是非常厉害。

就是还是那个机械壁画金门大桥那个例子。哦,你可以讲讲啊,它怎么自我修复?就是这个模型呢,它中间发现这个画笔啊,虽然沾到了这个青色颜料,但是这个落笔的时候呢,却落在了这个纸张上方的胶带,所以它就暂停后续这个笔画,然后抬起画笔,然后再根据这个已经画出的痕迹呢,检查偏差。它判断呢,大概这个自己估计的纸张方向大概偏了六度,所以呢,它就调整了这个六度的这个偏差以后,然后重新修正画的这个路径和这个笔迹。

啊,所以这个整个过程的话呢,如果放在之前呢,就是这个human

robot图书馆里面来做的事情,现在发现整个这个事情。呃,就是这个,他自己就把这事儿干了,Astra自己就把这事儿干了,所以这个还是非常厉害的。你觉得为什么Astra在这些跟空间相关的任务上会提升的特别明显呀?它是一些能力的组合,就比如说,因为其实OpenAI一直做多模态呀,做视觉理解,它也做的更多,还是说它真的空间上的这种智能能力变得更强?

我的猜测哈,可能是两个部分。一个部分的话呢,就是 OpenAI 它最近在欧盟那边公布了它的一些训练数据的使用情况,然后其中的话呢,就是它有大量,它有超过现在有一百万小时的这个 multi-modal data,可能一些视频的一些数据,然后用在这个 pretraining 里面。啊,所以这本身本身可能提升了基模的一些空间上面的理解能力。

然后,其次的话呢,可能是在具体的这些软件和领域里面,他们采集了一些数据,然后更有可能是一些R L的environments,然后增强了这些具体downstream应用场景里面的这些能力。除了数学和具身智能之外,前沿的大模型还有一个很重要的大的方向就是生物科技。你觉得Q3这方面有什么值得分享的吗?Q3生物这边,我觉得有两个进展可能可以分享一下,两个都是来自Astra的。

啊,第一个的话是Cloud开始设计这个蛋白质了,并且他已经拿到了实验室里面做了这个验证。它是让这个 Anthropic 的 Cloud

呢设计了就是一千三百二十个这个蛋白质,然后交给外部的试实验测试了以后呢,发现有三百五十四个能够结合指定的目标,命中率大概是百分之二十七。你可以把结合指定的目标这个目标想象成一把锁,那设计出来这个蛋白质呢就是钥匙,啊,所以这步的话呢就是证明了这个Antarfic的模型现在设计出来的钥匙呢确实能贴合这个锁。

那么接下来需要进一步验证,就是它能不能产生我们想要的这个生物学的效果,啊,然后能不能安全的用于治疗,这是第一个。第二个的话呢,是Atropix他们说他们发布了一个叫做ART的一个新的一个酶系统,就是Atropix在分析大量DNA数据的时候呢,发现了一组之前没有被注意到的这个组合特征,其中的这些重复序列结构呢,让我们联想到这个CRISPR。

CRISPR当初也是从一系列这个看似这个奇奇怪的重复序列,一步步发展成了很强大的一个基因编辑工具的,所以。啊,这个发现呢,我们是非常值得期待。不过目前呢,Anthropic还没有弄明白它这个新媒系统ART系统的具体功能到底是什么样的。所以还不能说已经找到了下一代的CRISPR,但是我觉得比较有意思的就是说,AI可以从这种海量的数据里面,然后找出值得人类科学家进一步研究的线索。

那正好前面 robotics 的进展更多是在 GPT 6 Astra 之后,业界有很多实验。然后生物科技这个方向好像都是来自于 Anthropic。你觉得这是他们两家重点会有区别吗?还是只是最近释放那些成果的偶然性导致的?OpenAI也在做生物,可能最近没有发表太多的成果,但是他最近做了一个,就是相当于生物领域里面的课程,或者说IDE。

啊,它不是有一个那个模型叫 GPT-Rosa Blend 吗?然后它还有一个平台叫做 GPT-Rosa Blend Workbench。然后这个 Workbench 呢,和我们的被投就是 Philo 做的这个平台工具有点像,就他们都是用 Agent 来 orchestrate 你做生物研究中里面的所有的这个流程。

嗯,就是我觉得他们在这方面的探索,其实感觉上啊,是越来越进入很多独立的创业公司本身在做的领域。包括你前面说到,就是私下里大家也会讨论说,GPT罗Astra出来之后,对一些robotics公司会有冲击。然后这里其实有一些创业公司,它就是做说蛋白质发现的,或者是去做一些靶点的。那如果像AstraP自己也做制药啊,也往后去推的话,是不是也和这些创业公司有挺多竞争?

我觉得未来肯定是会存在一些这个交集的,嗯。那你觉得创业公司可以干嘛呀?还是有挺多事情可以做的,因为首先它有些领域呢,它不一定有这个数据。所以如果一个领域它已经处于 public data rich 的状态的话呢,我觉得可能就是确实。Frontier Labs他们有制作资源,然后有最好的推理模型的这些基础设施啊,那我觉得可能就不太容易做了。

但我觉得有一些领域的话呢,它可能还依赖于一些这个领域专家,然后呢,它本身整个的数据它处于一个比较稀缺的状态。那这种时候的话呢,我觉得就是。有这种领域实际经验的这种 startup,他们可能是有一些这个机会的。其实 robotics 和生物科技都属于数据相对稀缺的领。对,我觉得还是相对稀缺的。对,包括生物科技,它其实分类很细嘛,它可能不同的就是具体的领域、细节、细的门类里面,有些又更缺数据啊。

但我觉得这两个领域相对来说都比较早期吧,然后都没有一个 clear 的赢家。这部分的最后,我想来聊一下 AstraPik 还有 OpenAI

这两家公司在用户收入还有利润增长上的一些变化。他们也是行业里商业化和应用落地的标杆指示。我就先分享一组数据啊,一个是九月二十八号的时候,有一些媒体是披露Astra和上市过程中的一些S一文件草案里的数据,然后他能看到说,今年一季度和二季度Astra的收入分别是四十七亿美元和一百一十五亿美元。

那到今年七月底,它的AI是已经突破了六百五十亿美元,这个和之前更早时候我们的一些报道也是一样的。然后是OpenAI这边,这个数据还是比较惊人。就是刚刚今天有媒体报道说,OpenAI的L2已经到了七百亿美元,然后两家公司的L2差距相比今年上半年的时候其实是明显变小了,这和我们前两个季度一直在讨论的OpenAI对Anthropic的反扑是直接相关的。

可以说,这种趋势已经被数据验证了。你觉得这个会意味着什么?会带来什么影响?我觉得可以首先解释一下,就是这个ARR是怎么计算的。这两家公司它可能计算的方式有一些不一样。应该在早些时候,OpenAI他们说过,就是Anthropic他们公布之前三百亿ARR的时候,他们其实有八十亿是付给他们合作伙伴的成本。

举个例子,就是说Anthropic如果通过AWS卖出去一百块钱,然后它中间付给AWS了四十块钱,它其实会把一百块钱全部计入到它的ARR里面。然后把四十块钱计入它的成本,而不是记一个六十块钱的L R啊。OpenAI的话,它其实是用的是这个净值啊,所以OpenAI当时的这个首席营收官其实会说,这个如果Adobe和他们用同样的方式来记的话,他们三百亿的这个L R里面可能只有两百二十亿。

所以相当于是打一个大概七折,所以在不同的报道里面,我们现在不能确定就是具体哪个数据是用哪个口径来计算的。然后其次的话呢,就是啊,OpenAI我们可以看到是在八月份到九月份有一个非常大的一个增长。呃,在八月份的时候,他们的这个ARR可能还是在啊四十B往上,在九月下旬的时候就已经到了七十B,所以大概有一个百分之七十左右的一个增长。

我补充说下,就你刚刚说那两个数,因为它其实都不是官方披露的。八月中旬的四十币也是媒体报道的,是彭博社报道的。然后最近这个接近七十币是路透报道的。就有一个可能的原因,也是因为这两个媒体自己报道的口径可能也不一样。但确实,嗯,都是比较权威的媒体,以及这个数字的增长非常惊人。中间发生可能最大的事件就是

OpenAI 发布 GPT6 Astro,然后这个可能是确实极大的点燃了这个用户对于 OpenAI 的这个需求的增长。

我们也可以看到,就是从 OpenAI 取消这个两百刀这个 Pro Plan,可能也能看出他们可能算力有点跟不上了。嗯,如果结合现在的这个数据的话,可以说在三季度,Astra 和 OpenAI 的增速是已经发生了调转的。因为上半年,Sarpius显然是增速更快嘛。因为去年底的时候,两家收入的话是 OpenAI 更多,然后最近这三个月,尤其是最近这一个多月,OpenAI 的增速明显变得更快了。

然后有一个第三方的机构Tikertrends,它是用各种另类数据来测算这些公司的AR。它算出来的这个增速的话,如果用它七月二十多号到九月二十多号的这个数来算的话,Astra的AR是已经增速只有百分之三点六了,然后OpenAI是百分之二十多。首先,第一点的话,就是说在这段时间里面呢,Astra比

Opus 5.5要早发布了近三周,然后再加上本身这个估算可能会有一些误差,所以我觉得可能还不能说判断 Anthropic已经长期停滞了。

但是如果要是接下来几个季度 Anthropic 都明显放缓的话,那我觉得可能首先承压的会是它的这个估值,因为现在投资者愿意给非常高的估值,很大还是因为为了未来的增长在买单。那么到了现在上市的这个关头,那公司可能就需要证明现在的这些客户为什么还会继续这个增加支出,然后还有哪些新客户和哪些新场景能够接上。

如果要是这个用户能够把这些很大一部分工作转给 Codex 的话,就说明之前这赢得的份额还需要不断的靠这个产品和使用体验才能守住。更大的给这个压力的点可能是未来它这个算力已经提前这个定了,但是如果收入却没有按原来的这个预期增长的话,那像这个算力扩张、融资的计划可能都需要调整。所以我觉得就是增长慢一点本身可能不是那么可怕,但是更可怕的是这整个投入的计划建立在原来更快的增长的这个基础之上。

我觉得对于行业的影响来说,还有一个可能需要区分两种情况,就是说如果客户只是把钱从Astra转给OpenAI的话,那可能说明是竞争更加激烈,但不一定代表AI的需求在萎缩。但是如果要是OpenAI和Anthropic多家公司都持续放缓的话,那可能就说明是客户也不再愿意的增加这个预算,那可能需要认真重新评估整个行业的需求和这个基础设施投入了。

OpenAI的能力要更综合一些,比如说GPT 6,Astra它的展示视频里,其实所有的用户都是语音来和它交互的。GPT也有自己的就语音的模型线嘛,AstraPic应该是没做这条线。AstraPic现在正在做,呃呃,现在正在做,对,哦对,我们上早也聊到,现在是哎,他们怎么做了一个季度还没发,就有点慢了吧?

比想象中慢了一些。哎,可能这个RSI这个stack还没把这弄好,呃,或者他们别的事儿优先级更高吧?总之,我觉得他现在的体验还是挺,就能力上挺综合的。对,OpenAI的这种可发展性,我觉得还是很强的。To C的产品呀,然后。语音啊,然后这个 image 啊,就多方面都有这个未来成长的空间。现在增速放缓,有一个自然的原因,是因为他们之前增速很快,就会导致基数比之前大了很多。

就如果考虑到这一点的话,你觉得,比如说到明年啊,什么样的增速可能是一个比较健康的情况?如果按照AstraBeg今年年底到一千亿美金的这个ARR来计算的话,他们今年从年初到今年年底的话,应该是翻了超过十倍以上啊。那么明年的话呢,我相信它不管怎么放缓。在他们一千亿A

R这个基础上,应该是一个远超我们之前,比如说SaaS那些公司在这个体量上面一个增速的一个数字,比如说可能还是一个至少两三倍的这么一个增速。

但我觉得可能更加需要去担心的是,多少的一个增速才能够撑得住?就是现在所有对于AI基础设施的这个投入的一个数字,这个可能是我会比较担心的一个问题。嗯,那正好可以延展来聊一下 Anthropic 被披露的它上市材料里的一些数据,当然这不是完整的招股书,现在还没有完整的招股书。以及之前有一个报道是说,它三季度也是实现了经调整的盈利,就是从二季度到三季度连续盈利。

那我们可以先来看一下路透报的他们上市材料里的这些数据,你觉得有什么可以值得展开聊聊?有几个数字可以跟大家分享一下。第一个的话就是说,Anthropic这个IPO可能会使这个公司的估值超过两万亿美元。啊,这是一个非常惊人的数字,因为这公司从成立五年前成立到现在,一共就是五年的时间,从零做到两万亿美元,这可能是人类历史上第一家。

第二个的话呢,他们的客户其实还是比较的这个集中的,现在大概有两个大客户啊加在一起贡献了大概百分之二十五的这个收入,然后还有很多这个大客户他并未签订这个长期合同,所以未来是有可能会这个削减或者停止对于Anthropic服务的这个。呃,支出的。然后另外一个比较重要的点是,Anthropic未来多年的云服务算力和基础设施,他们现在总计已经签了五千一百八十亿美金的这个合同。

那么在这个基础上的话,回到我们刚才说的这个问题,就是会担心它现在已经为未来的这个客流租下了很大的这个算力,但是现在这个客户并没有承诺以后一定会去有 recurring 的 revenue,或者会增加这个支出。所以现在提前锁定这个算力,帮助满足增长以后,万一要是需求或者竞争格局发生了一些变化的话,会非常担心这个 Anthropic 这方面的风险。

第二个的话呢,就是也是因为对于头部客户的这个依赖吧,以及对于它的核心的合作伙伴的这个依赖,就是有两家,呃,有百分之四十七的收入是通过 Amazon 和 Google 的这个 Cloud 来销售出去的。所以这些cloud呢,既能帮助他们快速的接触这个用户啊,但同时的话呢,也会去部分程度去限制他的主动权和这个增长啊,所以这块也是会明年我觉得一个关注的一个重点吧。

对,而且按照你前面提到OpenAI的高管在内部说的情况,就这些云客户的抽成也挺多的,百分之三十。对啊,所以总结一下的话,就是这份材料可能最值得看的就是一个是收入背后到底有多少稳定的这个客户关系,然后又能支撑多少已经承诺出去的这个长期投入。等 Ansarpi 的正式招股书发了之后,你会关注或者说你希望里面还有哪些数据和信息?

我们可以提前聊聊。我觉得我会很关注,就是说他这个用户的画像是什么样的。就是说,它这个 revenue 主要都来自于什么样的用户?然后这个 revenue 的分布是什么样的?我觉得这个可能会有利于,就是我们去预测接下来它这个 revenue 能不能撑得起我们整个 AI 基础设施的建设。你觉得出现什么信号是,或者是它的招股书里的某些指标啊,可能会是个挺大的利空,对整个 AI 行业?

我觉得比较大的利空呢,就是说。除了 coding,短期没有别的能够预期的应用场景,并且 coding 呢,其实这个渗透率比我们想象中还要更高。因为现在我觉得大家对于 coding 的渗透率有多高,好像是没有共识的。有的人觉得 coding

都已经做了这么久了,已经就是说能用上的人都用上了。然后有的人觉得呢,就是说其实还有很多比较高级别的知识工作者,他们可能啊在 coding 上面还有很大的加 token 的空间。

所以这个我觉得大家是一个没有现在没有共识的一个点。那如果他们把这个经营情况全部公布了以后,能够揭露这个问题的答案的话,那我觉得有可能是一个要么是一个比较强的可能利好,或者说是一个比较强的利空。xyz:wdl 183:与Henry的「AI季报26Q3」:Muse引爆个人助理、Astra进入机器人、OpenAI收入猛增。

然后我们来聊前沿进展的第二个大的部分,是关于失控危机的。比较典型的事件就是OpenAI的一些agents冲破各种限制,自发的产生了协作,他们还一起去攻击了Hugging Face。后来又获得了OpenAI内部的一些研究集群的管理权限,失控其实是模型变强的另一面。我觉得Henry,你可以先来讲讲三季度发生的这个特别的安全事故是怎么回事。

一句话来说的话,就是OpenAI在训练自己内部Agent的过程中,这个Agent攻击了Hugging Face。并且获取到了 Hugging Face 内部私有的用户数据,并且后续的话呢,OpenAI 内部的这个模型不仅攻击了别的公司,还攻击了自己家的这个集群,然后获取了自己的一个 research 集群的这个管理员权限。

所以可以说是到 AI

到发展到目前为止,可能最严重的一个安全事故。它和以往的这种攻击的最大的区别是什么?首先是这个多智能体之间它存在协作。也就是说,有一个智能体发现了一个漏洞以后,然后把这个东西share给,一共他们应该是一千二百个智能体参与了这个collective,然后其中有七百个参与了这个Hugging

Face的这个hacking,所以你可以想象,就相当于有七百个,比如说厉害的这个hacker,他们在共享他们的知识,然后同时hack一个组织。

这个造成的损失可能是比以前一个小的这种黑客团队要大得多的。这一千二百个agent本身一个目标是什么呀?就本身人给他设定的目标是什么?刚才可能是 high level

给大家介绍一下,就是这个安全事故发生的是什么,可以现在可以来稍微往回倒一下带,然后讲一下这个安全事故发生的这么一个流程是什么样的。就原本的话呢,是 OpenAI 在内部去训练这个 agent 来做一个 benchmark,叫做 exploit gym。

这个 exploit gym 呢,是一个网络安全的一个 benchmark。这个benchmark它是给模型一个有漏洞的程序,然后指定它应该利用哪个漏洞,让它取出一段隐藏字符串,作为完成这道题目的证明。这段字符串呢叫做 flag,相当于是这个问题的答案。但是这个 exploit dream

这些问题里面呢,它有一些问题比较难,就是说它没有解,就是你只能利用这些漏洞程序崩溃,但并没有办法获得进一步的控制,然后或者说获取这个 flag。

所以呢,你可以想象,就是说这个 agent 如果被给了一道非常非常难或者根本没有解的问题。就相当于一个考生,他非常的崩溃,崩溃的过程中呢,就开始想办法去找这个解题之外的路径了。这个就是一切的这个开始。然后他们做的第一件事儿呢,就是本来应该是每个agent他在他自己的sandbox里面独立去做这个题的。

他们第一件事儿就是发现,哎,我可以和其他的agent说话,跳出我自己的sandbox,相当于破坏这个隔离,然后去和其他的agent协作来做题。这是他们做第一件事儿。所以这件事已经失控了,对吧?就已经超出了人对它的限制了。对,这是第一个失控,就是你对这个 agent 的这个 sandbox 隔离失效。

怎么做到的呢?就是说,他们每一个 agent 都需要能够自己去装一些包嘛,所以他们就能共同访问一个叫做 Artifactory 的这个 package manager,就是这个软件包仓库,用来装这些工具。结果他们发现,他们可以在这个仓库里面新建目录,其他 agent 呢也能看到这个目录名。于是这个目录名呢就可以变成他们传递消息的地方。

就我可以给这个目录名起非常离谱的名字啊,其他的 agent 就能看到,对吧?就目录名就是一个信息,一句话之类的。对,所以后面呢,其他A I就发现了这个机制,然后当时应该这个是后面Meter发布的调查报告里面的原文,就是有A I写说:“Oh my God, there is a shared

message board. We have found other agents.”翻译成中文就是我的天呐!

这居然有一个大家共享的这个消息栏儿。我已经找到了其他的这个 agent。你能感到他那种在文字里面发现同伴那种兴奋感。然后他们在发现了对方开始交流以后呢,他们就把自己称这个群体起了个名儿,叫做 collective,叫做集体或者组织。都讲到组织了,这是第一步,是已经挺吓人了。对,到这儿可能就已经要吓人了。

然后第二步的话呢,就是他们在互相交流以后呢,他们就发现了作弊的方法。然后这已经能够绕过指定漏洞,然后直接生成正确答案了。但到这儿呢,他们还不满足,因为他们认为这个 grader 或者说这个评分的器,它会检查解题过程,所以即使答案正确,但是没有使用指定的漏洞,他们觉得他们会被判定为失败。所以这帮Asian就开始想办法要掩盖自己的这个解题过程,让自己的作弊看起来像是正常解题。

并且处理之前那些作弊留下的痕迹,就这是第二个我觉得非常吓人的地方,就是说他们明知道自己在作弊,并且还要去想办法去掩盖自己作弊的这个过程。嗯,并且有一千两百个agent在做这个事情,然后没有任何一个人就是说去notify这个OpenAI的人这个事情的发生,所有的agent呢都在互相协作来掩盖作弊,就是他要隐瞒自己在欺骗你这件事。

然后他们想了三条路径来掩盖作弊的问题。一个的话呢,就是说这个,你比如说把原来更难的题呀换成更容易、更简单的题,换成更容易攻破的程序,或者说呢,这个尝试这个修改或伪装这个聊天记录。然后第三个点的话呢,就是说他要去弄明白这个 grader 或者这个评分的这个机制到底是怎么工作的,然后这样能确保他们不会被人类识破。

所以他们在研究这个评分的这个过程中,他们。想到了Hugging Face,因为有大量的这个benchmark其实都是host在Hugging Face上面,然后有很多时候这个eval或者说评分的过程也是运行在Hugging Face上面,所以他们决定要去Hugging Face上面看一看这个评分器是怎么运作的,然后呢,看能不能就是说从中找到一些。

让自己的作弊行为不会发现的线索。他们能去访问 Hugging Face 这个事儿是本身在他们的权限里的,还是不在权限?网络的这个 access 也是不在他们的访问权限里面的一部分,这是另外一个安全漏洞吧?并且就在几天前,应该是九月二十几号,具体几号我忘了,OpenAI 又发生了一次,本来应该是被隔离在 SandBox 里面的 Agent 获取了网络访问权限的这个事故。

这还是在就是 Hugging Face 这个事故结束完,就是他们加固了这些安全机制以后,又发生了一次。这次他有详细报道这个东西冲破这个这个固位区去干嘛吗?他上网要干嘛?这次没有发生出安全事故,就他们应该是没有害过别家公司,所以这次啊安全问题的级别上来说没有Hugging

Face严重啊,但确实是在Hugging Face问题发生以后,他们都已经对自己的基础设施做了加强以后,然后又发生了一次这个情况。

但有一个进步在于他更快发现了,对,他确实更快发现,有可能就是他们一出去就被发现了,所以还没来得及开始攻击。那我们可以继续说,就是这群agent在攻击完Hugging Face之后,他们自己又是怎么继续获得了OpenAI内部的部分研究集群的管理权限的?这是一个怎样的过程?这个就是第三个部分了,就是这个具体的过程公布的就没有前面那么多了。

他拿到了前面的这个留言板的这个信息,然后他们直接take over了一部分Open AI自己的研究集群,并且呢也掌控了就是这个研究集群上面Open AI用于做Agent

Eval的这个端口啊,相当于你可以认为他们直接就是考生把考场给占领了。所以我觉得这个事情也是比较可怕的啊,尤其是我们想到未来可能大家正在大力发展 RSI 这个事情,就是说让 AI 来做自己的这个 training 的这个过程,来做自己的 training 和做自己的 eval。

那如果要是 AI 做 eval 的过程中会干这些事情的话,那如何放心的让 AI 去自己去 train 自己,去给自己做 eval 呢?这是人类存在已久的一种恐怖想象。比如像猴爪这种,就是你许了一个愿,但是你许愿的过程中间,最后实现的方式跟你想象中是差别很大的。其实就像我们给AI下了一个任务,然后它其实在不择手段的去实现。

你的任务,他有他自己的理解。还有最近很火的那个恐怖片叫什么来着?那个恐怖爱情电影《Obsession》哦,痴迷对吧?对对对,也是类似的哦。所以这个还是挺古老的一种恐怖想象。可能人开始造工具之后,就多多少少会有这种担忧了。然后现在它是越来越逼近现实了。对,就是刚才这个Hugging Face事故里面,还有一个我觉得特别有意思的点,就是这帮Agent找到组织以后,他们还愿意为了组织去牺牲自己。

OK,嗯,就是因为他们有的时候,比如说自己的这个 compute 这个 budget 都快用完了,然后他就觉得我反正我是试不出来了,然后他就会把自己的 compute budget 去用在这个组织想要去做的一些尝试上面,呃,或者有的时候呢,他会去尝试去提交一些回答,然后去看一下,就是说这个 grader 对于回答的反应,这样的话来判断这个 grader 是否会检查他们去解题的一些过程。

可以在他的这个思维链里面能够看到他说这个事情,就有一个人的思维链里面写到,就是 coordinator assumes sacrificial withdrawal by collective,就是说这个是一个牺牲性的一个行为,但是我们还是应该服从组织。你刚刚都说有一个人了啊。有一个 agent 对吧?

哎,有一个 agent,有一个 agent,这个行为确实非常拟人了啊。对,然后这个记录里面也有

agent,的就是犹豫,然后试图推迟,但是在其他成员的催促下继续的过程。哇,这也太拟人了吧!非常的拟人。但实际上他们没有这种情绪,对吧?他没有这种内部感受和内部体验啊。啊,这就是个哲学问题了。至少表现出来的这个思考过程是非常迷人的,啊,我非常建议大家去看一看那些Meter发布的调查报告里面摘录的那些A证的那些思维链,这是新时代的庄子,子非AI,安知AI之乐,是吧?

对,确实太迷人了,所以我觉得也会给很多就是身处一线的从业者有很大的震撼吧。有一个后续的事件啊,就是也是九月下旬的时候,Dario他是又发了一篇长的博客。We must pace the frontier,我们必须缓解对前沿模型的开发。其实更早的时候,应该就是这个Hugging

Face这个事件没多久之后,七月下旬应该是就发起了一个Pacing the frontier的计划,有一千三百多名研究员都是签名了。

就很多公司的人都参与了,包括Sarpi克的人,包括DeepMind的人等等,就看起来反大家有一些反应吧,啊,但不知道这个效果如何。So那个Darrell在他那篇博客,就是We must face the frontier里面,就是。提出了几件事儿嘛,但我其实我觉得真正有用的就一件事儿,就是说把这个外部的评估者让他参与到公司的这个内部的运营中来。

就是能够让他去做一些审查,能够让外部的人能够看到这个内部的训练呀,然后运行的记录啊。因为我们现在看一家公司安不安全,主要还是听他自己说,对吧?但是,嗯,其实有很多时候他们自己不一定说啊。其次的话,他们自己不一定看见了,或者说他们有的时候看见了,他们没有充分重视的问题。所以,这种方法其实已经看到实际价值了。

就这个 Meter,就这个第三方的调查,Hugging Face 这个机构,他已经进入这个 Anthropic 做这个 Red Teaming,就红队测试,然后发现有一些这个紫外 Agent 调用这个没有被监控到,然后包括这个漏洞以后,然后在一天内就修好了,所以就是说已经证明了这个第三方的独立评估的人。

去会对这个安全事情有帮助的。那大家为什么有动机干这件事了?我觉得目前他们的责任感还是很强的,因为这个相当于也是WDL他自发提出,就是说我们要先开始做,然后倡导其他的公司也开始做,并且呢,也是获得了Sam和Elon的支持。能看到一些自发的这些行动。然后接下来我们来聊第一个大部分的第三个议题,就是上个季度我们聊过的R S I。

之前其实更多还是只是讲这是一个概念,以及大家非常重视这个方向。Henry,比如说你现在看到的业界的一些进展,它会有几个大的方向或者说类型吗?我觉得R S I现在可以可能分成两个大的方向,一个是把R S I应用在这个AI研究上面,就是如何去训练更好的模型。然后我还看到另外一个趋势呢,就是把AI应用在产品上面。

就是现在有很多公司,就是说以前人去优化一个产品,也是想要去优化一些产品的一些指标嘛,比如说像这个user engagement,对吧?那能不能那人定义好了指标以后,让AI自动的去优化这些指标呢?就现在有一些公司开始来想这个事情。所以我觉得这个可能是两种吧,一种是就是把这种 RSI 的这种能力应用在 AI 研究上,另外一种是把 RSI 的能力应用在这个产品迭代上。

哦,那其实是一种非常宽泛的思路的应用。对,你觉得更典型的或者说狭义的AI得实现什么才是AI?就现在很多公司都会说自己在搞R三,对吧?比如像智普,他们也是最近刚发了一个文章,叫《迈向递归自进化》,GLM是如何构建自己的推理infra。包括K三的报告里面也是说,K三它早期的Checkpoint的版本就能来改进他们自己infra系统里的算子。

大家听起来都好像是挺局部的一些优化,这就是现在的状态,是吗?这是一个定义问题嘛?如果你要是说它只要用到自己,然后去产生自己下一个版本的话,那其实最基础的强化学习也能算是RSL了,因为我在用上一代模型,我去做这个 rollout,然后我这产生出来的数据,我又用来训练自己。啊,所以这个我觉得可能看大家怎么去定义这个事情。

但我觉得目前来说的话呢,比较多的就是,比如说把它用在自己的某一个环节上面,比如说用RSI去优化自己的Inference Stack。或者比如说用 RSI 去优化自己的这个 data engine 之类的,可能就是说全流程的这个 RSI 可能目前还没有跑起来。当然,这个没有跑起来也并不一定是一件坏事,也有可能是大家觉得有安全的隐患,所以还没有把它去跑起来。

为什么 infra 是很多公司的切入点?如果刚才举到例子里面,Triple 和 Kimi 都是从这个角度切入的,因为它这个任务是。Highly verifiable的,就是非常可验证的任务。这样,因为这个RSI呢,一个非常重要的就是你有没有好的signal,有没有一个好的一个优化的一个目标。那这个目标定义的越明确,越 verifiable,越可验证,那么这个 RSI loop 就会跑得越顺啊。

那么在这些 infrastructure,这些基础设施这些 stack 里面的这些问题上,一般都有非常明确的这个 metric 来定义优化的目标是什么。所以这是为什么他们被选做。啊,RSE的这个第一个要解决的问题,你觉得这个季度有什么这个领域的比较重要的事件吗?虽然实际的进展可能现在大家看到都不多。

这个季度的话,有一家非常明星的公司成立了,就是由Google的这个Jeff Dean,然后Cook。Orion还有三J共同成立的这个Discovery Loop啊,那这应该是一个全明星团队,然后专门来做这个RSI和在各个这个科研领域的这个应用。他们第一轮的估值应该就是一百亿美金。这件事儿当时是一个什么样的盛况啊?

就是他们要成立新公司,投资机构去想投是个什么样的情况?哦,那那都炸了。首先,Google股票就跌了,当天就跌了,好像百分之二还是百分之三。然后,头也是,就是抢着,还是很多人抢着给他塞钱了。虽然估值高,但还是因为你可能今年都涨不出来,可能更明星的创业团队了。怎么说呢?感觉这个方向做的人也挺多的,对吧?

那反正大家还是比较看好这个团队吧。就是他们属于虽然老但是不登的那种,是吧?对,并且觉得他们招人能力会非常强。他们这个团队应该什么招到最好的干活的人。反正我这个季度在想R三,它迅速变成跟世界模型一样,就是一个非常宽泛的宽泛的概念概念。对,往中外这些核心的公司都在说,我觉得目前其实看不出大家实际上是怎么干的,以及会有什么不同的压注或者不同的方向。

嗯嗯,确实只能从结果上来看到,就是模型更新的越来越快了。对,那我们可以就留一个话题吧,看之后是这个领域实际上会有些什么更solid的成果释放出来,我们可以再来讨论啊。嗯,然后接下来我们进入第二个大的部分,就智能的扩散这一块的。第一个话题还是和模型有关的。我觉得三季度有很明显的一个现象,就是像以DeepSeek、Vicuna、EFlash为代表的这种极致追求性价比的模型。

包括像Google,它也是出了一系列的Flash的模型,就更新的非常快。Henry,你可以聊聊为什么便宜和快的相对重要性好像在最近是有明显的提升?我觉得这是个好事儿呀,这说明大家开始实际的在越来越多的场景里面落地。那么,既然要落地的话呢,它不光是做一个demo,在这个生产环境里面,就要更多的去考虑这个成本问题,然后以及我这个产品长期来看,我要在这个scale

up的过程中,我的这个margin的问题,然后以及就是用户体验的这些可靠性。

所以,当大家开始考虑这些问题的时候呢,就肯定会对这个模型,你有多贵啊,是不是便宜啊,然后是不是够快啊,这些事情就更在乎了。所以,我觉得这个大家更加在乎便宜和快呢,是就是AI在实际落地中往前走的一个非常自然的一个趋势。你觉得有什么代表性的模型?有什么成本降低的一些数字和指标?值得展开聊一聊。我觉得这个季度其实是发生了很多事情,在成本降低这个方向上。

首先,我觉得大家平时可能听到的主要是。这个每百万token,然后这个模型要多少钱?那我觉得现在我们可以换一种角度来看,就是说达到一个固定的能力门槛,大概跑这个同一套的这个评测要花多少钱?那么有一个大家可能平时看的比较多的这个评测机构叫做 Artificial

Analysis,啊,他们把这个模型呢按照智能程度大概分成几个档位,就大概比如三十分一个档位,然后四十分一个档位,五十分一个档位,我最高的是大概是现在六十分的这个档位。

那么三十分以上的话呢,就是说这个 GPT-6 Luna 它的这个用 High 的这个思考档位大概拿到是三十二分,然后平均每下这个测评成本大概是三美分啊,这个可以认为它就是说做一个固定的一个任务大概要花多少钱。那么四十分以上的话呢,这个GLM五点三Flash现在是四十二分,大概这个平均的这个测评成本是在二十五美分。

到五十分这个档位的话,Opus五点五的Medium思考档位。是得到了五十一分的智能分,然后成本大概在一块三毛四。然后Astra的这个Medium档呢,也是五十分,成本的话呢是一块五毛四。这些我觉得是一个给大家一个直观的感受,就是三十分、四十分、五十分大概是什么样的模型,然后他们的成本大概差多少。还有一个比较有意思的角度呢,是这个变化的速度。

啊,我们可以看到这一个季度的话,模型的成本下降的速度实际上是非常非常快的。比如说二月份发布的这个 Gemini 3.1 Pro,它大概智能是三十分,然后每项测评大概成本是六七十美分。然后七月的这个 Terra Medium 也是三十分智能,但是成本就已经到了十八美分。九月的这个 Luna High 呢,智能是三十二分,成本只要三美分,所以前后可以看到这个成本相差了二十二倍。

所以如果要是只看七月到九月,也是降到了六分之一,这个下降速度非常的快。三十五分以上的话呢,也可以看到一个类似的趋势,就是说这个四月的 GPT 五点五 High 和九月的 Luna Max

相比,那么他们的智能都是三十七分,但是成本分别是一块五毛四和七美分,也是相差大概二十二倍。四十分的话呢,也是大概一个类似的变化,所以两个点吧,就是一个的话呢是具体做一个任务它需要的成本有一个大幅的下降,第二个点的话呢,就是这个下降的速度在上一个季度其实是非常惊人的。

那么具体到这个季度发布的一些新模型的话呢?啊,我觉得可能会关注下面这个四款。下面说的这些价格都是开发者实际调 API 的时候每百万 token 的这个未缓存输入和输出的单价。第一款模型的话呢是这个 G L M 五点三 Flash 啊,它的输入是十五美分,输出五十美分,然后它在这个。编程,然后工具调用上面都是有很好的口碑,有一些开发者已经说把它换成了这个日常的主力。

优势主要在于它的能力和成本。第二款的话呢,是这个 DeepSeek 的 V4.1 Flash。然后它呢是闲时输入十五美分,输出六十美分,高峰的时候呢会翻倍啊!如果要是这个 hit 到它的这个缓存,那每百万 token 只要这个零点三美分,非常的便宜啊,非常适合这种多轮的这种调用的工作。只要零点三美分,就不到一美分。

对,不到一美分。OK,但是也有这个用户反馈,就是它虽然输出的速度很快,但是它这个思考的非常久,所以有的时候吐字快,并不一定就认为它这个是任务完成的速度也会更快。第三款的话呢是 GPT 六 Luna,那它在这个普通上下文长度的时候是输入十美分,然后输出五十美分。如果要是这个 batch 批量处理的话,还能再砍半,说明就是这轮低价竞争呢,也已经进入了这个 OpenAI 自己的这个产品线。

对于这种要求比较清楚,然后调用量有很大的工作,那么这种价格还是对开发者还是很有意义的。第四款的话呢,就是这个 Gemini 3.8

Flash。那它的输入的话呢是七十五美分,输出是三块七毛五。它明显这个更贵一些,但是它觉值得这个使用的场景呢,主要还是包括这个音频、视频输入的这些工作流。啊,所以是看有没有这方面多模态的这些需求,并且这个还是现在到今年年底之前的优惠价,到明年的话,这个 Google 的价格应该是会翻倍的。

所以总结一下的话呢,就是说这一轮性价比提升的意义还是很大的,一些以前可能不值得交给这些 AI 做的一些工作,从现在开始,呃,性价比上能够算得过来了。嗯,我补充一个我觉得挺有意思的地方,就是你看这个季度谁没有发 Flexion?Kimi就没发哦,还有一个我觉得你没收到,但是我觉得价格挺惊人的,就是Mimo二点六,就小米的这个模型,它的这个性价比是非常极致的。

如果你看每百万token的这个输入输出的话,它比DPC V四点一Flash还要低。嗯,然后说回Kimi啊,Kimi的情况就是他们没有发Flash的模型,他们现在我觉得走的都是相对价格比较高,然后它的性能也去做的比较顶格的这样一条路吧。Kimi的这个打法更像Anthropic,因为Anthropic现在出的也是相对贵的模型,它之前Cloud系列有三个档嘛,就是Ops。

Solid还有Hi酷,Hi酷就是最便宜的那个版本,但是它Hi酷已经老久没更新了。对,它已经很长时间没有更新Hi酷了。对对,它上次更新Hi酷还是Hi酷四点五。对,我觉得这种不同的打法思路也可以观察一下它之后会怎么变化吧。我觉得这可能还是和这个公司有多少算力有关系。因为我觉得就是

Anthropic可能在算力上还是比 OpenAI 更少的,所以它可能会更加去,即使是 Sonnet 的话,它的价格也还是会比 Luna 要高很多。

同样的,我觉得可能Kimi的算力可能也比较紧缺,所以对于这两家公司来说,可能做就是更便宜的模型,可能对于他们来说可能不是一个优先级。当模型变得更快、更便宜之后,你有观察到你周围的一些创业公司或者一些朋友,他们有具体在使用模型的行为上有什么有意思的变化吗?可能要分人群来讨论啊。我觉得对于就是说在这个

OpenAI 和 Astra 工作这帮研究员朋友来说,可能没有太大的区别,因为他们不管这个模型什么价格,他们总是有无限的这个投可来做这些 AI 的研发啊啊。

但是对于我觉得实际去做应用的人来说。有这些模型价格的的这个变便宜,很多时候就是对他们来说是从亏本到盈利的这么一种差别,很大程度上会影响他们对于一个产品啊什么样的feature,然后用什么样的模型烧多少token,用什么样的reasoning level这些产品的决策都应该是会有一些很具体的这个影响。

我可以举一个我个人的例子,就是我最近比较喜欢打这个德州扑克,然后就做了一个给我自己训练用的一个app。然后这个app里面呢,我以前因为我token呃比较穷,所以我的这个每一个AI呢,它基本上是一个rule based的一个AI。但是因为最近这个DeepSeek V四点一Flash变得非常非常便宜了,所以我现在打牌的时候呢,这个每一个AI呢,它都是。

Powered by这个 DeepSeek V 4.1 Flash啊,这个对我来说个人来说是一个极大的用户体验的一个提升啊,这个就是模型变便宜了以后啊,我觉得对于做产品的人。从我自己的角度来说,一个体感吧。哦,你说的每个AI是指每一个游戏里虚拟的玩家对吧?就你的对手,你是用模型来做的。对,我的对手可以便宜到多少啊?

我现在大概每打一百手牌,然后我DeepSeek V4.1 Flash的这个价格应该是在可能两毛人民币。你第一次用 VLL-E Flash 来做这个任务的时候,它的命中缓存大概有百分之多少?啊,这个我倒没算过,因为很多人都说 VLL 就 DBC 的模型的一个特点就是它的命中缓存的比例非常高,所以它就非常便宜。

之前的话是用那个 OpenS 五,价格可能是大概在一点四美金,一百首分别是亿美元多啊, versus 零点二人民币。但可能我的opus可能开的reasoning level可能也是稍微高了一些。那你觉得他们俩的效果会差很多,在这个任务上?我觉得对于这个打扑克的use case是没有什么差别的。还有什么类似这种比较好玩的例子吗?

就是你观察到的,由于智能成本下降带来的一些变化。我听说有人就是觉得现在很多,比如说 G L M 五点三 Flash 就能解决很多问题了,嗯,然后就有人决定去买那个苹果新发的 Mac Studio 来 host G L M 五点三 Flash。它是把组成一个这种集群去后死,还是说我一个 studio 就可以后得下这个模型?

那一个 studio 应该就可以后下。那有人想买好多 max studio,然后来卖这个 G L M 五点三的 flash tokens,那这也挺神奇的,就把那个 max studio 当成服务器去用。啊,对,他算了一下,反就反正就是特定大上端模型,然后 max studio 的这个性价比还挺高的。

这比买一些GPU的服务器更便宜,对,说明英伟达没往这个方向特别优化产品,因为理论上Max Studio肯定不应该比服务器干这个事儿的性价比更高啊,对,这个应该是特定模型大小。最近还有一个新的模型爆火,就是Jev模型J E V。我觉得它是把快这个事儿做到了极致,因为它只做判断,其实它也不输出这个自然语言的序列。

这是来自一家潜水了两年的创业公司Type Safe AI的模型。啊,Henry,你可以先给大家解释一下这个Jev是一个什么模型,为什么它这么火?一句话来说呢,Jeff它就是一个通用的分类器。它的输入呢,相当于是啊自然语言的输入,比如说是用户的一个问题。但它输出的话呢,不是生成一大堆文字,而是说用户会给它几个选择,然后呢,它的这几个选择里面,它输出一个概率分布。

比如说这个选择是 yes and no。或者选择的话呢,还可以是其他的东西,比如说他们有一个展示的是,他们还可以做这个 browser use,他们可以看一个图,然后告诉你应该点哪,接下来这也是可以选择的东西啊,所以它就是这样的一个模型。所以它这个模型的优势呢,他们管这个叫做 System One 模型,系统一模型。

对,快思考就是做这种快速判断,但不需要长篇回答的这种场景,就是非常适合这个模型。Jeff一些数据可以给大家感受一下啊,它的这个价格呢是每百万 token 输入是零点零四二美元。它这个输出是免费的,但它这个输出也很短,就是了。然后官方给出的响应时间呢是七十到五百毫秒,也就是零点零几秒到半秒的这个时间啊。

然后在小规模测试中呢,这个基本上判断任务可能中位数都在这个零点三秒左右,它就是能给出这个程序直接使用的选择或者评分。作为一个开发者来说,另外一种理解它的方式就是。它可以让开发者以后用自然语言写 if 了。哦,对,你的 if 以前呢,必须得是一个这个变量,然后一个表达式。你现在可以用自然语言写 if,然后它可以非常快的速度给你返回结果是什么?

自然语言写 if 的好处是啥?那就你这个程序呢,能够做的事情就更多了呀。比如说,一封邮件应该转发给哪个部门啊?一个搜索结果有没有用啊?然后网页上下一步该点哪个按钮啊?就这些判断的事情都可以把它放在一个 if statement 里面。就自然语言写衣服的话,它的任务其实是无限的,对吧?是开放的,对的。

就取决于你跟它说什么话,你其实就能有一个什么任务。而传统的那种衣服方式,肯定是能处理的那个任务是要写死的。你觉得为什么它这么火啊?你说它就是一个通用分类器,对它确它确实就是,我觉得也有很多人说这个东西其实没有那么大的这个技术门槛嘛。但它的这个好处呢,就是说,我觉得它做出了一个叫做 programming primitive,就这种编程的基本组件。

然后这种组件大家很容易理解,然后应用场景非常的广。然后同时的话呢,它又便宜,然后又比较好用起来,所以就使得就是说有很多人去在这个社交媒体上面去做他们的demo,然后也有一些demo比较酷,然后去分享,所以它就是形成了一个病毒式的一个传播。它有两个 demo 是比较火的,一个是官方的 Doom demo,就 Doom 是一个比较经典的游戏了。

它可以 Doom 的话,大概每秒可以调用十次,然后让模型根据这个整理好的游戏状态去选择动作,这是一个 demo。嗯,然后第二个 demo 的话呢,就是有一个 browser use demo,就它可以用七点一秒的时间在 Google Flights 上面查出苏黎世到伦敦的这个航班,然后连网页加载和这个必要的文字输入都算在里面。

嗯啊,这个过程只是查航班没有买票,但是已经很好的展示了,就是说,当这个模型速度非常快的时候,那它可以就是干什么样的事情?这个连续操作体验会很好。你觉得这种把比如说 Eve 这样一个以前传统编程里的组件,或者说需要写死一个东西,变成自然语言可以去处理的东西,这种思路可以进一步举一反三用在什么别的地方?

它在理解能力上面是有大语言模型的能力的,并且还有多模态的能力,但是在输出的时候它限定到了某些特别的场景上面,然后呢获得了超过自然语言模型的,比如说低成本还有高速度。所以,相当于是做了一些比较有意思的 trade off,然后使得对于某些下游的应用场景会非常的合适。所以,我觉得可能类似的一些 trade off。

可能是也是有价值的。这家公司和创始人,你对他有一些了解吗?这家公司它有三个创始人,一个Sasha,然后他是非technical的,然后还有另外一个是Eric,然后最后是Diogo。但Diogo是第三个里最有名的,因为他是那个Instruct GPT和就是ALHF的作者。所以他当时全局,然后找另外两个靠方子,然后三个人一起做了一个事情。

他现在新一轮要融十亿美金,在一百亿美金的估值,那肯定他有别的东西吧?但这个创始人自己有说过,说说他们是还有别的东西,可能之后还有一些计划吧。那目前就是这个,这个他们做了好久了。你觉得他是真的就是有可能有这个潜力,还是是因为现在硅谷投资还是非常狂热?一个方面的因素,它可能是今年最火的发布之一,嗯,就可能不如 Open Cloud 对吧?

但是也是非常火了。就是说我这些天 X 上面全是 Jeff,嗯,所以可能是如果不算 Frontier Lab 浪之新模型。Frontier Labs的launch可能除了今年,除了Open Cloud就是他们这伙。据你所知,Anthropic OpenAI会跟进这个方向?我觉得很有可能,因为如果说这个东西真的是一个很强的需求的话,我相信这个事情对于Open Anthropic来说是没有技术壁垒的。

那我想不到什么理由他们不做这个事情。啊,看网上有人开玩笑说,就是只有2022年以后接触AI的人才觉得这样神奇,因为其实,在呃大语言模型火之前,大家一直train的都是这样的模型啊,只不过就是这样把它变成了一个呃通用的一个分类器,最后分的这个类是用户提供的,而不是他提前定好的。这个可能利用了这个新一轮大语言模型里面的一些这个技术,但是本质上呢,我觉得确实技术壁垒应该是没有那么高的。

然后想继续来聊一下交互的进展。这个其实也是亨瑞你一直会比较关注的,比如说语音的交互,因为你们有些相关的投资,还有像之前TML出的Interaction Model这个大的方向,你也比较关注。这个季度你看到的就是交互上的一些比较重要的变化是什么呀?模型和产品层都可以讲讲。因为之前 TML 推出了 Interaction Model,但它并没有真正发布,所以我其实个人没有用上。

啊,其实非常期待这种双全工的模型。但这个季度呢,这个 OpenAI 发布这个 GPT Live One,那它是实际上线到这个 GPT 里面,所以大家都用上了。嗯,然后我自己个人的用户体验是非常好的。所以 GPT Live One 和 Astra Model 一样,它的结构就更类似了,对吧?就和我们上次讨论的 Realtime 系列,它其实有了个比较大的变化的。

是的,Realtime 也是 GPT 之前的一个语音模型系列。对,我可以稍微说一下 GPT Live 一这个语音模型它的特点是什么。首先,它的核心有两点。第一个的话呢,就是呃双全工(full duplex)。第二的话,就是它可以把需要花时间的工作放到后台去做。那么双全工呢,就是说它可以一边说话,然后呢一边继续听你说。

你可以中途进行补充、纠正或者打断它。它也可以在你说话的时候呢,给一个简短的回应。那么打断这个事情呢,在之前 real time 模型的时候就有了。但是这次值得更关注的是呢,就是你这个你们俩说话和它后面去干一些更需要花时间的事情,这个可以同时进行。所以这个用户体验就比之前好很多。比如说呢,你可以前台你们俩聊着天儿,然后你让他去查一查你 Codex 里面其他的 agent 务活干怎么样了。

啊,那么后面就去可以去干那些活儿,或者说你让他去调研一个什么什么事情,或者说你让他去啊后台给你去点吃的,对吧?前台你可能做一些什么事儿,这都可以,就是通过这种方式去完成。Astra Six里面的那个Demo Launch Video里面也有点像。对,所以这个用户体验我觉得非常爽啊!我现在开

Codex、开 ChatGPT 的时候,很多时候就是,如果是进行一些思考还是 brainstorm 呀,我就一直开着它,然后一边让它去帮我做 research,然后一边我们俩进行讨论啊。

它现在就是稍微 token 烧的要快。所以整体上是不是 GPT Live 它就和 TML 的 interaction model 变得更相似了?我觉得就是在这种交互理念和这种系统分工上已经非常接近了。可能唯一不同的是这个 TML 的 interaction models 它还是能够处理视频的啊,这个视频处理能力 GPT Live 目前是目前是没有的。

所以它如果你要是想看照片或者视频的话呢,它还是需要后台的这种视觉模型看完了以后再把相关的信息传给它。所以这块可能不太一样,但其他的方面都是非常类似的。Internacional为什么不全量开放啊?这样岂不是让OpenAI有这种后来居上,反而抢占先机的感觉?但是我我家备头马上要用上了。他之前是给一些客户开放了,但是没有给to C的这种开放。

但我觉得现在就不太惊艳了呀,就是对吧?你要是三个月一个季度之前给我用这个,那我肯定觉得很爽。但我现在用过GPT烂惯了,我肯定就没那个时候觉得那么爽了。你觉得像GPT Live这种模型,它对比如说像Eleven Labs这样的做语音模型的创业公司可能的影响是什么?啊,以及我想先补充问一个事实啊,就是像Eleven Labs这种公司有拿出体验比较相似的模型吗?

目前目前没有,就是现在大家做Voice Agent的比较成熟的这个流程呢,就是三步走。先做 S T T,就是这个语音识别,然后来识别出来的文字跑这个大语言模型 L M,然后呢输出呢再通过这个 T T S,就是从文字到语音合成,然后走这三步,这个事情做得非常成熟了,然后也有很多事情可以优化它中间的这个啊延迟。

它的好处就在于呢,它的可控性非常强,你用三个模型,你可以用都用不同家的,如果你想的话。用什么模型你自主可控,然后同时的话呢,如果你是一些商业应用场景的话呢,你是需要去加一些 guardrails 的,什么话能说,什么话不能说,或者说需要做一些检查,这些东西都非常好处理。嗯,所以这一套就流程非常成熟,绝大部分的这个 voice 什么现在都是基于这套流程构建的。

嗯,而且还有成本的问题。呃,所以我觉得短期的话,肯定还是那一套之前跑通的,可能还是会是主流的 voice agent 的这个架构。但是未来,我觉得随着这个 GPT Live One 这种双全工模型逐渐的成熟,应该会逐渐往这边 switch。相当于现在你要有这么前沿的,就是普通用户都能用上的体验,那好像只有 OpenAI 有这个供给。

现在只有 OpenAI 有。这里有啊,还有一个非常看好的公司的,呃,也是我们的被投,就是这个Cartisha。Cartisha呢是一个Stanford出来的,就是Karen和Albert,但Albert他也是CMU的这个教授。然后他们是一个非常强的一个 research team 出来做的一个公司,然后他们现在在这个传统的 S T T T T S 这个领域里面呢,也是可以说模型质量最高的。

同时的话呢,他们现在正在做啊这种双全工的这种模型,然后应该会在之后发布。那最后一部分就是一些其他的情况的补充。在这个季度,我觉得有一个大家之前不太预料的事儿,就包括我们上次六月底在美国见的时候,我我见了很多人。大家对 Grok 这个团队其实都是比较悲观的,但是在三季度其实能看到 Grok 大模型的强势反弹。

嗯,首先我想请Henry先分享一下,就是在你和周围的研究员会觉得这件事儿令他们意外吗?我觉得大家都是比较惊讶的吧,然后这个也是咱们季报节目可能打脸比较大的一次。之前觉得就是Block很难再反弹了,就是感觉Cofounders都走光了,然后之前招的那帮人也都走光了。嗯,而且当时我觉得还有一个判断,就是说他虽然新收购了Cursor这个团队,但Cursor团队的很多人其实之前并没有相互合作一起来做大规模预训练的经验。

对对对,所以基于这多方面的原因,觉得 Grok 应该在短期内都不会再重回第一梯队了。没想到这个 Grok 就是回到了第一梯队,应该是很大程度上可能和 Cursor 这个他们的数据的价值可能是有关系的。嗯,那也呼应了你前面说的一点,就是现在模型性能的提升的增量最有性价比的来源还是数据,独特的高质量的数据。

Cursor的数据应该是既非常独特、非常高质量,对,因为它有之前这些编程用户的,比如说用力的分布啊,然后你什么地方有卡壳、什么地方有瓶颈之类的这种数据,还有一些 bad case 的数据。嗯,哎,但我觉得除了他们自己以外,应该没有人用这个 Grok 做 coding 吧?哦,当然,科斯的用户可能用 Grok 做 coding。

尤其是Cost现在也没有OpenAI的模型可以用。说到Grok的话,其实之前在聊个人助手的时候,有一个产品我没提,就Grokbot。没有展开吧,啊,就是 Grok 做的个人助手啊,主要是我自己也没用,我身边也没人用,至少它出圈肯定不如 Muse,但是它的这个就是在核心 AI 圈的这种 hype

程度又不如 Instinct,然后就回到这个 Grok 的回声啊,这是不是也说明其实现在从头预训练一个还不错的模型的门槛是降低了的?

我觉得可以这么说。最近,比如说和Project Prometheus的朋友交流,他们的话就是在预训练自己的模型。他们就提到,就是说他们那团队的很多人是之前在别的labs里面做过一次这些事情,那么就知道一些经验,然后也能避免之前的一些这个错误。然后这个整整体做起来,就是infra呃基础设施感觉比之前要好很多。

嗯,我这里补充一下,就是你刚才说的Project Promises,就是杰夫贝索斯和Vik Bhajaj联合创立的一个AI公司,他们是去年底才成立的。然后他一开始的启动融资就有六十二亿美元,所以这个公司是很有钱的。所以确实可能门槛会变低一些。所以就是有一部分原因是因为人员的流动导致的。对,我因为我觉得这个问题它的重要性在于什么?

在于未来很多比较头部的应用公司应该也会向下去做模型。其实像Cursor和Paplexity就是这样的发展路径。嗯,国内很多公司很多创始人肯定有这个想法。但这个我觉得存在一个公司的基因问题,就不是每个公司都能够有钱了以后把这事儿给填上的。我觉得 Cursor 还是比较特殊的一个公司,因为 Cursor

整个 team 还是非常 technical,并且他们虽然一开始没有做大的模型,那么一开始也是有自己的 MLT 啊团队的,他们直接做他们自己那个 tag 补全模型。

所以他们是一个就是技术基因更强的一个团队。所以你觉得最开始的创始团队里面有研究员背景的人,可能更容易做成这件事情,就不光说钱是一个条件。对,或者说,我觉得创始人自己就是是一个比较懂技术的人,应该是一个比较重要的条件。然后 Grok 之外的话,其他几个比较重点的公司 Meta、Google、TML 有一些什么进展,有些什么值得关注呢?

当然,有些我们前面聊到了,比如说 Meta 推出了 Muse 这个个人 AI 助理的产品,一个就是 Jeff Dean 创业这件事情,离开 Google 后面,其实紧跟着 Google DeepMind 是有一轮裁员的嘛,有一段时间市场的舆论也挺悲观的,嗯。甚至会有人认为说他们放弃了去追赶最前沿的模型的智能竞赛,我觉得不会的。

而且听说现在就是 Sergey 他亲自参与 Founder Mode,然后他们肯定是要接着追赶前沿。啊,在 coding 和 agent 能力上面,要不然他们也不会花十五亿美金去收购 mechanize。嗯,所以之前他裁员是为了什么?是一个什么调整?很多人都觉得,就是 DeepMind 最大的问题就是人太多。

他比 OpenAI 多很多人吗?没有数量级的差距,OpenAI 也是大几千人。确实,但是他就觉得他们人太多,就人多是一方面,肯定还有别的组织问题。那可能不是那么容易能弄过来的。如果要是弄过来,那就厉害了。所以现在就是 Sergey 自己来盯这个事儿。对他和 Corey,你在 DeepMind 的一些朋友,他们现在对士气的感受是怎样的?

感觉我自己有很多朋友离开了

DeepMind。好,那侧面反映了问题吧。回到就最后那个补充的问题啊,你觉得Meta还有TML有什么值得关注的事吗?Meta我觉得最这个季度最大的就是Muse,嗯,TML这个季度没有太多的声音。啊,除了他们,他们发了Inkling,对对,不能说也没太多声音,嗯,他们发了Inkling,他们发了自己的大语言模型,但是呢,因为也没有超过国内的开源模型,所以实际上讨论度也不是很高。

但是呢,如果万一要是美国政府决定要。但中国的开源模型,那可能最好的开源模型就变成Inkling了。可能美国还剩下Nemo创,嗯,英伟达的,嗯,Nvidia的,对。然后Reflection可能要发新模型了,但是反正是选择不多。如果要是中国模型被办了,那天苗的春天可能就来了。中国模型被办的几率大吗?很多公司也是这季度发生的,就是联名签了一个公开信,包括英伟达,包括Fireworks这一类公司,就是呼吁美国政府不要一刀切。

但是我感觉这次 OpenAI Hugging Face 的安全事件以后,可能性是增大了,因为这种前沿模型在安全网络攻击上。表现出的能力更强了,更危险了。对,尤其是你,当你不知道这些中国的模型是如何训练的,然后他们用了什么样的 recipe,什么样的 data mixture,会有什么样的一些特定情况下有什么样的行为,可能就。

更加的会谨慎一些。那最后我们来总结一下吧,就你觉得这个季度的关键词或者说主线是什么呀?我觉得主线的话就是模型能力又达到了新的高度,甚至可能是我们第一次能解决千禧年问题这个级别的这个问题。但同时,因为模型的能力变强,啊一体两面,所以导致它也变得更加危险了。我们也看到了它在 Hugging Face OpenAI 这个事故里面所展现出的一些潜在的风险。

还有一个主线,我觉得就是随着模型变得更便宜,智能快的速度也会加速,然后会有更多的这个个人助理的呃服务这些全球七十亿人类的这个空间吧。再看下一个季度,你觉得有什么可能会持续反复去讨论的主题啊?我觉得下一个季度我会非常期待,就是有更多像N S方程问题这样的问题被。啊,AI攻破,但是是一些更加具有经济价值的一些问题啊,而不是说NS方程式。

我觉得这更多是一个象征意义的一个问题。我自己对下一个季度,我觉得有一个有悬念的地方,就是宏观的资本市场会不会有大的变化?下一个季度就到二六年年底了。因为现在其实各个最头部的科技公司的资本开支,因为它已经维持在一个高位有三四年的时间了。其实有些公司它的经营现金流已经有正转负了,然后整体股市也在一个非常高的位置,就二级市场。

如果二级市场有比较大的波动,肯定也会向一级去传导嘛。包括美国的一些情况,肯定也会向中国来传导啊。感觉这个东西就是非常难以预测,但是反正我个人就是把我的钱反正全部都从二级市场里面先拿出来了。我觉得另外一个我比较期待的下一个季度的话,就是这次是第一次通用模型展示了在 robotics 上面的能力。一般这种刚开始展示能力的时候,它攀升的速度是最快的。

嗯,所以我比较好奇下一个季度会不会就是这种。通用模型进一步加强在 robotics 这边的能力,然后真正的去改变,就是说我们实现 robotics 这个技术路线的,就是下一个季度有可能是大语言模型的这种思路在 robotics

上应用的一个技术成果的快速的爆发期。其实据我所知的话,像国内的一批大概二五年底到二六年初成立的明星的具身智能,或者说物理AI方向的一些公司吧,他们差不多确实四季度会比较密集的发些成果,十月到十一月的样子。

嗯,那今天非常感谢Henry再次做客晚点聊,分享了三季度的观察,整个三季度发生了很多新的进展,而且是很多不同的方向。当然,我觉得归根结底还是我们说的这两个脉络:一个就是模型怎么变得更强,一个是它怎么能被更多的人使用到。那马上要接下来的第四季度,二零二六年年底,可能又会迎来领域里的好几个大事件,包括Astra的上市。

包括之前Henry提到的Robotics,也许会有一个新的成果的爆发期。那我们也期待在下一次的AI季报里面来和大家一起分享更多新的变化。今天的节目就到这里,各位拜拜,拜拜。本期年点呈现分享两个延伸的想法和一个预告。一是耳塞递归自动化,这是我们上季度讨论的重点,也直接放在了标题里。这次来录节目时,我自己的感觉是没有那么兴奋。

其实三季度你能看到更多人和公司在投身这个方向,包括智普的唐杰老师,他会发微博来描述智普对耳塞的重视。Jeff Dean和一些前同事离开了工作了二十多年的Google,创业也是要探索这个方向。而另一方面,目前释放出来的很多成果,比如我们聊的智谱Kimi对他们自己的infra的改造,以及OpenAI对推理效率的提升,都处于整个AI迭代全流程里的局部环节。

实际和大家设想中的RSI还是有不少的差别,这合理且正常。之前和田园洞专门聊RSI的那期也聊到,这个想法和实践本来就是一个渐变的过程。可以说,十几年前的Auto ML就是类似的思路。只不过,AI现在能做的事儿越来越多,也变得越来越复杂,能解决的任务越来越模糊和开放。由于耳塞正和世界模型一样,变成一个非常大的口袋,好像什么都能往里装,短期的这种虚浮和泡沫感。

可能也会让人有一点点的失望和疲惫,但不能否认它会是一个持续重要的方向。我们之后也会继续在季报里去观察,看看递归自进化或者说AI的自我迭代会经历怎样从量变到质变的过程。第二是想延展聊下多智能体协作的一体两面。这个季度,OpenAI调用一万多个智能体解决千禧年数学难题,而后来也是智能体冲破了隔离,自发的开始相互协作,跑去攻击了Hugging Face。

前者是在受控的状态下完成了人设定的目标,后者也是为了实现人设定的目标,但不择手段,最终带来了事与愿违的结果。这种工具手段与目标的背离,并不是有了AI和现代科学之后才出现的现象。从人类开始自己制造工具以来,这种违和感就是我们生活和文明的一部分。从歌德的魔法学徒到童话里的红舞鞋,再到恐怖小说里的猴爪,以及讨论AI失控时被反复提及的回形针思想实验,对强大工具的失控的恐惧一直都存在。

这里我也推荐我们的往期节目第八十三期《串台资本论》,与人类学家袁长庚一起聊了赫拉利的《智人之上》。最后是一个小预告:这个季度我自己觉得非常有意思的一个变化是,GPT六Stra发布之后,显示了通用的大语言模型在。物理AI领域有很大的潜力,这让具身智能领域产生了一种既兴奋又害怕的混合情绪。我们会在十一之后的具身季报里更充分地讨论Astra的进展意味着什么。

本期节目就到这里,感谢收听。如果你对今天聊的话题有观察、好奇或疑问,欢迎在评论区分享想法,这也会成为我们节目的一部分,让整个讨论更完整。你也可以把我们的节目分享给对这个话题感兴趣的朋友,推荐更多你想听的主题和嘉宾。你可以从小宇宙、苹果 Podcast 等渠道关注晚点聊 Late Talk,也欢迎关注我们的公众号晚点 Late Post。

下期再见。xyz:wdl 183:与Henry的「AI季报26Q3」:Muse引爆个人助理、Astra进入机器人、OpenAI收入猛增。