去年年底我们就说好,我们对这个进展挺兴奋的。我们还没见到模型,我们就要开出这张支票了。我也说不准,大概一千亿美元或者两千亿美元。我就问Alex,你确定这能行吗?干杯!干杯!干杯!干杯!干杯!干杯!如果你看第三方的报告,就会发现这可能是迄今增长最快的 agent 或者 AI 应用。我是这么觉得的。你们个人最喜欢用 Muse 做什么?
可以是你们自己的用法,也可以是别人的。我昨天吃晚饭的时候还聊到这个。我最喜欢的是让我的 Muse 不断去找越来越冷门的茶,卖茶的商家也越来越冷门。我的 Muse 叫欧拉。现在我的 Muse 每周都会从台湾或者日本的某个茶园买点不知道什么茶,再把茶弄过来。你最喜欢用 Muse 做什么?我也说不准,我用它做很多事。
我最喜欢的用法,大概也是我最喜欢的产品评测方式,就是让它指导我练综合格斗。我在健身房里装了摄像头,我在里面训练的时候,它就看摄像头的画面,在回合之间给我反馈。结果发现这个问题很难,因为它基本上得足够快的处理完所有视频。毕竟回合之间只有一分钟哦,他是在回合之间指导你。对我想要反馈,我会说我想要关于怎么赢的反馈,他就说加油啊!
你需要给他下指令吗?我也想过这个问题,因为看视频是AI一个很好的应用场景。感觉你不能直接给他一个好几个 G B 的视频文件,所以你会告诉他怎么从里面截取静态画面之类的吗?不用,他会自己截取画面。我觉得他是自己琢磨出来的。结果发现,Muse本身对综合格斗就理解的挺好,这挺不错。多模态的预训练模型里就有,对,团队里有人懂这个。
现在我们这些内容也在语料库里了。我把这个做成了一个基准测试,我觉得这能很好的测试它的编程能力,因为它做的事儿基本上就是编程。在Agent里我看不到任何代码,但它基本上是在编写这一整套视频处理、图像处理流程,而且我会一直跟他说。好,你看你花了三十秒才给我反馈,我休息时间只有六十秒,你得再快一点,优化你自己,优化你自己。
所以我觉得这是一个很好的例子,能看出未来会是什么样。基本上每个人实际上都会写大量代码,只是他们不会知道自己在写代码。模型会给你什么样的综合格斗指导?你想看看吗?想,我看看能不能调点内容出来。他给了我很多关于平衡和髋部位置的建议,或者会说啊,你在这里做侧位控制的时候,这个位置没做出腋下勾抱,所以很容易被对方翻过去。
来,我调点内容出来。不过你们应该去看看这个,其实这肯定是他最早的几个用法之一。最初的原型出来的时候,他就在用了。谜语才没能用的时候,我就用 Open Club 做这个了。所以我才说,这也算是成了一种评测方式。我之前还真不知道,这也是产品评测,记下了。对,这下你知道了。模型的训练数据里怎么会有这些内容呢?
这么细的东西,比如综合格斗选手重心平衡的时候是什么样,重心太靠后脚的时候又是什么样?我就想,他怎么会看过这么多综合格斗姿势正确和不正确的图片?对,可以说他就是从里面抽取画面,然后说好我这里的重心太靠后腿了。eighty。但这是涌现出来的智能吗?还是那个问题?他是因为看了很多综合格斗的图片才知道,还是因为他理解重心应该放在哪里这个概念,读过综合格斗的书,然后看出你的重心太靠后脚了。
还是我们确实用了大量视觉感知数据来训练模型,我觉得这就是在做好的多模态模型。我觉得这就涉及我们的一个核心思路,就是我们在端到端地训练模型,让他们成为好的个人 agent。问题是 Meta 为什么想做这些模型?首先,我觉得总的来说,超级智能能让我们把公司经营得更好。也能做出各种各样的东西,但对于我们在做的产品,有些能力和技能组合就是更适合这些应用场景。
这也是Alex从一开始就很关注的一件事。他说:“好,我们一定要把多模态这方面做好。”因为人们使用这些服务做的那些事,对多模态的要求格外高。怎么才能训练出一个好的多模态模型?Meta 在这方面是不是就有优势?因为你们有这么多图片和视频数据,这确实很有帮助。对,而且我觉得很多事归根到底取决于你是怎么把重点放在这上面的。
我觉得这是因为我们想做个人超级智能。而且从根本上说,世界上大多数人确实都是以高度多模态的方式来体验这个世界的。他们喜欢跟别人聊天、听东西、看视频、走路,也自己拍些东西。我觉得大多数消费者都是通过多种方式来感受世界的。尤其是今年早些时候,我觉得这几乎成了行业里一个有分歧的点,因为当时AI行业很大程度上的共识是,一切都围着编程转,只有编程才重要。
我觉得Muse这样的产品要成功,很多面向消费者的应用场景要做成。真的要靠强大的多模态能力。对,我觉得我们才刚刚摸到一点皮毛。我们最初的很多想法都基于一点,就是大多数人其实没那么喜欢读文字,所以哪怕是这种用文字交互的方式,我觉得大家也确实在用,大家都发消息。但你想想,我们正在做的眼镜,或者我们其他那些很注重视觉的产品,眼镜最终就会成为一个纯粹的多模态产品,你可以让它听到你正在听的东西。
他也能跟你说话,只要你允许,他还能看到你看到的东西。再往后,我甚至都不知道我们还会不会在眼镜上做一个应用商店。它可能就是通过多模态生成,直接在你的视野里生成你需要的东西。我想这样的东西最终可能也会支撑我们做的很多应用。不过这还处在早期阶段,但就目前来说,感知方面的成果已经很让人印象深刻了。我想问问你们 AI 产品这个领域的事儿,也想把一个想法拿出来跟你们聊聊。
如果让我向你们描述,比如说在 Stripe,我认为一个能胜出的产品是什么样的,那得写好多好多页,因为我们有开发者体验,还得聊世界各地支付方式的各种差异,然后还得聊稳定币,这得花我很长时间。但我注意到 AI 领域有个现象,感觉那些能胜出的产品很快就会收敛到一个大家都认同、都在追求的产品方向上。先是 Transformer 架构行得通,接着聊天式 Agent 用户界面也很成功。
现在我们又看到你们前面提到了 Open Claw,像 Open Claw 这种持续运行的 agent,有一台电脑可以做事,可以替你操作电脑在现实世界里办事。大家又在朝这个产品方向收敛,但 AI 就是有这么一个特点,能胜出的产品往往都很简单。所有认真做 AI 的公司都在追求这些产品。你在一张明信片的背面就能讲清楚,能描述的非常简洁。
当然,真正实现起来又极其复杂。我们待会儿会聊到新模型,要把这样的产品做好,需要大量的前沿研究。现在你们又说到眼镜和未来的版本,但不知为什么,AI里明显是正确方向的产品就那么少数几种,而不是一个非常宽泛又复杂的产品领域。我有点不同意。好,首先,我觉得我们从一开始的设想里就有一点,这种 agent 不管最后是什么形式,都会跟这种文字助手很不一样。
每家公司都有这种助手,我们自己的叫 Meta AI,有很多人在用,但它跟这些公司都有的东西是一样的。而我们,我觉得我们很明确的认为,大家主要用它来获取信息,但并不把它当成一个能替自己把事办好的东西,就是检索信息,而不是把事情交给他去做之类的。对,就算你说他有一台电脑是这样,但实现这件事儿也有很多不同的方式,对吧?
我觉得也就是最近这波才给 Agent 配上了专用的虚拟机。我觉得这其实非常重要,能让你对自己信息的安全和隐私有信心。不是说好吧,它连上了某种大家都在用的弹性计算资源,但我的意思不是说它实现起来很容易,也不是说事先就能看出这个方向是对的。我觉得会有很多种东西出现,对,你觉得会有很多不同的东西出现,因为还是那句话,我的意思是。
现在大家看到 Muse 都会说,哦,对,AI agent 产品显然就该这样运作。以后我们看到的 AI agent 产品大概都会很像 Muse。我的看法是,对于 AI
产品最终会是什么样,我们还处在非常早期的阶段,所以我觉得产品之间很多有意思的差异,在我们今天看待产品的方式下都被抹平了。我觉得以前我们写产品规格、思考产品规格的那套方式,里面的维度和可调整的因素,并不适合用来考虑 AI 原生产品的重要设计决策。
比如 Muse,我觉得我们花了很多心思为这个产品设计模型,很多决定都是有意做出的。比如在各种情况下,模型究竟应该怎么表现?在这些情况下,模型的性格到底应该是什么样?又该怎么处理这类工具使用场景?这些都是有意做出的决定。如果把我们希望模型在所有这些场景下怎么表现完整写成一份规格说明,估计也会是非常长的一份文档。
但因为我们今天看待产品的方式,大家就觉得这不就是AI吗?这有点像移动互联网刚兴起的时候,大家说哦,不就是个应用嘛?什么东西都只是个应用。结果发现一个应用究竟是什么样的,里面有很多细微的区别。我们现在也正处在这么一个阶段,大家说哦,不就是AI嘛?或者不就是个agent嘛?或者不就是个带虚拟机的agent嘛?
诸如此类,但那些有意思的差异需要我们仔细梳理出来。所以你们觉得我犯了一个典型的错误,就是觉得我自己这个领域很复杂,而这个领域还是从产品角度来说很简单,就像觉得所有支付处理服务看起来都一样。对,不不是,我很认同你说的。我们很早就在聊的一件事是,我觉得有这么一个趋势,产品本身那一层越来越薄。模型越来越成为产品本身,所以我们内部有句话:模型就是产品。
说到 Agent Music 里很多复杂的产品工作,基本都围绕着一套隐私和安全机制来处理你的数据以及接入的各种东西。我觉得我们在这方面真的花了很多心思,也很自豪。这是我们需要创新的很多产品功能所在。不过,能力、性格。这些东西很大一部分都是通过训练放进模型里的。不管做这些的是实验室里的人,还是 Nati 团队里做产品的人。
我觉得,当哪在想要让产品用起来感觉好,最关键的是什么?他谈的就是模型的后训练。当然,产品的用户界面也很重要,但用户界面里最重要的部分是产品。对,没错。我觉得从用户的角度,持续使用 Muse,还是会有一种很直接的感受。其中相当一部分可能在于 Muse 处理某些任务有多可靠,但还有相当一部分在于它怎么主动做事,在什么情境下会主动做事,还有它跟你说话时,你觉得它说话的方式怎么样?
我开始在 X 的信息流里越来越多的看到这类讨论,大家开始仔细分辨这些差异,他们都是会主动做事的 agent。但彼此之间真正有意义的区别是什么?我觉得这些才是有意思的产品决策。而有趣的是,你要怎么把这些产品决策具体写出来?最终都体现在模型设计的决策里。再往下就是训练方法。数据评估,或者这类事情。说到产品方向,Muse 有一个值得注意的细节,就是它没有让你选模型的地方,也没有让你选思考强度的地方。
你们觉得对于面向消费者的 AI 产品,这显然就是正确的做法吗?还是我就是想让它简单一点?对我觉得很多 AI
产品都由一群技术水平很高的人来设计,但他们脑子里想的用户,并不是一个随便抽出来的普通美国人。这件事儿多少已经出了名,所以有些模型的命名实在太离谱了,数字还会倒着走,有时候数字会倒着走。有时候干脆换成一个完全不同的词,然后又有另一套词,我就想一个不仔细读 API
设计规格的人怎么知道自己该选哪个,实在太让人摸不着头脑了。
我们聊了很多模型,跟我说说这个新模型吧,听起来很棒。对,我觉得我们挺为他自豪的。这个新模型 Muse Wonder 属于一类新的模型,处在最前沿,所以我们基本上从一开始就在做这个。基本上做这些预训练的时候,你不会直接用手头最大的集群,你要一步一步往上走。每次训练的模型可能比之前大四到五倍,然后不断重复这个过程。
所以我们推出的第一批模型 Muse Spark
都是基于最初那次预训练做的。那是什么时候来着?十二月。对,去年年底,对,坦白说,那个模型其实没那么大,团队却能让它具备这么高的智能和这么强的能力,我觉得我们大家都挺惊讶,也很佩服。之后我们就开始做下一个模型,预训练已经完成一段时间了,我们一直在做后训练,现在它来了,它是更高一个级别的模型,它的规模大了很多,所以我觉得你会从它思考的细腻程度上感受到这一点。
我们很多工作的重点都是让它成为最适合个人生活和专业工作的 agent 模型。模型可以朝不同的方向优化。对我们来说,重点就是这个。我们着重打造的很多基础能力,包括很好的记忆能力,还有在复杂任务中持续做下去的能力。实验室、产品团队等各方都为此投入了大量工作。我觉得这也说明团队能够有条不紊地摸索出扩大模型规模的方法。
所以,我觉得这也是我们一路走来的一个里程碑。接下来每推出一个规模更大的模型级别,间隔时间应该会开始缩短。想到我们能做出的东西,这让人很兴奋。你说的是 Meta 还是整个行业?Meta,我觉得其他地方也都能看到类似的情况,但我觉得其中一部分这是递归自我改进带来的效果,还是别的原因?在Meta,我想大家都知道,我们对拉马斯当时的发展方向并不满意。
我们基本上重建了整个团队。过去这一年半,这件事做的挺疯狂的。我们应该花些时间好好聊聊。讲讲那些实战故事,不过团队基本上得先做出不同级别的模型,才能走到现在这个模型。现在我们已经到了最前沿,接下来做的所有事情基本上都会是在推动前沿。此前我们还得做很多基础工作,我不知道你怎么看。对,我觉得我们真的很兴奋。
这个系列我们会推出两个模型,分别是 Muse Wonder 和 Muse Wonder Four。笑啊,好吧,这就对了。对,很不错。它基本上就是这儿没有现场乐队来。对,是一个高端得多的模型。它就是 Muse Wonder 的完整版。我知道,我懂。对,不是,名字是两个词 Wonder 的完整版。好吧,一听就知道你是当爸的人,怎么了?
这个老爸冷笑话讲的真不错,这就对了。在一系列个人生活和专业工作的 agent 任务评测中,我们看到了非常出色的表现。按我们的测评结果,他达到了目前最先进的水平。此外,还有一些具体的亮点,我们对此很兴奋。这些都是我们逐步在模型中设计出来的。比如,Mark 提到的主动记忆,我们认为要打造服务个人生活和专业工作的 agent,记忆显然是让 agent 可靠的必要条件之一。
实际上,跟很多其他工作相比,我们在这方面投入的比重尤其大。我们内部也有自己的 memory bench
评测,展示了它在这方面的很多能力。给外行解释一下,模型里的记忆是什么意思?是指它能记住多少东西吗?就是工作记忆。比如你在做一个任务,模型能在它的,这跟上下文有什么区别?我觉得体现在使用模型的体验上,就是你在几天、几周或者几个月里跟他说过的事情,他记得有多好,以及在以后执行任务时能不能用上这些信息。
明白了,这就是 OpenCL 里毛病多得要命的那部分。我觉得我们都非常喜欢 OpenCL,我自己用 OpenCL 也很开心。不过,它最终会做记忆压缩,有长期记忆,还有工作用的短期记忆之类的。我觉得用 OpenCL 做一段时间之后,大家就会发现它的记忆挺容易出问题。对,所以我们既设计了模型本身,也设计了一套供模型使用的系统,让它形成更强的记忆能力。
我们把它叫做主动记忆。另外,就像 Mark
提到的,持续做下去的能力。不过,所以这是在模型外面的,模型本身已经有了。不,不但你说的一些能力,比如记忆压缩,是模型自己做的事情。基本上就是能把这件事儿做好,同时通过这不是外部运行框架,是模型自身的能力。对,是模型自身的能力,没错。他知道自己的记忆是一个核心系统,关键在于他能怎样利用各种来源的信息去完成未来的任务,同时理解自己压缩记忆的能力,知道怎样做压缩最有效。
等等,不过这很重要,因为我觉得很多人最初用 AI agent 的体验就是记忆老出问题,所以改善这一点,而且说清楚,我们的评测也显示,这方面还有很大的改进空间。不过我们对这项工作挺自豪的,也认为这是一个有意义的贡献。主动记忆是一项对主动记忆,另一项是主动专注,基本上就是模型在执行任务时能把任务持续做下去的能力。
尤其是我们看到 Muse 和 Muse Code 的用户交给它的任务。复杂程度越来越高,也越来越模糊,越来越复杂。我们希望模型能非常有效地完成这些任务。其实,在早期内部试用和测试中,很多人都注意到了这一点,觉得这个模型在这方面很特别,跟他们试过或用过的其他模型相比,表现很突出。第三个是领域专业知识,在 AI 里专注力指的是什么?
是说在任务上投入很多算力吗?是说不会被其他东西分散注意力?具体是什么?有点像坚持下去的能力。对,就是坚持下去的能力,基本上就是能在很长的时间跨度里把任务完整做完,还有就是过程中遇到各种挫折时能找到其他解决办法,而且这些办法要符合对其要求。它的编程能力确实提升了很多,达到了前沿水平。它在
DeepSweep 和 SV Marathon 上确实达到了当前最先进的水平,在 Terminal Bench 四等其他很多基准测试上也表现得很好。
所以,我们觉得用它来编程的用户虽然只占所有用户中的一小部分,但他们会看到很大的改善和提升。所以,我们在 Stripe 写代码也应该直接用 Muse Wonderful。可以考虑,对我们出去告诉。不过,要是他在 S V Bench 上达到了最先进的水平,那确实。不用的话,我们就亏了。对,确实编程能力提升很大。
当然,我们希望大家试试看看自己的使用感受。不过,我们对内部测试的结果一直很满意。我觉得大家会喜欢用它做很多事。这既是你们最新的前沿模型,开发者可以直接找你们,也可以在 OpenRouter 上用把它当模型来调用。同时,Music 里的模型也有了很大的升级。经常用 Music 的人会直接感受到。对,在 Muse 里,因为这个模型大得多,提供服务的成本也更高,所以我们一开始会主要面向付费订阅用户开放。
我们希望 Muse 这个产品能让所有人免费使用,所以我们提供了大量免费 Token,大家可以在 Muse 里使用 Muse Spark 模型。不过,如果你想用 Wonder 来处理大多数难度高的任务,至少目前你需要用付费版。不过,最终我们会,你也知道这个领域发展的有多快,我们希望在不太远的将来能有一个和 Wonder 一样好的模型,但体量像 Spark 一样。
这样就能为全球几亿人提供服务,那会很棒。所以你打开 Muse 订阅那个叫什么来着,Premium 还是 Pro 套餐,反正就是付钱没掏出信用卡就别停。对,然后你要选这个模型,还是它就会神奇的哦,它直接就变好了,你用起来就直接更好了。对。另外,也可以通过 API 来用,在 Meta Model API
和 OpenRouter 上都能用,Musical 用户也能用,Musical 的订阅用户也能使用。
Musical Wonderful 挺让人兴奋的,就像 Mark 说的,这是一个大的多的模型,所以我们正在研究怎么最高效的为尽可能多的人提供服务。我们很期待让尽可能多的人用上它。这是很大的一步进展,在走到这一步的过程中,我们对 Muse Spark 能提供的表现很满意。但从这里开始,MSL 算是进入前沿行列了。
我们觉得这些模型和市面上最好的模型相比很有竞争力。所以你觉得 Astra、Fable 和 Wonder 都处在最前沿?对,你可以看看,或者说你觉得光看基准测试的实际结果?就能得出这个结论。从基准测试的实际结果来看,确实可以得出这个结论。是的,明白了。其实我觉得有一点我们特别自豪,就像我们提到的,我们花了时间针对 Muse 这个产品的形态来优化模型。
这是目前最先进的模型。我们觉得,在个人专业 agent 这个用途上,它确实是世界上最好的模型。公司里的人经常拿古德哈特定律来吐槽:一旦一个指标成了目标,它就不再是个好指标了。你会听到有人抱怨说,模型专门为刷基准测试分数做了优化,而且到了一定程度,对基准测试过拟合反而会让模型稍微变差。你们是实际训练 AI 模型的人,这种说法是真的吗?
基准测试给模型打分,效果好吗?你们有没有开始看到模型在基准测试里的一些边缘情况上会出现奇怪的失败?得不断往前走,因为这个过程很快,基准测试太快就被刷到顶了。我确实觉得在这方面,你觉得还没被刷到顶的基准测试就没问题吗?随着我们不断推进,我们越来越多的按照内部基准测试来调整模型。这些测试针对的是我们关注的使用场景。
早期我们主要还是在做研究,一步步提升能力。那时候我们更关注外部基准测试,就是为了确认方向是对的。可以说,每发布一个新版本,我们关注的测试里内部测试所占的比例就更大。我们在 Muse Wonder 的研究博客里,其实量化了一个指标,就是那种大模型的感觉。大模型的感觉和那种专门刷基准测试分数的感觉,差不多是反过来的。
就是说,你用一个特别大的模型时,就是能感觉出来,它就是能把握那些细微差别,就是那种说不清的感觉。所以,我们量化它的方法,其实几乎就是你刚才说的,去看分布内表现和分布外表现之间的差距。我们测的是任务,如果和强化学习及后训练的数据属于同一分布,模型表现怎么样;而任务如果在这个分布之外,表现又怎么样。然后,Muse Spark 系列和 Muse Wonder 系列在这个差距上有什么不同?
我们确实看到从 Muse Spark 到 Muse Wonder 系列有了巨大的提升。原因就像 Mark 说的,这个新系列用的基础模型要好得多。这里面有一种说不清的感觉,但我觉得我们确实已经把这个效果量化了。显然,这也是我们很期待继续改进的一个方面。但如果你们是说外部基准测试已经没那么重要了,你们更在意内部的基准测试?
那这算不算是在反对一味冲榜?你们是不是觉得,只想着在大家都在谈的外部基准测试上拿最高分,可能并不能让你们开发出一个出色的模型?是。不过我们也有自己重点关注的东西。整个策略里有一部分就是个人超级智能,想做出跟别人不一样的产品。所以就算我们的评估跟所有人完全一样,也只是。对,不过我会说,个人超级智能也不是什么特别小众的方向,其他模型大概也想具备这种能力。
我觉得他有些地方很不一样。我觉得个性可能更重要。我们会讨论的一个概念就是知道什么该说,什么不该说。如果你想用模型帮你办事,他就得很了解,你还得能在现实世界里把事情办成,同时尽量少透露你的信息。比如你有过敏或者怀孕了之类的,想在餐厅订个位子,你不想为了确认这家餐厅适合你就非得告诉他们你的身体状况。这种情况要怎么处理?
人是有常识的。至于目前的模型,如果你做的是一个编程 agent,它工作的环境里所有人都能看到同样的上下文,那知道什么该说、什么不该说就没那么重要。所以我觉得这些事情对我们来说都更重要一些。编程也有这样的情况,代码得能正常运行,但使用它的消费者可能根本就不会看到代码。在个人超级智能这个场景下,这可能比服务软件开发者时更重要。
所以我觉得这些事情确实有点不一样。归根结底,我们在意的是做出有用的模型,所以我们希望把模型交到人们手里之后,他们用起来能有很好的体验。我觉得,不管是我们还是别人做的模型,这都是最重要的衡量标准。我觉得,如果你特别特别关注外部基准测试,稍微往上游追一追,就会发现那是某个博士生在读博期间做出来的基准测试。
这样一来,你相当于把所有的产品思考都外包给了那个碰巧做出一个火爆基准测试的博士生。所以这显然不对,所以我们才这么重视评估。Meta 和 MSL 的很多人工作中很大的一部分就是设计出色的评估。现在我们有了这些评估,就可以按自己的来做了。但如果你的实验室正在起步,用那些公开的评估作为起点,也不是什么离谱的选择。
只是你不应该停在那里,在那个阶段,你只是想看看它有没有起色。但到了我们现在这个阶段,我们就想很明确的规划怎么持续改进模型,做出越来越好的产品。Mark刚才提到的很多情况,其实都很严谨地写在一张表格里,里面列着产品的各种小能力和细节。我们觉得这些对最终用户都非常非常重要。也许每一项对用户的重要程度只有百分之二左右,但加在一起,正是这种对细节的执着,最终会让模型用起来感觉很神奇。
你们能跟我讲讲训练一个强化学习模型?不好意思,我是说一个最前沿的模型,都需要做些什么吗?我就是好奇,因为我觉得很多听众大概知道训练有预训练和后训练两个阶段。预训练就是吸收海量的数据,你看很多图片,这些是猫,那些是狗。过了一段时间,你就开始明白猫有什么特征,狗有什么特征,什么是猫,诸如此类。所以预训练阶段大概就是这样,大量吸收数据。
也许你们可以讲讲怎么获取数据,以及这其中都要做些什么。然后是强化学习阶段,这是过去几年 AI 领域的一个比较新的进展,而且听起来这个模型很多具体的细微差别就是在这个阶段形成的。你们为模型选了更好的领域、更好的努力方向,但从大体上讲,能不能说说需要多少人,要花多长时间,有哪些步骤,你们又是怎么考虑这些的?
你有多少时间?大概讲讲就行。我们所有的时间恰好都花在这件事上。没错,没错。所以概括一下吧。我可以给你推荐几个 YouTube 课程。我觉得大体上就是这几个阶段,预训练和后训练。有意思的是,训练这个概念其实把这些全都包括在内。但整个项目有多少人参与?比如你们开发的时候,我觉得你问到的正是 MSL 和我们这套做法有意思的地方。
从一开始我第一次联系你的时候,我想我们刚才会翻看这些,就是因为我们觉得哇,原来已经走了这么远。我翻出了第一次联系 Alex 的聊天截图。我第一句话大概就是:“嘿,你有空聊聊近况吗?”然后就是:“好,我们聊了四十分钟。”他们就是这么把你拉进来的,四十四分钟差不多吧?那通电话之后过了两天,Alex给我发了一大段话,大意是:“如果我在你的位置上,我觉得我会这么做。
”第一条就是你不需要很多人,重要的是人才密度。所以我会说,从制定计划一开始,这就是你策略的核心,对吧?基本上就是你其实不需要庞大的团队,但你确实需要每个人都尽可能出色。这也决定了我们后来那种疯狂招人的劲头。我们做了非常严格的筛选,从 Meta 内部选出一些最优秀的人,也通过非常严格的流程从 Meta 外部招人。
但我觉得 M S L 之所以特别,之所以很多人想加入,很大程度上是因为在一个人才密度高的小团队里工作,从某些方面来说就是更有意思。感觉就像一家正在运转的创业公司,从某些方面来说,它既有创业公司的所有好处,又有大公司的稳定性和资源,就是这样一种工作环境。我想,这是你那份计划的第一条。Alex当时说,这就是我们需要去做的。
我也说不准,问预训练团队要多大,答案是不用那么大。不过,看看其他一些实验室,有些地方的团队可能相当大,所以我觉得这些模型表现好,有一部分原因是我们押注在这些人身上,他们手里有很多资源,因为我们把算力集中起来了,我们没有把算力平均摊给一堆相互竞争的项目。我们把资源投给关键的人,给每个研究员很多算力,这样他们就能开展自己的工作。
Wonder是那个主要的大型训练项目吗?大部分训练都在那边。它是下一轮预训练,就是沿着这个梯子往上走。我们有这么一套分级体系,然后还有Spark。在内部,Avocado是Muse Spark系列的代号,这个系列的代号则是Watermelon。我们已经没水果可用了,没水果可用了,所以我们得换一套新的命名规则。
不过。我觉得严格来说,唯一更大的水果就是榴莲了。但你可不想用榴莲,不不不,你得离它远远的。要是它掉到你身上,榴莲比西瓜还大。我觉得平均来说是肯定更重,太吓人了,肯定更重,刺也更多,刺也更多。不过说回来,像 Mark 刚才提到的,我接下来要讲的每个阶段,在 Meta 都是几十个人在做,而不是几百个人。
所以 Meta 是一家大公司,但这项工作在 Meta 内部的团队规模真的很小。对,研究团队不到两百人,规模很小。我们是有意把团队规模控制的非常非常小,一直更接近一百人。另外还有一批做基础设施的人,而且基础设施方面的工作量很大。我觉得,从大体上来说,回到刚才那个问题,它到底是什么?又是怎么做出来的?模型是怎么做出来的?
我基本上就是在问这个模型是从哪来的?你拿海量数据来做预训练,在这里你这里大致就是整个公开的互联网,还有所有能找到的书,总之就是尽可能多的数据,但要有不同类型,再加上专有的元数据,还要有不同的模态,对吧?所以如果你想让它擅长感知,就得确保它接触到大量图像、音频、视频之类的东西。如果你想让他擅长某些领域,就不能只想在最后靠强化学习把这些能力练出来,而是要让他从一开始就接触这些领域。
在这个阶段,你没那么在意数据具体是什么样、是什么格式或者其他各种细节,主要就是要有大量。大量的数据,你们说这是最好的个人 agent 模型。那在预训练时有没有特意去找一些数据,比如大量打电话预定餐厅的记录?我不知道具体是什么。不过你就是要把大家会在意的那些模态的数据大量的放进去。这方面有不少东西,我们刚才聊 Muse Wonder 善长什么的时候,好像还没说到这一点。
不过有些领域就涉及这个问题。好,大家在意什么?像购物,大家很在意针对个人情况给建议,大家也很在意。大家会有个人的法律问题、健康问题、税务问题。Muse Wonder表现相当不错,对,相当不错。看看我们有没有什么量化结果可以分享。不过先这么说吧,他。他在这些针对个人情况给建议的问题上表现非常好,表现不错。
所以这些方面的能力,你可以用强化学习提升到一定程度,但你还是要放进去大量数据。你可以想象外面有很多健康方面的数据,预训练时你就是想让它接触到各种不同的东西,所以就把这些不同的语料库放进去。像 Marca 刚才提到的 Muse Wonder 的一个亮点,其实就是它在各个专业领域的能力。我觉得我们的理念是最好的个人 agent,应该让你感觉有一支专家团队在支持你。
就像它既是你的法律团队,也是你的财务团队,还是你的医疗团队。所以在这些领域里, Muse Wonder 的表现其实已经达到目前最好的水平。我记得很多金融评测和法律评测都是这样,它就是目前表现最好的模型。这些领域的能力从预训练阶段就开始培养了。我们会找大量相关领域的数据放进预训练里。不过预训练有很多门道。
Room 有条推文大意是:做预训练的研究员一个个都嚼着玻璃,望着远方,凝视深渊什么的。但我觉得这话有道理,因为预训练是研究里成败最关键的领域。我们把算力中很大一部分都投到了 Muse Wonder 的预训练上,这件事儿的成败太关键了。我觉得在这个过程中,我们俩可能都在不同的时候,你经历了好几段悲伤的低谷。
不过对。是充满不确定性的低谷。预训练模型的时候,悲伤的七个阶段你全都会经历,而且很有意思。这项工作在根本上最需要靠科学推理,因为你手里的样本实在不多,所以你能不能用科学的方法推断具体会发生什么,真的取决于你能不能充分开动脑筋,对这个过程中发生的一切进行推理。在预训练阶段,所有训练前沿模型的人基本上都在尽量找更多的数据来做预训练,可能会有一些侧重,比如你想让
Muse Wonder 善长回答法律、金融、税务之类的问题。
就得在预训练时尽可能多的加入这些领域的语料。对你还是要尽量明确最终想让模型达到什么目标。不过还是那句话,数据多得多,它就能从中受益。这个阶段就是海量数据、海量算力预训练时加入的数据会不会到某个程度就饱和了?还是说归根结底就是数据越多越好?你们得挑着用吗?这里有个关系模型,想做的更大,就需要更多数据,不然就会过拟合。
是不过,我想问的是,有没有一些数据,你们会觉得不能让这些东西分散模型的注意力,不能把他脑子里的阁楼塞满这些知识,还是说数据越多越好?我觉得确实有一些这样的影响,不过这也是科学研究的一部分。我们要聊到独门秘诀了,不好意思,不是,不是,不是在说那个。我觉得这里有各种问题,比如我们放进去这么多 token。
会不会有些东西是此消彼长的?很多时候不会,甚至会有正迁移,但也要看具体怎么设置。有时也会有负迁移。我也说不好,这里面有各种有意思的问题。不过总的来说,把模型做得更大的一个主要挑战是,不能只看浮点运算量有多少、算力有多少,你还得能让数据规模跟着一起增长。最初提出预训练的规模定律时得出的结论里就有这一点。
所以,如果互联网上的数据增长没那么快,而你又想把模型做得更大、更智能,我觉得一个有意思的问题就是。好,那数据从哪儿来?所以我想这个话题我们大概就聊到这里。不过我们可以转到另一个,这边真是很有CEO的范儿。不过后训练,我觉得现在后训练是个很让人兴奋的领域。整个领域几乎一直都在学习怎样用最好的训练方案来给这些模型做后训练。
再给大家解释一下,后训练就是把你希望模型完成的任务交给他,再根据他做的怎么样来打分。所以,如果是个下国际象棋的模型,就让他一局一局地下。从中学习其实有两个阶段,一个是 SFT,也就是有监督学习这个阶段,很大一部分就是拿一个还没打磨过的模型,把问题和你希望它给出的答案一起提供给他。比如在聊天时,你希望他在这种情况下怎么回答。
所以要训练性格之类的东西,SFT其实是塑造它很重要的一环。不过,我觉得最近几年的大部分进展都来自强化学习。我觉得有一种理解方式可能有帮助,就是在 SFT 阶段,你会先给它设定很多 SFT 就是有监督微调,有监督微调。对你先给它设定很多你希望模型以后能表现出来的行为,到了 SFT 结束的时候,它可能已经具备了这些行为,但只有大概百分之十的时候会做出来。
然后在强化学习阶段,你会在各种情况下给模型强化反馈,让它表现出这些行为的概率大幅提高。我觉得强化学习和后训练里正在发生很多有意思的事,其中一点是把强化学习和后训练的规模做大,已经成了一个很明确的方向,就是。投入更多算力,收集更多数据,用来就是在发布模型之前多做很多这方面的训练。对,多做很多,尤其是预训练规模变大的时候,要做的更多。
就像规模定律里的其他因素一样,它必须跟其他因素一起增长,否则就不起作用。对,总体上,如果让我用一句话概括 AI,那就是把所有方面的规模都做大。不过,但具体来说,你得把所有方面的规模都做大,只单独扩大一个方面是不行的。也可以,你可以,你看,也可以只扩大一个维度的规模,只不过把很多方面一起扩大,效果会好得多。
可以这样理解,Muse Wonder 就是好。我们已经做了预训练,也做了一些强化学习。看看 Mew Spark 从一版到一点一、一点二、一点三,我们完全没有改预训练,只是在这个基础上继续做更多强化学习。所以,对一类新模型来说,早期版本里强化学习相对于预训练的比例会比这一类模型的后期版本低。这大概就是模型那些小版本更新的意思。
我觉得每家公司都有自己的惯例。对对,对我们来说,它就是这个意思。但对很多公司来说,主版本号对应的是预训练。然后,我觉得版本号已经有点失去这层含义了。我觉得现在其实已经不能这么看了,但至少在Meta是这样的。我们都还没这么做过,我们算是决定先不。至少Muse Spark是这样的,Muse Spark和Muse Wonder确实是这样。
Muse Spark和Muse Wonder确实。用了不同的预训练。至于 Muse Wonder,我们决定先不给它版本号,把这个问题留到以后再说。不过等到第一次小版本更新,我们就得做决定了。我觉得强化学习阶段特别有意思的一部分,首先就是创建环境和任务。我觉得训练这些模型时,这个环节需要花很多心思去设计。
这个环节也会让你发现一些很有意思的现象,比如在很多情况下,强化学习的数据反而是少一些更好。所以总的来说,我觉得这里面靠经验判断的部分,还有科学规律,都跟预训练很不一样,甚至反过来了。另外。我觉得他给模型的引导会被大幅放大,不知道这么说能不能理解?我觉得我们很关注的很多安全或对齐问题,是在给前沿模型做大规模高算力的强化学习训练时出现的。
在某些场景里,你给模型施加很强的强化学习训练或优化压力,而模型要想成功,唯一的办法就是做出不符合对齐要求的行为,或者做出不安全的行为。所以。训练 Muse Wonder 时,这也是我们必须非常小心、仔细考虑的一点。我们得精心筛选和设计强化学习环境,确保每个环境都在引导模型表现出更符合对其要求的行为。
我觉得你刚才说的质量这一点很重要,因为前面很多来回讨论的问题都是关于数量的,听起来像是在说你得把数量提上去。但我确实觉得这里面很重要的一部分就是你刚才说的,即便数量少一些,高质量的数据也很重要。在强化学习这方面,我们看到 Museberg 系列有过相当大的提升。我觉得这些提升都伴随着底层训练方案实实在在的改进。
这些训练方案上的改进积累下来,我觉得从 Mistral 1 到 Mistral 1.3,感觉简直是天差地别。我想,如果你问大多数人,这些模型感觉像是用了不同的预训练吗?我觉得他们大概会说是。顺便说一句,我觉得整个行业都在发生这种变化。我们正在学会从现有的基础模型里挖掘出这么多能力,激发出这么多 AIGC 能力。
不过,这并不意味着扩大规模不重要。我们相信扩大规模非常重要。这也是我们最初推出 Muse Wonder
系列的原因,但这两件事正在同时发生。顺便说,这也是我们整体上能看到这么多进展的原因。我觉得原因就在于我们在扩大预训练规模的同时,也在扩展强化学习的训练方案,而且两边都推进的挺快。对,另外还有其他一些可以扩大规模的维度,确保Agent的运行框架足够好,而且这些东西能一起优化,大概也是扩大规模的另一个方面,或者说另一个维度。
但如果我没理解错你们的意思,你们是说对齐不是设计一些专门用来对齐的强化学习步骤,而是要确保整个强化学习过程都在引导模型,对吗?Baro,你得在整个过程中都认真考虑这件事。我觉得这需要从整体上来做。不过,我也觉得不同实验室的理念差别很大。对齐是个很有哲学意味的概念。你到底想让它跟谁对齐?我们的很多想法是我们更关心它跟谁对齐。
我们想给人们提供 agent。如果你让它做一件事,你得很有把握,它会按你的要求去做。你希望它能很可靠的把这件事做好。你不希望它给你讲一通道德大道理。说你让他做这件事就是错的。当然,如果你想做的事会造成灾难性后果,他得妥善的拒绝,又不把你惹火。但总的来说,我们觉得对其更多是在指令和价值观上,跟他要服务的那个人保持一致。
我觉得这算是另一种思考方式。我觉得这跟其他一些人的做法很不一样。不过我觉得还有个挺有意思的点,可能也跟你最初的问题有关,就是训练这样一个模型到底要花多长时间。Muse Wonder这边,我们从去年八月就开始规划 Muse Wonder。对,我记得那次外出开会,当时我们他们第一次介绍这个的时候。我觉得我们刚才说的所有阶段,其实都得花很长时间去做。
也不是说做完 Muse Park 的时候,我们还没开始做 Muse Wonder。其实我们一直都在规划和做这件事儿,已经很久了。而且我们真的是把 Muse Park 看作,我记得我们在第一篇介绍它的博客里就提过。它是通往 Muse Wonder 的一块垫脚石,我们当时确实就是这么想的。你当时就已经这么想啊?
对,而且说到要花多长时间。我们刚才说的还只是研究这一部分,还有算力这部分。首先,我们一直在投入建设,总体上积累了非常庞大的算力。不过,我们在这方面有个理念,就是衡量一家实验室的算力实力,可以看它最大的一台计算机,也就是用来做这些大规模训练的超级计算机到底有多大。我们在俄亥俄州建了一个集群,叫 Prometheus。
正在扩建到超过十亿瓦,现在我们又在路易斯安那州建 Hyperion 集群,规模会达到五十亿瓦。而且这些其实在 M S L 成立之前就有了,至少规划是更早就有的,因为要从零开始建整个数据中心园区,他们现在正在投入运行。但当时你们当时觉得可能是给信息流用的,对吧?就是你们通常会用到很多算力的那些地方,不是不是不是。
好,这个还要更早,甚至可以追溯到拉马项目那会儿。大概是二零二三年,或者说二零二三年、二零二四年那会儿,我们基本上开始规划建设这些集群,他们现在正陆续全面投入运行。我想,路易斯安那州那个会在未来几年里逐步投入运行。不过,如果你想从头到尾把这些事情都做下来,那显然就得覆盖整个技术栈。而 Meta 就是一家覆盖整个技术栈的科技公司。
我们自己建数据中心,自己做芯片,自己建底层基础设施。现在,接下来这一环,可以说大概是下一波技术浪潮中最重要的一环。就是做出真正好的模型,再把它们交到人们手里。但如果你想从头到尾全都做,这个过程就很漫长。我确实觉得,也许科技行业的人很清楚这一点,但大家真的会感觉模型一直在不断推出,所以你可能会觉得哦。
一家公司推出一个模型,然后再琢磨下一个模型要怎么做,类似这样。但实际上,规划要花很长时间,各项工作也都要持续很长时间,到最后才汇合起来做出这些出色的模型。反馈周期这么长,你们怎么做出好产品?说到底,你从八月开始规划这个模型,要过一年多才知道它好不好。大家都知道,硅谷喜欢靠指标来做事儿,但到头来,你是不是就是需要一个有审美判断力的人?
说不好意思,有指标当然很好,但我觉得创业者面临的就是在信息不足的情况下,你能把决策做得多好?但你们这个是把那种情况放大了很多倍,对吧?放大了非常多倍。我觉得 Mark 在这件事上功劳很大,因为每件事都要花那么长时间。过去这一年,也就是我来到这里以后,很多时候都是这样。而且就像你说的,在那之前很久也是这样。
你得做出非常大的投入,或者做出非常重大的决定。决定怎么投资、怎么开发技术,或者要做哪些决策,而那时候距离拿到证据、知道这件事到底有没有效果还早得很。所以我觉得,从某种意义上说,这就像是在高难度模式下创业。跟精益创业正好相反。精益创业就是你先看看能不能做出点有效的东西,然后加大投入,再看看有没有效果。
有效果就继续加大投入。做AI你没法这么干。我们已经往这些数据中心里投了很多年,很多年,很多年。而且,如果你等到看到有成效再行动,就会落后非常多。我们会有这样的对话,比如去年年底,我们说好,我们对现在的进展挺兴奋的,我们还没看到模型,但我们就要开这么一张支票,我也说不准,大概一千亿美元或者两千亿美元。
我就说,Alex,你确定这能成吗?这事儿太夸张了,整个高管团队都参与进来了。我觉得 Susan 有点把你吓到了。对,每次聊到这个,我们都会开玩笑说,对,希望一切都能成,结果也都好。但他们当时真的是去年年底,除了我凭感觉汇报一下研究进展,再给他们看几张图之类的,我自己感觉挺好,但当时确实完全不清楚它能不能成。
你们的意思是,训练前沿模型的本质就是还没发牌,你就得把所有筹码都压上,你就是得决定要开发一个前沿模型,没法一点点控制投入。到了这个规模,如果回到几年前,集群还不需要这么大,但现在就得这么大。我觉得现在开一家前沿模型实验室,让人兴奋的原因之一就是入局的筹码已经高得惊人了。而且我对这件事儿记忆特别深,连当时的感受都记得。
去年年底,我们在夏威夷。差不多是整个高管团队都聚在一起。Susan好几次把我拉到一边,说我就是想告诉你,如果这事儿不成,后果会很糟,很糟。从财务上来说,会非常非常糟糕。我真的得让你明白,这个模型必须成功,它必须得好。只要它好,那就一切都好,我们就没问题。但要是他不好,那就真的、真的、真的很糟。而 Susan,你也认识他,这倒是个有效的动力。
那是个挺好笑的时刻,我当时想,显然这笔钱大的离谱。训练要花多少钱?你能透露多少就说多少,大概是什么量级?就是你可以做个简单的计算。对我确实可以,一个一吉瓦集群我也说不准。我觉得外面能看到的估算是,运营一吉瓦的集群一年大概得花一百五十亿美元。所以要训练一个,大概要投入一百五十亿美元,是运营一个一吉瓦的集群一年。
如果你说的是建设的资本支出,那可能更接近。我是说这笔钱得先付,所以大概是五百亿到六百亿美元。但这还只是一个集群用来做训练中的一部分,还有其他所有部分做研究,不只是跑一轮训练,那部分的投入大概也差不多。因为你每做一个改动,都要从小到大,在各个规模上一路测试,直到最大的规模,然后还要把这些东西用来提供服务。
其中有些东西从某些方面来说,所以现在训练一个前沿模型要花几百亿美元。对,肯定的。我看过财务汇总,几百亿美元是个合理的估算,用来。但接下来你总得拿它做点什么,对吧?我其实觉得希望如此。我们面对的一些更复杂的问题是,好,我们正在训练这个模型,而且我们知道我们要训练它,因为这很关键。但我们觉得产品会有多大的需求?
因为现在的情况是好,产品还不存在。也就是说,你们在建数据中心为 Muse 提供服务,但产品还不存在。对,而且我们得提前好几年建,大概就是这一点。去年讨论的时候,我们都在想,田,有那么一刻,我觉得不少人都在说,对,也许我们应该稍微保守一点。然后我们就说不,我们就是要做,我们要让它成功,我们要破釜沉舟。
这件事会成功的,但即便如此,我也是创业者、创始人,在人生的不同阶段也冒过风险。我记得当时最直接的感受就是,这风险也他妈太大了。我不知道我是不是哦,无非就是风险嘛。对,扎克伯格,我觉得你很让人佩服的一点是。你真的把这个想法吃透了,关键在于赢的时候能赢多大,而不是会不会失败。失败也没关系,就是当你真的赢了,能赢多大?
我觉得扎克伯格已经把幂律彻底吃透了,很多人还没做到这一点。而且我觉得他理解得很深。我觉得另一方面是我其实不觉得风险有这么大。我是说,金额确实很大,但我觉得 Meta 在怎么利用算力这件事上是有兜底的。对,我觉得有两点:第一,只要 AI 总体上能成功,就会有很多其他人想要我们所有的算力。所以他们愿意付钱。
如果成本是,比如说每吉瓦每年一百五十亿美元,那就会是一个新的时期了。我们拿这些算力能赚到的钱会多得多,所以我觉得要让这事儿不成,光是我们失败还不够,整个 AI 都得失败。而且即使真的这样了,我们还是有很多其他用途能有效利用这些算力。所以从整体上看,我们确实是在还不知道产品能否准备好的时候就开始建设这些推理算力了。
但你们已经足够信 AI 了。所以你们说,只要 GPU 连网上电,总会有人用得上。对,但我们也相信自己正在做的东西。我觉得你看这个发展过程,先有了 ChatGPT 这样的文字助手,接着 Anthropic 把编程 Agent 做成了,但还没人做出面向普通消费者的个人版 Agent。当时就觉得这就是 Meta 应该为这个世界做出来的东西。
而且我觉得,从一开始,你我还有纳蒂就很清楚,对吧?这就是我们来这里要做的事。所以我也说不准。即使在发布 Muse 的时候,对我来说真正的问题也是,你发布一个东西的时候,永远不知道大家会怎么反应。所以,总有可能一炮打响。这次就是这样,刚推出就特别受欢迎。但通常的情况是,反响还可以,你得迭代几次,让产品符合市场需求,才会真正增长起来。
从某些方面来说,我其实觉得,这个产品也许还能增长得更快。但我们发布时还没把促进增长的那些东西都准备好,因为我们当时最可能的预期是,好,我们大概还得迭代一下,这也没问题。但我也说不准,我觉得就算得迭代几次,也不是什么天塌下来的事儿,这很正常。有些产品发布后会惨败,得花一段时间才能恢复,那就不好了。但就算要迭代几次也没关系,我也说不准。
我想,在我看来这件事儿会金额确实很大,但感觉大概会,高管团队手拉着手一起承担这个风险,会让大家更亲近吗?你刚才说 Susan 把你拉到一边,拉近关系,还是那算是拉近关系的时刻吗?压力很大,我觉得是两者都有,两者都有。对,一起面对有压力的局面,一般都会拉近关系。我觉得 Meta 有一点挺突出的,首先大部分高管都在这里待了很久,那和我真的是新人。
其他大多数人以前也都经历过很多次疯狂的局面。我觉得 Meta 这家公司特别有韧性,经历过很多在当时看来也极其令人畏惧的局面。所以可以说,大家都知道这套是怎么回事儿。这次的情况,光看纸面上的数字,尤其是我们的首席财务官苏珊丽在开会时把我拉到一边的时候,确实显得特别吓人。但我觉得大多数人的反应是没错,没错。
不过我们可是 Meta,我们会挺过去的。我觉得大家在这件事上真的有一种战友情,氛围也挺好。我确实很感激这一点,因为我觉得他们很容易就会,毕竟是公司的其他高管在经营和管理,掏钱买单,对,经营着有史以来最出色的企业之一,他们很容易就会对这整件事感到很不满。但我觉得大家也都非常期待,对。他们确实是AI能给公司带来哪些机会?
我觉得退一步看,扎克伯格作为公司的创始人和CEO,职责之一就是确保公司始终朝着自己能达到的最有雄心、最能拓展可能性的方向前进。我觉得整个MSL和AI布局有一个很棒的地方,就是它把这一点体现的特别直接。我们知道AI肯定是一项非常重要的技术,也是当下影响比较大的技术之一。但如果我们能把它做好,把它恰当的融入我们做的所有事情,而且作为一家全站科技公司,把它融入那些我们知道未来会出现的很出色的产品,那就能极大的拓展Meta的可能性。
我觉得确实是这样。我觉得 Muse 是一款特别让人兴奋的产品,它可以朝一千个不同的方向发展。深夜里,你光是想想它所有可能的发展方向,就会觉得它大概是最让人兴奋的产品之一。那扎克伯格和我经常深夜互发消息,说哦,我们可以做这个,也可以做那个,还可以采取这个行动。可以做出这款产品,我觉得这真的非常。现在是科技领域一个非常让人兴奋的时期。
对,从这个角度看,这是一片很大的蓝海。我们聊着 Muse,我感触很深。它显然让人觉得是下一个平台,一个代表你办事的 agent。你很早就说过不想依赖其他平台,在安卓和 iOS 上开发的经历让你吃过依赖别人的苦头。而且你聊到 Reality Labs 的时候,经常会说掌握未来的平台很重要。你们在 Reality Labs 上做了很多年,目的就是掌握未来的平台。
现在又出现了这种新形式,感觉很明显,未来很多实际工作都会通过它来完成,它就是未来的平台。而现在 Meta 已经准备得很充分了。对我的意思是我们并不是为了拥有一个平台本身而想拥有它,关键是能做出最好的东西。从某种程度上说,比如看看其他社交应用,我觉得 Meta 之所以好这么多,一部分原因是我们不只是做应用。
很多人觉得我们就是一家做应用的公司,我们不是一家做应用的公司,我们是一家有深厚技术实力的公司。我们能做到这些,是因为我们的机器学习水平是世界一流的。而且,所有推荐系统的运行规模,放眼全球也基本没几家能做到。我觉得在这方面,基本上就只有我们和字节跳动,而且我们会一直做到最底层的硬件。对我来说,想通过设备把体验交付的最后一步也完成,确实源于之前一段时间的经历。
当时我们没法在手机上做出我们想要的体验。但我觉得未来在提供技术体验这件事上,模型会是最重要的部分,而且重要性远超其他部分。这也是我们很早就达成共识、拉近关系的一点。我们觉得每一代科技公司里,通常不会有一家公司赢下所有东西。我觉得这次也不会是那样。互联网时代出现了五六家非常大的公司,还有一整个由其他优秀公司组成的生态。
但做的最好的那些公司都掌握了核心技术,能在那个领域最好的服务用户。我觉得下一个时代可能只有少数几家公司有能力打造最前沿的超级智能。我觉得这些公司会真正主导发展方向,也能为消费者、企业还有硬件等不同领域打造最有意思的体验。在我看来,这真的还有得选吗?不管我们做不做这件事儿,Meta大概都能继续存在下去。
但如果我们想成为一家有意思的公司,在未来发明出对人们有意义的新东西,那就得有能力从头到尾打造自己的超级智能,并把它融入人们使用的产品里。不然我看不出怎么能做到。我觉得你很早就相信这一点,基本上就是能做出这种超级智能的公司只有几家,而其中有一种是面向个人和消费者的这条路还空着,因为其他人似乎都太执着于把知识工作自动化了。
可我觉得那甚至算不上一个多有吸引力的未来,因为我们还有一个重要的信念就是。超级智能最有价值的用途是发明和创造,而不是自动化。我也说不准,就是觉得这里面有很大的空间,但你得掌握整套技术。在 Muse 充当中介的未来,各家企业需要以不同的方式做适配,支持 Muse 这会怎么发展?Muse
可能会尝试通过操作电脑来接入,但有些地方可能不太顺,所以你会希望大家都能直接完善的支持 Agent 与各自的系统交互,对吧?
接下来更大的问题是,他们可能会主动阻止 Agent 与自己交互,这可能是因为他们判断错了。其实支持 agent 对他们有利,但他们就是不愿意。也可能支持 agent 确实不符合他们的利益。你可以想象,有些企业的护城河可能很薄。全靠一种商业模式撑着,只有消费者花时间待在他的网站上,他才能成功;或者只有多收消费者的钱,他才能成功。
那他们从理性上说就应该不想让 agent 进来,因为 agent 会说凭什么?但这些企业会被颠覆。对,跟我讲讲这会给经济运行带来哪些进一步的影响。我觉得第一步是,我们已经把很强的浏览器操作能力训练进了模型,这样我们就希望任何人都不需要做什么,就能让 Muse
接入。当然,我们也在按名单逐个联系最重要的合作伙伴,愿意跟我们合作的,我们就直接接入他们的 API,这样大家用 Muse 办事效率就会高得多,速度也快得多。
效率更高是因为现在不用让一个 agent 去爬你的网站了,它直接就能运行。所以,凡是愿意这么做的,我们最终都希望能接上。我觉得再往后,随着时间推移,就像今天每家企业都有网站、社交媒体账号、电子邮箱地址这些东西一样,每家企业也都会有自己的 agent。而企业这端我们也在做,所以 Muse 的
agent 当然会和其他类型的 agent 交流,但他们跟我们的 agent 会配合的特别好,因为我们可以把他们整合的。
所以 Muse 使用网站只是某个阶段的做法,只是为了让所有人用起来都方便。我们想把它作为兜底,让大家用起来可靠,也让商家容易起步。不过打电话来找我们。希望做深度集成的商家要多得多,真正试过阻止他的商家很少。我猜那些试图阻止他的商家最后会发现,这对他们来说并不是正确的战略选择。不过看看再说吧,这件事儿会随着时间慢慢发展。
它能给他们省很多时间,它能给他们省很多钱。我觉得这些显然都对消费者有好处,所以从长远来看,显然可以预期需求会越来越多地从现有渠道转向由 agent 来完成。当然,总会有需求留在其他渠道,就像现在商业里仍然有实体店的需求,但电商的需求也很多。同样,我觉得通过 agent 购物的需求,占整体的比例会越来越大,其他渠道还是会存在,但这个比例会越来越大。
所以,我觉得从长远来看,商家需要考虑一些问题,比如随着时间推移,他们想不想参与这部分经济活动?我觉得这个领域让人无比兴奋。想象一下,未来通过 agent 购物会发生什么?我觉得非常非常令人兴奋。我记得 Patrick 写过一篇很棒的推文长文,现在是这么叫的吗?我不知道 Patrick 写推文有他自己的一套。
那些推文好像都埋在什么里面?我注意到卡拉佐夫兄弟那篇是那篇,对,那篇很长,一篇相当不错的文学分析。但我觉得这会让商业的运作方式发生一次突变。从整体来说。或者更广一点说,整个商业体系的各个环节怎么运作都会受影响。不过,我觉得说到底,这显然对消费者好得多,对客户好得多,所以自然会朝那个方向发展。有一件事很让人兴奋,我也想听听你们观察到了什么。
我觉得 Muse 是最早一批让人们把购物完全交给 Agent 的产品之一,这算是一次跨越。我觉得我们一直在聊通过 Agent 购物以及它的可能性,但现在它真的发生了。很多人信任 Agent,让他替自己买东西,而 Agent 也在帮他们找到东西。比如对我来说是很棒的茶,对其他人来说就是适合他们买的好产品。
这很让人兴奋,所以我觉得这里显然正在发生一些令人兴奋的事。它给用户带来的一个好处就是少了很多麻烦,比如我不用再挨个点开这些网站,做那么多功课才能找到自己想要的具体产品,这一步已经替我做好了,而且筛选条件也能自动应用。比如我需要一件周三之前能到的东西,那 agent 就只会找周三之前能送到我这里的东西。
这就是我想说的,关键词搜索,我们以前居然一直靠它,简直不可思议。因为按这个条件来买东西是很合理的要求。对,就是这样。所以我觉得现在能这样做了,以前找东西的方式就显得特别原始。接下来就是所谓的购物漏斗后半段,光是让下单这一步更省事儿、更顺畅就已经挺好了。而从长远来看,我们很期待的是。更高程度的个性化,说到底,我觉得Miss令人兴奋的一点就是,它对你这个人以及你生活的方方面面都有比较全面的了解,所以它能全面了解你的家人、同事、朋友,再把这些信息结合起来,帮你选出最合适的东西。
比如,根据它对你们朋友圈的了解。为你最好的朋友选一份在你们这个圈子里最合适的礼物。我觉得在这类推荐上有很多令人兴奋的机会,而且有些还是挺新颖的。因为过去很多推荐系统都各自为政,彼此隔离,所以他们没法全面了解你这个人。而 Muse 有机会提供高得多的个性化程度。我觉得大家已经看到这一点了。你让 Muse 帮你买东西时,它经常会把从另一段对话里获取的一些背景信息也考虑进来。
你有个很好的例子,对我三岁的女儿很喜欢烘焙,她喜欢做饭,所以我就想,好吧,那我也开始做点烘焙。我平时喜欢熏肉,不过为了让 Aurelia 开心,我也会做点烘焙。于是我们养成了一个很可爱的习惯,我一直在试着玩 Muse 的语音模式,它还没全面开放,但我们已经在玩了。它有一个很棒的功能,它能区分不同的声音,所以知道哪个声音是我,哪个不是我。
一周里我们会聊周末想烤些什么,他会给他提些想法,或者想出一些天马行空,并不是真正食谱的东西,拿去跟 Muse 讨论,然后 Muse 就会确保每个周六到了烘焙的时候,我都能从 Instacart 收到食材,而且会准时送到。最关键的是。如果我周六才开始准备这件事,就得把所有东西备齐,这需要花些时间。但现在只要我们准备坐下来动手,东西就都已经准备好了。
这个周末,他知道西瓜要上线了,就往购物袋里加了个西瓜,真的非常非常贴心,让人觉得很暖心。他推算出来,我想应该是订单金额还不够配送,所以还得加点东西。他就说你要,于是他加了个西瓜来凑单。对,他就问,你想要这个西瓜吗?我就说想要,我就说想要,真可爱。就是你那个西瓜,你对,就是在那个我在直播里吃了。不过直播里的那个西瓜是,那就是
Muse 给我买来的,因为我觉得他是那些是 Muse,对,那些是就这么给我买来了。
不过我觉得这里有个是,那整个场面都很适合做成梗。而那一刻尤其适合,所以这得感谢 Muse。不过,这整件事还有个有意思的地方,就是我以前其实不怎么用 Instacart,偶尔会用一下,可能一年两次用 Priscilla 的账号之类的。我专门注册了一个 Instacart 账号给 Muse 用,现在每周会用一到二次,因为我跟 Aurelia、跟 Muse 一起聊天,想出这些食谱,然后他就把食材送来。
现在。这已经成了我做事流程里的一个核心环节,所以我其实觉得这里的机会不只是说转化率能提高百分之二十。我现在成了 Instacart 的新订阅用户,以前我根本不会去订阅。我确实觉得这里有个问题,还有另一个问题,可能从经济角度看更有意思。就是这个 Instacart 的账号到底是给我用的,还是给 Muse 用的?
因为我觉得,随着时间推移,问题就在于整个商业的潜在市场规模是不是会大幅增长?因为现在不只是人了,Agent 实际上也会有账号。我觉得到了这一步,这就开始成为一个非常让人兴奋的机会。我觉得谁要是不参与进来,以后都会觉得遗憾。那你为什么还得自己注册一个 Instacart 账号?我们在 Stripe Projects 里正针对开发者要用的东西解决这个问题,让你的编程 agent。
顺便说一句,Stripe 的集成做得很好。你们在 Muse 里把这个做得很棒,我觉得我们非常,我们一直都对 Agent 商务很兴奋。显然,因为还是那句话,我们觉得这很明显就是人们未来买东西的方式。这一点很明显,一方面是因为谁都不需要实际购买环节给生活带来的那些麻烦,另一方面是用 AI 做购买前的商品研究,很早就满足了市场需求,甚至最早期的 AI 就已经做到了。
感觉让 AI 操作电脑就是实现这件事儿所需的最后一个重大突破,因为现在你基本上想买什么都可以让 Muse 去买,它会通过操作电脑自己想办法搞定,所以它就像是一个终极的向后兼容层。对,挺这一系列事情,Nate 真的特别上心。我觉得 Muse 很大一部分神奇之处就在于这些功能很多都能顺利运行,所以很明显,要是这些功能的可靠性都差一点,用起来就会烦得要命,没人会用,大家直接就把这个应用删了。
所以我觉得这么多功能的可靠性已经到了能顺利运行的程度,这就是它很大一部分神奇之处。你刚才说纳特别上心的是什么?纳不是那种什么都特别上心,对他这个人就是对什么都特别上心。对,确实很棒,很棒。不过把这个体验做好,我觉得是他和团队里一群核心成员特别关注的事。说起来挺有意思,我记得有一次和 Patrick 吃饭,应该是 2023 年,他问我,你觉得我们在 AI 方面该做些什么?
我就说,哦,在 Agent 商务这件事上,你们已经落后很多了,你们得把这些事儿搞明白。Agent 会去买东西,而你们还没准备好。不好意思,这是你对 Patrick 说的,还是 Patrick 对你说的?是我对 Patrick 说的。明白了,因为 Patrick 当时很客气地问,你觉得我们该做些什么?
然后我就很急切地说了一大通,我觉得挺有意思。当时那就像谢谢你,当时刺激了我们一下,起作用了,方向上是对的。不过那是什么时候?早了三年,我记得是在二零二三年。确实,看 Stripe 的 Agent 商务数据很有意思,因为我们开始开发这些东西。五月在 Sessions 上公布了一大批消息,但基本上直到九月数据才开始直线上升。
Meta 正在打造能力越来越强的模型,包括 Muse Wonder,他们的模型和其他数百个模型一起都可以在 Open Router 上使用。Stripe 已经同意收购领先的模型网关 Open Router。Open Router 每天转发的 token 已经超过十万亿。通过一个 API
就能处理使用不同模型时的大部分复杂问题,让你更容易尝试不同模型,找到有竞争力的价格,还能在服务提供商发生故障时自动切换到其他服务。
到 Open Router 点 AI 亲自试试吧。嘿,你能订一个西瓜送到 Stripe 在南旧金山的办公室吗?我正在这里录播客,这样会挺好玩的。Funny podcast idea. I'll check that watermelon delivery now. 太好了,看看进展怎么样。这其实带出了一个有意思的问题。
大家一直在尝试造出 How 九零零零,它开始干活了。我真的很喜欢这个,我觉得这个细节特别棒,看起来就像他在笔记本电脑上噼里啪啦的敲键盘。我特别喜欢应用里的这个设计。就放着吧。对,就把它们放在那儿吧,看看能弄出什么来。这不太好值起来。好了,很长时间以来,大家都在尝试实现用语音和电脑交流的AI愿景。苹果大概在2014年、2015年之类的时候推出了Siri,各种AI产品有语音模式,显然也已经有几年了。
为什么这么难?现在还是没实现。如果你正在开车,想看看烘焙的东西怎么样了,或者改个会议时间之类的,你其实大概还是不会用语音来做。我是说,现在用你们最新的这个东西,可能差不多可以了。对,有很多,但一年前你不会用 Siri 来做这些。我们现在这段对话其实就是一个很好的例子。我们会同时说话,互相打断,而且我也说不准你用不同的语音,只是技术上的限制吗?
所以我们才一直没做到。我觉得有几个原因,一个是你其实希望他能去做事,所以有个问题,你跟他说话,就算他听懂了,接下来要怎么做?另外,我觉得还有很多问题跟人们的对话方式有关。通常不是说我给一个 prompt,然后我等着你来说,就这样一来一回。你用语音模式跟 agent 聊天时,有多少次会遇到这种情况?他开始说话了,但我也说不准。
我就感觉,要是我停顿三秒,他就会觉得我说完了,想接着说。可如果他开始说了,我又插话,他会不会以为这是一个全新的问题?我觉得这种对话中的互动有很多地方需要处理好,但还有另一个问题,就是总体来说用语音表达,你能很快传达很多内容。可说到接收信息,让别人讲给你听,效率特别低,跟看视觉信息相比,效率就很低。所以我觉得这也是我们做这些界面的部分原因。
我想他应该正在处理任务,现在大概可以发出去了。所以我觉得理想的界面可能不只是纯语音,虽然我觉得你用语音来表达还是挺有用的。对,我觉得语音输入显然已经在爆发式增长了。我觉得就连写代码的时候,你都能看到这种情况。对。大家在跟他们说话,对对,大部分研究员就是对着键盘小声说话,因为就像马尔刚才说的,这样能最快把脑子里的想法表达出来,或者说通常是表达想法最省事儿的方式。
顺便说一句,我觉得最极端的例子可能也是最有意思的,就是现在大学生使用AI的方式,我觉得一种很常见的用法就是他们会一股脑的说上十到十五分钟。完全是意识流脑子里的思考过程,还有各种想法全都说出来,然后让 AI 整理再推断他们的意思。对,让 AI 来做这些整理,把内容汇总起来,把一切梳理出结构,挺有意思的。
我觉得这是一种很有意思的技术使用方式。不过我觉得语音输入已经很普遍了,我确实觉得 Agent 带来了很大的变化。因为我觉得人们对它的理解完全不一样了。如果你对话的对象只能提供信息,那你显然会遇到一些情况,觉得它根本没用。而现在它能帮你做事儿了,这就更接近跟一个人说话的体验。所以我觉得跟AI互动时有各种有意思的恐怖谷效应。
在他们还不能采取行动的时候,这种互动总让人觉得有点奇怪。现在我们有了 Agent,我觉得 Muse 很棒的一点就是它把好几样东西结合到了一起。我觉得 Muse 有个具体的形象,是个让你觉得在替你干活的小家伙。产品能以这样一个形象出现,而且让人觉得自然。连贯也是因为他有持久记忆,能帮你做事,能采取行动,还有一点自己的个性。
正是这些东西结合在一起,才让这个赋予他具体形象的想法成立。而且事实证明,其实这就是眼镜的实际情况,对吧?对,很多人就算他没有显示屏,或者只有一块小显示屏,也想要,光有摄像头和音频功能,这个产品就已经够实用了。对,而且我们已经开始出货带显示屏的眼镜了,它不是那种视野很宽能实现完整增强现实的眼镜,我觉得那种也会很棒。
但就算只是小显示屏,也已经很强大了。所以我觉得你会开始在眼镜上体验到一些有意思的完全多模态的交互,也就是语音输入和输出,它能看到你看到的东西,也能在屏幕上画出内容。我们在这方面做的另一件令人兴奋的事,就是 Muse Gadgets。我觉得它真正让整个生态都能放开手脚,尝试各种很酷的设备类型和形态,这些可能会让人很兴奋。
发布之后,甚至已经有好几家手机厂商来找我们聊,非常兴奋,说我们打算直接把 Muse Gadgets 集成到手机里,看看效果怎么样。我们对此也很兴奋。我觉得现在这个技术阶段很棒的一点是很明显 Agent。确实让人兴奋。很明显,它应该能让很多事情变得可行。你们会重新做家用设备吗?这显然是个个人设备,但我们在新冠疫情期间其实用过 Portal,Portal,Portal,Portal。
对,就是这个。终于轮到 Portal 登场了吗?我们刚推出的小设备里有一个小小的 Home Link,它大概就是一枚五美分硬币那么大,不过带一个 USB 接口,所以你基本上把它接上,你的 Muse 就能连接家里的所有东西了。其实这也是最好玩的事情之一,就是让它连上你的 Sonos,再连上家里所有的灯。
我基本上就是让它在晚上我该开始放松的时候,把全屋的灯都调暗,感觉挺好的。我们要怎么为 AI 的建设投入筹钱?大家都在担心谷歌的自由现金流变成负的了。你们又在说 EGB 几瓦,然后五几瓦之类的。Meta 的自由现金流还没变成负的,但总有更多资本支出需要资金。所以答案是什么?Susan Lee 在哪儿?
就是啊。不是,你看,我觉得这会有很多创造价值的方式。所以具体到 Muse,我们想让它得到广泛使用,因为我觉得等规模上来,大家开始能跟彼此的 Muse 互动时,就会产生一些有价值的网络效应,这会很棒。所以我觉得这些都是我们希望它达到很大规模的原因。另外,我们刚才还在聊合作伙伴,用的人越多,合作伙伴就越愿意接入。
所以,如果我们能把规模做起来,它就会更有价值。最好的办法,基本上就是采用一种让大家用得起、可以免费使用的模式。不过,我觉得我们可以通过很多方式扩大收入,订阅会是其中很重要的一项。基本上,基础版免费,而且我们希望免费版也非常出色。并不代表所有功能放进免费版,在成本上都划得来。所以前面我们也说过,如果你想明天就开始在 Music 里用 Music Wonder,那就需要付费订阅。
所以我觉得这会是一门大生意,还有不少跟商业有关的事情,我们也很期待。我们相信,用 Muse 确实能帮人赚钱,也能帮人省钱。随着时间推移,会有很多不同的方式,让我们从帮大家省下或赚到的钱里抽取一小部分,最终这会成为一个非常大的收入来源。然后还有其他各种事情,你觉得对大家来说,Muse 总体上会是负成本,因为它能帮他们。
现在已经有很多这样的例子,我觉得很有意思。有人会说,去翻翻我的邮件,找出那些我其实没在用的订阅,把它们取消掉之类的。对。我不知道我们会不会靠这个赚钱,但你大概明白我的意思了。还有他怎么帮你赚钱?我们讨论过一个想法,这件事你一直特别上心,就是给小企业提供一套开箱就能用的经营工具,帮他们管理业务的各个部分。
你可以想象这会很有价值,而且无论对企业主还是 Meta 来说,都能带来很可观的利润。不过我觉得有意思的一点是,如果我们为了做个人 agent 和企业 agent 去开发模型,这里面会产生很大的额外价值,因为这个模型现在的通用性很强,所以它能做的不只是这些事儿,我们也会提供 API,这也能赚钱。我们想启动 Meta Enterprise Platform,并请 CJ Design 加入我们来打造它。
很大一部分原因是我们有这样一个想法,好吧?对,确实,一直以来 Meta 都不是一家做企业业务的公司,但我们相信挑战中很大的一部分是先把领先的模型做出来,这些模型的通用性很强。等我们做出来,再投入大量资源组建企业业务团队,按照企业需要的方式提供这些模型。我觉得很多企业都会想用 Muse Wonder 这个模型会很出色,价格也实惠,所以我觉得这最终也会成为一门很大的生意。
所有这些加在一起,再加上我们一开始就是一家利润很丰厚、信用也很好的企业,能够为这些大规模投资提供资金支持,我觉得这让我们作为一家实验室处在相当有利的位置。我们能建起开发领先产品所需的算力,围绕它建立网络,让公司在未来几十年里都能真正引领这个领域。你觉得这些产品最终会带来很多收入,所以用不了多久就能靠自身收入支撑投入了。
对,你这个回答比我的短多了。不过你是说大家第一?如果问题是我们能不能靠这个赚钱?对,答案最好是能。我觉得从历史来看,能,答案是能。但从历史来看,开支都很集中在前期,对吧?我觉得回顾AI这个行业的发展,某种程度上,大家一直都在担心。这些公司到底怎么赚钱?而且我觉得每年实际带来的收益通常都会让大家感到意外。
结果发现,超级智能是是有用的,价值极高的。对,没错,这基本就是 Meta 的整套打法。我们做出一个东西,让十亿人用上,再扩大它带来的收入。而在这期间,我们的收入增长主要靠那些已经有规模还在增长的业务继续扩大。我觉得这也是其中一个因素。Dario好像也说过这一点。总体来说,开发这些模型需要提前做大量规划,所以你看,任何一个时期的研发开支,其实都是好几代模型的研发开支叠在一起。
这些模型需要花很长时间来做,等到最终交付时,你才会看到巨大的回报。Museber系列模型就是这样。还是那句话,我们很早就开始做这些模型了。现在通过Muse这款产品,看到消费者的使用增长的非常快。还有一点,我们会用这些模型来加快核心业务的增长。所以,你有一项规模达到几千亿美元,而且还在飞速增长的核心业务。
如果现在能用这些模型来推动业务,让增长再快几个百分点,那在扩大规模的过程中,这也能为其中很大一部分投入提供资金。Meta 的核心业务简直就是世界第八大奇迹,这是一门特别好的生意,确实非常非常了不起,而且增长速度相当惊人。对,这门生意你们真是做得太好了,Alex。我觉得你也提到了一个问题,会计处理上有个有意思的现象:如果你去建一个数据中心,就会产生资本开支,你可以在长达多年的使用寿命里逐年计提折。
就大家会争论使用寿命到底有多长,但关键是你确实可以计提折旧。可 AI 的很多成本也是研究人员的工资,这些工资投入的是模型训练,模型同样能用很多年,但这些开支一般不能资本化。跟不少花钱用云服务的公司相比,我们自己建数据中心在财务上也有这个优势。他们每年都要付费,而我们的 GPU 到某个时候就会折旧完,但我们大概还会。
继续用一段时间。现在就连 H 一百的价值都比去年高,只是因为如果算力一直供不应求的话,我觉得。关于 OpenRouter,你们有什么建议给我们吗?我们已经达成协议要收购他们,交易还没完成。对,我觉得从模型上,尤其是正在开发的前沿模型上,我们开始看到一些变化,比如 Muse Wonder 跟 Fable 或 Astro 相比。
我们的重点其实开始朝着很不一样的方向走了。我们这次聊天也讨论过,在模型开发过程中有很多有意识的选择,这跟其他模型侧重的方向确实不同。所以,当这些模型都被归结成同一套基准测试上的表现时,就会掩盖掉所有对。这一点说得很好。不同模型之间那些有意思的细微差别,所以总体来说,我觉得 OpenRouter 有一个很让人期待的机会,就是帮助开发者理解这些细微差别,让他们在最终选择模型时能充分了解情况,做出决定。
你也可以想象,反过来有这么多开发者在用这些模型,那他们就很适合回答。不同模型在文本上有哪些有意思的差别?他们能说的会比一条推文长,比这个模型好,那个模型差,这种程度的见解更深入。我觉得这就像葡萄酒侍酒师一样,去理解模型以及他们各自相对的长处和短处。这会很让人期待,所以根据你们的经验,OpenRouter认为未来会有各种不同的模型,针对不同任务做优化。
而且我同意这个看法,没错,这就是你们根据自己的经验得出的。对我们关注的事情不一样。据我观察,我们比其他主要实验室更关注服务个人工作需求的agent,这是好事儿。经济活动中就应该有差异化,某种程度上这就是资本主义的意义。你刚才是想说什么吗?没有。我就是特别赞同这一点。你们在做 Open Router,而且能把它的规模做起来,我很喜欢这一点。
部分原因就是我觉得,总体来说,能开发出越多基础设施支持生态里各种不同的参与者,就越好。也因为同样的原因,我很赞赏英伟达最近一些支持开源生态的举措。不不不过,这其实符合我们一直以来的理念和想法。一个好的未来应该是什么样的?我们觉得好的未来就是通过让人们拥有更强的能力来实现繁荣。这就是我们在做的个人超级智能。
不过,也有面向企业的一整套版本,但在很多重要的安全问题上,我们认为要实现这个目标,就需要多样性,要有很多不同的东西供大家使用。形成制衡,而不是只有几个好模型掌握在几家公司手里。在我看来,跟很多人都能用上不同的东西相比,那种格局对未来来说可能风险更大。你们有没有想过为什么会这样?我感觉大家原来可能更多的预测 AI 会出现赢家通吃的局面。
或者有一家明显领先,比如二零二三年大家讲的一种故事是,一家AI实验室会开始取得优势,这个优势会让他们启动递归式的自我改进,然后跟其他人的差距就会越拉越大。但竞争一直非常激烈,有好几家都处在最前沿。你们今天也带着 Wonder 这个前沿水平的模型加入了。总体来说,开源模型也一直跟得上,表现很出色。所以几年前我们还觉得会有一家遥遥领先,独占成果。
为什么这件事没有发生?我觉得背后有很多原因和机制在推动这个局面,其中一个肯定就是执行力。我觉得任何一家前沿实验室都有执行的好和执行的差的时候,所有实验室都这样,所以时间一长,这些起伏就会相互抵消。说的很外交,是不是有些领先的公司搞砸了?我觉得,如果每家公司在领先的时候都能完美执行,那他们大概就能一直保持领先。
所以,我觉得这是一个因素。我觉得蒸馏的强大效果肯定是另一个因素。开源生态确实从中受益很大,而我觉得这只是一个模型蒸馏这种现象里有一股对抗霸权的力量。对,这就是这项技术本身的一个特点,并不是谁事先计划好了让蒸馏的效果特别特别好,只是结果发现通过某种形式的蒸馏,自然而然就能获得很多能力。总体来说,蒸馏对整个生态很有好处。
因为这意味着你可以把很强的智能能力装进越来越小的模型里,让我们能在更大的范围内提供这些模型。这确实是很让人兴奋的一点。如今,很小的模型都比一年前或两年前最大的模型强大得多。最后一点是我其实觉得生态里的很多人都希望未来的结局不是整个资本主义世界最终只剩下一家公司,我觉得这是其中一个原因。不只是个人,还有公司在真金白银地投入。
对,我觉得这其实也是当初很多人很想加入 Meta。加入Meta超级智能实验室的原因之一,他们就是觉得我想去一个专注于把这项技术带给几十亿人的地方工作。其他前沿实验室公开提出的目标不一定都是这个,所以我觉得这里面有很多自然而然的力量。行业里的很多人都在思考,我到底想生活在一个什么样的未来世界里?大家在各个层面做的很多决定,比如去哪里工作、跟谁做生意、做哪些交易,都在推动结果变得更均衡。
你说到了一些 Meta 超级智能实验室创立时的事儿,这也是我想问的。感觉这件事儿从根本上还是很难。刚才我们聊了开发一个前沿模型需要什么,但还要从零起步。Meta 超级智能实验室是什么时候开始从零起步的?我们在四月四日发布了 Llama 四,我记得是二零二五年,对吧?然后我想想是四月二十日还是二十一日,我开始打电话找人请教接下来该怎么办。
我记得当时我在开员工会议,收到了 WhatsApp 的通知,问我有没有时间通个电话。我就想,现在有意思。所以 Meta 超级智能实验室成立两年多一点了,不不一年,一年。你说的是二零二五年。对哦,现在是二零二六年,现在是二零二六年哦。不好意思,我活在未来了。对,对你活在未来,Meta超级智能实验室成立一年多一点了。
现在过了一年多,回头看,你们觉得团队能组建起来哪些东西起到了AI爱说的那种支撑作用?我觉得早期有这么一件事,就是我们首先得把核心团队凑起来。那 Alex 和我一开始聊了一些,最初就是一起想点子。我跟 Nate 聊有没有办法设计一个安排,让 Alex 的股东也能获益。同时,我们能把他请过来,然后我们讨论计划该是什么。
当时我基本上就是到处问不同的人,我们应该怎么做。而每次我们聊完,我都会带走另外三个想法,觉得。哦,对,这就是我们该做的,聊的都是很有价值的内容,战略思路也非常清晰。怎么说呢?我们一起想点子,做这件事做了一阵子,然后 Nati 和 Daniel 加入了,我们也找来了最初的几位研究员。不过一开始有点像超新星一样,我们就把一群人聚到了一起。
怎么说呢?我觉得头几个月我们俩都没怎么睡觉。说实话,那段时间我几乎有点记不起来了。我差不多把一到两个月的日程都清空了,就一直跟研究员见面聊天。我记得,甚至在我们宣布你要过来的那笔交易之前,你就已经在招人了。大家都在问这到底怎么回事,这是在干什么?不过还有一个问题就是,数据标注这件事儿很需要亲力亲为,对。
但当时还有这么一个问题:如果我们对目前这个项目的发展方向不满意,那接下来应该由哪些人来带领这个项目?这些年来,Alex 和我聊过很多次。可能每隔几个月之类的,我们就会聊一聊他从战略角度思考问题的方式,一直让我印象很深。我当时的看法是,他现在做的是一门非常依赖日常运营的数据生意,但在我有机会认识的同代创业者里,我一直觉得他是最敏锐的那个。
我总会想,这个人他经营着一门日常运营特别费劲的生意,但顺便说一句,这门生意还是很棒的。你说什么?我们可是大投资方。我更多是在说这门生意有多难做。Alex,当你经营的是世界第八大奇迹时,很多生意看起来都会是日常运营特别费劲的生意。这只是我的看法,就是很费劲,很费劲。不不不,不过我当时就是这么想的。我觉得可能我们刚开始的时候,很多人都在想,行吧,这到底要怎么搞?
就好像是一个做社交媒体的。人跟一个做数据的人一起干,我们这是要建个前沿AI实验室,还是怎么着?但我当时真的特别坚定,因为我跟各家实验室的负责人、研究主管这些人都聊过,我就想不Alex就是我们要找的人,他他妈的就是那个人。我们能组建起一支团队,招到做这件事需要的人,而且我们需要他那种清晰的战略思路,知道我们想用哪些不同的方式来推进,需要他对人才密度那种极度的重视,也需要把我们这段时间一起形成的不同于以往的愿景传达清楚。
还有一些做法,我觉得挺极端,但基本上都奏效了。比如这种非常扁平的文化,就是你特别执着的一件事儿,对吧?直接向你汇报的人有多少来着?快两百人了,实际操作起来也没那么极端。我记得还是有团队负责人这些人的,我的秘书会帮我管理他们。对,但有一系列事情你很早就提出来了,我当时就想好,这有点极端,但方向看起来是对的。
我们应该去做,我也去跟其他人聊了。就是通常你会想到的那些人,他们的想法我也说不好。就是你能预想到的那种大公司的运作方式,我就想不,我们想做的事情是。听你这么讲,我想指出四件事儿。我觉得连其他很有主见、很能干的创始人兼CEO都未必会做。第一,你直接说公司里一群人最近那一轮努力失败了,做的不够好。我是说你说的比这委婉,但成立这个,我说的是发展轨迹,说的是那个对对。
但你成立 M S L 这个举动,大家都能读出言外之意。有时候你得把团队重新组起来,这是第一件事。第二件事,你愿意花一大笔钱,多得吓人,实际上就是为了人才。你花很多钱把 Alex 和其他一些人请过来,尤其是为了 Alex,花了非常非常多的钱把他请过来。第三件事,还有这家非常不错但经营起来很费劲的公司的百分之四十九的股份,对,没错。
咱们得把事情说清楚。还有这个第三件事儿,我得指出,Alex以前从没训练过前沿模型。所以你在一定程度上是在压住 Alex 的潜力,赌他能做成这件事儿。他在 AI 领域做过一些事儿,但 Alex 没有冒犯的意思。你确实没做过他们这次请你来做的这件具体的事儿。然后第四,你说你把日程全清空了,整整两个月就只做这件事儿。
我觉得很多 CEO 还是会去做业务复盘、处理董事会的事儿,还有客户那边的事儿,诸如此类。这四件事在我看来都挺有意思的。我觉得很多 CEO 不会这么做。对,确实挺有意思。我确实觉得有一点你自己可能没意识到,但我觉得扎克伯格很特别的一点是,一旦他认定某件事儿是对的,或者觉得某件事儿有道理,他就会把所有事情都彻底调整过来,跟他认定的这套想法保持一致。
就像你说的,我觉得大多数创始人即使非常成功、很有主见、很敢打破常规,还是会顺着惯性走。大概就是,哎,我原来的日程还都排着呢,那我就嘴上说说要做这件事儿,希望有人去做。但我觉得扎克伯格一旦认定某件事是他必须做的,或者很有道理,他就真的会去做。从这个意义上说,他的学习率可能非常高,他很愿意把整件事情都转个方向,跟这个想法保持一致。
还有一点,我觉得大家远远低估了,就是为了支持 M S L 公司,有那么多部门也得跟着转向,而且调整幅度很大。我觉得,虽然这算是在大公司内部用更像创业的方式做事,但 M S L 的需求仍然非常大。我们在基础设施方面需要大量帮助,我们需要建起这些大型数据中心,我们需要公司其他很多部门提供大量支持。尤其是随着 Muse 取得成功,我们也需要跟公司其他部门开展大量深入合作。
我觉得这件事能做到,可能就是因为扎克伯格既是创始人又是 CEO,他能确保我们从全公司出发做整体优化,把 Meta 推向一个全力投入 AI 的版本。而组织自然的惯性是没完没了的各自做局部优化。不过,我们合作的方式里还有很大一部分是这样。对我来说,深入了解这项工作的细节很重要,这样我们才能调动公司各个部门去做我们需要做的事。
所以,我会对这些事情有自己的看法。但我不是研究的牵头人,我觉得我们能配合得好,很大程度上就是因为我们都深入参与这些事情的细节。但管理实验室是一件大事,为了支持这项工作,管理好公司的其他部分也是一件大事。我觉得缺了这两部分中的任何一个,这件事都很难做成。我们当初组建这一切的时候,有一点我觉得很重要。我们 Meta 公司投入了大量资源来成立 MSL,然后非常明确地告诉所有人:大家听好了没有?
截止日期,我们会按合适的节奏来推进。我觉得从一方面来说,这可能会让人非常害怕。你刚成立了这么一个花钱极多的部门,然后告诉所有人,大家听好了。而且在这么一家大公司里,你会担心,好吧?也许要到七年后才会有点变化,对吧?对,完全是。但我觉得首先重视人才密度。招来这么多特别聪明、已经做出过很多了不起的成绩的人,有一点很棒,就是大家都很有动力把成果做出来、发布出去。
大家都想在这个领域留下自己的印记,可以这么说,所以大家都很有内在动力,想尽可能快的推进。有一点挺好笑,我也得不断提醒团队,我们这支团队里有很多人,虽然成绩出众,却总是对自己没信心。所以不管什么时候,只要我问他们,哎,你们觉得三个月后我们能做到什么程度?我得到的回答总是最太糟了,史上最差的模型,都是这种特别悲观的回答。
然后我就把它记下来。三个月后,我就说:“哎,我们刚刚发布了这个模型,来,我给你们看看。三个月前,你们每个人都说我们现在会做到什么程度,而这就是那这有没有让他们变得更乐观一点?还是没有?没有,他们还是他们对自己要求很苛刻。我觉得他们不是对什么很悲观。我觉得大家一般都对 M S L 挺乐观,但对自己做的项目要求很苛刻。
我觉得这其实是挺健康的一种状态。”但这种趋势还在继续,我觉得从很多方面来说,Muse Wonder 对所有人都是一个了不起的里程碑,因为它是一个团队对它要求非常,非常苛刻。就是一路参与研发他的那个团队,你们是什么时候知道 Muse Wonder 做得不错的?这个问题问得好,中间会有各种各样的。你往烤箱里瞄一眼,感觉就是不好说,好像还是黏糊糊的。
对,回到这个问题,在整个过程中你能得到各种中间信号,看进展是好是坏。那这些中间信号是什么?预训练的时候有很多基于困惑度的评估,预训练有一套不太一样的评估方法,能帮你判断进展。然后到了强化学习阶段,就有那些比较传统的基准测试来帮你。不过,这个模型就像你说的,已经在烤箱里待了挺长时间了。我觉得 AI 研究最有意思的地方之一,就是很多时候大家只是眯着眼看一堆点,然后说。
看起来不错,或者看起来有点不对劲。最有意思的一件事儿就是有人拿着量角器,实物的量角器,把它贴在显示器上的几条线旁边量角度,然后他们就 AI 还没抢走这份工作,没有,更多还是凭感觉在推动。不过我记得我们聊过一次,当时你是什么时候知道它不错的?预训练结束之后,我们讨论过一个问题,就是要做多久的强化学习,它才能超过 Museberg?
我记得预训练团队的人当时想让大家有个合理的预期,他们说:“你看,有时候这得花点时间。”结果马上就超过了,所以我们就说:“我觉得我们走对路了。”对我来说,那算是我觉得大家开始,我觉得这几个月来我们一直都挺期待他的。对,不过还有很多事要做。不过回到最开始,我觉得把这件事做起来,有一点很有意思,也很有挑战,就是你真心想让这个团队里高手特别集中。
所以我们从 Meta 内部调来了一些最优秀的人,也招来了很多最优秀的人。你之前问过 Alex,不一定训练过这样的模型,但对我来说很重要的一点是,那些最优秀的人都特别想跟他一起工作。我相信你做很多事情的时候也会看到这一点,就是大多数人都不只有一方面的能力。也许你现在做的是某一件具体的事,但你能不能成长、拓展自己的能力,很大程度上取决于不同领域的优秀人才愿不愿意来跟你一起做不同的事情。
对,优秀的人能吸引别人追随。对,所以我觉得这里有一点这个因素,但还有一点,就算别人还不认识你,也不了解你是个什么样的人,你是不是也能让人觉得你很出色,很有吸引力,愿意来跟你一起工作?大家是不是能放心相信你会创造出这样的环境?我觉得你很早就把这件事想得很周到了。有些事情我觉得你已经有了很完整的想法,认定我们应该怎么做。
不过我也记得最初跟人聊招聘的时候,我们也是一边聊一边调整,比如我们跟这个人聊的这种安排不太行。但这个人看起来不错,而且他有这么一个想法。我们就是这样边聊边把愿景逐渐拼起来,弄清楚这个团队应该是什么样。我想你肯定记得,我觉得变化最大的一点可能是你已经有了人才密度这些方面的概念,但我们一开始并不确定。是不是得彻底重建,对吧?
这基本上是从我们出去跟很多最优秀的人交流时开始的。我们意识到要让这件事儿尽可能有吸引力,就应该让人感觉我们是在从头重新开始。当然,我们也会从 Lama 团队、菲尔这些地方吸纳很多优秀的人,但我觉得这是一个很有意识的决定。我们在跟最初那批人交流,了解怎样才能吸引他们的时候,逐渐想明白了这一点,你也想明白了。
结果证明这个决定很明智,对实验室的文化和起步方式都产生了很大的影响。不过,能这么灵活地去想清楚这个团队到底应该是什么样,不是那样的,我觉得这是一种很少见的特质,这是很有创业精神的一种特质。当时我在想,这个领域会不断发展,那对于一个要把实验室带好的人来说,什么才重要,并不是看他是不是精通最新的某种模态或者实验室用的某种训练技术。
而是看这个人思路是不是清晰,能不能像创业者一样不断更新判断、采取行动。我觉得这个领域本身就非常需要创业精神。这次经历有没有改变你对从外部寻求人才和想法的价值的看法?你们这次重建招来的很多人都来自外部,比如 Alex、Nat、Daniel 他们。而且你刚才也说,你们是汇总了业内研究人员的看法,借助这些外部见解来判断是否需要重建。
那你觉得以后做其他不相关的项目,你还会沿用这种方法吗?因为大公司显然有一种风险,就是大家都说哦,我们的方案很棒。对,给你看看我们那份一百页的方案文档。这次我们要做的很多事,就是让公司其他很多部门转变方向,比如基础设施团队现在就在建这些巨大的计算集群,来支持这件事儿。这显然是件大事儿,所以公司里很大一部分都得转向来做这件事儿。
显然,这种事儿不能同时做太多,最高优先级只能有一件事儿。不过总的来说,我觉得这让我乐观了一些。我们请来了克诺沙,我觉得他是印度最顶尖的创业者之一。他之前在打造Cred这家很棒的公司。现在他在负责 WhatsApp,我一直觉得 WhatsApp
应该在商业交易方面多做一些,我们在这方面做的还不够。印度又是我们业务覆盖的国家中最大的一个,不过这次情况有点不一样,因为我们并没有让整个公司都转向 WhatsApp,我们只是想给那里注入更多创业的活力。
这次重建的难度,如果满分是十分,那就是十分。我不想用过去时来说这件事。好像已经做完了,因为他现在的难度仍然是满分十分里的十分,不过我觉得需要配合好的环节太多了。涉及的范围相当广,我觉得这不光对做这件事的人来说很难,也确实给公司其他部分、给公司的财务模型带来了一定的压力,所以我不想把这两件事混为一谈。
来,有新鲜血液是好事,有了解公司情况的人也是好事。你刚才说到那些在 Meta 待了一段时间,了解公司起起落落的人,怎么说呢?如果你在 Meta 干了十年,那真是见过不少破事。我们经历过很多困难的时期,我觉得了解这些背景也很重要。不过我觉得这里很多事情就是在尝试,每次组建团队是 Alex 对团队应该是什么样,有自己的一套想法。
我想我对带领这个团队的人应该是什么样,也有自己的一套想法。做了一年多,看起来还可以。首先尝试一种不同的做法本身就挺好,而且这种做法也跟其他所有人的都不一样。我觉得还有其他几个方面也值得提一提。我们决定必须彻底重建时,一个主要依据来自外部,不过还有一个依据。其实我不记得有没有跟你讲过这个故事。我刚加入时参加的头几次会议里,有一次是跟原有团队的几个负责人一起开会。
我说,我觉得我们首先要做的是在某个时间点之前训练出一个很好的推理模型。我不知道具体什么时候,但这显然是最重要的里程碑。团队里有个很重要的负责人,现在已经不在 Meta 了。他当时说:“哦,我们不需要推理模型,我们的用户需要推理模型吗?”我觉得我们不需要做推理模型,我们做个普通模型就行。那一刻我心里一沉,糟了糟了,我进错公司了。
我当时就想:“哦,我得往回退个十步。”我觉得这算是件挺有意思的小事儿。我记得开完这次会,我给纳特打了个电话,我说:“纳特,他们刚才在会上是这么说的。”但我觉得这件事具体反映出一个问题:扎克伯格跟外面的人交流时,我想他也开始意识到了这一点,就是公司的领导层需要更相信AI,更积极主动地去看这项技术发展得有多快,会往哪里走,有哪些可能性。
说到底,就是要对AI的潜力有远比以前更坚定的信心。我觉得随着扎克伯格开始转向,把整个公司往这个方向带,事情就很清楚了。我想扎克伯格开始深信 AI 的潜力,大家也都看出来了。于是大家都意识到,哦,公司要往这个方向走。然后我觉得原来的很多领导很快就领会了,也做出了改变。比如负责 Instagram 的 Adam Mosseri,他自己用 Vibe Coding 做出来的一套个人小应用。
在我见过的这些东西里,既是最美观的之一,也很实用。我觉得他在这个方向上确实已经走得挺远了。我觉得 Meta 很多待了很久的领导适应能力都很强。我觉得这也算是接着刚才的话说,他们经历过技术变化非常剧烈的时期。现在 AI 的变化可能比过去那几波剧烈五倍十倍,发展速度也快五倍十倍。但我觉得他们已经很多次适应了新的趋势,所以其实我印象很深的是 Meta 很多领导转变的这么快。
拿我刚入职时跟他们聊的内容和现在跟他们聊的内容比一比,就能看出来,他们现在都特别相信 AI 的潜力了。对,说实话,Meta 是世界上规模最大的公司之一,在这么大的公司里能做到这一点,真的很了不起。对我们很快就让他们转过来了。不过,就像你说的,开始写代码就会有帮助。但我觉得我们想建立的文化里很重要一点,也是我们聊到你有这么多直接向你汇报的人。
重点并不是有这么多人直接向你汇报,而是没有不懂技术的管理者。所以我想你也不会说你能同时给两百个人提供大量的管理支持,这并不是这种做法的特点。Alex是出了名的爱跟大家聊职业发展,还会关心大家的情绪。问问你最近怎么样?我觉得研究人员都很清楚,有这么一种常见的情况:你原来技术很强,后来转到一个不用再深入细节的岗位,很快就会变得不懂技术或者不太理解技术了。
这个过程可能比你意识到的快得多,这挺危险的,尤其是在变化这么快的领域。所以我觉得整件事就是,你得保持技术能力,大家得用 agent。大家应该写代码,我觉得这一直是整件事里很重要的一部分。你们俩有没有过什么特别好笑的分歧?我们分歧很多,对,直到最近我们还在琢磨取名字的事。说到取名字,倒是可以回头聊聊。
这是我欣赏 Alex 的一点,我觉得这又回到了你的理念。你在 Scale 的时候聊招聘,就说过要招真正在乎这件事儿的人,对吧?我记得你那句话里还带了点脏话。不过我发现 Alex 还真是在乎,不,这也是我当时看中的一点。我觉得这真的很重要。我觉得把这么多各有才能但又都很有主见的人聚在一起,像超新星一样爆发,结果之一就是会有有意思的争执,也会有让人不愉快的争执。
但在一定程度上,我更希望大家为自己相信的东西据理力争,争论起来,而不是觉得自己只是在盲目执行什么。大家得觉得这是自己的事。扎克伯格当老板跟你预想的有什么不一样?我没多少其他老板可以拿来比较,那我现在可以走了。对,没错,不是,过去这一年跟扎克伯格一起工作,很棒的一点就是能看到他到底有多大胆,还有我们刚才聊到的那个特质。
一旦他真正接受了某些信念,他就愿意改变以前的做法,转向与这些信念一致的世界观,而且转变的速度和幅度都很大。我觉得总的来说,这些特质都挺少见的。即使在创始人里也是扎克伯格,确实会吸收新信息,全面更新自己的世界观,然后按照这个新装上的世界观去行动,很贝叶斯,然后又愿意去承担,很贝叶斯,很贝叶斯。我从来没听过这么好听的夸奖,你的鲜艳可真美。
对。但后验才是重点,是后验。出了你那档子事儿以后,你可不能再聊后验了。但我觉得还有就是你有多大胆。其实一开始我挺想不明白的,你怎么愿意下这么大的赌注?这也是 Nate 和我经常聊的事。我会说,哇,我们这次真是要干一票大的。我们俩都会问对方:“你会下这么大的赌注吗?你会下这么大的赌注吗?”所以我觉得这是个很突出的特质,也是我很佩服的一点。
其实回头看 Meta 的历史,想象那些关键时刻会是什么情景,我就能看到。怎么说呢?这部电影大概就是这样演的。很多情况大概都是这样发展的。按我的想象,我觉得很可能有些时候,明显有一件非常非常大的事儿正在发生,但可能连数据指标都还没显现出来,也可能还没有影响用户数量,或者收入,或者其他什么,它还没真正影响这些东西。
但很明显,如果你相信这件事儿会发生,它就会对公司和产品产生巨大的影响。我觉得事后回头讲 Meta 的历史,我会说 Meta 这家公司每次遇到这种情况都会非常非常认真的对待,这让公司能够不断创新,随着变化又快又大的技术环境继续发展。扎克伯格很贝叶斯,对,很贝叶斯,太贝叶斯了。而且人生很短,做对的事就行了。
我觉得 AI 可能又是那种情况的一百倍之类的。但我想去年夏天很多 CEO 都会跟你说,哦,对,我觉得 AI 对我的业务来说是最重要的事儿。我觉得可能每个 CEO 都会这么说,但再看看他们实际在做什么,他们的行动跟这个信念有多一致,我觉得这就是 Meta 和扎克伯格非常非常特别的一点。最后一个问题,因为我们都已经过了该睡觉的时间了,真是受宠若惊。
Alex在推特上发的那些疯疯癫癫的帖子,你怎么看?我觉得大部分都挺棒的,不过我想我主要的看法是,不过失败多少次不重要,重要的是赢的时候能赢多大。我觉得说到跟人沟通,最重要的就是做真实的自己。我觉得当你想真实的表达自己时,有些话说出来效果可能不是你想要的。我觉得宁可接受这样的取舍也好过把话都事先设计好,失了真。
不过大部分我都觉得特别好笑。我那些疯疯癫癫的推文你怎么看?我用 X 用的不算多,不过不过你现在又回到 X 了,我又开始发帖了,很多研究员都在那儿。我们也想去那儿,不过我在那儿发的内容也都会发到 Threads 上,都挺好的。但我每次打开 X 都会看到大概四条 Alex
的帖子,真是把我笑坏了。我们刚才还在聊这个,我猜你现在成了个集散地,大家有什么好东西都会发给你,就会想你这些东西都是从哪儿想出来的。
具体是怎么弄的?昨天我跟伴侣聊到了这个,我觉得有一点就是,其实可能直到现在,我常常还是会这么想。哦,这个好笑,不知道Jolly会怎么看这个。然后就能从中想出好梗。话虽这么说,我也体会到了互联网那种残酷的更新换代,梗过时得有多快。所以你真的得跟上,得跟上玩梗的最前沿,才能很容易就落后了。对这句话,可能也很好的概括了我们这次的对话。
为什么很容易就落后了?你得时刻保持警惕的,始终站在最前沿,得始终深入细节,始终钻研技术,还得始终站在最前沿。对。对,好,那我们就聊到这儿。好,太好了,谢谢你们,谢谢。等等,大家喝的是什么?那个。这是什么?那是我给你带来的一桶健力士啤酒。这健力士是从哪来的?都柏林。哦哇,你刚去过那儿?对我这周刚去过。
哇,太好了。对,对,谢谢。我们喝到当地的酒了。对,就是这个。我觉得趁这个机会喝点健力士挺合适的。