今天我们要对谈的人，他的论文启发了 OpenAI GPT 的诞生。他是在谷歌研究 AI 十四年，推动数项重要论文，辗转数个产品，最后成为带领 Gemini 打。下翻身之战的核心人物之一 Andrew Dai，Andrew 长期处在谷歌 AI 研发的中枢，从早期的 sequence
learning、文本生成、对抗训练到 Palm、Flan、Gemini 多模态和长上下文等等，与他合作论文的都是谷歌的众多传奇大佬。
人物 Quackley, English Fellow, Leonidas, Jeff Dean 等人。而我发现啊，Andrew 的职业轨迹就是一部谷歌 AI 大模型的编年史。而为什么谷歌一度在大模型上被 OpenAI 吊打，而又如何通过强行合并 Google Brain 和 DeepMind，用 Gemini 重回巅峰的？
OpenAI 为什么能够看到 semi-supervised sequence learning 的能力？而谷歌看不到呢。第二天我就给She说，前两年我们有这个文章，就是预训练，他就没有时间做，后面就是OpenAI做了。我看到Gemini一点五才用到MoE架构，但是这是你在二零二一年就在研发的东西，为什么这么晚呢？
我们不知道GPT四会是一个MoE的模型，但是我的Intern Leonidas过去OpenAI之后，他们就开始做了MoE。所以硅谷其实是没有什么秘密可言的嘛。对，特别是大模型，Palm 2就是很顺，从来没有见过那么顺的预训练。但是我知道你们的这个风头还是被 GPT 4 给抢了。早一点发表，我们就可以说，哦，我们是世界上最好的模型。
觉得可惜吗？对，有一点可惜。Google Brain 跟 Deep Mind 谁都不服谁，很多人离职，从两边都有离职，从 Brain 这边也有，Deep Mind 这边也有。二点五的时候，Shazair 他带来了什么东西？他带来他的能力。数据是很大的一个差异点嘛？我觉得最大的啊差异就是数据。但是在谷歌，你觉得它拖速度了？
对，对谷歌来说，可能就是有点危险，因为用这个方法会大量改变数据。所以你的新方法是什么？啊，那我不能说。然而，这样 Gemini 三顺利上线之后，Andrew Dai 决定离开了待了近十四年的谷歌，原因呢是希望有更多的研究自由与更快的速度。他想做的事情是目前领先大模型公司和实验室不愿意选择的路线，或者说发展的太慢的路线。
Andrew的结论是，光是大语言模型无法将我们带到AGI，但是呢，他也不信仰纯视觉的世界模型，他选择的是语言加视觉的中间派系，做多模态视觉推理模型。那为什么你们现在做的事情谷歌做不了？如果你做一个 specialist model，那 generalist model 就超不了。现在很多的 new love 出来，现在这些模型都不会数东西，光 scale 这个语言这部分还是不够了解我们的世界。
世界模型觉得世界 is the key to intelligence。但是从语言角度来说，视觉就是不够。我们就是觉得要把语言推理加上视觉推理，才可以做到一个模型，可以帮大家，可以帮所有的行业。今年四月，Andrew创立的 Elorion AI 宣布融资五千五百万美元，估值三亿美元，正式从保密阶段走向公众视野。
投资方包括 Melo Ventures、Ultimate Capital 等主流硅谷基金，还包括英伟达和以个人身份参与的 Jeff Dean。另外说一嘴啊，Andrew 五岁就跟随父母去到了英国，那英文呢是他的第一语言，但是他坚持想试试用中文上节目。如果呢有表达不够准确的地方，或者中英夹杂的部分，还请大家见谅。
那之后呢有机会我也会跟 Andrew 再用英文来对谈一期。那么以下就是我跟 Andrew Dai 的专访。非常感谢Andrew，欢迎你来做客硅谷幺零幺。谢谢。所以这就是你们的新办公室，我故意挑了一个这个非常空旷的房间哈。我觉得这边的采光很好。这个房间你们以后准备用来做什么？很多研究员也应该是坐在这里和工程师，因为我们。
这里租房子都至少要租两年，所以我们就已经预测好，我们过了两年会有多少人？过了两年你会有多少人？可能就五十六十。其实，嗯，现在多少人？现在我们是十四个人，啊，但是还有两个人现在在搬迁上，所以很快就十六个人了。我再来的时候在听你一个之前的英文播客哈，然后我发现你有一点British accent，是因为你之前在英国念书是吗？
对我是在中国出生，但是我五岁就去英国，我爸爸去英国读博士，所以我们都一起过去。我在英国本科就在剑桥，然后去爱丁堡读。博士，你的中文其实还讲得挺好的。这是我的家人老是要我练中文，然后我也是认识一些中国来的朋友，一直在坚持学。你是什么时候来到硅谷的？十四年前是二零一二年来的，就是为了在谷歌工作。当时为什么那么喜欢谷歌？
博士，我就是读人工智能，然后我一直从中学我都想做人工智能。然后那时候 Google Brain 比较有名，所以我就是想加入 Google 大脑团队。然后那时候 DeepMind 还是一个 startup，还是一个很小公司，所以我那时候不知道呃有 DeepMind 这个公司，所以我就直接想来到呃人工智能中心，就要来到硅谷。
如果你留在伦敦的话，是不是也有可能会加入 DeepMind 的？然后最后也来到谷歌？很可能，我后来我的 lab 很多。我的同学都是去了 DeepMind，就是我一个来到 Google Brain。但是还有个原因我要来这里，是因为这里很容易创业，很多新的公司都是从硅谷来，所以我也是打算。来了这里待几年，然后就创业了。
啊，没有想到一待就待了十四年。对，没有想要那么久。那我们来讲一讲你进入谷歌之后的一些工作吧。然后第一份工作呢，其实你是去到了 Google Now，在二零一二年到二零一四年，那个团队应该是当时 Larry Page 希望说 Android 跟 Search 团队一起搭建的一个能结合用户数据，主动给用户推送提。
信息的这样的一个功能，那那个时候我理解说背后已经有一点AI的研究在后面了。当时你在Google Now里面在做什么？那个故事比较有意思。我来Google Now，他们是招我为了做AI，因为他们知道我是艾尼宝AI博士毕业。嗯，但是其实我到了这个团队，他们就发现哦，这个其实在工程上有很多东西要做，在这个infrastructure。
还是有很多东西，所以比如说他们如果有个新的新闻出来，想 personalize，然后发给用这个 app 的人，我就编了一个系统，十五分钟之内新的新闻出来就可以推到所有人手机。这个我就学到很多 infrastructure。我们有一次看到发这个新闻很慢，需要一百个 milliseconds。大家在想为什么这么慢？
我看了这个数据在哪里，然后我看了一边是在东海岸，但是我把这个数据送到西海岸，按照这个 speed of light，呃，就需要这么多时间，你不能更快。我学了很多那个 engineering 的东西。啊，很多 end end to end 的，但是后来我快走的时候，我也开始做更多 AI，更多 personalization。
后来我就去 Google Brain 了。然后谷歌呢，在 2013 年、2014 年有几个重要的节点哈。第一个节点呢，就是 2013 年的时候，应该是收购了 Geoffrey Hinton 的这个公司 D N N Research。Hinton 之后就加入 Google 开始工作了嘛？你觉得 Hinton 来到谷歌之后，对谷歌产生了什么样的影响？
对，Hinton来了之后，谷歌就很看重AI。那几年，我记得我们的CEO也说了，Google是一个AI company，因为他们AI就是他们的core。像Larry Page这个brand一开始创造了那个algorithm，他们的目标也是AI，就是让机器帮助大家懂这个网络上大家写的东西。所以他们一直都是很看重AI。
但是2012之后就开始一个新的阶段。就是 deep learning 深度学习的阶段，他们就觉得哦，如果我们不投这个方向，那我们就会落后，所以他们就走了 Jeff Hinton 的公司。从那一段之后，deep learning 对 Google 就很重要，他们的模型也都是越来越多都是 neural network 那样的模型。
然后，二零一四年的时候，谷歌又继续收了 DeepMind。你觉得 DeepMind 团队进来，包括 Demis Hassabis 进来，又在什么样的程度上面改变了谷歌吗？对 DeepMind，呃，跟那个 DNA Research，呃，收购的方法很不一样。所以 DeepMind 收购的时候，他们是做了一个 agreement，就是说 DeepMind 还是要独立，他们都可以待在伦敦，不用来美国。
所以有很多这些。呃，condition，所以他们基本上就是一个独立的research lab，跟Google Brain不一样。Google Brain它的目标就是要做一些研究，然后以后呃跟产品合作，然后以后把这些模型推到产品。DeepMind就是更像是哦，你你什么都可以做，如果你觉得是重要的东西，像 AlphaGo 就可以做，所以这些 philosophy 有点不一样。
所以 DeepMind 还是非常非常独立的。嗯，对，非常非常独立。嗯，他们想做什么东西也都是哈斯贝斯说了算，其实谷歌不太会管他们。对他们招聘也有他们自己的方法，然后他们的。很多内部的东西都是跟谷歌分开，像他们的代码那些东西都分了。那所以谷歌当时 Google Brain 的 AI 的 researcher，比如说像你会跟 Deep Mind 的人有任何的合作吗？
还是？呃，会，但是比较少。呃，因为合作的时候就会有一些 credit assignment 的问题，就是说，呃，是这个项目是谁 own 的？ownership 在大公司都很重要，是到底是 Deep Mind own 这个项目，或者？呃，Google大脑，我这个项目，然后，呃，就有的有的项目就是这样的，就更复杂了。
我知道这样的磨合在之后 Google Brain 与 DeepMind 那个合并的时候会更加显现出来，但是这个我们可以稍后来聊哈。啊，我还是想啊，把开始的时间就是聚焦在你最早期的一些工作上面。啊，我看到你在二零一五年开始研究 language model pretraining and fine tuning，当时就是应该是在 Google Brain 部门了哈。
我看到这一轮 G A I 的一个奠基石 Transformer 这篇论文是二零一七年发布的嘛？但是之前其实你们还发布了一个啊，你跟 Google Brain 的创始人之一库克勒一起主导的这篇文章叫做 Semi-supervised Sequence Learning。嗯，能不能给我们解释一下这篇论文主要解决的是什么问题？
这个文章不是我们一开始就预测好，不是我们plan， is not planned。我们本来是做这个technology叫paragraph vectors，所以那时候有word to vec叫word embeddings。L M之前，大家都是用这些东西，然后我们想做一个更好的。我做了很多很多实验，然后那些实验都是失败。
但是有一天，我跑了一个实验，然后我就发现，哦，这个结果很好，比其他的文章分都高。但是我想 reproduce。重跑一次，但是我跑不了之前的那些结果，所以我就想，哦，肯定哪里有一个 bug，哪里出问题了，所以我就在玩了一段时间，然后我就发现是因为我训练这个模型的时候，我是从一个另外一个叫 checkpoint 开始，那个项目是一个另外一个项目，那个项目就是做语言模型。
然后我是从那个开始，所以那时候我就发现了，如果你是先做呃语言模型，然后你再做这个微调这些 supervised data，你就可以有很好的模型。所以这个就是我们我们发现的东西。然后我们就变成一个文章。之前这两个都是分开的，大家没有想用语言模型用来做语言理解。但是我们的 idea 就是把语言模型和 fine tuning 微调合到一起，就可以做一个很好的模型。
所以我们就是第一个把这两个部门放在一起。这篇论文我们现在回看，它很像是大规模预训练加下游微调的这种方式啊。当然，这篇论文出来的时候，Transformer还没有出来啊，所以当时你们其实用的模型聚焦的还是LSTM这个模型上面啊。但是你当时有没有意识到说，哎，它可能会lead到一个更大的一个东西？所以那时候我们的卡很少，那时候大家都没有用很多。
这种显示卡做训练，所以我们还是用的比较少的模型。但是我记得那一年我们开会，我们都在那个会上叫 Neurips，就发表那个文章。然后 SAP for Great LSTM 的第一 author，他就来我们的 poster，他说他已经试了我们这个方法，结果很好。所以从那时候我们就知道，哦，这个。以后应该会很多人用这个方法，但是我们没有想到过了十年还会用这个，然后加了几倍这么大的模型。
嗯，对。那当时Transformer出来的时候，你有意识到？这两个东西可以融合起来，然后变成一个 something much bigger 吗？传说嘛出来的时候，我觉得就很适合跟我们做的这个训练一起用。所以 Transformer 出来之后，第二天我就给 Xu 学 Xu 就是一个呃
Transformer 的 first author，然后也是一个朋友，我给他说，哦，我们前两年我们有这个文章就是预训练，然后结果很好，你要不要在 Transformer 上也试一试预训练？
但是那时候他很忙，他在做一些图片处理的东西，所以他就没有时间做。后面就是 OpenAI 做了。对，所以 OpenAI 是谁？呃，来主导的这件事情，发现了就是呃，transformer可以跟你们这篇文章结合起来。OpenAI的Alex Radford他就是写GPT一二三的文章，他也引用我们那个文章，所以他就看出来了啊，这个scale，然后继续scale，越来越大，它的出来的语言就越来越好。
谷歌在什么时候意识到说，哎，这两个东西都是我这边出来的，结果OpenAI给结合在一起用了？对，我觉得这个是GPT三。所以到了 GPT 三的时候才意识到，对对，GPT 三是一个可能是一个 turning moment，整个世界的 turning moment。所以不光是谷歌，很多公司都发现哦，GPT 三出来的语言可以干的东西都很好，所以可能 scaling 是对的方向。
之前。啊，大家都不想投这么多显示卡做在一个实验上，但是 GPT 三之后，谷歌就开始愿意这样投。那在 GPT 三出来之前啊，Google Brain 的这个 co-founders 啊，Jeff Dean、Andrew Ng 还有 Quoc Le，他们当时在做什么事情？然后 DeepMind 的 Hassabis 他们在做什么？
哈斯菲尔斯那一段时间，我记得好像他们是在做AlphaGo那个项目。他们是觉得把游戏做得很好，像Atari游戏和围棋这些，那就可以发生intelligence。Google Brain这是另外一个方向，我觉得Jeff Hinton也是这个方向想的，就是如果你做一个AI就什么都可以做，那就是real intelligence，就不要只专注一个小的领域。
但是那时候Google Brain还是很自由啊，Google Brain的文化都是比较有名。很自由，你想做什么都可以做什么。那时候，Jeff Dean在 lead 这个 Brain 团队，但是下面的研究员什么都在做。像有的团队在做音乐，怎么可以用 AI 做出新的歌这样的东西。其实做语言的人很少，就基本上是 Cook 和我还有几个人，大部分都都是在做像视觉、视频处理这些东西。
嗯，对，就没有一个人来 lead 强有力的来 lead，说没有集合所有的资源跟力量去压注在同一个赛道上面。对，嗯，直到他们看到 GPT 3.5。对，所以你觉得 OpenAI 为什么能够看到啊 semi-supervised sequence learning 的能力，而谷歌看不到呢？因因为就是当时你跟Transformer的作者说了一下这个东西是不是可以尝试，他没有理你。
嗯，那之后你就没有再尝试了吗？哦，对，那时候那是二零一七的时候，那个时间和特别 Google Brain 开始，谷歌健康的部门，那时候 Health 就是一个很 hot 的领域，大家都是想进 Health，包括苹果和微软，所以谷歌也觉得哦，我们也要把 AI 放到 Health
里面。所以那时候他们就让我选，我要进health或者待在brain，然后我就选择去health，所以我就没有机会做这些GPT的模型。
那有也没有其他的人继续在往这方面深推了，是吧？啊，对，后来就没有没有往上scale，但是有有人把这个放在产品，就像Smart Compose、Smart
Reply，他们就是用这个预训练的方法。了解，对。然后跟我们说一下你在health部门。嗯，在研究什么？你去做产品了是吗？我做的研究是帮助产品，呃，所以我那时候就是负责这个医疗的 records，预测这个人以后可能会有什么病，或者会要吃什么药，就可以帮助医院省钱，或者帮助这些医生。
我们也是用预训练，因为我们知道预训练很成功，我们就在这个医疗上面用预训练。但是那时候的模型还是很小，所以最后就没有做出来预训练，但是发表其他的文章。但是那时候也是一个。比较好的时代，那时候也是那个 Google Brain Residency Program，所以找了很多，就像 interns
带一年，后来就创业的人，像 Liam Fedus 和戴密国 David Ha，他们就是我的 interns 那一段。
对，那也是一个比较好的时间了。在二零一八年的时候，就是你在去 Health 部门的一年之后，我看你跟比如说 Ian Goodfellow 这些人还合作了一篇重量性的论文，叫 MaskGAN，其实是来改善文本生成的质量哈。因为我看到中间的一些技术探讨，比如说他用的这个填空任务或者是 in filling 啊这些技术，在后来的比如说 BERT 啊 Gemini 多模态预训练中都有一定程度的启发和影响。
那你觉得这篇论文对你来说意味着什么？这个文章是我跟 Liam Feders 和 Ian Goodfellow 就一起写的，然后。我们就觉得把这个空填起来是一个很好的 task，就可以让这个模型就学到很复杂的东西。但是我觉得有一个地方，这个我们文章做的比较好，就是 RL 方面。那时候做预训练，然后做
RL 就基本上没有其他的人做，可能还有一个文章在做这个，但是我们可能是前几个文章就在预训练之后做 RL，然后现在大家都是用这个方法。
就相当于是你们是首批团队把 RL 用在了语言模型上。对，我们那时候就觉得，哦，光做预训练不够，因为这些模型就不会学到写出来的字怎么改，或者哪些地方写得好，哪些地方写的不好。然后有 RL 的话，那这些模型就可以看到我自己写的这一这一段就不像英文。或者不像哪一个语语言，然后 RL 就可以把这个改好。在其他的很多大家都觉得是有共识的技术范式上面，你们也都是第一批团队去做的，就包括 MOE。
然后你当时研究 MOE 的时候，还是在二零二一年的时候。对吧？你联合主导了 GLAM MOE LLM 的这个开发，那现在 MOE 架构我们都很熟悉了。但我觉得真正把 MOE 这个词儿带到大众视野的，可能还是去年 DeepSeek V3 的时候的发布啊。但是我是没有想到，在 2021 年的时候，谷歌内部就已经在研发这个逻辑。
那时候是GPT三出来了，Google Brain团队有的人有一点着急，他就说：哦，我们一定要做一个模型比他们好，然后也要更多功能这些东西。所以我们那时候就觉得，哦，这些模型越来越大，serve他们通过一个API就会很贵，因为他们有很多参数，然后就要很多很多电。但是如果你只用那个模型一部分，用的电就少很多。
所以那时候前几年，Neural学界他也出了一个文章，就是做MoE，但是那个时候就没有做预训练。所以我们就是用MoE加上预训练，加上Fine-tuning，然后我们最后就做了一个模型，比GPT三还好。所以那就是我们的 achievement。二零二一年的时候，GPT三出来了，谷歌内部你说开始感到压力了是吧？
当时是什么样的一个情况？能不能给我们？来描述一下，我那时候的经理他是叫Claire，他就是我的Google Health的那个经理，然后他回到Google Brain，我那时候就跟他谈，我说哦我要离开Google Health，他就说哦我们现在正在做这个模型，但是这个模型就达不到GPT三那么好，你能帮我们？
解决这个问题，我们觉得这个问题是数据上面的问题，所以我就过去了，把那个数据处理了一段时间，终于做了一个模型，比。GPT三好发表一个文章，然后那时候 DeepMind
也是也是发表一个文章，所以那时候就开始有一点这个竞争的东西，然后后面几年就可以看出来有什么结果，但是那时候就就开始了，因为两边都比较都看了 GPT three，然后 DeepMind 也觉得哦我们也要竞争，然后 Brain 也是我们要竞争，要不然大家都会觉得谷歌做不出来这样的模型。
你当时为什么想要离开 Health？呃，health，呃，我觉得对一个big tech公司来说，很是很难很难的一个东西。然后这个难度不是因为呃科技。难度是因为文化，为什么？医生他们有自己的文化，然后他们的文化就是传下来的几百代的医生，然后他们有自己的方法做东西，所以这个本身这个行业 results
这个 understanding 就是更难，所以很多医生就是按照他们自己的 intuition 决定东西。
然后我们如果我们要把 AI 推上去，那他们就会问啊，为什么 AI 要我做这个东西？我我有我做了好几十年，我肯定知道比这个 AI 好。所以就很难，呃，要那些医生用到AI那时候。嗯，是不是可以说就是在嗯实际的产品落地的时候，一个大的科技公司它是比不上，比如说跟一些医院或者医生关系很好的，或者是药企也好，是比不上他们去推这个产品落地的。
对对，然后还有一个是这个大公司，像有的医生就可能觉得哦，这个大公司要抢我们的工作，抢我们的医院的钱嘛。如果是一个startup，那他们就不会那么feel threatened。所以我觉得这是一个部分。对，是不是当时技术也没有好到让大家觉得说哦，非用你不可？对，像现在大家都是就是因为ChatGPT，那些医生就觉得哦，那那我可以用上AI，大家都在用ChatGPT，所以我就要用。
但是那时候不是那样的。嗯啊，那时候我他们是比较一个呃新的customer for AI，嗯，但是现在他们是他们不是一个新的，很多人都在用，所以他们就觉得哦没有那么危险。嗯，所以时间不对，对对，时间不对，可能当时技术也比较粗糙一点，是不是？然后产品可能也没有做的那么的让他们称心如意，然后 go to market 上面，其实美国医疗产业本来就是一个很难去打入的产业。
That's a big lesson. 哎，所以你的 take away 就是要在 right time to do the right thing, work on the right technology.Exactly，对创业，我在创业这个很重要。嗯，那我们来讲讲你从 Health 出来了，然后呢，在二零二二年的时候，你是主到了谷歌 Palm Two 模型的这个预训练嘛？
这个模型其实对谷歌来说是非常重要的，因为那个时候谷歌跟 OpenAI 已经是有这个模型的比拼的这种压力在了。但是 Palm Two 出来的时候，你们满意吗？对，Count Two是二零二三初就训练好了。我那时候觉得是一个挺好的模型，从来没有见过那么顺的预训练，从头到底就一次都没有停，一次都不用 rewind。
不像那时候，呃，Meta出了一个 OPT 那个模型，那个也是那那段时间也是比较有名，但是你看他们的那个 logbook 就重启了很多很多次，然后。做了很久，但是 Palm 2 就是很顺，就一年之内从计划这个项目到这个模型做完了，就不到一年，所以我觉得那个。就特别顺，为什么这么顺？我们做对了什么事情让他这么顺？
那时候有一些经验，就是训练呃GLAM和训练Palm一的经验，我们也是选了一些architecture上面的东西，做了很多测试，做了很多实验，我们就知道哦这个很稳，这个不会出问题。然后我们跑了那个大训练之前，我们也做了一些highlight runs，所以我们就high confidence这个这个会成功。
嗯，然后在二零二二年，我看你还写了一个蛮重要的一个论文，就是 Flan Scaling Instruction Fine-tuned Language Models，讲去探索任务数量、模型大小以及加入这个 Chain of Thought (COT) 的一些数据，能不能给我们讲一下这个 Flan 它的重要性在哪里？
Flan 之前大家都是用像 Few-shot Prompting。啊，用这些模型。所以，如果你要它做一个东西，你先要给它举一个例子。像如果是一个数学问题，你要给它一个数学问题，告诉它那个答案，然后给了这几个例子，然后你才可以问它做一个东西。但是 Flan 这个文章就是说，哦，其实你不用给它举例子，你就在微调的数据里放这些例子就够了，然后这模型就会学会，你给它什么问题，它就必须要答案。
这是有好的部分，但是也有不好的部分。好的部分就是你就不用给它这些 few shot 这些例子。以后，但是不好的部分，大家现在都知道。如果你问他东西，他不知道，他还会假装他知道。有了这个之后，就可以有 ChatGPT 这个 chatbot，因为你可以直接问他问题。嗯，好，呃，所以Palm Two你们还是比较满意的，但是我知道你们的这个风头还是被Gemini四给抢了，是吗？
嗯，对，对，我们那时候我们做完了比较早，因为我们的是二零二三初的时候就做完了，但是谷歌的内部的这些bureaucracy和谷歌内部的系统很大，他们就觉得我们要等到谷歌I O。在统一发布，对，在统一发布，但是 OpenAI 他们当然知道 Google AI
是什么，他们知道我们要出这个模型，因为谷歌那么大，没有没有什么秘密在内部里面，啊，所以他们就刚好 Google AI 之前他们就出了 GPT 四，然后 GPT 四的结果就比 Palm Two 好，所以我们发表 Palm Two
的时候就我就觉得晚了一点，我觉得早一点发表我们就可以说哦，我们是世界上最好的模型，嗯。
嗯，觉得可惜吗？对，有点可惜。但是 Pump Two 还是很重要。就虽然 GPT 四可能在 Benchmark 上面比你们好，但是起码 Google 会告诉大家说：“哎，我们站稳啊。”对吧？我们没有就是 fall behind 的态度。对，因为没有还有个原因是没有 Palm 2 的话，那那时候有那个产品是叫 Bard，Bard 后来就叫 Gemini。
对对。然后没有 Palm 2 的话，那个 Bard 产品也是比较危险，因为 Bard 就是用 Palm 2 做出来 chat，所以。那样的话，那谷歌的就没有 Chatbot。刚才你也说了，二零二二年年底的时候，OpenAI是上了 ChatGPT，然后把整个 AI 市场引爆了嘛？嗯，当时谷歌内部也是拉响了 Cora，然后 Search Brain 也是回归到了谷歌啊。
当时做出来的一个决定就是把 DeepMind 跟 Google Brain 给整合起来。啊，给我们讲讲那是整合的时候发生了什么故事吧？这个整合是顺利呢，还是会有很多的摩擦在里面？这个整合大家有个 preview，大家都是觉得 Gemini 就是一个 preview。这个整合之后会怎么样发生？因为
Gemini 前几个月就是 DeepMind 和 Brain people 一起做，但是不是 official。
嗯啊，然后那时候呃，就有一点摩擦，但是后来我觉得那个 leadership 就觉得哦，我们这个是这个 timeline
要更快，我们不能。呃，比ChatGPT代落后，所以他们就决定要快一点把这两个团队放到一起。啊，所以那时候那是确实有摩擦，因为两边都有一样的团队，所以DeepMind有个Infrastructure团队，Brain也有；DeepMind有个Multi-Model团队，Brain也有；数据也是，DeepMind有个数据团队，然后我就是代表这个Brain的数据团队。
所以一开始都是由这个 tension，他们决定每一个部门要一个领导从 Deep Mind 那边，一个领导从 Brain 这边，所以呃就比较复杂。对，所以他的意思就是说，比如说数据部门，然后你其实是 co lead，你是一个 co lead，然后 Deep Mind 会出一个 co lead，嗯，就包括。
可能其他的部门也是，多模态的部门也是。Google Brain出一个 co lead，DeepMind 出一个 co lead，就是每个部门都是这样，是吧？对，嗯，呃，出了之后，我们还要分，我们还要说，哦，来这个数据部门里面哪一部分是，呃，伦敦可以做哪一部分，啊， Mountain View Brain 这边可以做，然后这就很复杂，这就浪费了很多时间，我觉得。
嗯，为什么一定要设置这样的一个机制呢？就更公平吧。Google Brain跟Deep Mind谁都不服谁，对，这就是一个OK，我给两边都同时给他们的一个结局。对，像一个equal even的呃setup。那你觉得这样的setup会拖累模型的研发速度吗？我觉得一开始可能我们可能出的模型就慢一些啊，因为做这个，因为你把两个团队就之前就都没有合作过。
然后之前都已经有一点这种 tension，那你突然把它放在一起，那肯定会有有一些东西变慢了，然后会有人换组，所以这些东西都都发生了。整个的磨合过程，你觉得经历了多长时间呢？嗯，还是说到现在还在磨合，对，可能现在还在磨合吧。对，有的部门磨合速度更慢，有的部门更快。就像 infra 就是很快，他们就觉得哦，我们必须要用这个 infrastructure，你之前做的就不怎么用了。
多模态也是，所以就是两边整合的一个结果，就是很多人离职。对吧？呃，对，有不少的人离职，从两边都有离职，从Brainy这边也有，DeepMind这边也有。嗯，这两个谁都看不上谁的部门，整合在一起了，然后一起来啊，同心协力的work on Gemini。然后，嗯，二零二三年年底的时候，Gemini一点零出来了。
嗯，这个模型你们满意吗？这个模型我觉得是有一点 rushed 出来，那时候我们刚开始一起合作，然后很多东西都是。呃，拼命就赶那个 deadline，那时候有个圣诞节的 deadline，呃，因为五月份 Google AI 刚出来，我们刚 announce Palm
Two，但是我们要，我们觉得哦，每六个月都都要出，下六个月就要出一个新的模型，所以大家都在赶这个时间，然后你那么拼命赶，然后这些人都没有合作过，然后这个模型也是从 start from scratch，基本上。
所以就有一些地方就做的不是很好，就像那个小数的语言就没做的很好。然后那时候媒体都报道了，说Gemini 1.0有的语言上就不行，所以我们赶紧做Gemini 1.5。然后我看到Gemini
1.5才用到MoE架构，嗯。但是这是你在二零二一年就在研发的东西，为什么这么晚呢？对，这个也是我觉得一个速度的问题，所以他们想一点零就很赶紧推出来，啊，所以，呃，他们就没有时间就做这个 M E 的模型，就只能做一个 Dense 模型，因为 M E 你还要 Tune，还要花时间。
做 optimization，然后 ChatGPT 出来之后，这个整个想法都变成一个 race，就在我们就在跟 OpenAI 比赛，啊，所以有如果有个 ME 要把我们的 schedule 变得慢，啊，那就不能做，所以。所以它的优先级还是说我先不管创新了啊，我先就把它给追上。所以这个时候谷歌其实是变成了一个追赶者。
嗯嗯，对对，嗯，是不是也是因为GPT四用了MOE，然后一点五的时候才说，哎，我们必须要用MOE了？我觉得本来我们都是打算用MOE。同意，嗯，这是什么时候用？对，这是什么时候？这是一个 it's a matter of time，因为我们知道 MoE 的效果更好，那个二零二一的文章已经给大家看了是更好，嗯，但是我们不知道 OpenAI 会那么快用 MoE，我们不知道 GPT 四。
呃，会是一个MoE的模型。我们还是有些人觉得，哦，应该是一个dense模型。嗯，但是我的intern Leonidas过去呃，OpenAI之后，他们就开始做了MoE。所以他是他他跟你一起 work on 了这个事情之后，他就带去了 Google
AI。嗯，所以硅谷其实是没有什么秘密可言的。嗯，对，特别是大模型和大公司，那这些大公司就肯定会有人去 open AI 来 topic，所以对大公司就很难保持秘密。
Gemini 2.0 对你来说，对你们来说是一个比较大的翻身仗。对 Gemini 2.0 就是像一个 evolution，就是这些方法就更成熟，包括 MoE，包括这些很长的 context 的问题，所以那个模型就是对一个 evolution，一个更好的模型。对，因为我知道，好像在 data 上面，你也是在 Gemini 二点零上面有一些创新的。
对，能不能给我们解释一下，你做了什么让 Gemini 二点零变得更好了？对，在 data 上有个很有很大的变化，我们是用一个新方法处理这个。数据质量，然后我们检测质量也是更严格。可能有的公司觉得，呃，这个architecture和卡够了就可以做一个很好的模型，但是其实数据还是很重要。所以你看这些文章，他们一般都不会说数据有什么，也不会说，呃，数据从哪里来的，这是一个很。
一个 secret sauce 啊，这些模型，所以我们就发表了新的方法。嗯嗯，所以你觉得现在数据是大模型们很大的一个差异点吗？因为看起来模型架构大家都在用同样的东西，算力大公司都不缺，infrastructure
其实都是很类似的东西，是不是差异点就在数据上？对，我觉得最大的呃差异就是数据，但是数据不是说数据来源的问题，因为大家反正都把互联网的数据都穷尽了，而是说怎么去优化这个数据，或者是怎么去挑选更优化的数据来用于训练，是吗？
对你选用什么数据很重要，因为网络上。是有很多数据，但是也有很多 spam，很多就没有用，帮不了这个模型的数据。所以要找到那个好的数据，可以让这个模型学新的东西。就像人一样，你给一个人每天都让他读广告，那他也是学不了东西。你要给他有 information、有 knowledge 的数据才行。但是那个来源也是有一点区别，因为谷歌他们有谷歌搜索，所以他们有搜索的那个经验，就知道怎么。
爬这个网络，其他的公司也是有有自己的优点。所以，呃，你其实，在Gemini的二点零主要在数据上面做的一个提升，就是把这些spam的数据都给剔除了。spam还有一些其他的数据，对，嗯，呃，不光是spam，嗯，就更多的就不能讲了，是吧？对，低质量的数据，在合成数据上面，你你也是在管这个合成数据方面，对不对？
对，我也是在联合主导那个合成数据，然后合成数据。呃，用的不好，那也就会有个很不好的模型。但是用的好，就像GPT五，它就是用合成数据。可以用它把模型做得很好。什么叫用得好？什么叫用得不好？用得不好就是你处理的不好。你处理的不好的话，这个模型就会老是做出你的合成数据的东西。如果你的合成数据有很多“delve”这个词。
那你训练完，那你的模型也会更多说这个“devil”这个词，所以合成数据你要它也是需要很高质量，要不然你的模型也会学到不好的东西，学到错的东西。嗯嗯，像如果合成数据有错的数学，那你的模型学到那个，那它的数学也会变得更差。这中间的呃差异点就是说，怎么去确保说喂给模型的是尽量。优质的数据，这样的话，其实模型它也在能力上能够有一个很大的提升。
嗯，对啊，但是 user 数据也是很难用，因为 user 他们也会。呃，copy paste从其他的模型，所以所以是比较难用这个数据。Gemini 2.5 的时候，在去年年中的时候有发布，然后在年底的时候是发了 Gemini 3.0 哈。我觉得在那个时候真的是短暂的超过了 GPT 吧，然后可以说是惊艳了整个市场哈，然后大家都在欢呼说啊，谷歌又回来了，然后看你们谷歌的股价也是涨得非常快啊。
那是你在 Gemini 3.0 的时候就离开了啊，能给我们讲讲为什么吗？啊，可以对啊，我先讲讲讲二点五，二点五是Noam实际从Caltech I就来到谷歌，他就帮了二点五，所以二点五是一个比较好的模型。然后三点零就是我们调了我们做数据的方法，有更多的新的方法。然后嗯，首先我打断一下，二点五的时候，Shazier他带来了什么东西到谷歌，然后让你们二点五变得更好？
它带来它的能力，能力具体指的什么？呃，能力是我有一次跟Norm讨论transformer这个architecture，然后我说，那我们从这里加到这里加一个connection，加一个连接。好不好？然后他说，呃，这样不会好，因为它的gradient就会从这里移到这里，他都不用跑那个模型，他就知道训练之后会会是什么样的结果。
他是真的是一个genius，他一看那个代码，他就知道哦，这是一个好的模型或者不好的模型，他自己就知道这个模型是怎么。怎么 work？所以阿奎海尔是 make sense 的，对， it's a good deal。所以哇，现在看起来真的是一个人他的能力就能够帮公司省很多钱跟时间。对，是的，对他很厉害。
嗯，那三角零呢？就是说你们继续在数据上有一些创新跟优化，对吧？然后能够在数据上给 Gemini 三角零能够带来更好的。一个差异点，或者在 benchmark 上面跑分跑得更好。嗯，对，那时候数据有一些新的方法，然后，但是我走的原因是。呃，因为我可以感觉到用的方法和做的
progress，都是用的比较保守的方法，因为这么多人，几千个人在这个项目上，很多很多显示卡用来预训练，所以他们就不能用很 aggressive、很不同的新的想法，都是比较 risky，所以我就觉得这时候就比较好的时间就离开，然后创业。
所以你觉得从数据上还可以提升、优化更快？用一些更加大胆或者是更加激进的 aggressive 的方式去做事情，但是在谷歌，你觉得它拖速度了？对，对谷歌来说，可能就是有点危险，因为用这个方法会大量改变数据。对，所以你的新方法是什么？啊，那我不能说。好，但是你的新方法就是你来啊。要自己创业，你其实想做的是视觉推理模型，在你能说的范围内，能不能给我们解释一下？
你想要用什么样的技术路径去实现什么样的事情？对我们的团队是一个 full stack 团队，所以我们有很了解数据，很了解运训练，很了解多模态 RL post training inference 的人。所以其实我们不光是想数据做一些变化，做一个更好的多模态推理的模型，我们是整个呃 full stack approach。
我觉得 Anthropic 就是这样的，Anthropic 就是一个。Full stack for coding，就每一个部分都要专注 coding。我们就是数据，然后那个 architecture RL algorithms，我们都会专注于多模态，所以我们这些地方都会改，包括那个 vision encoder，我们都会有一些新的方法。
为什么你们现在做的事情谷歌做不了？对，这个是可以看 Anthropic 做的。Anthropic 他们编程模型做的很好，但是这个模型它不会做多模态的东西，然后这是因为他们就专注于编程。你看Gemini和ChatGPT，他们就没有这样，他们就做模型，就什么都可以做。在我们的行业，就是叫generalist models。
Claude这个模型可能就叫一个specialist model。我们这个公司也是这样觉得，就是如果你做一个specialist model。那 generalist model
就超不了，因为我们会有更多多模态数据，我们会把那个数据调了，对多模态没有用的数据，比如说二战是谁赢了，在什么地方打，那可能对多模态没有什么帮助，所以我们就可以减少那些数据，把更多数据就留给多模态数据，视频和图片，这样的方法就很难其他的公司赶上来。
现在的视觉模型。比如说 Google 的 ViL 系列，或者是 OpenAI 的 Sora 系列，你觉得他们就还不够好？因为视觉里面他们还不够理解他们在生成的东西，是吗？能不能给我们解释一下视觉理解模型是什么？然后它跟 Sora 还有 ViL 这样的视频生成模型有什么样的区别？其实生成和理解和推理是很不一样的东西。
你就看语言模型的话，五年前这些模型已经会编程。你让 GPT 三出一些编程，它可以一般的人看这个程序，他会觉得哦，这个程序很好，就像一个工程师写的一样。但是如果工程师来看他写的代码，那他肯定会说哦，这个不对，这个跑不了。所以这就是生成和理解的区别。一般就是这些大模型都很容易生成东西，就一你一下看都会觉得很好。
但是你仔细看的话，像那个图片，你会看哦，那个字写的不对，或者那个人有三只手。导演也会看这些视频，导演看了这视频也会觉得这个地方不对，这个地方明显是。AI做出来的东西，所以我们在视觉理解能力就可能是跟五年前的呃GPT三、GPT二。对语言理解差不多。我记得就是我们在浅谈的时候，你还跟我说过一个老鹰抓兔子的比喻哈，我觉得那还挺挺形象的。
我们那时候是谈世界模型，所以世界模型，我觉得你可以想象像一个老鹰。很多老爷都吃鸟，但是你抓这个鸟的时候，那你肯定要理解 gravity 和 wind 和 turbulence，也要懂这个翅膀要什么角度才可以赶上另外一只鸟，你也要预测另外一只鸟会用什么方向飞，你要算哦，我要什么速度才可以到那个地方再捅一点，就可以把那个鸟。
抓起来，所以他们的脑筋其实都都可以算这些东西，都很复杂的东西。不管可以抓鸟，他们也会抓兔子吃、老鼠吃，算出来哦。这个兔子如果它跑到一个桥下面，那它从哪里会出来？或者一个老鼠跑到一堆草里面，那最后会从哪里出来？这些动物它们很了解这个 natural world，这个 physical world。但是如果我们可以问老鹰的大脑，What is the law of gravity？
或者 what is the gravitational constant？或者 what angle do you need to have lift to fly？我们不会知道这些 knowledge，因为这样的 concept 这些概念都是人发明的。如果我们是有呃，四只手或者有二十个手指，那我们数学可能可能就很不一样。
老鹰想的自己的这个视觉模型，就可能帮不了其他的行业、其他的领域。所以这就是视觉模型和这些语言模型的区别。现在很多的New
Lab出来，他们也是想尝试一下不同的一些模型的研发的思路嘛。那有一派就是。可能就是大语言模型这一类的，那有一派呢就是视觉模型，但是你相信有一个中间点，就是你做的这一派又需要语言的模型，嗯，然后又需要视觉的模型，嗯，对，啊，能不能这三派给我们来梳理一下，就是每一派他们他们相信的是什么，他们信仰的是什么，然后他们
betting on 的是一个是怎么样能够达到 AI 的一个路径呢？
好啊，如果这块你觉得有点难用中文解释的话，用英文也没有关系。好，好，我先试一试用中文。不过我们现在看语言模型。他们的思维链都是用语言做出来的，就包括 Gemini、ChatGPT 和 Claude，他们就是觉得这思维链变得越来越长，越来越 diverse，那模型就越来越聪明，就可以做越来越多的东西。
然后最后就可以达到AGI，通过编程越来越好，用这个编程就做越好的模型。但是如果你看模型做视觉问题的话，现在这些模型都不会数东西。如果呃有几个杯子在一个桌子，他们经常会就hallucinate，就说错，就乱说。所以我觉得你光scale这个语言这部分还是不够，了解我们的世界，然后了解。呃，图片和视频。另外一个方向就是你说的世界模型，这些 lab 都是从计算机视觉部门出来的，就像李飞飞和杨德坤。
嗯，那他们的想法，我觉得是更偏 academia 那样的想法，就是说，哦，我要做一个新的模型，novelty 很重要，因为对 academia 你必须要 novel 你才可以发表文章。我觉得他们就是比较相信视觉，其实有一点历史，neurons 之前大部分的文章都是视觉。整个机器学习大部分都是做视觉，即使做语言理解是很少，包括我和旷，我们就是算很少数的。
呃，人最近可能变了，因为LLM，但是我们这个是算一个比较 niche 的领域。然后这次就是因为很多 researcher 之前也包括 Jeff Hinton，他们就是觉得视觉 is the key to
intelligence，就是因为有视觉，人就很聪明。但是从语言角度来说，嗯。视觉就是不够，就光靠视觉不够有 intelligence，因为动物生物他们还可以做我们现在机器人做不了东西，他们视觉还是比我们现在的模型好。
就像那个老鹰可以抓那只鸟，就算我们可以做出来一个很好的虚拟老鹰。我们还不会有呃 intelligence，还是达不到 AGI。但是视觉领域的人，他们会觉得呃 vision is the key to intelligence，所以这些视觉模型更靠视觉和图像的数据。但是这样的话，就是像我刚才说的呃那个老鹰，你就不能跟人人做出来的概念合到一起，就像呃数学和物理。
和化学，因为这都是人造的东西，那就跟视觉模型还是比较远。所以我们在我们这个公司，我们就是觉得要把语言推理加上视觉推理，才可以做到一个模型。可以帮大家，可以帮所有的行业，就相当于是把那些什么重力的 gravity 的公式给它输到老鹰的脑子里面去。对，对，可以这样理解吗？呃，对，然后用老鹰的眼睛，然后呃脑筋一部分，但是还是要用人人的推理。
嗯，理解对。嗯，世界模型这个概念这两年很火哈。嗯啊，你觉得这些公司他们的发展能够到达AGI吗？我觉得可能。过了五年，你再问我这个问题，我觉得他们还是很早，有可能是跟对大模型很早的一个阶段，他们做训练的时候还在一个显示卡在跑，这可能就是跟我们在二零一五的时候做那个一开始那个预训练也是在一个显示卡在跑，但是需要很多很多年才可以做成一个大模型。
嗯，理解。所以你觉得现在世界模型还没有到transformer时刻？嗯，还没有，他们可能需要新的结构，像 Jasper，但是可能我觉得还是要要再加几步才可以到呃一个 useful model。你觉得做这个视觉推理的其他公司，大家的竞争优势是什么？就比如说 Google，我想他们是不是内部可能也看到了这个东西，所以他们可能内部也会在做。
Maybe Meta，Maybe OpenAI 也会做，因为我看到 DeepSeek 之前好像推出来一篇文章，好像也是很 similar 的一些东西，他后来把那个文章给删掉了。对啊，你觉得这个 competition landscape 现在是什么样子的？对，呃，那个 DeepSeek 文章很有意思，因为他们呃发了，然后后来他们就把那个又删了，但是那网络什么都删不了，这样大家都读过了。
对，其实 DeepSeek 的想法是跟我们的很像，他们的 path 呃有点像我们的 path，但是其他的 Frontier Lab、 OpenAI、 DeepMind 和 Anthropic，我觉得他们是越来越偏编程的方向，因为编程这个市场很大，很多人现在都是在用模型编程，他们也是觉得你要做一个很好的编程模型。
你就可以有 self improvement，这个叫 recursive self improvement，有的人叫 RSI。谁先把那个突破，那谁就先可以达到 AGI。然后这些 frontier，他们都不想第二达到 AGI，都想第一。所以其实他们有很多压力，做一个更好的编程模型。所以因为这个压力，他们就不是很看重多模态视觉推理这个问题。
所以我在 Gemini 的时候，我就我就感觉到了这个，所以我就觉得哦，现在是一个很好的机会，做一个多模态推理的模型。所以你觉得 DeepSeek 会是你们的比较的一个大的竞争对手吗？可能是，可能是对，但是我不知道他们为什么把那个文章删了，他们是不是又换了一个方向？如果你们是一个非常 research
driven 的团队的话，啊，到达 AGI 可能还有一些时间嘛，啊，中间的话，你的投资人肯定也会问我说，你中间用什么来养养活你们自己？
就除了 VC 的钱，所以你们的产品。商业化落地是怎么去规划的？我们是一个呃 research and product lab，所以我们也是做研究，也是做这个 frontier research。但是我们也我也是有那个 Google Brain 的背景啊，然后 Google Brain 的时候，我们就也是有个目标，就是把这些模型就放在产品里。
啊，然后就让几十亿的人用，然后现在Gemini就有很多很多人用了，所以那是比较成功。但是我们在这个公司也是一样的目标，也是要做一个API，然后让大家用，帮助公司解决他们的视觉问题。嗯，啊，所以我们也有这个目标。嗯，好，就是还是通过模型API的这个方式去变现。对，嗯，对。但是你的ultimate goal还是说？
就是帮助大约模型，啊和视觉模型一起达到AGI，对，达到视觉AGI，啊至少，嗯，怎么去定义视觉AGI呀？视觉AGI，我觉得应该是比AGI更好表达啊，因为AGI它的这个bug每天都在变。对，有时候是说哦，有的人说我们已经到了AGI，有的人说我们没有到AGI。但是视觉世界，大部分人都可以看到东西，都有视觉。
大部分人看东西基本的level都是差不多，可能有些人反应更快，但是大部分如果你看一个。车的方向盘，都都懂，这是这是怎么用的？系鞋带、拼像乐高、瑜伽的家具，那也都是视觉问题，这些模型都不行。所以我觉得有了一个模型，可以做这些最基本的东西，那我们就是 on the path to A G I。从那时候到 A G I 可能就不远了。
出来做公司跟在谷歌有什么不一样？我问这个问题的原因是因为，当你在谷歌十四年，你有无限的资源，你有无限的资金，你有无限的人才。然后当你出来了之后，就什么都要自己搞，要自己去找人、找钱、找方向，对吧？嗯哼，这中间的差异对你来说。是什么样的一个体验啊？呃，对，有很多地方不一样，所以呃，在卡上面，在显示卡，那当然会少很多。
但是有一个地方是一个呃优点是呃，在谷歌话，在大公司，他们每个礼拜那个 priorities 可能都变，所以可能今天有卡，可能下一个礼拜或者下一个月那也就没有卡了。但是在一个新公司的话，我们买了卡，那那就不会有人拿走。那在大公司就不是这样，啊，然后还有一个是，我觉得我突然要学很多新的东西，学怎么用
Pytorch，因为在 DeepMind 都是用 Jax，嗯，然后要学怎么用 Megatron，怎么用 AWS，怎么用 Slurm，有很多很多东西要学，因为 Google 基本上不用呃开源的东西。
所以那个 learning curve 是很 steep 对我来说，还有一个我觉得呃比较难是招聘，嗯，呃因为在 Deep Mind，那我是在 Gemini 那个团队，那很多很多人都想进 Gemini。所以一般发了一个 offer，那那个看着得会接受，但是在一个小公司那就不一样。我们现在还不是很大的名气，他们知道一个小公司有就是有更多 risk。
跟一个大公司很稳定，所以招聘就是更难。就有的人就喜欢这个大大公司的安全感，但是有的人就想，呃，试一试，就创一个新的地方。可能我们就可能会变成下一个OpenAI或者Facebook，所以他们就会加入我们。嗯，但是你出来了之后，你跟我说，啊，会有很多的research freedom，嗯，对吧？就研究自由。
但是研究自由的代价是什么？The cost of research freedom是什么？Cost of research freedom就可能这个support会少一些。嗯，就像谷歌，如果一个research
idea不成功，那就没关系。嗯，你还可以做下一个项目。还有很多资源，公司还有很多钱可以支持你，但是在一个 startup 那一个 field research idea 那个 risk 高一些，因为那些资源已经消耗了，不会带回来。
我觉得压力会稍微高一点啊，做呃 research。所以我们现在就是招呃世界上最好的一些研究员，靠他们做很好的 research，就可以有很好的结果。你觉得谷歌这十四年，嗯，带给你最大的是什么？对我觉得我这几年运气很好，可以待在这个世界一流的呃研究室，然后可以。呃，看到AI发展这么多，我们十年前没有人会觉得AI会发展这么快，这是不可能的。
我本来都是觉得世呃世界变化比较慢，就像包括到月球都是四十年前的事，呃六十年前的事情。可能我觉得我我这一代都是觉得哦，世界都变化了。包括这个电子车、自动驾驶车，但是出来AI之后，就又感觉哦，其实科技又开始呃，速度变快了。之前你还跟我提到过一个词叫 research taste，然后你说呢，出来开
new lab 的这群人，都是因为他们所看到的路线或者他们觉得比较重要的一些研究方向，在大厂大公司里面不被看重。
其实这个是很考验一个研究员的 research taste，他的研的研究品味的。嗯，对你能不能呃再跟我们说一下，就是研究品味对研究员来说它重要在什么样的地方？那对你来说，研究品味这个东西，在Google的这十四年你是怎么去养成的？对，研究品味品味很重要，就是呃不光是因为做实验需要卡需要资源。啊，我觉得最最重要的资源是时间。
如果你跑了一个错的实验或者错的方法，那那个时间就不会回来。但是，你也要知道。什么时候追一个方向，但是也要知道什么时候要放弃一个方向。研究品味就帮助你决定啊，这个方向我要继续追，我要继续花时间。我的研究评委就是我觉得是从Jeff Hinton他们来的，然后Jeff Hinton他就是觉得我们做AI的话，我们就要根据这个大脑的思想。
我们觉得大脑呃这部分是用来做视觉，用这些方法做视觉，那我们也应该做模型，也是用差不多方法，就像CNN，包括这些网络模型，这些Neural Networks也是看Neurons，他们也是学，然后他们就是从数据学的。然后现在我们的模型也都是从数据学的。我们本身建一个 transformer 的时候， transformer 什么都不知道，你要给它数据，它才可以做任何东西。
所以这个也是可能那些神经科学的想法，就是说，哦，一开始这个 brain 什么都不知道，要通过长大就可以学会很多东。东西，所以我做研究的时候，我也是按照这个方法想。如果有个新的方向，然后跟人的神经很大的区别，那我可能就不会追那个方向。你的新公司 Jeff Ding。也有投资啊，对吧？你觉得你在整个的谷歌的生涯当中，Jeff Ding对你来说是一个什么样的存在？
对，Jeff Dean 是一个很好的 advisor。我刚进那个 Brain 团队，我就认识他。那时候我们的模型就跑得很慢，我的经理就说，呃，如果有速度问题，就直接问 Jeff Dean，他什么都知道。然后他就来到我的电脑旁边，然后他就不光是看那个代码，他还是看那个机器代码，就是 machine code，就是比 C 加加和 Python 还是深的代码。
然后他说，哦，这个这个地方不对。然后他就改了，从那时候我就知道，呃，Jeff Dean是很悍壮的人，他什么都懂，他什么都学，他也包括就是自己学了深度学习和这些方法，他才可以做出 Google Brain，呃，所以他就是一个比较，呃，就是一个 role model，我觉得他对他做的很好了，那他下来就是做 Gemini 的 lead，在谷歌里面还有没有谁对你影响非常大的？
Paplay影响也是比较大，我跟他合作了好几个项目，然后我们也一起 host 好几个实习生，所以我跟他合作了很久。对谷歌的厉害人太多了，呃，厉害和聪明的人太多了。他们，我觉得谷歌 Brain 和 DeepMind 就是这一代的 Bell Labs。很多很聪明的人，包括 Noam Shazeer，他也是很厉害，和 Demis Hassabis，他也是很 unique。
他是要用 AI 帮助整个世界，所以我觉得这个是很好。好的，最后呢，啊，我们节目可以让你免费来打个广告。首先，你想招什么样的人才来你们的这个 Neolabs 实验室？然后呢，呃，对于好的人才，你跟他们喊几句话，告诉大家为什么他们应该来你的公司，然后跟你一起达到视觉 A G I。我们现在就是，呃，招世界一流的一个团队。
我们觉得要人才，呃，密集。很高就可以进步更快啊！然后我看这些中国的呃研究所，就像 DeepSeek，呃和这些地方，只是因为他们小，面积很高就可以做出很好的东西。我们在招有多模态经验的人、RL经验的呃研究员，然后我们也在招 infrastructure 的工程师，管理过呃这些 GPU
clusters，或者做了呃 training kernel、 scheduler kernel optimization 这些东西。
为什么要加入我们？那是因为我觉得我们这个团队是 Neolabs 的一个 top tier Neolabs 这个团队在其他的地方这么多数据经验，这么多预训练经验，这么多 frontier model 经验，只能在可能三四个地方可以找到，大部分其他 Neolabs 都没有。这么多的经验，我们的方向也是一个比较新的方向。
我们觉得我们就会带过来下一代的推理，下一代的 reasoning 就离人的推理近很多。我们希望大家来跟我们一起成长到下一个呃 anthropic 或者下一个 OpenAI。好，谢谢 Andrew。好，谢谢啊。你们也是刚刚搬进来？对，刚刚搬进来。我们还是用钥匙开门。现在那个应该是周五的下午，所以员工都差不多离开了哈。
你们现在有多少人？我们现在是差不多十五个人。十五个人。嗯，还有两个人在办签证，可能是十二个人在 research，一个人在 infra，然后两个人在 operations。哦，对，我们是 very research heavy。OK，所以我们还有一些这个 unpack。对，很多亚马逊的盒子。哦，没有关系，非常理解，因为是公司刚成立的时候嘛。
对，嗯，就会成为你们公司以后壮大了之后很珍贵的早期资料。嗯，对， one of a kind。我们选了这个办公室就是因为这个院子。对，就像一个quad，就像一个大学里面的quad。对，我们就午饭happy hour来这里吃饭，然后有客人都是来这里。你们还需要多一点。啊，对，多一点，然后我们也有个喷泉可以 relax。
你打算还要再加一点什么东西？啊，有个 researcher 他要加一个啊 sauna。sauna。对，白天去 sauna。白天去 sauna 我不知道，就是就累了就就去泡就去做 sauna。能在 sauna 的时候能够 thinking。对他可能是是，就像我就洗澡的时候 thinking，然后可能可以加一个乒乓球桌或者台球桌，啊，但是我们现在主要是用这个打桌游。
啊，对，因为我比较喜欢桌游，你会用视觉模型去玩桌游吗？呃，我试过了，但是他们太差了，像那个象棋版他们都不会。可能我们的模型做完之后，那就可以用它打桌游了。你的模型出来，对。所以你最爱的办公室是哪一间？就是那个那个角落那里啊，是这件吗？对，就是这一间。哦，对，这个光线很好。OK。然后有一个 standing desk。
啊，所以就是你经常会在这边看着外面，然后想一想，对对对，或者打电话，坐在家里。你现在大概一天的时间分配是什么样子的？有多少时间是在做 operation 的工作？有多少时间是在做 research 和 thinking？白天大部分时间都是做 operation，就像做 interviews
和。把我们的IT设计好，把AWS设计好，然后我做research，现在大部分是周末和晚上，嗯，就在家里就就很安静，就可以思考想新的方法。
很多idea都是洗澡出来的，我也是，嗯，对，嗯，所以就是idea完了之后，马上用Cloud Code就可以实现。idea来自于research还是你？idea在你们公司是怎么？去产生的，呃，都有，呃，所以有一些新的 vision encoder idea 是我来的，然后有一些新的像 SFT 和数据的 idea 在我们 team 来的，现在在跑，啊，但是最后我们还是觉得。
这像 Auto Research 这些模型，他们也可以做 research，但是他们的 idea 就太太 average 了，都没有 creativity。然后做 research，肯定要 creativity。我们就是觉得以前。啊，这些 ideas 就很便宜，因为编程很难，execution 很难。
但是有 Claude Code 和 GPT Codex 之后，这个 execution 就容易很多，然后现在 ideas 就那个价值就增长了。嗯嗯，所以就是这些最，啊，宝贵的 researcher 现在是大家都都在互相，对，争抢的。宝贵的资产，对，就是对这些 creative researchers 很重要。
嗯，对。然后最近我们看到 Neolabs 真的出来很多人做创业公司啊，你觉得这个趋势还会持续吗？嗯，我觉得还会吧，呃，因为现在这个很多 opportunities 开源也也有很多模型啊，你可以用，然后融钱也变容易了一点，因为这这么多公司都来 I P O，所以这一这一段时间我觉得还会有很多，嗯，但是我觉得这是这也是一个窗口。
过了一段时间，我们这一代的 Neolabs 就就发展了很多了，那就更难有新的了。嗯，你觉得这个窗口 deadline 截止是在什么时候？窗口 deadline，呃，那很难说，可能这两年吧。嗯，对。对，然后要再等一会儿，然后然后就下一代的呃实验室。嗯，下一代的实验室会是什么样子？下一代的实验室，那我就不知道了。
那可能是AGI后的实验室，那我知道。嗯，那可能都是AI跑的。哦，呀，有可能哈。但现在，对，但现现在他们creativity还离人的creativity太太远了。嗯嗯，所以还是不适合。好的好的，谢谢Andrew。好的，谢谢啊。那以上呢，就是我们与Andrew Dai的全部访谈和办公室探访了。Neolabs是如今在硅谷非常重要的一个支线，也是今年以来在硅谷幺零幺选题会上我们着重关注的方向。
如今呢，VC的大量资金涌向这样的新型AI实验室，是因为这些大基金们在OpenAI等前沿模型上的赌注呢已经太重了，他们需要一些对冲，万一大语言模型无法走到最后呢？那么接下来AI怎么发展，可能就是要看这些Neolabs的研究的成果了。就像AI技术灵魂领袖伊利亚苏斯凯文说的那样，我们正在重新回到研究时代。
那硅谷幺零幺的Neolabs系列呢还会继续，大家不要忘了关注我们。你们的点赞、留言和转发，是我们做好深度科技和商业内容的最佳动力。我是陈倩，那我们就下期视频再见了，拜。