谈到的这些 state of the art、SOTA 模型的现状，还有未来的发展方向。呃，那其实我今天更有兴趣的是，借着今天的机会呢，与我们的嘉宾们，啊，也都是非常前沿的 AI 科学家们，一起讨论一下，除了 LLM 之外的其他分支，然后最前沿的研究啊，你们都在关心什么？对，所以，我们先开头先聊聊 Gemini，呃，然后我们再聊聊 Beyond Gemini，呃，你们在研究的方向，好吧？那首首先呢，我们还是要说一下这个，呃，最近新放放出来的这个 Gemini 3。
反正我是看到各个社区也好，媒体也好，大家都是各种夸夸夸。对，呃，那大家能不能首先给我们讲讲你们的使用感受？呃，就是它真的如这种各种 ranking 上面的排行榜这种这种呃霸榜第一的这种这种好度吗？那大家可不可以跟我们讲一下你们是什么样的感受？它好在哪里呢？呃，要不然我们先从开发者的视角，先从 Nathan 开始，然后我们再嗯去去嗯，田博士还有于北还有 Gavin 那边，嗯。
好的，呃，我大家可以分享一下我这两天就是呃，集中使用 Gemini 3，包括它一系列呃 apps 的一些呃。呃，心得吧，我大概是主要使用了三个，一个是呃那个 Gemini，就是它现在最主要的那个 App，然后使用它的 Gemini 3 Pro 的这个 model。第二个其实是它针对开发者放出来的模型，叫做 Google Anti Gravity，大家可以把理解成就有点像是一个 Google 放出来这个 agent呃 agentic 的 IDE，然后是方方便开发者还有编程语言去编程，就有点像 Cursor啊或者 Code，呃的这样的一个一个竞品。
那第三个我用的可能就是这个 Nano Banana Pro，也就是今天才发布的。然后大概会从这三个点跟大家来介绍一下。那我个人因为从开发者角度，更多是关注于就是说，哦，这个模型的这个编程能力。那其实我去看了一下它的这个 ban呃 ban呃 benchmark 这个跑分了，Switch Bank它其实不是最高的。
Switch Bank是最高的其实还是Cloud呃Sony的四点五，它其实是稍微低一点点，但是已经是非常接近了这样的一个能力了。然后我在使使嗯使用这个整体的这个 Gemini 这个 app的过程中，我发现它一个非常新的一个功能，就是说你直接可以在app呃在它的这个主的这个 app里面让它去编程，然后它可以去生成很多前端的这种小程序。
然后包括像网上有很多人去用，比如说啊，他甚至可以去调用你的这个呃计算机的摄像头，然后让他看你的这个表情，然后听你的声音，然后给到你呃一些的反馈。所以说，各式各样这种小程序在网上，包括 X 上都发布出来。我觉得这一点上来讲的话，它可以让呃很多人去呃尝试怎么去开发一个 app，然后并且很快的就能使用上去。
但是我觉得它 imitation 可能更多，它是注重于前端。那比如说像后端的一些部署啊，包括在调用其他一些 a agentic 的这种 framework，它可能没有办法是在它的主 app中完成。那我觉得它第二步走的那个事情就是说，它发布了这个 anti gravity。也就是一个呃，完全针对开发者或者编程人员的这样的一个 agentic 的一个 IDE。
那我觉得它的一个好处跟像 Cursor 或者 Cloud 的不太一样的地方，就是说它完全是希望呃这个 AI coding 的这个 agent能够非常自主的帮你去完成任务。所以它在做界面设计的时候，其实是分了两个大块，一个叫做 manager view，还有一个是叫做 editor view。Editor view就是让大家大家可以理解成就传统的这个编程的这种editor，你可以看这个程序它改呃它不停呃不断的这种修改的这个变化，包括每一步在做什么事情。
但是它只是针对一个 agent去呃给你看这个 agent干什么。那 manager view呢，它其实想做这个事情就是说呃 instead让你只跟一个 agent在工作，你可以跟一系列 agent。可能比如说八个、九个、十个，你可以不断的给这些 agent布置任务，然后就像你是一个 manager一样坐在那里，然后看底下这些小弟在写程序。
然后这样的话，你可能在做一些系统工作的时候，就可以有更多的这样的玩法。比如说，你可以 create一下 agent，帮你去 review你的程序，甚至有 run一些 unit test。然后，包括我觉得它最新的功能可能是其他这些 idea没有的，就是它用到了呃，它 Gemini Three呃Three Point Zero Pro里面的一个这个 browser use的一个功能。
我不知道大家有没有用过那个呃 Minus AI，Minus其实它很多就是 Based on这个 browser use可以让大模型去使用你的浏览器，然后帮你做一些操作。但是 Gemini 这个模型呢，它的 browser use跑分应该现在是最高的。它有个叫 Screenshot Pro，好像那个跑分应该是所有模型中现在是跑的 significantly高。
然后我觉得它利用这个功能呢，就是说可以让你呃调用它的那个 Chrome浏览器，因为 Google 也 own这个 Chrome嘛，它可以拿到底层的一些 API，然后让这个浏览器帮你去呃测试你这个前端的这个程序。那这样来讲的话，等于说你的测试加上开发就完全呃自动化了，然后变变成这个一体式的这样一种开发，我觉得这是它一个呃非常好的一个亮点。
但是我在实际使用过程中，其实还是会发现他在做这个 Browser use的时候，有一些复杂的操作，他是没有办法完成。比如说你让他去上传一个文件去做测试的时候，他很多时候就停在那儿了，需要人的这种呃 manual的干预。那最后一个 Nano Banana，我发现它最好的一个功能就是说，它可以去生成一些复杂的这种图片，甚至是幻灯片。
就比如说，大家如果想要去解释说，哎，Gemini 3.0 Pro它从1.0到1.5到2.0、2.5到3.0这个发展的这个路线是怎么样的，然后每一。每一个模型它的特点是什么？像以前如果你让 Nano Banana去做的话，它是没有办法完成整个的这个逻辑链，包括把它的这个呃条理理的非常清楚。但是现在如果用 Nano Pro Pro去做这个 slides的话，它已经是能够非常好的完成。
所以说，我觉得就市面上可能那些呃做 slides相关的这些软件，可能都都要被这个 Nano Banana Pro给取掉取代了。这就是我大概使用现到现在三点主要的一个观察。
嗯，好的，呃，那天博士，对，呃，我这两天用了一下那个 Gemini 3，对吧？拿着不拿我还没有用，因为它还有个 pay，它需要就是你先有个 paid project，你才能进去，现在还不能做的这个事情。对我主要是拿来用来写小说吧，就是因为这个是也是我业余爱好。对，我一般来说一般新模型先拿拿拿过来之后，第一件事情是看它能不能做比较好的小说续写，这是我自己个人的一个 benchmark。
啊，这个 benchmark 一个是他不会 overfitting，因为其实可能除了全世界几个人之外，没有什么人会把它当成一个 official 的 benchmark来测，对吧？所以这样的话这个比较客观。然后另外呢，就是说我有这个 domain knowledge的话呢，可以看到很多细微的那个变化啊，所以这样的话可以反过来去大概看一下这个模型本身有多强啊，我所以呃 这个也是一个比较重要的、有意思的这样的一个一个活动嘛，对吧？
我测了一下之后，我觉得 Gemini 3呢确实就是我感觉上它的基模应该说做的比以前要好啊，这是一个很大的一个一个一个一个突破。呃，就是以前就是你把一部一一部就一一部就是小时候或者也很短的一个片段放给那个模型，一开一开始呢，就是我觉得到一年两年以前呢，基本上。续写的小说是不能看的，就是说它只能续写成就是那种公文式的，就是非常的那官方的这种口吻啊。
就是完全脱离了之前的那个小说的情境啊和文笔啊和那个和和和它的那个写作的风格啊，就是这个是就是大一大概是这个一两年以前这样的状态啊，不管是 GPT 4也好啊，不管是 llama也好，都是这样子。那么，等到就是去年开始呢，就是你会发现，就是续写的那个质量呢开始变好了。什么变好了？
就是它的那个文风和那个语言风格啊，开始跟那个就是之前提供那个小说段落开始开始那个开始那个 match。啊，然后那个人物呢，其实也开始呃有一定的那个连续性啊，这个是一个比较好的一个进步啊。但是呢，就是还是呃不像是人写的，因为有些时候你会发现写到最后他会说啊，就是这个人内心想什么，准备做什么，就是有一种呃。
就是非常那个傻白甜的这种写法，就是把所有人的想法和思路全部都写下来，而不是说把它作为一个比较复杂的文学创作啊，让别人去猜这个人会想什么啊。所以这种文字一旦写出来之后呢，就非常出戏，就觉得这这个回到了就是写公文的状态啊，对。那么在在后面呢，就是说你会发现，特别是 Crowd的一些能力呢，就是你会发现，呃，他开始写的时候呢，他开始注重不不不仅是主角了，而且注重其他的配角和主角之间的一些互动。
啊，那么这个时候呢，就是它这个能力呢，应该说比之前就是单写主角或单写这个那个环境呢要好一点啊。所以你会发现，就是它这个模型能力还是进步一点点。啊啊，然后呢？这次这那个这次我看 Gemini三呢，其实我其实有点惊喜，因为它不仅写了这个人物的一些那个描写啊，引入一些那个氛围，而且还那个能知道就是这些人在这个小说里面。
那用什么样的情节可以抓住那个啊，抓住人物啊，抓住这个读者的这个心啊？我觉得这个很有意思，就是说这个写法已经跟以前的那个小说续写不一样了啊。我以前在用 Gemini 2.5的时候啊，我会觉得就是 Gemini 2.5它比较好的地方，它文笔比较好，就是它会做比较详细的描写。
啊，它对于一个场景，它进来场景之后说啊，这是一片废墟，对，它会写的非常细啊。是什么地方有有有那个墙壁倒下去啦啊什么地方那个建筑了那不行了什么，然后整个环境非常的萧索。那么这个环境描写呢，应该说 Gemini 2.5已经做的不错了啊，这个相比就是 ChatGPT。
啊来说呢，他已经像个文科生啊，写得很很很不错啊，但是呢，他这个情节上来说，他比较平铺直叙啊，应该说没有什么抓人的地方啊。但 Gemini 3在我用了之后，我会觉得，哎，他有些情节的想法。甚至是设置一些反转，它这个反转很有意思，就是说它确实是满足之前的人设，而且啊，它能够在这个人设上做一些比较有创意的啊这样的互动啊。
这个互动呢，我会觉得。嗯，会觉得就挺有意思，也许我应该把它存下来，也许我可以把它作为，就是比如说我自己小说的一部分啊。它我就产生这个念头了。所以这个其实让我觉得，这个应该说是一个比较大的一个一个不同的地方啊，这是一个比较惊喜的地方，应该这么说。
嗯，对，所以我以前可能就是用小说用这个呃 AI来续写的时候呢，我最多可能存一些，嗯，它的一些描述。那么这些就是对环境的描写，它可能有一些词用的比较好，我可以把它存下来啊。但是这是第一次我看见，就是情节的互动和人物的这个互动呢，他们之间的一些有意思的这个展开啊，让我觉得很有意思啊。
这个是第一次出现啊，所以这是一个比较有意思的地方啊。那么从技术上来说呢，我觉得像这样的一个呃方向，应该说呃不会是有特定的这个后训练的那个任务去做的啊。一般就是因为这个模型基模比较好，所以它对这个小说的那个理解更加深入了。那它对这个作者写这样那个写这样小说的这个动机和那个深层次的这样的一个呃思路展开呢，它可能理解的更深了。
那么他就能够有意识的在呃这个续写中把这个啊把这个理解给啊给给贯彻贯彻下来啊，我觉得这个是一个相当有趣的啊这样的一个一个一个结构啊。那么另外呢，我另外我就是大模型对我来说还有一个用处就是怎么跟我就是做 brainstorming，就是我去跟他去讨论一些有意思的那个话题和想法。
啊，那么这一块呢，其实我觉得 Gemini 3可能还没有特别大的那个进步吧。对，之前我一直用的是 GPT五，啊，我觉得还行，啊，它确实呢，有些时候能给出想法，但是大部分情况下呢，就是基本上它就跟我我拿聊天就感觉上它像一个，呃，刚刚入学的那个博士生，知识非常广博啊。
什么东西都知道啊，就是有很多时候呢，它会跳出一个啊，你你知道一个新的一个想法，新的一个框架或者新的一个数学工具，你可以用。然后说：“哎，这个我们没见过，这很好啊，这个是很不错的。”但是，如果对一个问题如果有深入了解的话，他没有办法去做一些比较深层次的思考啊。
这个思考实际上只有人才能做，而且人给他一些比较好的建议，呃，跟他说这个事情你不能做，你做做另外一个那个东西是有前途的啊。这样的话呢，这个模型才能沿着你想做的思路往下走啊。现在我感觉 Gemini其实也没有做到。”这上面有什么突破啊？还是跟原来差不多啊？
就是他做题肯定是可以，他是一个非常好的做题家啊！我相信那么多打那么打分，嗯，其实背后是因为很多人努力把很多的题目都放进去给他训练了啊！但是他并没有做到就是超越做题家的这个水平啊，还是就是创造性的，特别是对科研上的创造性思维还还不是很足吧？
啊，所以还是还是需要人。啊，所以这个是我的现在的两点感觉啊，这个是相当于是两这两部分应该说是对于我来说是重度的那个使用的这个方向啊。其他的像 coding 啊，像做那个程序什么的啊，我现在用的还不是很多，那我就随便。比如随便写了一些，比如说它生成一个三维的啊，三维设第一人射击游戏。
啊，那种 first shooting game 啊，它就是能写出来啊。当然，我会发现写出来之后，才发现那个方向键是错的，就是你按前它是往后走啊。所以呃，当然这种小 bug应该说不不爱大事，但是呃，确实就是它这个降低了这个前端开发的门槛啊。很多时候我什么都不懂，我也不懂什么三 D呃 什么 D三 G S这些东西， C V C GS这些东西，但是它就能够写出来一个东西是可以跑的。
啊，这个我觉得应该说是对大量的那个编程的啊程序员来说，这是很大的一个啊便利吧，啊。我大概就说这么多，嗯嗯，好的好的，就感觉它的这个 reasoning的能力还是有很大的增强的，但是确实可能还不够。对，呃，然后刚才那个呃 袁栋跟 Nathan都提到了编程嘛，然后我也看到这个这个 Anti Gravity是不是之前 Way Search团队做这个做的，那么是不是这个收购还是收购的蛮正确的？
对，呃，那接下来呢？那个问一下 Gavin，因为啊 Gemini三出来之后呢，我跟 Gavin小聊了一下，他就跟我说，他其实觉得啊 Gemini三很惊艳的一点是在于全模态的这个概念。那 Gavin能不能跟我们来啊说一下这个全模态的定义是什么？然后你觉得整个 Gemini是怎么在布局这样的一个多模态或者全模态的下一步的？
嗯，首先我感叹一下，就是 Google大厂之力恐怖如斯，就是它有一个很完整的一个一个 ecosystem，就是 end-to-end的关于 AI 的一个 tech stack。然后，嗯，我们先看就是 technical wise，它 foundation model的一些 benchmark吧。就是我其实最惊艳的一个是 Arc AI 2，因为那个 benchmark我之前稍微研究过一点，它是一个 few-shot learning少样本学习。
或者说也也叫 meta learning原学习。它其实就是考验的，就是说我们现在更多的模型训练是一个大数据，就是说我们要有很多很多数据呃丢进去。但是就是嗯，RAGI的那个那个呃 founder他就觉得说这不是真正的智能啊，就是你是一个做题家。
就是说真正的人的智能是说你就算是看过一两遍 example你也能够快速的呃获取某种某种 pattern和真的才是真正的 intelligence。所以说就有了 RAGI这样一个 benchmark。然后，呃，它的话，就是 Gen Gen AI Three可以说在 RKGI上，呃 这个 benchmark上有了一个有一个呃质的突破。
之前我看他们缩小好像是百分之十几，或者说是个位数，它做到百分之三十几。这样的话，就是说，呃 它其实光通过呃看一些很简单的呃例子和 pattern就能够呃 fetch出一个就是 human reasoning capability。我觉得这个地方应该是仰赖了它的一个 multi-modal呃 model的一个 reasoning capability。
因为之前的话，我们的 reasoning模型四维链，我们看到那个 chain of thoughts就是模型在那里自言自语，对吧？就是它是一个 single modality，它是通过语言的层面在在自自我的去去思考去推进的。所以我觉得这个地方 multi modal的 reasoning
可能是对它有很大的那个帮助。不过这个地方的话，还是要请教田老师和陈老师。然后 another thing 就是它的 math arena apex。就是它是对于就是数学啊，就是基于符号学的一个一个表征啊，做reasoning也有了一个质的突破。我知道有些公司像啊，就是XLM，然后那个Symbolica，他们也在做这个方面的探索。
然后看到Google在这方面有突破，我觉得是very impressive。呃，另外一个就是像 Nathan 讲到的 Screen，呃，Spot Pro 那个东西，就是我之前看过一阵子，就是他们有些做 OS agent 或者说是呃 browser agent，他们是就是说通过一个 vision model 对于一个屏幕的理解。
然后呢，更多的还是要把这个东西呃屏幕去 image 进行 annotate 以后扔到一个 JSON blob 里面去，就它有一个它是有一个 structured representation 是给 language model 去做一个 reasoning。呃，因为因为真正的那个 reasoning capability 在 language model 里面，那现在的话相当于就是它能够。
在模型本身，foundation model本身就一边看着那个屏幕，一边就在语言里面进行reasoning。我我觉得这个地方就是impressive，就是我知道他们那个就是multi-modal的这个这个pretraining已经从之前的那个blue era。
就是说啊，就是我一个language model呃architecture和一个啊image或者video architecture拿过来，我做一下alignment。就是呃中间加一些adapter，嗯，embedder这个alignment。现在的话就是说，他们是呃可以把这些多模态的数据全部放到一起 mash up together。
呃给那个模型去去做预训练。所以说这些呃大模型，尤其是Gemini 3，它效果已经很好了。就是它是 model native 的一个模态 model，就是和去年我们说的都都完全不一样。所以这个地方我觉得它就 opens up a lot of doors about a lot of new opportunities。
呃，去年的话，还有就是我有一位很尊敬的前辈，他跟我说，呃，这个呃，model这个东西吧。就是文科生、艺术生，他给你generate那个这图图片出来吧，一个人有六根手指。Because it is trained on pixel by pixel, right?
就是他其实不知道，就是人这样一个生物是应该是只有五个手指。所以就他并没有一个像我们人一样去基于consolidity或者说是呃common sense physics理解它的能力。但是现在从Gemini 3，呃，就是就就是它可以self evaluate的一个一个角度来说。
那因为这个地方我昨天跟Gemini 3做了一些讨论，我说你为什么那么厉害？能不能告诉我？他跟我呃就是剖析了一下。呃就是讲到就是他他们里面其实采用了一个 tree of thoughts。
就是我们之前都是 chain of thoughts，就是用从软件工程的角度来说，它是一个线性的一个推理的一个链表。但是 Gemini 3 的话，它 actually 它是一个思维树，就是它其实是有多条思路并行的。并且在 model 内部，它的 architecture 就是一个 self rewarding。
就是它里面是打分，就是说呃 threshold，然后哪些思路我要 drop，哪些思路我要 adapt，这样一个状态。而且它还基于就是说 foundation model，它上面还 wrap 了一层 engineering wrapper。
就是说像我们传统的说 search。对吧？就原来你就是一个 linked list，现在我是一个 search in a tree。然后我可以从这里面寻找，就是我觉得真正那个就是就是好的思路，我能够给你一个 validation。那这个东西就跟之前的另外一个 philosophy 的趋势是吻合了。
说一开始的时候我们是 prompt engineering，后来我们要做 context engineering，现在呢我们要做 environment engineering。这个东西它那个呃 Google Gemini 已经 adapted。
就是说说我有一个呃 engineer environment，我去给你很多的 feedback。要让你validate你现在在推演的这个东西啊，是不是是不是make sense？这条思路还有没有必要搞搞下去？首先，它是一个performance上优化。
其次它的accuracy也有了显著的提升。对我来说，最惊奇的部分就是说，我们竟然可以就是说，呃，engineering和model science结合起来。然后我们可以继续去突破这个Scaling Law的一个壁垒。
因为之前就是我们完全的去Vertically的呃这个Scale，就是Foundation Model本身可能就是它已经遇到了一个瓶颈一个Bottleneck。但是现在他们相当于就是Adapted那个Vixture of Expert M O E的那个Architecture以后，它又能够Model本身能够Horizontally Scale。
同时呢，engineering又可以让它就是不断的能够self validate。所以说，我觉得就是technical wise，呃，这个可能不亚于三年前的那个GPT时刻。
对于我来说，呃，另外一个呢是就是Google他们确实真的是就是全家桶嘛，Gemini属于全家桶。它又是就是nano的那个呃pro也出来了。然后那个呃呃coding的那个IDE也出来了，它直接对标那个CodeX加Cursor，对吧？
就是它它首先前端它一边看着那个网页一边跟你编程。这个体验我认为是就是完全next level的，呃，就是跟之前我们说的像像Logo啊啊Vigma这些。就还是说就是它是个chatbot。但现在的话，它真的就是说，它至少就是在视觉效果上，它的那个 attention 跟你 align on the same page。
这个就是因为我之前也做过一些类似方面的探索和尝试。然后 Google 这个一做的哈，我觉得嗯嗯，这个方向没什么好做的，就等着那个 Google 给我们包圆了就完事儿。对，所以我觉得就是他他 Google 有个很完整的一个产品的呃生态 ecosystem。
然后让它有有足够的 problem space 去 iterate 它 foundation model 的能力，并且去验证去提提升。就是就是 yeah，呃， I'm very impressed and glad that's happening。
哇，Devon的评价非常高啊！呃，我这两天在那个一些社交媒体上面看到很多人得出结论说。coding之争已经结束了。然后你们觉得这对于比如说Cursor跟Devon来说意味着什么？
呃，我觉得首先第一个就是说这个不一定是对的。因为现在很多的demo是就是一键式的，就是我给你一句话，然后它出了一大堆的那个程序。这大家看的更多的是那个程序本身的这个完整性和漂亮程度，对吧？我觉得这个是他们看的。
但真正写code的人呢，其实他们更更关注的是这个这个模型是不是能够做比较好的印刷成following。就是说，我说我就是要希望这段code改成我想要那个样子啊，或者说我要做一些非常细致的事情。
希望这模型能够follow啊，那这个东西行不行？这个要看就是之后大家的，就是更深入的这个评测吧。我觉得，所以不一定呃，是比较嗯，就是说这个事情可能还下结论还下来还比较早。对我是看到网上是有人说Introducing Gemini不够强啊，Gemini 3。
对这个不是很清楚啊，但是呃，可以再过个一阵子看看大家的想法是什嗯。对，Gemini 3的话，它的 benchmark 是打的不错，但是就是 coding 的话。 it's a much more complicated engineering problem。
就是说，现在的这些大模型都是写写前端可以，因为那个东西非常简单。但是说后端的话，还有一些我觉得现在还缺了很多 modality。这也是为什么我对于那个多模态这么感兴趣。
就我觉得你后面的 production log啊，就是还有很多一些就是你 code 真的跑起来以后，你 code index这些东西都是些 signal。它可能就是说呃不一定是按照现在这样就你静态的去读code的的形式去给model做一个理解。
对对，有很多的那个具体的那个use case嘛。就是说比如说你真的拿它来做codex或者拿它来做一些就是具体的呃reporter的一些啊一些task的时候嗯。其实很多task是非常琐碎的，嗯有很多有很多的corner case啊不知道他们解决不了解决得了这是个问题。
嗯嗯对这个可能又呃到说到这个模型的robustness了就是这个鲁棒性啊就是俞北非常啊擅长的方向。那俞北来跟我们说一下你的你对Gemini Gemini 3的观察。
哦，我其实不敢说我对Robustness擅长，我有一定的呃在团队中有一定的这样的经验。然后其实今天我要坦白的讲就是说呃Gemini 3出来我最近比较忙所以我其实今呃Gemini 3还没有来得及用上一下。
然后所以我今天就呃赶快找不同的小伙伴，然后AI组的各个组，然后去看了一下大家的使用体验。然后，所以我今天讲的所有的东西基本上都是二手的，但是我觉得可能有一些有用的early的呃就是比较早期的一些feedback可能是有有价值的。
然后首先是我觉得是一个它的优点，我发现大家普遍的这次反应就是说Gemini 3发布以后呢在general的这个问答以及general的这些agentic或者reasoning的呃部分呢大家都反映能够回答到大家的心头好上了。
因为在2.5的时候呢大家在使用的时候总是觉得它的hallucination的非常强，然后经常回答的是觉得回答不到点上。但是这次Gemini 3发布以后呢我听呃就是好几个组都大家都反映就说哎这个觉得这Gemini 3的话他觉得呃这个可能pretraining或者posttraining全都做的比较比较好。
然后所以这次回答的呢呃不但简洁而且准确度还觉得挺挺合理的，然后这是我觉得是一个比较优点的地方。
然后呢呃紧接着呢就是另外一个early的feedback就是说来自于这个vision组，vision组的呃他们做了一个早期的内部的一个测评就是用内部的一些benchmark做了一些测评。然后呢反馈反而是negative。
就是说在Gemini三的时候，在real world的visual understanding呃反而下降了。然后呢但是这是一个非常 early stage 的因为 benchmark 的级别比较小所以它的 variance 可能会比较大，所以不敢说一定是一个 conclusive。
但是毕竟是一个很早期的嘛然后所以他们去看了这个测评的原来的 Gemini 3的这个测评报告，然后就发现在 Gemini 3的这个测评报告里边真正涉及到 real world呃就是涉及到 visual understanding的这个 benchmark只有一个。
而且还不是真正的real world visual understanding或者video understanding这一类的，所以说呃不排除这个所爆出来的这种这种improvement里边有有有一部分的重要的一些task没有包含在里边。
然后所以这是从vision这边的一个反馈，然后呢稍微不好意思对我稍微打断一下你说的这个 real world 那个 vision understanding主要是测的它什么能力啊能不能给我们的比较小白一点的这个观众们稍微大家解释一下？
哦，就是说这个就是涉及到当你使用摄像头在真实世界的场景啊比如security camera啊等等一系列的这种场景下你要分析用户的行为呀要然后有没有一些事件的发生呀potential的一些risk呀或者就是一系列的这种我们涉及到这种呃现实世界中我们部署的这种摄像头、门铃的一些等等的。
就是各种各样的这种呃场景下的一些分析的话，然后反正就是说在小范围的这个 benchmark 上发现它呃性能下降了。
然后呃但在这里边呢反而它的 reasoning 的长度上升了，由原来的基本上上升了呃两到三倍三三点五倍两两两倍到三倍吧就 reasoning 长度上升了两到三倍，但是实际的在小范围的 benchmark 上下降了。
但是 again这个是一个小规模的一个benchmarking然后小规模的benchmarking的话它的variance可能会比较大所以你不敢说这个就一定是一个客观或者是objective的一个evaluation。
所以我我觉得需要更多的一些测评，就是从不同角度大家的测评。呃那由此也其实也引出一个问题就是说我们呃其实这是我们讨论的蛮多的最近一件事情，就是说在公榜上的一些一些benchmark有时候未必能反映实际产品中的一些性能。
因为真正的呃产品级的这些team的他们的内部都有自己的测评的这种measurement，然后这些 measurement 呢其实呃是很重要的一些指标因为你如何来优化模型很多的时候是依赖于你如何来 measure it。
那么如果我的 measurement 就是就比你更贴近于实际或者更好的话，那么无论你如何优化那个在公榜上的这个 task 的话有可能会走偏因为它的 gradient 错了嘛。
然后所以这个可能也是 OpenAI，像其他的一些 team 他们也有的一些优势我觉得可能大家的 benchmark 内部的 benchmark 和外部的 benchmark 未必是一样的对吧这个需要更多的 context 来建立一个更好的一个 measurement。
哎然后呃再者呢就是呃就是language组组这边的一个反应就是说觉得在这个呃虽然这个Gemini 3呃三有一些有很大的提升。然后呢但是呃涉及到这种呃反复的multi-hop，然后涉及到外部搜索然后aggregate嗯嗯就是说整合信息的这种是。
就是要搜索，比如说我要分析这家公司从二零零五年到今天二十年的这个财报啊里边的一些问题然后我要做这样的一个比较复杂的搜索任务的时候呢Gemini 3呃它的performance似乎还达不到就是这个ChatGPT Pro的这个这个能力。
但是Gemini 3有一个好处，就是说它的速度非常快。然后对于一些更为简单的一些task的话你可能不想等上好几分钟，然后让它去做那么长的一些这个reasoning。
然后所以就是说从就一些比较常规的问题上大家可能更prefer来使用Gemini 3。然后呃涉及到复杂问题的时候有可能还是会想考虑使用到GPT的Find Pro嗯再然后就呃到下一个task就是说呃这个就比较subjective了。
呃就是在这个呃scientific writing，因为我们要写scientific的文章然后学生的反应就是说呃感觉scientific的read呃writing上面呢反而性能也下降了。
就是说不如呃Gemini 2.5的效果好，然后呃但是这个都有可能是没有用对啊。
然后还有就是做这种嗯不是外部coding但是就是说辅助coding的时候接入Gemini 3的时候似乎性能也下降了。
然后所以就是在如果你问他们用是用呃Gemini 2.5还是用Gemini 3的话，呃呃大家呃反而在使用Gemini 2.5进行coding。但是这都有可能是一个新产品发布之后呢呃就说你没有使充分就是能够合理就是把它最大的优势发挥出来或者使用正确导致的。
所以也这些结论都是比较 early 的，所以只是一个一个早期的一个分享。但 overall 大家还是觉得这一次的 Google 对于 Scaling Law
啊，呃的执行比较彻底，就是说在似乎在这个……当然也有它得天独厚的优势了。然后反正就是说，这是大家给我的一些信息，我就把这个二手的信息传递给大家。嗯嗯，非常非常好，我觉得呃给出一些不同角度的反馈跟测试是非常有价值有意义的。但是就像余伟说的可能现在刚放出来没几天大家都还是在测试阶段，那它真正到应用上在开发上能够带来多少的 robustness 和稳定性我们可以再等两天看一看开发者社区的一个反馈哈。
那就接下来对于 Gemini，我还有一个问题就是说嗯总体来说就是给谷歌现在从一个追赶者的角色差不多齐平或者是已经超越了比如说 OpenAI 还有一些最 SOTA 的一些模型了。那我想问一下就是说呃这次大家怎么去理解谷歌在模型上面的优势呢？还有就是它的优势是不是生态还是算法或者是多模态啊因为我看这次 Gemini 的项目负责人自己透露说哈它 Gemini 3 的秘密就是改进了预训练和后训练。
那么这句话意味着什么是不是可以理解就是 Scaling Law 不像我们之前说的已经撞墙了而其实算法优化和改进空间依然还是有的嗯我想听一下大家对这样的一个结论有什么样的看法嗯谁想先来那我们从这个田博士开始。
对当然就是说这句话说预训练和后训练都改进了这句话其实是废话因为又是这样子两边肯定都会有一些改进吧。然后比如说数据可能做的更好了可能会有新的架构对吧训练的那个各种的稳定性资料增强对吧然后后训练各种任务啊完成的好还是不好就是或者说 reinforcement learning 能不能更加 scale up，就这种这些东西都是一些比较细的东西吧。
对吧就是每部分都做的挺好的那肯定会比之前的模型做得更好这个我觉得是没有问题的就是你本来是有一个工程上的挑战你把每一部分都做到非常好比原来更好那最后模型会变得强啊。但是就是我觉得很好奇的是它的预训练是有什么样的 secret 怎么样能够让预训练变得强啊我觉得这个应该是很重要的因为预训练很强的话很多后训练的问题其实就不是问题会比较容易解决。
基本上是这样就是预训练相当于是一个把一个模型变得很聪明那么它很多后训练的那些任务就很容易学会了并不需要花很多代价去教它。如果预训练不行的话呢后训练的问题就是你必须有很多东西去教它然后教了之后它还不会就相当于教一个比较笨的学生一样的是这样一个风格。但是如果聪明的学生呢就是给一些样本他就马上就通了啊所以看现在这些反馈的结果我感觉上是它的预训练是比较好的很多事情它能够一通百通或者说是比较容易地能够做到比以前的能力更强。
但预训练里面就是一个是架构一个是数据嘛两边如果做得更好的话那当然模型会变得强嗯然后当然还有一些传言说就是 Google 修掉了一些以前的那个训练的 bug。对当然这是传言啊我也没有办法证实它真实性是 Norm 干的吗说 Norm 回去就把 Gemini bug 修了 Gemini 就好用了啊这个我不知道啊都是传言。
对 Gavin，哦呃抛砖引玉哈就是我觉得现在肯定是产品形态其实是反过来对于模型本身能力有很大的促进作用的。然后 Google 它有个完整的产品生态我记得应该是 Jason Wei 就是那个 O3 的一个 Channel Force 的作者他之前提到过所有有确定方法论的领域 eventually 都会被模型所吞噬。我觉得就是 Gemini 3 也看到了这样一个趋势就是说大家先是用 engineering 的 wrapper 去 build 一些 agent，就是在 orchestration layer 里面加一些 prompt。
这个也 echo 到邓道宇被讲的问题就是每次新的模型 launch 出来的时候大家的 agent performance 都会下降因为你那 orchestration 里面放的那些 prompt 是给上一代模型用的然后它不一定对这代 model work very well，因为它是一些不一样的 embedding in the default heuristic search space。所以说我觉得既然它的这些公共榜上打得特别好后面 eventually 还是会有一个水涨船高的过程。
但是我们更关心的现在其实不是基模的能力的而是它的规模能力的提升是不是 actually 让我们的产品 add value to our product，然后让每个人的用户体验或者说针对一些特定的 problems based KPI 有所提升而这个的话其实是一个 product strategy 的部分。所以说我觉得现在这个地方是 bottleneck，agent 的话他们还是把一些以前大家已经在做的事情去 automate，就是这个蛋糕并没有做大。
所以说 job positions 可能是在变少而我觉得现在是需要 create new business model, new product shapes, new job positions in a different way。For example，就是像讲到 coding 这一块儿的话 web coding 其实就催生了像 Palantir 他们提出的一个新的岗位叫做 forward deploy engineer，对吧就是他这个 engineer 把 commercialization、产品定义形态 PM 做的活到后面开发 engineering，前端后端一个链路是完整打通的一个人顶三个人用。
那就像这样子的就是一些 strategy，我觉得希望看到更多更多的这样的策略的出现让大家能够跟这个不水涨船高的基模的能力不断的提升我们应该要造一艘小船在那个基模能力逐渐升高的水面上我们也能够站得更高创造更多更更多的价值。然后我觉得就是说对既然 Google 的 Foundation 已经做了这么强了希望它的那个生态里面能够有更多的这样子的 killer app、product 出来。
好的那份你有什么补充吗对我可能补充一点就是说呃我其实觉得 Google 整个这个 Gemini 模型的生态链从 1.0、1.5、2.0、2.5 到现在的 3.0，我觉得它一直做的比较好一个事情就是它一直在坚持做多模态这个事情。呃其实我仔细去查了一下其实在一点零的那个 technical report 的时候就已经写了他们已经开始使用这种 native multi-modal 的一些训练也就是说把这个文字、呃图像、视频包括声音都放到这个 embedding system 里面去进行一系列的这种 pretrain，只不过当时可能效果不是特别好。
然后到一点五的时候它已经开始在用 MoE 了。然后到二点零的时候加上了很多这种脱靠的这种 improvement，因为那时候 Agent 非常火。然后到二点五的时候也就是 DeepSeek 发布 DeepSeek 是比它早发大概三个月吧然后它是它在二点五的时候去上了这个 thinking mode 就 reasoning mode，我觉得应该也是借鉴了 DeepSeek 当时的那篇报告然后很快的去迭代出来了。
然后到三点零的时候其实我也跟那个 Gemini 讨论一下为什么你这么好用啊得到结果其实跟那个 Gemini 刚才说的很像他刚讲的那个 decision tree 的概念嘛。然后当时 Gemini 给我的那个答案他也是说叫做他用了一个叫 deep thinking 的这样的一个 mode，大概就是说我们去试很多多轮的这样的步骤去得到这样的尝试得到这样的结果可能最后我比如相当于我把一个问题转了十几次然后得到十个不同的这个方向然后最后我会去 reflect 去思考说哪一个可能更好。
然后在得到这些结果的时候我再去生成最终的这样结果我记得 Yann Le Cun 其实在一年前的一个讲座的时候就提过类似这样的概念他也讲到在 embedding system 的时候如果是想 train 一个好的 word model 的话你其实也是需要让这个模型可以有各个思路的去思考然后找到一个最好的这样的一个思路而不是说在最终结果的时候去完成这个事而是在整个的这个 embedding system 去完成这个事情。
所以我觉得就是说是不是他们也借鉴了杨小困当时的那个想法呃这个可能不表然后最后一个我其实想讲的就是说我去了那个开发者的 API 啊就在开发者 API 的那个 Doc 里面藏了一个彩蛋。他当时有彩你可以去搜就现在他那个 Gemini 3，如果你想用他的 API 去调他模型去做他有个彩蛋。他现在在彩蛋里面写了就是说 Context Engineering is a way to go，他在一个例子里面的时候就专门写然后大家被找出来想说哦 context and journey 现在变成 Google 就是可能非常重要的其中一环。
我后来突然联想到我现在在使用这种大语言模型的时候我会做的一个事情是什么比如说我想让他帮我写一篇很好的这个 Twitter post，我一开始会跟这个模型讲说你帮我去网上搜搜索怎么样写一个 viral 的 Twitter post，然后帮我把这些资料收集下来整理好然后根据这些 learning你再根据我想要写的那个内容帮我把它 adapt 这些东西。
所以我发现呃就是这个 context and training，我在想说谷歌是不是也在 train training 的过程中通过一些数据啊或者通通过一些思维链可以让它自动产生这样的一个行为。包括谷歌自己其实它的这个做测试是非常强的嘛是不是它在这个模型使用过程它可以自动的去抓取这些信息然后再把这些信息放到它整个这个思维链和 context 里面去然后最后再生成这样的结果。
也就相当于说每一次我去生成一个 response 的时候我都可以去抓各式各样的这种 context，然后再完成这个我觉得这样的话其实我个人就是手动这样去做使用的效果呃就已经非常好包括我可以让它写出来比较好的比较 viral 的一些 x 的这个 post。所以我觉得这一点上是不是谷歌也这方包括从它 API 的这个彩蛋里面它也提到这个 context engineering，我觉得可能也是下一轮模型训练是不是一个新的方向。
当然这是一个外行来去讨论这个我觉得各位可以再再补充一下好呀好呀对我我可能要先说一点就是一般来说你最好不要问模型它是怎么做的因为它会 hallucinate。对所以一般都是看那个具体的文章看那个模型的 model card 去看就是它这个模型怎么做的。对如果他跟你说他是用 True Source 做的他不一定用 True Source，他是 hallucinate 出来一个 True Source啊所以这个都是都不是那个真实的新闻。
另外我觉得因为我也知道谷歌我认识很多谷歌很多人嘛所以他们自己有他们在 2.0 时候已经有 Thinking Mode了，就比如不是说是超了 DeepSeek然后他们做起来这个不是这样子他们有自己原创性的能力。对当时 Daniel 就有一些那个想法吧然后他们整个 team 把这个 thinking mode 做起来。所以我觉得应该说还是有很多的这个原创有很多的原创性的东西都是从过来的嗯对 Google 的人才储备这一点真的是非常非常强的。
余贝你有什么要补充的吗这个问题哦这个里面 again 就是这次的这个想法呢其实还是从团队的其他小伙伴这儿得到的。然后尤其是这个问题呃我认为我我觉得 Brian 成我的一个好朋友然后他的一个观点我觉得非常的有意思我也比较认同。
就是说呃很显然就是 Google 这几次 Gemini 的迭代其实也体现了 Google 可以 actually correct 之前的一些一些问题对吧就是说那显然在这个逐渐在 AI 上已经赶上来了尤其是这次 Gemini 3 发布以后呢我们确实觉得它呃确实比较极致的在执行这个 Scaling Law。嗯那假以时日那可能也可以达到 OpenAI 的这些 performance，对吧哪怕今天不到呃但当然 Gemini 3 有一个 Gemini 3 Ultra我不知道还在不在啊。
呃如果但是我没有完全没有信息就那我这个就不 comment 了，但是感觉上就是说哦呃这个假以时日确实可以赶上来。那么这里边涉及到一个底层逻辑就是说 Brian 提出来的一个观点我认为有意思就是说为什么 Google 更加 ready 的可以去执行彻底的执行这个 Scaling Law，反而是来自于它硬件上的优势。
因为呃只有它的 TPU 是完全的软硬件整合在这种大 scaling 方面的就软硬件整合。然后呢那如果我们看 NVIDIA 的硬件的话它的 margin 有百分之七十，那也就是意味着这使得没有硬件能力的 AI 公司它不具有这样的一个 economics可以坚决的来执行这个 Scaling Law。然后那 Google 呢它具有这样的一个硬件的一个优势，然后它可以坚决的执行在大更大的模型更更多的 training。
然后那其他的比如说 post training 一些 data 的一些 curation 等等的比较 expensive 的这种 multi model 的一些都是 following，就是因为它的这个底层的硬件能力使得它可以更加坚决的执行这个 Scaling Law。所以会对其他的团队提出一个比较大的挑战比如当然 OpenAI 也在有自己的硬件，Anthropic 是不是应该没有自己的硬件？所以呃可能就意味着就是硬件的限制是和主流 hardware margin 的过高导致于他们在执行坚决执行 Scaling Law 的这种进程的里面会受到阻碍主要是让一个经济上的一个问题。
嗯这可能也对大家敲响一个警钟就是说大家这个对硬件上要重视然后这样的话才能再把这种 Scaling Law 再坚持的呃执行下去。嗯当然也 NVIDIA 如果要是它的 Margin 降到比如没有 margin 的话那也许大家就不存在这个阻碍了。嗯当然这只是说对于 Scaling Law 的一个角度。
那么 Overall我们还有一个感觉就是说在 Multi Model，尤其是涉及到 Vision，multi model 的 scaling 其实不会像感觉上没有没有没有像 language 一样简单。然后就是说它呃我们想要的从 language 这边获得的这种 scaling 的这种效果在 vision 上出现的较慢。所以呃这也是 multi model 上的可能面尤其是涉及到 vision 的一个挑战吧嗯这个这里边就是很多的一些观点我被 Brian 成这个 inspired的所以我也给他打一个小广告。
就是 Brian 今年要去呃 UCSF 的 biophysics
的要当当教授了。然后，如果呃，屏幕前有其他的小伙伴要申请PhD，也欢迎申请Brand组。我认为Brand是一个非常weird的人，然后他很original，对。那那我觉得这样的人是是作为PhD的导师是很不错的，对吧？我经常呢可以被他inspire，然后他也在AZB一起，我们一起来做一些呃一些事情。所以所以我觉得就欢迎大家申请这个Brand组。嗯，交广告太棒了，太棒了！下次那个请Brian来上我们的节目，然后跟我们讲讲他在研究什么。嗯，对，非常感谢各位啊！
然后我们最后还剩一点时间，我来想来聊聊除了呃这个大语言模型之外，然后大家呃正在研究什么样的东西。对，因为呃，我觉得就是现在呃，虽然就是大家说 Google 这次比较极致的贯彻了，或者是执行了 Scaling Law，把它的这个啊 Frontier 再 push
往前了一步哈，但我们看到在硅谷呢，其实有非常多的团队啊，还是在探索一些。更加非主流的一些去达到AGI的路线，啊，这些非主流的小团队呢，在这边被称为New Lab。那最近我看到的Information其实就有篇文章说，这些New Lab最近的融资呢也是非常受到这边风投VC的追捧的。
那比如说，在过去一个月，就有五家的这个New Lab的初创公司就，嗯，达到了高达二十五亿美元的这个融资啊，呃，这包括了比如说Reflection AI，然后他们是有两名呃这个Deep Deep Mind的研究员出来创立的啊，然后想要跟啊OpenAI还有Anthropic去直接Compete这种闭源路线，然后他们是呃想要做开源。那可能还有一家叫做这个呃。Periodic
Labs，他是之前OpenAI的这个负责呃研究负责人叫Leonidas出来创立的，然后他们想做的是AI自动化科学研究，嗯。以这个为目标，想要去探索这个低能耗超导材料的这个探索领域，所以我们可以看到一些垂类的小模型跟非主流的这些模型的呃派系出来哈。
那那还可能还有一些派系跟实验室，包括以利亚苏斯凯文的Sif。啊，Superintelligence，还有Mirah Marati的这个Thinking Machine Lab等等等等。所以呢，就是接下来一个问题呢，我还是想问一下各位，说大家看到除了LLM Scaling
Law之外的AI发展趋势，啊，特别前沿的那些研究有哪些是值得我们关注的？那我们先从田博士开始好不好？因为，嗯，对，最近田博士也是发了论文，然后在呃描述这个AI在顿悟还有可解释性方面的一些研究。
对我这个是，这也是我一直以来的一个坚持的一个方向嘛，对吧？就是，呃，我个人一直觉得，就是Scaling Law呢，它是一个很有意思、实实用性的一个一个一个方向，对吧？但是总有一天，嗯，你会发现这个。地球上所有资源都没有办法满足这个计算的需求啊！那个我们是不是要把地球变成一块巨大的显卡？这个是一个很大的问题啊！
所以就是如果它的横轴是指数的，然后纵轴直线性的话呢，其实很难去呃很难真的是去维持这个Scaling
Law的正常运转嘛？那应该这么说。对，如果就是回到以前的那个机器学习的这样这样的范式呢，大家可能会觉得就是你用指数级的样本获得一个线性级的那个那个那那个效果的增益呢，其实并不值得称道啊，因为其实这是以前的研究员的这个想法啊，因为就算是你用这个 nearest neighbor，或者说你用这个啊，这个supervised machine就就像让机器来做，它都能做到这一点啊。
所以我们觉得这个scaling
law本身呢，其实就意味着就是说我们对这个世界的结构一无所知，我们只是说希望这个模型去把这结构呃学习出来啊，用这个模型的结构的学习呢，然后代替人的去人的想法啊，是这样子。当然，就是因为现在这个模型越来越强呢，就是它每强一分，都能够让就是世界上的很多的工作变得自动化，所以它本身有自己的意义。
啊，所以这个时候呢，就算你对显卡也不是不什么坏事啊。但是作为研究员来说，我还是希望就是有一些，呃，对于这个世界本质的一些理解吧。啊，所以呃这一块呢，我觉得应该说是一个比较呃有趣的一个方向啊。就最近啊，我这边也做了一些工作，比如说啊，就是探索神经网络如何产生涌现的这个机制啊，这个学你们知识怎么学出来的？
啊，它的学习能力啊，它的那个知识的那个表示是怎么怎么怎么达到的啊？我们经常说这个模型神经网神经网络的表征很好啊啊，它学出了更好的内部的那个结构，让这个模型变得很聪明。这样的话，它的后训练呢能够做得更加更加有效率啊。所以这些东西都是一些比较虚的，或者说比较高层次模糊的概念啊，或者有人说神经网络是来压缩的，比如说像伊利亚说的，就是压缩数据，压缩就是智能啊。
但这些话呢，其实应该说是就是比较高层次的这样的话啊。那具体的就是什么样的数据能压缩，什么样的数据不能压缩？比如说，如果是压缩有智能的话，为什么我们不能压缩软件来做？压缩软件也是不一定产生新的智能，对吧？但是其实压缩软件并没有产生。智能啊，产生智能的还是神经网络啊？所以啊，所以应该说是这里面到底是什么结构导致了这个？呃，这个神经网络有很好的泛化能力，我觉得这个是一个非常重要的啊一个一个方向啊。
所以这个方向呢，我觉得一定会坚持下去啊，做下去。那么呃，然后呢，当然了，就是现在。大语言模型能那么有效果啊，那么那么有这个有有能力的话，其实就是传统的研究的这个思路呢，就是也是需要与时俱进的啊，就是怎么样用大语言模型，怎么样用现在那些工具把这个研究的这个过程啊就进行加速啊，然后怎么样呢？这个研究变得更加有效率啊。我觉得这是一个很有意思的啊方向去。可以继续做啊，像其实今天是那个应该说最近SML有一个这个review
process对吧？然后今天是应该也是那个rebuttal的一个一个一个deadline嘛，或者说，是今天晚上还要做一些东西嘛？
就是我就觉得我在做就是给自己的文章做实验的时候，你会发现，就是用现在的AI工具，那个效率是成百上千倍的提高，那个非常非常快。对我今天有个不是有个想法，也其实这个想法可能二十分钟刚刚提出来，然后我直接在Cursor里面写啊，我要我希望这个代码改成这个样子，然后我就三分钟之后代码就写完了，然后你就可以直接跑，然后直接把效果给给做出来，然后直接图全部给你画完。
啊，然后你看一下图，你就知道了啊。我这个实验怎么样啊？对吧？所以呃，我觉得其实很应该说是，呃，这个效率的这个提升是是难以难以置信的，是非常就是我觉得这样的应该是可以提高整个AI研究的一个速度啊。
就是如果以后AI研究的速度更更快的话呢，也许对于整个问题的理解，对于神经网络本身机制的理解呢，应该会有更大的那个突破啊。所以这一块呢，我也在继续在在在在努力的那个进行中啊！我相信总有一天我们会知道啊为什么啊我们的神经网络能做得更那么好啊！
也许我们能发现完全不同的算法啊，比如说梯度下降这个算法已经用了很多年了，也许有有一天我们突然意识到，也许不用梯度下降就能得到更好的效果。那么如果是这样的话呢，那会有很大的范式的改变啊！我觉得这个是一个很有意思的方向可以做下去。
嗯，所以可解释性感觉也是你非常呃，对对对，这个是应该说是就是我一直以来呃有一条比较大的一个方向是做这有很多的理论工作，然后这些工作中泛化出的一些实际工作啊，这个是是我这个做研究的一个大的一个方针啊。因为如果没有这样的一条主线的话呢，就是其实可以有任何的工作都可以去做，但是你能不能做到比别人更好啊？能不能做到比别人更深入啊？
主要的原因还是要因为还是要有一个就是对这个问题有深入的持续的一个一个探索，那么有一个更深入的理解之后呢，再反过来去反馈啊那个呃，比如说更加偏啊那个应用的这样的研究啊，这样的话呢，应该说就是能走得更远。
嗯，对，呃，其实可解释性模型的研究，我觉得有几个大厂都在做嘛，呃，OpenAI他们其实内部其实也有组在做这个事情，那更别提Anthropic他们号称就是他们想要做这个可解释性模型起家的，嗯，你觉得就是现在大家做的方式有什么样样的不一样，然后哪家其实是做的最前沿最好？
应该说这个方向本身也是很多人在做，对吧？但是，呃，目前大家的主流的方向呢，还是说我神经网络训练完了，然后呢，我把神经网络拿出来之后呢，去研究呃里面的呃这些神经元之间的连接，然后他们内部的那个。学出来这个承重是是多少啊？
然后从里面去找到一些比较有意思的结构啊，这是一种呃，就是这种一般大家叫呃
mechanical呃 interpretability mechanical interpretability，就这样的一个方向。那么这个方向呢，其实一般来说就是需要做很多很多实验，然后在纷繁复杂的这个啊那个呃这个实验中找到一些有意思的规律，啊，这是一种啊一种做法啊。
那我这边的做法其实不不是那么像，就是我可能更多的是一个从第一性原理出发，然后就 first principle
出发，就是我知道训练模型的过程呢是一个梯度下降的一个优化过程。那么根据这个优化过程呢，我们能不能得到什么样的有些有意思的结论？那么这个结论呢，是不是能够被那个实验所验证啊？
那么这样的话呢，就是如果一旦找到了一个呃有意思的这个数学框架，那我就可能解释很多的这个啊实验上发生的事情。
啊，那么这样的话呢，这个效率应该说是比就是纯粹做实验，然后从实验中总结规律呢，这个效率要更高一点啊。这个是我的一个一个想法啊。当然，这个方面很难，应该说是非常非常难，因为首先神经网络的数学结构是非常复杂的。
嗯，有很多人啊在上面做了很多很多的工作，然后也没有特别多的、特别大的进展吧？对，但是我相信就是就是呃，如果现在有更好的工具，就比如说我们用ChatGPT对吧，或者我们有更好的那个啊那个那个手段和加速的啊这个呃软件工程的这样的一些AI M的这样一些帮助的话，AI for
Code的帮助的话，其实啊这个进展应该会更快一点。
啊，就是我相信，就是一个非常优美的，或者说是那么有效果的啊，然后用那么简单的规则那种训训练出来的模型，它为什么会有那么效果？其实应该一定是会有一个内在的数学上的完美的，或者比较美美妙的一个一个一个一个一个一个一个一个内核啊。这个我相信是一定会发生的啊，只是说呃这个问题很难啊，这个我们可以继续往下做，嗯。
好呀，对，于北我知道你也是之前研究过可解释性模型，包括白盒模型很久，对，然后你现在在看什么样的方向？
哦，我这里其实，呃，呃，渊东学长已经讲了很多了。然后我其实share很多相似的一些研究的一些test。然后我觉得这个方向很重要。然后它需要有一些，呃，有信仰的，呃，科学家投入到其中，因为这个方向确实有的时候挺不容易坚持的，因为它很多的时候它并不面向直接的产出。而直接的产出又是我们这个时代就比较鲜明的一个特色，对吧？
然后，当然，我从另外一个角度，我们也可以看出来，就最近的这个S
S I，然后以及Think Machine Labs，然后他们这个市场对他们的估值其实也是信仰的力量。嗯，你没有产品，然后但是这个估值都已经到了五十个币，然后五十六个币等等的。那其实我其实觉得从economic传统的economic都不work了。但是呢，呃，那信仰力量现在就是发挥一些呃一些优势了。
所以我我其实觉得就是说研究这个白盒模型以及。呃，或者说AI的或者intelligence的基本原理，对吧？也从呃first principle的角度来研究intelligence的呃一它如何工作，我觉得是一个非常非常重要的方向，需要一些越来越多的有信仰的同学们的加入，呃researcher的加入，以及现有的researcher的坚持啊。
我自己呃，这是我对我很重要的一个方向。然后呢，嗯呃，我觉得就是说，呃，mechanistic
explanation，对吧？这块我我呃做一些。然后呢，另外一方面呢，我比较喜欢做一些极限的问题。当你以极限的角度来思考问题的时候，有可能你会问出一些不大一样的一些问题。
那我认为，要理解一个这么复杂的一个一个现象，不管是人还是机器中的intelligence，它到底如何work，把它从一门工程性学科变成一个科学学科，应当是需要一些不可能的视角来看这些问题的。就是以一种常规的视角来看问题，可能，呃，可能不一定会找到答案。
也许需要我们以一些，就回到我们以前如何建立一一一个又一个的scientific的domain的这个过程中，对吧？然后让我们以回到那个时代，然后我们来看一看那些工作它的视角，然后到再到今天回到这个AI的这个领域，那我们可以问：我们有没有可能以一个不可能的视角来看待这个问题？
然后这个不可能是条能带给我们什么样的灵感？那我觉得这这个就需要我们每一个researcher变得weird一些，就是呃或者crazy一些，就是问出来一些别人都觉得crazy的问题。但这些crazy的问题可能恰恰是，呃，引领我们走向一个不不一样的未来的一个结果。
然后有一点我非常同意林龙学长的说法，就是说，如果Scaling
Law只是是我们唯一的，哎，我们可以大胆的把它叫做The First Principle of Learning。对吧？Scaling Law，Right？那呃，那那那我我我希望它不是唯一的Law，因为如果是这样的一个Law的话，那确实人类是比较悲观的。
你既不拥有电力，不拥有算力，也不拥有Data。In the future，你也你将交出所有你的Memory和Context。呃，那那那那一个普通人的价值还剩什么呢？我似乎我们就变成被圈养的宠物了，对吧？我们的价值是历史的，就是真的是在Enter Rappasing的角度来讲，我们是有价值的，Otherwise没就没有价值，对吧？
那所以，我希望它不是唯一的law。所以，我觉得作为研究者的话，我们有义务去search for。Another law或者another laws，
right？就是那那那这这个这个是我我我比较相信的一些角度。然后，但是我觉得与此同时还有很多很基本的问题都没有被回答。
呃，就比如说呃信号的原子结构长什么样子？然后呃呃，就是说脱离的语言如何来获得智能？对吧？在我看来，语言其实从很大的程度上来讲是shortcut，呃，是我们在distill我们现有的这个civilization。但如果我们一定要用机器取代自身的话，我希望是一个机器，它可以重新invent一个新的civilization，而不是只是简单的distill我们现有的civilization a little better than everyone on everything。
但是a little bit better，just那那那这个是不够理想的，对吧？就好像说我们创造出来一个机器把我们取代了，但是stop exactly
there。哎，那那那这个就是非常悲观的一个一个未来了，对吧？那那所以呃，大家现在在用这种机器来做科学问题，其实从某种意义上也是在向这样的问题来发起冲击，就是说人类的最高层面的活动。可能对于机器是最难的，the last bit。
哎，那那我们能不能创造出来machine，然后能够真正在在这个方面产生突破？然后我觉得需要一些可能不仅仅是scaling law方面的突破和创新。嗯，当然了，我觉得有大自然已经给我们一个 evidence，就是说人和动物其实在学习的过程中是蛮 efficient 的。
我们抛开 vision 不说，对吧？咱们就说是 language 的 token 的话，在十三岁以前，我们可以获得的这个 token 一定是十个 billion 以下，十个 billion token 以下。可能是一个 billion token 以下。那你能否用如此少量的数据来 train
出一个一个 model？我认为模型的尺寸不是问题。然后，也许功耗，功耗是一个是一个是一个很大的问题。但是，也许嗯，我对它理解其实不是那么深刻。
但是，模型的尺寸，嗯，其实parameter的数量这些，我认为。呃，不是最大的问题，因因为人其实神经元它有八十个 billion 到一百个 billion，如果你算上神经元的话，就就突触的话，对吧？那它的要再乘上一千到一万这样一个量级。所以人类的这个模型的话是非常非常大的，但数据非常少。
我们其实，在数据上没有那么 scale。那么我们到底如何如以这样的方式来学习？如何能以数量级的方式来突破我们当时当前的学习曲线？我觉得这是很重要的问题。
嗯，还有一个问题我觉得也很有意思，就是说，呃，robotics今天的robotics给我一种感觉是。它跳出来原有的框架，对吧？然后，因为当年我跟嗯做Control
在聊Theory的Lab时，大家有一个鲜明的感觉就是不需要学习。因为Robotics是我们设计出来的，我们有model，既然有模型了，为什么还需要学习呢？即便需要学习，可能也只需要在局部进行微小的修正。你要做的是system identification，可以用统计学习的理论来做，把它做得非常precise。但fundamentally它不是以learning native的方式来构建一种控制方法。
然而，当你看到biology和自然的natural intelligence时，越高级的智能一开始越不知道如何使用自己的身体。人站起来十五秒就可以站起来了，但小猫小狗可能需要一个月才能比较鲁棒地locomote。人的话需要一年。其实越高级的智能越依赖于学习。
在robotics这块，很多大厂最喜欢裁的就是robotics team，因为它对revenue产生的影响最不直接，且需要最long horizon。但这时候恰恰是researcher的机会。今天的Robotics有点像当年AlexNet出来以后，有点work又没那么work，也不efficient，很多地方都不太行。
但这个时候确实有一些机会让researcher进来做一些看似没用的东西。说不定未来这些方面会慢慢变成产业。今天它不是产业反而是一件好事，让researcher有一些可以静下心来思考的时间。所以real world robotics也是我最近在入坑的一个东西。
当然我需要focus，不能做得太广太散。这样的话，我的组以及学校的一个小组也撑不起来那么大的scope。这是我最近在思考的一些问题。好的，非常棒，我觉得非常有valuable。从一线研究员那里我们提供了非常多最前沿模型的思考跟perspective。
今天时间有限，非常感谢各位的时间。最后留一点时间给观众，问两个问题好不好？我看到有观众提问说，几位嘉宾觉得未来三到五年大公司会使用与Transformer不同的新架构吗？最近这个东西跟我做的context engineering和long memory有一定的关系。
现在的transformer有两个竞争者，一个是Mamba，另一个是Adagkv。它们可以把以前的记忆变成states，变得compact，以O(1)的时间复杂度去做检索，就是放在KV Cache里面。包括在Model Arc内部也记录一些Hidden States。
我觉得在后面AI需要做长期记忆的时候，会跟Transformer架构之间做一些Trade Off。因为现在Transformer架构的Model相当于是直接回到那些Markdown Files里面，或者说一些Persisted的一些External DB里面去找信息。
田博士觉得这个东西其实已经用上了，比如像Data Nets，还有Kimmy最近搞的那个KDA。这些东西其实在大模型里面已经被使用了。这种使用可能跟sliding window attention和full attention混在一起用，比如每三层加一层这样的结构。
这样可以提高效率，同时也不会影响到长文本long context的那个performance。所以这个是已经开始有用了。有没有跟Transformer完全不同的框架能用进去的？现在还暂时没有，比较多的例子应该这么说。
未来三到五年就看嘛。如果竞争非常激烈，其实挺难的，因为竞争激烈导致所有人都不愿意在architecture上花很多时间，还是会做一些比较小的改进看看有没有效果。我觉得大公司可能还有更多空间，因为大公司有时间和精力、有卡、有资源去探索这些东西。
预备呢？我觉得这个我也比较同意袁同学上讲的，scaling law在没有结束之前，而且我其实感觉短期之内有相当的空间。因为我们在distill我们的这个civilization，我们是否已经完成这件事了呢？我认为far from it。
既然没有完成这件事的话，短期之内也许优化architecture对于很多leading labs不一定是最重要的事情，也有可能对他们来讲不是最大的ROI。前段时间Anthropic的Julian出来讲也说scaling law没有任何slow down的迹象。
如果你相信他们讲的这些事情，作为researcher如果他们比较responsible的话讲这些，那认真的来讲architecture未必是最重要的事情。当然肯定会有各种各样的创新进来。我个人观点是，当你在追求极限的时候architecture肯定不应当是一个transformer。
当你追求极限但不在乎redundancy的时候，transformer不一定是一件坏事，因为有比它更重要的事情需要思考。也许还是可以走。从个人的belief来讲，我觉得我们不应该会在某个点就发现Transformer that's all you need。
这有点像是像神一样，你figure out的这个基因就永久地stop在这儿了。我觉得它一定会缓慢的变化。当年我们觉得非常火的很多architecture，今天都不谈了，比如LSTM。LSTM当年大家谈得非常多，现在也不大听到解出来了。
我觉得eventually可能architecture层面的创新机会还是蛮多的。尤其是state space model对于物理过程的一些东西，它确实比transformer会有优势。最近的diffusion policy在学这些动作的prior时效果挺好的。
所以in the long run，我觉得还是会有更多的architecture，尤其是在逼近极限的时候这种架构的作用又会变得更大一些。好的，我们的直播平台上好多问题，我再选一到两个吧。很多人问生成式UI这个概念。
说Gemini Three的前端能力飞跃，Gemini应用中新增了动态视图的模式。这个契机想要了解一下各位对于生成式UI的看法。我可以讲一下吧，因为我之前有用过一些。我个人感觉它可能在交互上面可以让用户有更好的体感。
以前你可能是observe文字，跟这个信息之间没有太多互动。但是Gemini通过这种模式可以生成一个生成式的UI让你跟它进行互动，甚至它可以生成图片包括一些动态效果，可以让你更好observe这个信息。
像今天我用Nano Banana做了一个例子。我看到一个Twitter大概是在讲Open AI包括NVIDIA之间的经济上相互买卖、有必要的过程。当时我看的文字大概有一千多字非常长。那我直接把这个文字让Nano Banana帮我转换成一个Illustrator这样的图，一步步让我去理解。
我是会发现比我看这个文字要快很多。所以说我觉得在生成AI让用户的一种交互得到了一种很好的体验，获取信息的速率大大加强了包括有很多这种interaction。但是我觉得它的局限可能在于它只是可以很快针对某一个user case去帮你做这样的事情，但没有办法大范围普及化。
我想把同样的体验再给到另一个人那可能那个人就需要根据他的需求、看到的信���及时dynamic地生成这样一种UI来让去up到。所以我会觉得这可能是会更加个性化一点的一种获取信息的方式。好，除了Gemini三北美大厂从探索和商业化两个维度视频模型都在做自回归吗？
这个是不是Gavin可以回应一下？Sorry, what is the question? 啊，除了Gemini三北美大厂从探索和商业化两个维度视频模型都在做自回归吗？啊，这个东西就是World Model的范畴了。Gemini Three World Model现在主要有三条路线。
第一条是像Video-based，像Gemini 3它实际上还是个2D但是它represent的是一个3D的world给你一个immersive experience。他们现在这个World Model还有另外两条路线，比如mesh gem就是它有物理碰撞体积的一个object。
第三个是gournment像李学飞老师他们的lab最近马果放出来的主要就是一个gournment就是一些空间当中的点云。它没有物理碰撞体系但是在现在美术UI上面有很大的应用空间。这个我觉得也艾克德刚刚提到那个问题就是模型架构什么的，LLM large language model纯语言维度上的模型架构可能后面比较stabilize。
后面我们做更多的是small language model小语言模型在端侧edge device edge computing上面的一些优化。那这个也就是Echo到刚刚余本提到的就是AI能不能像我们人一样去理解这个世界，他看见听见just like us。
这种情况下也对于后面我们的模型的可解释性有一定的促进作用不是那个完全从science的角度来说。这个才是AI for everyone嘛。然后这个地方我有个非常想要promote的地方就是我是非常的support open source model。
因为这个我们的基基础设施建设经历了很长的一些阶段，从一开始的铁路运力到电力到网络到算力现在是智能。现在这个智能被trapped在那些GPU大厂data center里面，我们普通人要付费API我们可以获取这些智能。
那是不是如果端测small language model small word model这些东西的发展一个趋势就是能够让我们普通人也能够更多的被智能赋能instead of paying for it。因为I'm paying for electricity我被电力算力付费，现在我还要给智能付费这个其实就是我觉得是一个数字集权。
我现在非常support就是open source，这些矛盾。对世界模型其实是其中很重要的一个部分因为语言模型就算了接下来空间智能这个部分它是要跟那些传感器硬件去进行结合的。这部分我觉得希望是能够更好的immersive的给end user experience。
好的非常感谢Gavin。我们后台还有评论区好多问题但今天时间实在有限嘉宾们都非常忙所以就不一一在这边问各位了。我知道大家对世界模型也非常感兴趣接下来也会有一期视频专门去讲世界模型我们也会跟于北之后Gavin也会有进一步的采访。
大家记得要subscribe我们的channel不要错过更新。好的那今天直播就先这样，可以在频道上看到今天的回放。如果有什么评论或者想要问的问题可以在评论区留言。之后有机会把嘉宾再请回来做进一步交流。好的今天就先这样非常感谢大家的时间，拜拜。