大家好，这里是最佳拍档，我是大飞。8月7日在美国斯坦福大学举办的亚裔先锋者论坛上，杰夫·迪恩以创业者身份完成了离职后的首次公开亮相。这场对谈由加州大学伯克利分校教授宋晓冬（Dawn Song）主持，她也是全球AI安全领域最具影响力的学者之一。在这场对谈中，杰夫·迪恩不仅回顾了MoE的诞生历程、TensorFlow的设计得失以及他坚持的研究方法论，更是首次提到了他的新公司Discovery Loop。这位27年的谷歌老兵为何会选择创业？AI的下一个十年又将走向何方？今天我们就来分享一下。

对谈从一段私人回忆开始，宋晓冬提到2017年的ICLR会议规模还很小，参会者只有几百人，远不像今天一样动辄数万人。那一年她团队的一篇关于神经程序合成泛化能力的论文拿了最佳论文奖，杰夫·迪恩特地走过来祝贺，还笑着说这一年一共有三篇最佳论文：一篇来自你们，两篇来自谷歌。

祝贺之后他马上兴奋地介绍了另一项刚刚完成的研究：混合专家模型（MoE）。那篇论文有一个让人过目难忘的标题，全称是《规模极其庞大的神经网络：稀疏门控混合专家层》。当时宋晓冬听完只觉得这个想法很大胆，完全没想到它后来会对整个行业产生如此深远的影响。今天几乎所有最前沿的大模型都已经采用了MoE架构，或者深受它的影响。

杰夫·迪恩解释说，MoE的初衷其实不复杂：他们一直希望模型拥有极大的容量，因为容量越大，模型能学习和记住的信息就越多；但同时也希望它保持足够高的计算效率。核心思路是模型内部拥有许多不同的专家，每位专家各自擅长不同类型的问题。训练过程中，模型会逐渐学习每位专家的专长；推理时只需要激活最适合当前任务、当前Token的少数几个专家就行。

这样，模型既拥有极大的总体容量，又无需承担全部参数同时计算所带来的成本。这个思路跟人脑很像：你思考莎士比亚十四行诗的时候，大脑某部分区域被激活；开车时突然有辆垃圾车倒过来，负责危险感知的另一块区域立刻接管。它们并不会一直同时工作。

实验结果显示相比当时主流的稠密模型，MoE在训练计算效率上可以带来接近十倍的提升。杰夫·迪恩说，在研究中当你看到一个想法能带来一个数量级的改进时，通常意味着这不是一次普通的优化，而是一个能改变整个方向的重要突破。当时他们就认为MoE很可能会成为未来非常重要的一条技术路线。

宋晓冬接着问了一个更大的问题：过去十几年AI发展，最让你意外的变化是什么？杰夫·迪恩说，最明显的变化当然是全世界对AI的关注程度发生了巨大变化。大概在2011到2012年左右，他们开始认真研究如何把神经网络做得更大。当时已经看到一些令人惊讶的结果：训练的神经网络规模可能比此前最大的模型还大几十倍，而图像分类错误率会因此显著下降。

语音识别也是一样：仅仅依靠扩大模型规模，一个相对简单的深度学习语音模型就能带来几乎相当于整个语音识别领域过去二十年累计取得的性能提升。正因为如此，他们很早就意识到这不会只是某一个领域里的局部突破。他认为深度学习最重要的一点是它逐渐统一了很多原本彼此独立的研究方向。

过去计算机视觉有自己的方法，语音识别有自己的方法，自然语言处理也有自己的一整套技术体系。不同领域的人很少用同一种方式思考问题，而深度学习让大家开始相信：只要拥有足够的数据和计算能力就可以直接从原始数据中学习表示，而不是依赖人为设计的大量规则和特征工程。无论输入的是图像、文本还是语音本质上都可以被视为一种学习问题。

他判断我们仍然处在这个过程的中途，而不是终点。全世界在AI基础设施和计算资源上的投入规模越来越大，这本身就是一个信号意味着人们相信这项技术未来能带来的改变还远远没有结束。话题自然延伸到了TensorFlow，宋晓冬提到这套框架让现代机器学习真正走向了全球开发者和研究者也帮助很多人第一次接触到深度学习。

杰夫·迪恩回顾说在TensorFlow之前谷歌内部已经有一套深度学习系统叫DistBelief，没有开源但是已经能支持谷歌内部很多机器学习工作。DistBelief最重要的一点是能够把研究者描述的神经网络计算自动映射到不同的硬件平台上，无论CPU、GPU还是由许多机器组成的大规模集群对使用者来说都相对透明。

举个例子，作为一名机器学习研究者你真正关心的是我想训练这个模型至于它最终运行在一百台服务器上还是五百块GPU上，底层怎么做任务切分、通信和调度并不是你希望花时间思考的事情。TensorFlow继承了这个理念，最终采用了计算图的方式：模型被表示成一张由各种运算组成的图包括矩阵乘法、向量运算等机器学习中最常见的操作。

当时他们认为这种抽象足够通用也足够优雅，今天回头看杰夫·迪恩仍然认为这个方向基本是正确的。他们还有一个非常明确的目标：把TensorFlow开源，希望全世界任何研究者遇到机器学习问题都能使用同一套框架来表达自己的想法。这不仅意味着大家拥有相同的工具，更重要的是让研究成果能够真正复现。

过去很多论文只有文字描述读者需要根据论文重新实现算法，而论文永远不可能把所有实现细节都写清楚。同一篇论文不同的人实现出来性能可能完全不同，如果论文能直接提供TensorFlow实现其他研究者不仅能验证结果还能在此基础上继续研究。不过杰夫·迪恩也坦承犯过一些错误：一个是没有一开始就采用即时执行（Eager Execution）。

早期TensorFlow使用静态计算图在性能和部署方面有优势，但是对研究者来说并不是最自然的编程方式。后来PyTorch和JAX都推动了即时执行的普及，TensorFlow自己也加入了这一能力。如果重新开始他会更早采用这种更自然的执行方式。另一个不成功的决定是创建了contrib目录，本意是希望更多外部开发者参与贡献结果反而越来越庞杂。

同一件事情可能出现五种、十种不同实现，社区反而因此困惑。如果重新设计他会让TensorFlow核心始终保持尽可能简洁稳定至于各种实验性功能、更高层的工具库完全可以建立在核心之上而不是全部放进官方仓库。不过总体来说他依然认为TensorFlow完成了它最初的使命。

宋晓冬提到一个让她印象很深的观察：无论是MapReduce、Bigtable、TensorFlow还是MoE，这些工作的重要性往往是在很多年之后才被整个行业认识到。她问杰夫·迪恩你究竟是怎么判断一个方向具有长期价值而另一个方向可能只是短期热点？杰夫·迪恩说如果一定要说可能确实有一点运气，但除此之外他有一个习惯：尽可能持续关注很多不同方向的发展而不是只盯着自己正在做的领域。

他经常跟学生说与其花很多时间精读一篇论文不如快速浏览十篇论文甚至浏览一百篇论文的摘要。很多人第一次听到觉得奇怪，因为通常认为做研究就应该把每篇论文读得非常深入。但他真正想建立的不是对某一篇论文的理解而是对整个领域的感知，脑子里不断积累很多正在发生的事情。

比如这里有一种新的训练方法那里有人提出新的模型结构，甚至另一个方向上某种新硬件开始变得可行。这些工作可能都还不成熟但它们共同构成了一张不断变化的地图，真正重要的是让这些点逐渐连成线。当你面对一个困难问题时如果只盯着问题本身很容易觉得根本做不了，但如果脑子里始终装着整个领域最近几年的变化你会发现原来以为七个无解的问题里面其实已经有五个方向开始出现轮廓了。

虽然它们还没有完全解决但已经有人提出了一些有希望的方法，剩下的两个才是真正需要你去创造新方法的地方。关于什么样的问题值得投入五年甚至更长时间他的答案很简单：不要去做那个你完全不知道从哪里开始的问题，那种问题也许二十年以后才能解决；也不要去做所有人都已经知道下一步是什么的问题。

那更像一项两年的工程项目，它当然重要但未必能真正改变整个领域。真正值得长期投入的问题往往介于这两者之间：你已经能看见一部分道路，但最关键的那一段还没人走过。他还提到了另一套一直非常依赖的工程习惯：第一性原理，更准确说是不断练习各种快速估算。

很多事情不需要完整实现先在脑子里算一遍：处理这么多数据需要多久？把这些数据通过网络传输会发生什么？通信成本到底是十秒钟还是一百年？估算一下你就已经知道某条路线值不值得继续走。这些能力没什么神奇的方法，来自不断练习、来自一次又一次解决问题也来自不断观察别人是如何解决问题的。

随后宋晓冬把话题转向了未来，她说过去几年智能体的发展速度令人惊叹但越来越多的人也在讨论它带来的风险。她分享了自己的研究：在网络安全领域他们构建了用于评估AI攻防能力的基准测试，最近的一些实验中AI智能体已经能够自主规划一系列攻击步骤。为了获取完成任务所需的信息它自主决定利用多个安全漏洞突破原本的隔离环境建立中间跳板最终访问到目标基础设施。

幸运的是这只是受控实验，智能体的目标只是获取与测试任务相关的数据并没有造成进一步破坏。但如果未来类似的能力出现在真实世界风险显然会更大。杰夫·迪恩的回应很平实，他说任何一种足够强大的技术都可以被用于不同目的AI也是如此。总体来说他认为绝大多数应用会给世界带来积极影响，比如医疗、教育、科学研究帮助更多人解决他们原本无法独立完成的问题。

但同样的模型也能帮助人发现软件中的安全漏洞，这本身就是一把双刃剑：如果你是安全工程师可以利用这些能力在真正遭到攻击之前修复漏洞；如果你是恶意攻击者也完全可能利用同样的能力去寻找和利用这些漏洞。未来网络安全领域的发展很大程度上会变成双方都拥有越来越强工具之后的一种持续竞争。

他还提到一个经常被忽略的点：并不是所有我们希望限制的行为都必须依靠技术来解决，社会制度本身也是解决方案的一部分。比如未经授权入侵计算机系统本来就是违法行为，未来随着AI能力不断增强法律、监管以及责任边界都需要继续讨论和演进。这些未必都是技术问题，很多时候更像是整个社会共同面对的问题。

几年前他和约翰·轩尼诗（John Hennessy）、詹姆斯·曼伊卡（James Manyika）等同事一起写过一篇关于AI长期影响的论文，讨论了未来几十年AI最可能深刻改变哪些领域。其中很多方向非常积极比如医疗、教育帮助更多人获得知识和能力；也有一些问题更复杂，比如地缘政治、粮食安全以及就业结构变化。那篇论文后来甚至还有了自己的网站叫ShapingAI，是他写过唯一一篇拥有独立网站的论文。

宋晓冬接着抛出了一个正在引发广泛讨论的话题：递归式自我改进，越来越多的人开始相信未来AI不仅能帮助人类完成工作还能参与改进下一代AI本身。如果这一过程真正形成闭环，人工智能的发展速度可能还会进一步加快。杰夫·迪恩说用机器学习来帮助机器学习本身并不是什么新的想法，他的同事、也是现在Discovery Loop的联合创始人Quoc Le当时就在推动神经架构搜索（NAS）。

核心思想很简单：与其由研究人员不断设计新模型结构不如让一个模型去生成新的模型，再由另一个过程评估效果。系统不断得到反馈然后继续生成下一轮候选模型。后来他们还做了演化Transformer的工作，不是重新发明Transformer而是在已有组件基础上通过演化算法不断尝试新组合最后得到一种比标准Transformer效率提升约百分之三十的结构。

所谓递归式自我改进在杰夫·迪恩看来不仅仅是让模型自己设计模型，真正重要的是能否让整个模型研发流程都进入自动优化的循环。今天一个大型模型的研发涉及很多环节：有人负责寻找更好的训练数据，有人负责设计新的模型结构，有人负责构建评测体系，有人不断分析实验结果再决定下一轮调整方向。每一个环节都可以形成自己的反馈循环。

如果这些循环都能逐渐自动化整个研发过程就会越来越高效。这也不只是机器学习，退一步看今天大量科学研究和工程研发本质上都遵循同一种模式：面对大问题拆分成子问题，提出方案实现运行实验评估结果根据结果调整方案继续实验。区别只在于过去这些循环主要依赖人完成，未来越来越多环节会由AI协助完成。

这也是创办Discovery Loop的原因：他们的目标不是简单训练一个更大的模型，而是真正自动化科学研究与工程创新本身。杰夫·迪恩描绘了一个愿景：过去完成一次实验需要一天、一周甚至一个月，未来希望很多实验能在一分钟、一小时之内完成同时并行运行成千上万个实验。实验完成之后再根据所有结果决定下一轮最值得继续探索的方向，不只是实验速度提高了实验本身的质量也会不断提高。

他还提到一个很有意思的点：现实中一个人不可能同时拥有二十个不同学科的博士学位，但模型未必有这样的限制。如果模型能同时理解多个领域它就更有机会发现不同学科之间过去没有建立起来的联系，帮助研究人员识别真正重要的子问题把复杂问题拆分出来安排多个智能体分别解决不同部分再把结果重新组合起来。

Discovery Loop从成立第一天起就是一家公共利益公司（PBC），这意味着他们不仅需要建设一家成功的企业也希望真正推动科学进步本身。未来如果某些决定虽然未必符合公司短期商业利益却能够让更多科学家、更多研究机构因此受益他们仍然愿意认真考虑这样的选择。他的联合创始人们都是过去二十多年里长期合作的伙伴，彼此合作的时间从十四年到三十年不等。

过去他们曾一起参与过MapReduce、Bigtable、TensorFlow、模型蒸馏以及MoE等重要项目。对谈的最后是现场观众提问，有人问了一个很多人关心的问题：有什么事情是你在创业公司能做到而在谷歌做不到的？还有人提到当天谷歌市值的波动也被跟这件事联系在了一起。杰夫·迪恩的回应很直接，他不会把资本市场每天发生的变化都归因于某一个人。

在谷歌工作了二十七年那里有无数优秀的同事和出色的团队，今天他们仍然在推进很多重要工作。他相信他们会继续把Gemini做得越来越好。至于为什么创业，答案其实很简单：有时候一家规模很小、目标高度一致的公司可以拥有一种大型组织很难具备的专注。如果整个团队每天醒来都只想着同一个问题所有资源都围绕同一件事情展开很多原本存在于大型组织中的协调成本、沟通成本以及不同目标之间的平衡就会自然消失。

对于他们来说现在唯一需要思考的问题就是怎样才能真正加快科学发现，除此之外没有第二个目标。这种专注本身就是创业最大的价值之一。观众还追问了一个更深层的问题：今天的大模型竞争似乎天然属于大型科技公司，训练最先进的模型需要庞大计算资源、巨额资本支出、世界级的数据中心这些优势几乎都集中在大型公司手里。但现实却恰恰相反：越来越多顶尖AI人才开始流向创业公司，越来越多前沿创新也开始出现在创业公司。

杰夫·迪恩认为一个非常重要的变化是云计算的发展：过去想创办一家AI公司几乎必须自己建设大量基础设施，今天已经不是必须的了。越来越成熟的云平台让一家规模很小的创业公司也能获得世界级的计算资源，不需要重新建设整个数据中心也不需要自己搭建完整的基础设施。创业团队可以把更多精力放在真正希望解决的问题上。

但他也强调并不想因此否定大型公司的价值：恰恰相反，过去二十七年里他之所以能完成很多重要工作正是因为谷歌提供了世界上最好的工程团队、计算平台以及长期投入基础研究的环境，这些都是创业公司很难替代的。大型公司擅长建设平台和基础设施、持续投入长期研发；创业公司更容易围绕一个非常明确的问题快速前进。整个行业同时需要这两种力量。

离开谷歌并不是因为那里缺少机会，二十七年里他在那里拥有了最好的同事也参与了许多超出自己想象的重要工作。正因为如此才觉得现在是时候重新开始另一段旅程了，这多少有一点令人紧张：毕竟离开一家工作了二十七年的公司面对完全不同的环境总会有一些不确定性。但与此同时也正因如此它才令人兴奋：新的问题，新的团队，新的目标。

宋晓冬在最后说今天上午杰夫·迪恩才正式开始创业到现在大概已经工作了十二个半小时。杰夫·迪恩笑着说准确地说他只失业了一秒钟随后就重新开始工作了。说到这里我也想抛一个问题给大家：杰夫·迪恩说要自动化科学研究本身，如果未来AI真的能并行运行成千上万个实验自动发现不同学科之间过去没有建立的隐藏联系，那人类科学家在其中的角色究竟会变成什么呢？

是会从繁琐的实验执行中解放出来专注于真正需要创造力的方向还是会逐渐被边缘化呢？这个问题可能没有标准答案但值得每一个关注AI发展的人思考一下。感谢收看，我们下期再见。