创业初衷与MoE的诞生历程
2017年8月，在斯坦福大学举办的亚裔先锋者论坛上，谷歌资深研究员杰夫·迪恩（Jeff Dean）以创业者身份完成了离职后的首次公开亮相。这场对谈由加州大学伯克利分校教授、全球AI安全领域最具影响力的学者之一宋晓冬（Dawn Song）主持。对话从一段私人回忆开始，宋晓冬提到2017年ICLR会议规模尚小，当时她团队关于神经程序合成泛化能力的论文获得最佳论文奖。杰夫·迪恩在祝贺时透露，当年共有三篇最佳论文，其中两篇来自谷歌。随后他兴奋地介绍了一项刚刚完成的研究——混合专家模型（MoE），其论文标题为《规模极其庞大的神经网络：稀疏门控混合专家层》。当时宋晓冬认为这个想法很大胆，却未料想它后来对整个行业产生了深远影响。
MoE架构的核心初衷在于解决模型容量与计算效率之间的矛盾。杰夫·迪恩解释，研究者希望拥有极大容量的模型以学习更多信息，但又不愿承担全部参数同时计算的高昂成本。其核心思路是模型内部包含许多不同专长的专家，训练过程中学习每位专家的擅长领域，推理时仅激活最适合当前任务或Token的少数几个专家。这种机制类似于人脑的工作方式，例如思考诗歌时激活特定区域，而感知危险时另一区域接管，并非所有脑区同时工作**。实验数据显示，相比当时主流的稠密模型，MoE在训练计算效率上带来了显著优势。
“当时他们就认为 MoE很可能会成为未来非常重要的一条技术路线。”
杰夫·迪恩指出，当研究中看到一个想法能带来一个数量级的改进时，通常意味着这不是普通的优化，而是改变整个方向的重要突破。如今几乎所有最前沿的大模型都已采用或深受MoE架构影响，这证明了其作为长期技术路线的正确性。这一成功也反映了深度学习领域的一个普遍现象：重要性往往在多年后才被行业广泛认识到，如MapReduce、Bigtable和TensorFlow等早期工作皆是如此。
深度学习带来的范式统一与规模效应
回顾过去十几年AI发展的最大意外变化，杰夫·迪恩认为最明显的是全世界对AI关注程度的巨大提升。早在2011-2012年，谷歌团队就开始研究如何扩大神经网络规模。当时他们观察到令人惊讶的结果：训练规模的扩大能显著降低图像分类错误率，且这种提升远超以往。在语音识别领域，仅依靠扩大一个相对简单的深度学习模型规模，就能带来相当于过去二十年整个语音识别领域累计取得的性能提升。这一现象让他们意识到深度学习不会只是局部突破，而是具有通用性。
杰夫·迪恩强调，深度学习最重要的一点是逐渐统一了原本彼此独立的研究方向。过去计算机视觉、语音识别和自然语言处理拥有各自的技术体系和思维模式，研究者很少跨领域交流。而深度学习让人们相信，只要拥有足够的数据和计算能力，就可以直接从原始数据中学习表示，无需依赖人为设计的大量规则和特征工程。无论输入是图像、文本还是语音，本质上都可以被视为一种学习问题。这种统一性使得不同领域的研究者开始使用相同的底层逻辑思考问题。
“深度学习最重要的一点 是它逐渐统一了很多原本彼此独立的研究方向”
尽管取得了巨大成功，杰夫·迪恩判断我们仍然处在这个过程的中途，而不是终点。全世界在AI基础设施和计算资源上的投入规模越来越大，这本身就是一个信号，表明人们相信这项技术未来能带来的改变还远远没有结束。这种对长期价值的信念也体现在他对研究方向的判断标准上：他倾向于关注那些介于“完全不知道从哪里开始”和“所有人都知道下一步是什么”之间的问题，即已有部分道路可见但关键段尚未被探索的领域。
TensorFlow的设计哲学与反思
TensorFlow作为让现代机器学习走向全球开发者和研究者的框架，其设计理念源于谷歌内部早期的深度学习系统DistBelief。DistBelief的核心贡献在于能够将研究者描述的神经网络计算自动映射到不同硬件平台（CPU、GPU或大规模集群），对使用者保持透明。TensorFlow继承了这一理念，采用了计算图（Computational Graph）的方式，将模型表示为由矩阵乘法、向量运算等常见操作组成的图。杰夫·迪恩认为，这种抽象在当时看来足够通用且优雅，方向基本正确。
TensorFlow的另一个明确目标是开源以推动研究复现。杰夫·迪恩指出，过去许多论文仅有文字描述，读者需重新实现算法，且因细节缺失导致不同人实现的性能差异巨大。如果论文能提供TensorFlow代码实现，其他研究者不仅能验证结果，还能在此基础上继续研究。相同的工具意味着相同的研究起点，这对于科学共同体的进步至关重要。
“如果论文能直接提供TensorFlow实现 其他研究者不仅能验证结果 还能在此基础上继续研究”
然而，杰夫·迪恩也坦承TensorFlow在发展中犯过一些错误。首先是未一开始就采用即时执行（Eager Execution），早期静态计算图虽在性能和部署上有优势，但对研究者而言不够自然。PyTorch和JAX推动了即时执行的普及后，TensorFlow才跟进。如果重新开始，他会更早采用这种更自然的执行方式。其次是不成功的contrib目录策略，本意是鼓励外部贡献，结果导致代码库庞杂，同一功能出现多种实现，造成社区困惑。他反思道：核心应保持简洁稳定，实验性功能应建立在核心之上而非混入官方仓库。
判断长期价值的研究方法论
面对宋晓冬关于如何区分“长期价值”与“短期热点”的提问，杰夫·迪恩表示除了运气外，他有一套独特的研究习惯：持续关注大量不同方向的发展，而非仅盯着自己所在的领域。他常建议学生与其精读一篇论文，不如快速浏览十篇甚至一百篇论文的摘要。这种做法并非为了深入理解单篇文章，而是建立对整个领域的宏观感知。通过积累各种新训练方法、模型结构或硬件可行性的信息，脑海中会形成一张不断变化的地图。
“与其花很多时间精读一篇论文 不如快速浏览十篇论文 甚至浏览一百篇论文的摘要”
杰夫·迪恩认为，真正重要的是让这些分散的点逐渐连成线。当面对困难问题时，如果只盯着问题本身容易感到无解；但如果脑海中装着领域近期的变化，会发现原本看似七个无解的问题中，可能有五个方向已出现轮廓或希望的方法。剩下的两个才是真正需要创造新方法的地方。这种全局视野能帮助研究者识别哪些子问题已有解法，从而聚焦于真正的创新点。
此外，他高度依赖第一性原理和快速估算能力。在完整实现前，先在脑海中计算处理数据所需时间、网络传输成本等。例如估算通信成本是十秒还是一百年，即可判断某条路线是否值得继续。这些能力来自不断练习、解决问题以及观察他人，是判断技术可行性的重要工程习惯。对于值得长期投入的问题，他定义为那些“已看见一部分道路但最关键一段没人走过”的领域，既非完全未知也非纯工程项目。
AI智能体风险与社会治理视角
话题转向未来时，宋晓冬分享了她在网络安全领域的研究：构建用于评估AI攻防能力的基准测试。在最近实验中，AI智能体已能自主规划攻击步骤。为获取完成任务所需信息，它自主决定利用多个安全漏洞突破隔离环境、建立中间跳板，最终访问目标基础设施。虽然这只是受控实验且未造成破坏，但若此类能力出现在真实世界，风险显著增大。
杰夫·迪恩对此回应平实：任何强大技术皆可被用于不同目的，AI亦然。他认为绝大多数应用（如医疗、教育）将带来积极影响，帮助人们解决原本无法独立完成的问题。但同一模型也能帮人发现软件漏洞，这本身是一把双刃剑。安全工程师可利用其提前修复漏洞，恶意攻击者也可利用其寻找和利用漏洞。未来网络安全将演变为双方拥有更强工具后的持续竞争。他特别指出，并非所有希望限制的行为都需靠技术解决，社会制度本身也是解决方案的一部分。例如未经授权入侵计算机系统本就是违法行为。
“未来网络安全领域的发展 很大程度上会变成 双方都拥有越来越强工具之后的一种持续竞争”
几年前，杰夫·迪恩与约翰·轩尼诗、詹姆斯·曼伊卡等同事撰写了一篇关于AI长期影响的论文，讨论了医疗、教育等地缘政治、粮食安全及就业结构变化等复杂问题。该论文甚至拥有独立网站ShapingAI。他认为随着AI能力增强，法律、监管及责任边界需继续讨论和演进。这不仅是技术问题，更是整个社会共同面对的问题。这种对社会维度的考量也体现在他新公司的定位中。
Discovery Loop与科研自动化愿景
杰夫·迪恩提到，递归式自我改进（Recursive Self-Improvement）并非新概念。他的同事、Discovery Loop联合创始人Quoc Le曾推动神经架构搜索（NAS），核心思想是让模型生成新结构，再由另一过程评估效果并反馈。演化Transformer工作即是在已有组件基础上通过演化算法尝试新组合，最终得到比标准Transformer效率提升约30%的结构。但在杰夫·迪恩看来，递归式自我改进不仅是让模型设计模型，更重要的是让整个模型研发流程进入自动优化的循环。当前大型模型研发涉及数据寻找、结构设计、评测构建及实验分析等环节，每个环节均可形成反馈循环。
“他们的目标不是简单训练一个更大的模型 而是真正自动化科学研究与工程创新本身”
杰夫·迪恩创办的Discovery Loop旨在自动化科学研究与工程创新。他描绘的愿景是：过去需一天、一周甚至一个月完成的实验，未来希望能在一分钟或一小时内完成，同时并行运行成千上万个实验。完成后根据结果决定下一轮探索方向。不仅速度提高，实验质量也将不断提升。现实中人类无法同时拥有二十个不同学科博士学位，但模型可以。若模型能理解多领域，更有可能发现过去未建立的学科间联系，帮助识别重要子问题并拆分给多个智能体解决后重组结果。
Discovery Loop从成立起即为公共利益公司（PBC），意味着不仅追求商业成功，更希望推动科学进步。若某些决定虽不符短期商业利益但能惠及更多科学家和研究机构，他们仍会认真考虑。创始团队合作时间从14年到30年不等，曾共同参与MapReduce、Bigtable、TensorFlow等项目。这种专注和长期合作背景为其愿景提供了坚实基础。
创业优势与行业生态展望
针对观众关于“在创业公司能做到而在谷歌做不到什么”的提问，杰夫·迪恩回应称不会将资本市场波动归因于个人。在谷歌27年间，无数优秀同事和团队仍在推进重要工作（如Gemini）。他创业的原因很简单：小规模、目标高度一致的公司拥有大型组织难以具备的专注。当团队每天只思考同一个问题（即加快科学发现），所有资源围绕此事展开时，大型组织中存在的协调成本、沟通成本及目标平衡问题便自然消失。这种专注是创业的最大价值之一。
“有时候一家规模很小、目标高度一致的公司 可以拥有一种大型组织很难具备的专注”
关于大模型竞争是否天然属于大公司，杰夫·迪恩认为云计算的发展改变了这一格局。过去创办AI公司需自建基础设施，如今成熟云平台让小团队也能获得世界级计算资源，无需重建数据中心。这使得创业团队能将精力集中在解决问题上。但这并非否定大型公司的价值。过去27年，谷歌提供的工程团队、计算平台及长期基础研究环境是创业公司难以替代的。大型公司擅长建设平台和持续投入，行业同时需要这两种力量。离开谷歌并非因缺乏机会，而是27年的经历让他觉得是时候开启新旅程。尽管面对不确定性令人紧张，但新问题、新团队和新目标也带来了兴奋感。
“准确地说 他只失业了一秒钟 随后就重新开始工作了”