欢迎收听跨国串门计划，这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的 AI 声纹克隆技术，我们不仅将内容翻译成中文，还完美保留了原主持人和嘉宾的独特声音，为您呈现全球顶尖的 AI 财经、健康与科技领域精品内容。我是主播一凯。一位热衷于 AI 领域的产品经理，很荣幸能为您搭建这座跨越语言障碍的桥梁。
接下来让我为您简单介绍本期我们克隆的这档节目。本期我们克隆的是知名播客 Y Combinator 的一期特别节目，录制于二零二六年七月三十日。主持人 Diana Hall 与谷歌首席科学家 Jeff Dean 展开了一场关于 AI 未来的深度对谈。Jeff Dean 是 MapReduce、TensorFlow、TPU 等多项关键技术的缔造者，也是谷歌 AI 领域的核心人物。
这期节目围绕他过往的餐巾纸估算故事展开，聊到了AI推理硬件、智能体系统，以及小团队如何在AI时代找到自己的机会。那我们就一起来听听这期完整的对话。好，那我们开始吧，Jeff。好，没问题。好，Jeff，欢迎再次感谢你能来。尤其是我刚感冒了，还谢谢你过来。我嗓子也哑了，平时声音不是这样，但咱们尽力吧。你做出了 MapReduce。
Viktable, TensorFlow, TPU, Gemini，光这些事儿我们就能聊一小时。但我喜欢的是，你还在公开场合做大预测。去年对，去年二零二五年五月在 AI Ascent 上，你说 AI 的水平相当于初级工程师，那大概是一年前了。现在已经，我们离那个预测有多近？我觉得模型在基于 Agent 的运行时间更长的编程任务上进步很大，而且很明显，他们现在确实挺有能力。
取决于你对初级工程师的具体定义。要我说，这个预测相当准。那个预测里你低估了什么？我觉得处理越来越复杂任务的能力增长的比我预想快，而且编程之外，这些智能体系统真的开始在其他领域冒头了。我认为这会是未来一个重要趋势。那再给个大预测吧？你觉得二零二七年会是什么样？我觉得你会看到ML系统本身的自动化程度高得多。
基本上就是让ML系统通过跑大量实验来提升能力，把问题拆成子问题，然后在一个紧凑的自动实验循环里跑这些子问题，把结果汇总，然后就能从这种全自动的问题分解和自动实验中得到一个改进后的系统。我觉得这会非常让人兴奋，而且这不仅适用于ML，也适用于科学和工程的其他领域。基本上，任何你能有可衡量目标的地方。我觉得如今都能取得很大进展。
现在稍微回顾下历史，回到二零零一年，谷歌搜索当时还是跑在硬盘上的。对，你和三J做了计算，意识到在某个时间点，整个搜索索引终于能装进所有运行中计算机的全部内存里。你有了那个颠覆性的认识，然后你基本上在几天之内就和三J一起把一个全新的。跑在内存里，而不是硬盘上的搜索版本上线了，那就是让谷歌搜索变快的原因。
所以历史往往会重演。现在，二零二六年。那个能装进内存的时刻是什么？在座每个人都该思考，该去设计的。这有点不一样，但我觉得你会看到越来越多高性能、低能耗的推理硬件系统，因为我觉得现在大家都意识到，推理是让这些智能体系统能被更多人用上的关键。而且延迟真的很重要。硬件的专门化是让东西比GPU或TPU这类更通用的计算设备更节能。
延迟更低的一个非常关键的方式，因为我觉得在座各位都习惯了等模型回复，所以对等待可不好玩，掌控速度。所以你的意思是，如果我们不用再等了呢？我觉得想象一下，如果延迟能好上五十倍，你能做些什么？有意思的想法。那在座大约六千人持有的关于AI的哪个假设，其实已经是错的了？这是个好问题。我觉得可能有一点是，人们还没完全意识到智能体系统能跑多久这件事儿有多大的可能性，不只是在你关心的问题上跑一两个小时。
而是在某些问题领域，并且底层有非常强大的模型时，你可以让他们跑上好几天甚至几周去完成非常非常复杂的任务。我觉得有些人已经开始看到一些苗头了，但我不认为所有人都真正内化了这一点，而这会是一件相当了不起的大事。你跑过什么特别的任务？一跑就是几周，是什么任务？你让 agent 去解决什么？我觉得你可以让 agent 去独立实现某个软件的完整新版本，用不同的编程语言来写。
这些语言可能在安全性或性能上有更好的特性，然后他们就能真的去干这件事儿，而且干得相当认真。那太酷了！还有一件事你特别出名，就是你特别擅长做餐巾纸上的快速估算，听起来挺有意思的。关于你有个故事，说二零一三年那会儿，谷歌的语音识别刚能用。你做了个粗略估算，如果每个谷歌用户都用手机对着它说话，每天用语音识别系统三分钟就三分钟，你发现这套系统需要谷歌的一台服务器，那整个服务器集群就得翻倍。
光为了做语音识别就得花非常非常多的钱。对，结果你干脆造了一颗定制芯片，这就是TPU的起源故事。对对，我算是做过这个估算，我们当时训练的那些基于深度学习的语音系统。语音模型开始看到非常好的效果，但它们比老的语音系统计算开销大得多。不过错误率降了一半，这相当于语音识别领域二十年的进步，我们只花了几个月就做到了。
就是调调模型，稍微扩大规模，拿到更好的数据。于是我们开始担心，如果语音效果好很多，大家就会用的更多。那个信封背面的粗略估算，核心就是这个问题。万一大家开始更多的用语音识别来口述邮件，对着手机说话什么的呢？结果我们发现，当时光靠 CPU 跑已经不够了。需要更好的方案，所以我们搞出了TPU。它本质上就是为低精度稠密线性代数做了高度定制，而这几乎是今天所有现代机器学习算法的核心。
你要是为低精度稠密线性代数造一颗专用芯片，别的什么都干不了。结果他对机器学习推理特别有用，哪怕他跑不了 Chrome、跑不了 Word 什么的，这套系统几年后产出的芯片能效比当时的 CPU 和 GPU
高三十到八十倍，延迟也低得多，大概低二十到三十倍，太了不起了。TPU今天已经成了这么重要的基石，你当年绝对想不到TPU会变得这么根基性，尤其是Transformer架构还是后来才发明的，比TPU本身晚得多。
对，这其实就是我们当初为什么要做一个通用的线性代数系统。TPU本质上就是这个，因为我们知道机器学习算法还在不断演进，你不能过度特化，但又得特化到能拿到巨大的性能收益。我们可以做非常大的乘法单元，可以用高速内存，可以用高速互联。后来的TPU还能把非常非常多颗芯片高效的协同到同一个问题上，而且这么多带下来，我们一直在把它们规模做大，性能做上去。
这餐巾纸估算太神了。那什么是餐巾纸？是好东西。餐巾纸是好东西。那说真的，在座各位想当未来创始人的。今晚应该跑一个什么样的好估算？说不定能做出像 TPU 一样有分量的东西。这总是很难说。我觉得去想想你看到的问题，不管你在琢磨什么，看看瓶颈在哪里，然后有没有完全不同的思路去解决其中某些问题，能让你拿到一个数量级甚至两个数量级的性能提升、能力提升或者别的什么。
因为有时候你只要眯着眼看一个问题，别被今天这个问题是怎么解决的给锚住，而是想从第一性原理出发，你会怎么解？你就能冒出特别好的点子，可能是别人没想到的。这是个好建议。对了，在座可能有人不知道，很多年前 Jeff 写了一份特别出名的清单，叫 The Latency Numbers Every
Engineer Should Know，里面全是这类数字，比如一次缓存未命中要多久，磁盘寻道要多久，一个网络包从加州传到荷兰要多久，分布式系统和系统工程师会用到的一大堆数字。
这份清单被很多人贴在墙上。成了分布式系统工程师的圣经。好，对。现在时间快进，这份清单该更新了，给我们一份2026年的AI版吧。好，我觉得如果你看今天AI系统里什么最重要，你会想知道这些：你的加速器上主内存到片儿上内存，再到乘法单元之间的带宽是多少。做一次乘法运算要耗多少能量？芯片之间的互联带宽是多少？
用这个带宽能连多少颗芯片？然后超出这个范围，比如你要跟一万颗芯片通信，而不是五百颗的时候，网络带宽会衰减多少？我觉得这些都是特别值得了解的数字，它们真的会影响你怎么去解决特定类型的问题。我听过你讲一个很有意思的观点，说现在衡量一切的标尺是能量。对你指出过，做一次计算或者说做一次数学运算，大概只花一个皮焦耳，但搬动数据做数据输入输出要贵上一千倍。
对，就是把数据从加速器上的 HBM 搬进处理器，它才能真正在上面算。没错，这个差距其实，在悄悄决定哪些产品能做出来，AI里的这些算法该怎么搭。那在你看来？有哪些问题？创始人老把它叫成模型问题，但本质上其实是能量问题或者数据输入输出问题。对，我觉得你举的那个例子，搬数据的能耗和真正在数据上做计算的能耗差一千倍。
这个差距非常显著，它塑造了我们在机器学习里做的很多事儿。因为如果没有这一千倍的差距，你根本不需要做批处理。但现实是你必须把很多样本或者很多 token 肴成一批一起处理，才能摊薄搬数据的成本。这样你付出的就不是一千倍的减速，而是一千倍除以批大小之后的能耗。而且，真要追求极低延迟的话，批处理其实不太行。
所以我觉得这类事情，还有我们用的计算机硬件里各种决策背后的能耗，真的会影响我们在搭更上层系统时做的很多决定。一个很具体的例子就是训练模型这件事，整个批处理的概念、数据集跑一跑。这些大家可能误以为是模型问题，但其实本质上是系统的数据输入输出问题，对吧？对对，就是说你得把样本凑成 P，硬件效率才上得来。
理想情况下，你也许想用 P 大小等于一来训练，但从效率角度看那样不太好。所以现在大家用的 P 都挺大的。你觉得有没有可能？我知道你出了名的会消失一个长周末或者一个周末，然后拿出一个绝妙的方案。会不会有哪天，Jeff Dean 跑去埋头干上两周，把 P 大小等于一的训练给做成了？对，其实我最近想的更多的是推理。
我觉得推理是个特别有意思的问题，因为你确实想要极低延迟训练的话，倒不一定需要那么夸张的低延迟。而且我觉得推理这块的硬件专门化还有很大的空间可以挖，比我们现在做的要多得多。推理这块有哪些你正在深入琢磨的有意思的方向？就是尽量把数据搬动降到最低，去想那些极低精度的运算，也许不用支持特别多种不同的精度。如果你觉得已经很清楚自己需要哪些精度了。
那就干脆把这些精度直接做进硬件里，别的都不用管。我觉得这其实落到一个核心类比上，我听过一位很有名的计算机科学家讲，整个AI的过程本质上是一个大压缩问题，因为你要让数据完全有损的压缩。再还原回来，前提就是你得真正理解它。对，如果你真的理解了数据，你应该就能把它压得很好。而现在的 transformer 架构，基本上就是被证明特别好用的一种方式。
对，对。我会这么说，到目前为止效果确实不错，我同事们干得漂亮。没错，那我们把镜头拉远一点，阿呆的进步以前就意味着模型更好，你有更多数据，用更大的参数量训练更大的模型。但最近这几年越来越变成模型之外的一切，不只是模型规模、参数量或者更多数据，而是检索工具、记忆 agent 工具这些周边的东西。这些东西可能慢慢汇聚成大家说的上下文工程。
对吧？对我觉得模型其实只是你要做的事里的一块儿。你要做的是搭一个能解决真正有趣问题的完整系统，这包括一个会用各种工具的模型。它也许知道怎么检索相关信息，也许有过去处理问题时检索过的其他信息的历史记录。它能把信息放进模型的上下文里。这样做的好处是，这些信息对模型来说非常清晰。不像模型训练时用的训练数据，那都是几万亿个token搅在一起，煮成一锅几千亿甚至几万亿参数的汤。
远不如模型针对当前这个问题，这个用力直接看到的上下文来的清楚。然后还要能理解有哪些工具可用，哪些工具能帮模型解决下一阶段的问题，怎么把一个任务拆成一串工具调用，也许还要试多种解法，看哪种有效，并且能评估结果。这就是整个复杂 agent 系统和多智能体系统的编排。我觉得它会越来越重要。要我说，这真是超级激动人心的时代。
我觉得这个领域特别有意思的一点是，在座的每个人其实都能上手，因为以前要训练一个模型，你需要海量的资源，需要大量 GPU 和数据。但说到上下文工程，在座各位都能做，你只需要一个像 Gemini 这样的 API，然后自己搭一套检索，自己写工具调用，诸如此类。那么。对大家来说有什么建议？怎么才能把上下文工程做好，做到出类拔萃？
对我觉得一个很好的方法就是真的用这些模型，还有各种 harness 和工具去解决问题。然后有时候你能亲眼看到模型在哪些地方会失败，而且很多时候你其实能让模型表现得更好，能解决那类问题。不是靠调整模型参数，那个从外部很难做到，而是靠给模型写更好的指导，给模型写skills，让它知道怎么用不同的工具。这些工具对解决某一类问题会特别有用。
我觉得你这么做的时候，你其实是在不断改进自我改进，你用来解决问题的这套配置，而且。这也是一个很好的方式，让你更理解模型还需要哪些额外信息才能变得更强大。你能举一个你自己做过的上下文工程的例子吗？比如你写的 skills，或者某个工具真的让你的工作流有了巨大改变？我想想，几周前三界和我在做一件事儿，我们经常会给一些非常底层的库做性能优化。
我们在谷歌写了一个微基准测试库，你可以写微基准测试，测各种操作要花多长时间，比如填充这个数据结构要多久之类的。有时候这些数据结构会在谷歌的几百万个进程里被用到，所以确保它们高性能其实挺重要的。你可以写微基准测试，但如果没有智能体系统，你通常的做法是先测一下你关心的那些基准的当前性能，然后做一些修改，希望能提升性能，再重新跑基准。
看看哪里变好了，可能再跑更广的一组基准，测一下缓存占用之类的。所以我们写了一个skill，基本上就是教模型怎么按各种顺序去做这些事情，这样它就能真正做自我改进的基准测量、基准测试、改代码、测性能提升，然后不断迭代。对某些类型的问题，这个效果还挺好的。其实本质上。就是我们把自己作为人类会用的方法，以一种模型能用的形式交给了它。
哇，这听起来太厉害了！所以你的意思是，你有这么一个 skill，如果有人能拿到它，就能像 Jeff Dean 一样做性能优化，感觉全世界都会想要这个。谁要是能拿到这价值，简直不可估量。哦，其实我们几个月前发布了一份文档，叫 Performance Hints。是三J和我写的，大概三十页，讲各种性能优化的技巧。
有些人已经把它拿过去，用摘要的形式喂给各种模型，然后发现模型现在在推理性能问题方面确实变得更好了。所以你们都听到了。如果你拿到你发表的这份 Performance Hints 论文，你其实也能像 Jeff Dean 一样优化自己的代码。对，而且是完全免费的。所以大家都应该去试试，太酷了！现在你刚才说到 Agent，在座各位可能都在做 Agent，或者某个时候做过。
我相信大家都见过自己的 agent 在大概第三十步、第四十步的时候跑偏了。agent 在大概前十步左右表现很好，但到第五十步就开始不稳了。你觉得现在的瓶颈是什么？是上下文评估器，还是因为本质上是个开放系统，错误会不断累积？对我是说，显然我们希望 AIGC 能长时间运行，因为只有这样，它们才能解决越来越复杂的问题。
但就像你观察到的，今天他们有时在跟工具交互十次之后就不行了。有时候是因为模型在尝试做它没什么经验的事情，它是在一大堆东西上训练出来的。一旦你稍微偏离它熟悉的数据分布，就像大多数机器学习模型一样，它的表现会突然开始下降。而且你离它擅长的舒适区越远，它就越可能表现不好。所以有很多事情可以做，一个是给模型提供技能和提示，让他们尽量待在模型比较熟悉的、光线更明亮的路径上。
我觉得用多智能体系统，让多个 agent 尝试不同的方法，然后你可以评估，也许用另一个模型或另一个 agent 来评估哪些方案看起来有希望。这某种程度上也是在搜索可能的解决方案空间，坚持那些看起来最有希望的，丢弃那些没用的或者跑偏的。这是一个非常非常有用的通用技术，就是推理式计算，用来搜索解决问题的合理方式。
这可以大幅提升性能，或者让长时间运行的 agent 流程更可靠。你们内部是怎么为 agent 实现这种特定工作流的？对我们有各种 harness，还有一整套 skills，特别是在谷歌内部开发环境里，我们有 skills 让 agent 知道怎么用我们大量的内部工具，比如编程、代码审查、测量性能或者获取日志文件。
这些 skills 就是你可以加进去让基础模型更强大的东西。即使它没有专门针对谷歌内部工程师从我们专有系统获取日志文件的确切方式进行过训练，只要有正确的 skill 定义，你就能让它跑起来。对，这提高了 agent 的实用性。现在我们来聊聊创业公司能在哪里赢。这部分我个人非常关心，因为在座的每个人都需要决定未来要做什么。
作为未来的创始人，谷歌的特点是你们从处理器到产品，整个系统都是协同设计的。哪些层面是像谷歌这样的公司会持续构建、不断积累优势的？而两三个人的团队又能在哪里胜出？对，我觉得显然谷歌。我们的Gemini模型和硬件基础设施是在努力构建能做几乎所有事情的通用模型，但在很多情况下，这意味着我们不会在特定领域投入太多注意力，而在那些领域，一个设计精良的界面加上一个模型和一组skills，或者一个不在通用模型擅长范围内的专用模型。
实际上可能有显著优势，因为你可以为你真正热爱的领域构建出令人愉悦、高精度、高质量的东西。我觉得这就是两三个人在房间里构建他们真正兴奋的东西时能获得优势的地方。但我也想提醒，通用模型肯定在越来越广泛的事情上变得更好。你得想清楚，你正在做的事情，它会是一个持久的东西吗？还是说前沿模型会在未来六个月或十二个月内在这方面变得更好？
还是说他们两三年内都做不到？你在决定做什么的时候需要权衡这些。那我们深入聊聊这个通用模型，你们当然会继续做。让他们越来越好。那观众应该怎么思考？哪些领域是他不擅长的？创始人应该怎么想？该挑什么事情来做？对我觉得最重要的事情是选一个你超级兴奋想构建，而且你觉得对世界有用的东西，对吧？如果你做到了这一点，你就已经领先很多了。
然后，如果你醒来发现，哎呀，我其实不太想做这个，或者你要构建的东西对世界对很多人其实没什么用，所以这是我尝试应用的第一条选择标准。接下来该解决什么问题？第二，我觉得你要看看当前更通用的模型在那个问题领域能做什么，对吧？你可以测试他们，看他们能不能把这件事儿做得很好。如果他们完全做不了，那可能是个好兆头；如果他们能做一部分，但做得不太好，那可能不是好兆头。
因为这可能意味着这种能力开始出现在那些模型里了。随着更多训练数据、更大规模的模型或者其他什么，它很可能会变得更好。所以你要找的是模型成功率是百分之零或百分之一的事情，而不是百分之二十的。你怎么找到这些方向？我是说，这些事儿是不是本质上就落在训练集分布之外，符合这个条件的问题，具体长什么样？对我觉得有时候是这样的：你做的产品能接触到某种特定数据，而底层那个通用模型接触不到。
比如你做一个帮用户整理个人所有信息的产品，模型本身不一定能拿到那些数据。这种情况下，你就有很大优势。因为突然之间，你的模型、你的产品能看到重要的数据，也可能是某个特别难的问题。如果你拿到对的训练数据，能训练一个比通用模型更专门的模型。而且成本很可控。也许训练一个针对这个特定问题的垂直模型用不了太多算力，但能得到一个准确率很高的东西。
这种模型有时候能成为很好的基石，去解决那些通用模型处理的不太好的重要问题。我觉得这很有意思，你基本上说了两条路。第一条路有点好笑，你们在做的事是整理全世界的信息，对，那条路大概已经被覆盖的差不多了，对。但整理个人自己的信息这块还是空的，挺有意思的，对。然后第二条路，你讲到某些领域的更专门化的模型，能多讲讲。
这些领域都有哪些吗？好，我觉得你看看我同事的工作，比如 Alpha Fold，那是一个非常专门的蛋白质折叠模型，而且非常成功。它真的能把这个领域处理得很好，所以突然之间你有了一个很厉害的工具和模型，能非常高效的回答关于蛋白质和它们结构的问题。但它不是通用模型，它非常专门。我觉得还有其他领域这种思路也能发挥得很好，也许在材料科学、芯片设计这类方向，能让你借助一个非常准确但垂直的模型。
去做今天很难做的事儿，这是个好例子。所以，如果你们有人发现一个形状类似的问题，像 AlphaFold 那样，那可能就是个值得做的方向。现在，我们假设你已经找到了要做的方向，我们来聊聊怎么成为一个 AI 原生的创始人，怎么真正把它做好。你以前说过，管理一群 agent。比如五十个或一百个agent，关键在于写出非常清晰、干脆的设计文档或者规格说明。
人们怎么才能擅长这个？那些文档长什么样？对，我觉得是这样的。跟你的虚拟agent合作时，如果你能清楚地说明你想要什么，成功的概率会高很多。你越清楚自己想要什么，agent就越有指导原则、规则。也就是一个他要完成什么的大纲。反过来，如果你不说明白，agent就得去猜你的意思。很多时候，他猜出来的东西跟你脑子里想的不一样。
所以，我们从一开始就一直告诉计算机科学家，在动手写软件之前，先想清楚这个软件要完成什么。这非常重要。现在我们有智能体系统能替我们写代码了，但说清楚你想要什么这件事儿的重要性反而更高了。因为以前你是把任务交给一个很聪明的人，他可能有上下文或者能问你追问，AIGC有时候也能做到，但我觉得清晰的规格说明真的是个好主意。
给你举一个编程 agent 用的特别好的例子，你可以让今天的模型把软件从一种编程语言翻译成另一种，效果非常好。因为这种情况下，你其实有一份极其详细的规格说明，你有一整份软件，它说明了系统应该做什么。所以，如果你有一个 Python 实现，想要一个 Go 实现，这种事现在的模型似乎特别擅长，因为它可以把 Python 里所有的测试拿过来。
确保 Go 版本能通过把测试翻译成 Go，然后对比两个实现之间的行为差异，直到没有差异为止。效果非常好，因为那份规格太清晰了。现在我们假设每个创始人都擅长同时跑几百个agent，所有代码都由agent写好了。那什么技能会变得稀缺？对我觉得关键是要有非常好的品味，知道该让agent去做什么。这其实是我背景里研究问题的核心。
一个研究者可以拥有所有工具和技术，但很多时候真正的较量在于你要把时间花在哪个问题上。如果你选对了问题，并且成功解决了它，那远比你把一个相当无聊的问题研究的漂漂亮亮要好得多。所以，这种关于该做什么的高层智慧，我觉得极其重要。我不认为模型在这方面会特别擅长。所以还是需要人来掌舵、引导大量 AI 辅助的计算，去更快的成就大事。
但那种你想让模型做什么的本质，才是你应该专注的关键。那我们再多聊聊品味吧。因为在这个 agent 解码的时代，现在大家谈的很多，你到底怎么培养品味？怎么做到？这听起来太悬了，怎么把它变得具体？对，这确实是个难事。很多时候，品味不像有个可衡量的客观标准。我觉得一部分来自经验。过去研究过很多不同的问题，会教会你未来什么样的问题可能有趣，或者什么样的事情。
通过把之前的方法拼凑起来，再加上一些你必须解决的开放问题，可能刚好能实现某种神奇或者非常有用的东西。另一个给自己积累经验的办法是。写下你觉得未来十二个月里可能重要的一堆事情，也许你挑其中一件去做，但十二个月后回头评估这些其他事情里哪些真的显得重要了，或者世界上哪些人真的去做了，做出来了，哪些还没人做，这能给你自己的品味培养能力提供多得多的样本，而且这是一项很重要的技能。
我觉得我们之前聊到的第三种方式。是做非常疯狂的思想实验哦，对，那是另一个好办法。我觉得有时候不要把大多数人视为理所当然的事情当做理所当然，是件好事。所以我前几天和一些同事做了个疯狂的思想实验：六十年来，整个硅芯片设计行业、设计和制造行业做了大量工作来制造越来越小、错误率极低的晶体管。对吧？因为我们的假设是我们制造的同一设计的每一块芯片都应该和其他每一块芯片完全一样。
你不希望任何比特翻转，一切。都要完美，不应该有任何比特翻转。你知道，有各种各样的东西，各种误差余量都被设计进去了。现在内存都有ECC内存，但在宏观尺度上，我们在构建大规模分布式系统时，并不会做这个假设。对吧？我们用不可靠的部件构建可靠的大规模分布式文件系统，对吧？单个磁盘可能会坏，但你的数据应该是安全的。
所以我们在更高层有机制，比如把数据复制三份，放在三台不同的机器、三个不同的机架上。这样如果任何一个机架交换机、单台机器或磁盘坏了，你的数据还在。我们有里德-所罗门编码技术，但我们似乎没有在晶体管级别的极端尺度上做这件事儿。所以，一个有趣的思想实验是：如果你试图用每天可能出二十次错的晶体管来构建一个系统，会发生什么？
天哪！而不是每一百万年才出一次错，对吧？那会是一个非常不同的设计点，而且可能让你在制造端做出非常有趣的事情。你会有非常不同的设计方法论，因为如果你想从一个地方传信号到另一个地方，而你有这些超级不可靠的晶体管。你可能会用非常不同的信号传输方式，你可能会沿着多条冗余路径发送，以确保至少有一条能到达。我觉得这会是一组相当有趣的思想实验。
我不是说我们应该去做这个，但你知道，这就是那种你确实需要偶尔质疑假设的情况。很多时候，这些思想实验不会成功，因为过去五十年我们这么做而不是那么做是有充分理由的。但时不时重新审视一下这些假设是好的。这太疯狂了！我觉得这跟神经形态计算或者人脑自然运作的方式有很多呼应。确实。就像我们大脑中的信号从一个地方传到另一个地方，并不是特别可靠，所以我觉得在大脑里，当有真正重要的东西需要从一个地方传到另一个地方时，会有多条通路让你能够做到。
那么你有着如此辉煌的职业生涯，有没有哪个疯狂假设是你抛弃了，但最终真的构建出了一个有影响力的系统的？对，我想想，而且真的成功了。对，我是说，我觉得。TPU就是个好例子，在某个非常细分的问题领域还没显得像今天这么重要的时候，就为它专门定制硬件，这是一个思想实验。你知道，我觉得MapReduce的起源是另一个好例子。
那已经是传奇了。我们，你知道，我三J和我自己还有不少其他同事之前在谷歌做过爬虫和索引系统的各种迭代版本。你知道，我们写了很多手工并行化的代码。带大量检查点，就是为了保证在几百台或上千台机器上跑的时候，即使有些机器挂了，系统也能健壮可靠。但那些代码往往和你真正想做的其实很简单的事情混在一起。比如，我就是想看看所有网页内容，然后算一下从URL映射到这个页面什么语言，页面的文本是什么。
而这些真正想做的事儿。会被那些并行化和可靠性的代码给淹没掉，所以我们想起自己受过的函数式语言训练，意识到我们可以换个角度看这些问题，然后提炼出 map reduce 这个抽象层放在实现之上，而在实现之下，你可以把所有检查点和可靠性机制都放进那个底层库里。所有东西都可以构建在它上面，于是这就成了谷歌处理超大规模计算的一种极其成功的方式，既健壮又可靠。
这个思想实验就是，如果我们换个角度看，能不能找到大量适合放进这个抽象层的问题？太了不起了！所以这个思想实验让你创造了 MapReduce。对，太棒了！现在我们回到你刚才聊到一些关于你现在对做大量定制硬件的兴趣。现在 AlphaChip 在布局芯片，然后你还有 AlphaWolf。他提出方案，评估方案，然后把所有有效的方案都保留下来。
看起来你开始构建这些能不断叠加的系统，让AI去构建AI。对我是说，我觉得更广泛的说，这有点像科学方法的基础。你提出一个实验，实现运行实验所需的东西，评估实验，然后从实验中得到结。过，我觉得现在有越来越多的问题可以实现，让整个循环不是只跑几个实验，而是跑很多很多实验，因为你能自动化这个循环。让循环的延迟变得极低，这会变得非常非常重要。
它能让我们去攻克科学、工程、机器学习、模型设计本身，还有像设计芯片这样的工程任务里各种各样的领域。所以，如果你能真正自动化的做这些事儿，有一个编排框架，能把非常高层级的目标拆解成子问题。每个子问题都可以是这样一个自动化循环，去探索解决那个子问题的最佳方式，然后编排框架再把子问题的解决方案组合起来，形成更高层问题的整体解决方案。
这会非常有影响力，真的非常非常重要。我觉得它能让我们加速机器学习的发展，加速科学，加速工程。我觉得那会非常了不起，听起来太棒了。我是说，听起来基本上有很多领域，只要你能有非常好的评估器，也许还接近那些可以被形式化验证的东西。对吧？那些领域就非常适合能自我改进的AI系统。对，我觉得在很多情况下，有时候你的评估器需要做得快得多。
对，举个例子，我的同事们大概十年前做过一些量子化学方面的工作，就是试图理解某个特定分子的性质。你可以，你知道。生成一个分子构型，然后想了解它有什么性质。于是你可以跑一个计算量非常大的密度泛函理论模拟器，这东西可能要跑一整晚的计算才能告诉你一个结果。但我的同事们做的是从那些模拟运行里拿一堆输出输入的分子构型和昂贵模拟器的输出，然后用它们训练一个神经近似模型来替代模拟器，所以这现在成了一个验证工具。
但不再是花一整晚，他们做出了一个快三十万倍的东西，哇！而且准确度几乎和跑完整模拟器一样高，所以这彻底改变了你做科学的方式，对吧？因为现在你有一千万个东西要筛选，你知道你可以去吃个午饭的时间就筛完。而不是花六个月的时间拼命凑够算力去跑所有这些模拟。我觉得在很多领域都有大量空间去做快得多的验证模型，可能是学出来的验证模型能让你以快得多的速度逼近真实答案。
这会改变这些实验循环的思考方式，也改变你绕这些循环能有多快。有哪些领域和问题是你特别兴奋？觉得这种超级加速的科学方法能去解决或达成的，具体是哪些问题或领域？对我是说，我觉得显然机器学习本身就是一个对，所以我们能不能有一个模型，能通过大量实验来自我递归改进？你想啊，今天大型研究团队是怎么改进模型的？通常是有人想出一些点子。
跑一批小规模实验，看看这些实验效果好不好。如果好，就把最有希望的挑出来放到更大规模上去试，然后评估结果，最后把结果整合成模型的新配方。但我觉得这中间没有什么真正的障碍，不能把它变成一个自动化程度高得多的循环，让模型自己决定去探索什么。或者最多在最高层面由人轻轻推一把，比如，哎，你为什么不试试一些融入了这个思路的新模型架构？
然后他就去跑大量实验，看哪些有效，再以快得多的速度把它们吸收进来。说到底，你想要的就是优化每单位算力投入能带来的发现数量。太酷了！对，现在回到这个房间里，你们所有人将来都会成为创始人或者开启自己的职业生涯。你们大概会收到很多拒绝。这一定会发生，杰夫，你也经历过。我记得有个故事，二零一四年，你和杰弗里·辛顿（Orley
Winless）写了一篇关于蒸馏的论文，就是用一个大的教师模型去训练一个更小、更高效。
算起来便宜得多，参数也少得多的模型，现在这已经成了业界人人都在用的招数。对，问题是这篇论文当年被欧洲的一个会议拒了。对，是啊，我觉得我不怪程序委员会，因为很多时候一篇论文会有三个审稿意见。其中某个审稿人看了之后，这次的情况是，他们说：“哦，这篇不太可能产生重大影响，不太可能产生重大影响。”但我觉得，我们写这篇论文的时候，其实已经看到这是个极其重要的问题，因为我们知道，从更大规模的模型做出更便宜、能力又强的模型，是我们特别想做的事儿。
我们想把模型服务给越来越多的人。用在语音、视觉等很多不同领域，但有时候审稿人可能没有那样的经验，因为他们可能没在考虑大规模 AI 服务，而是在想这是不是根本性的进展。所以时不时被拒一次也没关系，我们把它放到 arxiv 上，大家读它、用它，一切都好。而且我们确实在用这个方法，比如从更大规模的 Pro 模型做出我们的 Flash 模型。
这也是为什么我们的 Flash 模型，比如 Gemini 里的那些，在跟它们体积和速度相称的尺寸下，能力会这么强。在他们那个模型尺寸级别里，他们是基准测试里最好的之一。对，确实厉害。我觉得这里面的教训之一是，就算被拒绝了，也要继续往前走。对。这就是我会从这件事里提炼出的教训。现在我觉得有意思的是，你当年加入谷歌的时候，那还是一九九九年一个二十人的创业公司。
现在如果把当年的年轻杰夫·迪恩用瞬间传送带到今天，对这个时代带着你现在的本事，我现在感觉特别有活力，特别年轻。你会做什么？你会加入前沿实验室，还是自己创业？我不知道。你会怎么做？今天的杰夫·迪恩，二十五岁的杰夫·迪恩，对我是说，这总是很难说，这是一个非常个人化的选择。你想把时间花在什么事情上？对我来说，一些最重要的问题是，你要做的事情是不是你真正在乎的？
如果你在做这件事，并且能和你喜欢共事的一群同事一起取得进展，如果你们能一起解决它或者推进它。这件事会不会以某种积极的方式改变世界？比如说，你会不会突然能做某件事，然后把这项服务提供给某个群体？也许是一个非常小众的方向，但能极大的帮助生物化学家之类的，或者也许是一个更广泛的方向，能帮助程序员，或者帮助互联网上的所有消费者。
或者其他什么，你应该努力去做的是对世界产生积极的影响，和你喜欢的人一起工作，努力工作，尽你所能。所以，就你刚才说的那个具体取舍，加入前沿实验室还是和你的一两个、两三个好朋友一起创业，我觉得这是两种不同的体验。在一个大型的成熟的组织里，你有一定的架构，你有非常多非常优秀的同事，他们知道很多你不知道的东西，你有大量有趣的问题可以去做，而且你已经有了一个平台。
你的工作能产生影响，能影响到世界上很多很多人。而作为一个非常小的创业公司，你得有自己真正有热情的东西，而且风险很大。你要去解决那个特定问题，并且要成功，要把它做大。这中间有很多不确定性，但我想那也可能带来极大的成就感。所以我觉得。这真的取决于个人偏好，但至少不管你走哪条路，都要问问自己：如果我做这个问题，最好的结果发生了，世界会不会在某个方面变得好很多？
还是说世界只会觉得，挺酷的，但也就那样？那种事情就不值得你花时间去做。现在我们再多聊聊第二条路。和你真正喜欢的人在一个小团队里工作，你一直是很多很多工程师的出色导师和管理者。你也构建过庞大的系统。对在座的各位来说，在如何发挥最大价值、如何与聪明人共事，或者如何找到聪明人方面，你有什么经验可以分享？对。
我是说，你总是想找到那些在某个领域有真正出色技能的人，而这个领域是你想组建的团队所需要的，不管是在公司内部还是创业。但你也想找到那些你乐于和他们相处的人，对吧？因为你会花很多时间和这些人一起攻克非常难的问题。你想要的是那些自我意识不强、有团队精神的人，也许他们的技能和你互补。我一直觉得，在一个小团队里工作，别人知道我不知道的东西，而我也有一些别人不太擅长的技能，这非常有意思。
因为你们在共同构建某样东西，或者解决某个你们任何一个人单独都做不到的问题，而在做这件事儿的过程中，你实际上会学到很多新知识、新技能。他们也是，你应该把自己的工程或研究职业生涯看作一个装满了各种技术的工具箱，你要一直往这个工具箱里加新工具，因为你永远不知道什么时候会遇到一个问题，需要这四个专门工具，而不是那三个。
而工具越多，你未来遇到的问题就越有可能被你解决。最后再问一个问题，我很确定在座的某个人或者好几个人，最终会做出和你做的 MapReduce、TPU、蒸馏等等一样有分量的东西。你希望他们去解决什么问题？哦，对我是说，我觉得世界上有很多有趣的问题，我就随便说几个，这不是一个完整的清单，因为世界非常大，充满了问题。
我特别兴奋的是硬件的新方法，我们刚才那个思想实验其实就是一个迹象，或者说。是更高效的推理硬件，我觉得可能会有根本不同的机器学习算法，比我们今天用的方法在数据效率上高得多。想想我们今天的大规模模型，他们看到的数据量可能是一个人类到十八岁时看到的一千倍，但一个十八岁的人类在很多事情上做得更好，而且和那些看了更多数据的前沿模型不相上下。
所以，你能不能想出更高效的数据利用系统，能够持续学习，能够从自己的行为中学习？持续学习是一个非常有意思的方向，我觉得多智能体交互也很有意思。我觉得创造让世界上的人们更好的对话的方式可能很有意思，有没有办法让对话更文明？还有帮助人们认识世界各地那些根据兴趣应该认识的人。我觉得这些都是挺有意思的事情。世界上有很多很酷的东西，我们都应该去努力，让更酷的事情发生。
听起来太棒了，非常感谢你，Jeff Dean。今天我们就到这里，谢谢。掌声，非常感谢，谢谢大家。