好的，我们要开始吗？杰夫？>> 当然，听起来很棒。>> 好的，杰夫，欢迎。再次非常感谢你来到这里。特别是，我刚刚感冒了，还要感谢你到来。>> 是的，恐怕我失声了。我平时声音不是这样的，但我们会尽力而为。>> 所以，嗯，你构建了MapReduce、Bigtable、TensorFlow和TPU，还有Gemini。我们可以花整整一个小时来讨论你做过的一切，但我喜欢的是，你仍然在公开场合做出大胆的预测。去年，没错，2025年5月在AI Ascent大会上，你说AI的水平相当于初级工程师。那是一年前的事了。距离那个预测我们还有多远？
是的，我的意思是，我觉得模型在处理基于代理的、运行时间较长的编码任务方面变得好多了，而且很明显，它们现在确实相当有能力。根据你对“初级工程师”的确切定义，我觉得这个预测相当准确。>> 你对那个预测低估了什么？嗯，我认为完成越来越复杂任务的能力增长速度快于我的预期。而且我也认为，除了编码之外，这些基于代理的系统在其他领域也开始大放异彩。我认为这将是未来的一个重要趋势。
所以，再来一个大胆的预测吧。你认为2027年的版本会是什么？>> 嗯，我认为你会看到更多的机器学习系统本身的自动化。基本上，让机器学习系统通过运行大量实验来提升自己的能力，将问题分解为子任务，在紧密的自动实验循环中运行这些子任务，整合结果，然后从中获得改进后的系统。这种完全自动化的问题分解和自动实验，我认为将会非常令人兴奋。
我认为这不仅适用于机器学习，也适用于其他科学和工程领域。基本上，任何拥有可衡量目标的领域，我认为 nowadays 都能取得很大进展。>> 现在让我们回到一点历史。早在2001年，Google搜索还在硬盘上运行。>> 没错。你和Sanjay做了计算，意识到在某个时刻，整个搜索索引最终将容纳在你所有运行计算机的RAM中。你有了这个激进的认识，基本上在几天内就和Sanjay在生产环境中部署了一个全新的、在RAM中而非硬盘上运行的搜索版本，正是这一点让Google搜索变得如此快速。
所以历史倾向于重演。在2026年，那个“内存容纳一切”的时刻，也就是现在，房间里每个人都在思考并为之设计的是什么？>> 是的，有点不同，但我认为你会看到越来越多的高性能、低能耗推理硬件系统，因为我现在意识到，推理是让基于代理的系统可供更多人使用的关键。延迟非常重要，而硬件专业化是提高能效和降低延迟的关键途径，相比于像GPU或TPU这样的通用计算设备。
因为我想在座的各位都已经习惯了等待模型的响应。[清嗓子] 所以>> 等待并不有趣>> 追求速度。所以你的意思是，如果我们不再需要等待呢？>> 是的，我的意思是，想象一下，如果延迟提高50倍，你能做些什么。>> 有趣的想法。那么，房间里大约6000人持有的一个关于AI的错误假设是什么？>> 是的，这是个很好的问题。我的意思是，我认为可能有一件事是人们没有完全意识到，拥有基于代理的系统，不仅能在你关心的问题上运行一两个小时，而且在某些问题领域，配合底层高度强大的模型，可以让它们运行数天甚至数周，并完成非常复杂的任务。
我认为这就是，你知道，开始有些人开始看到端倪，但我认为每个人还没有真正内化这一点，这将是非常重大的。>> 你运行过什么特别的任务，持续了数周？那是什么？你告诉代理去解决什么？是的，我的意思是，你可以告诉代理去实施全新的软件版本，使用不同的编程语言，这些版本可能具有更好的安全性或性能特性。然后它们可以相当认真地去做这件事。>> 这很酷。[清嗓子] 现在，你以擅长“餐巾纸数学”（快速估算）而闻名。听起来很有趣。关于你的一个故事是，在2013年左右，当语音识别在Google开始起作用时，你做了餐巾纸估算，如果每个Google用户每天使用手机并通过语音识别系统说话三分钟，仅仅三分钟，你会发现该系统需要一台Google服务器。你必须将车队规模扩大一倍，这对于只做语音翻译来说将非常昂贵。
是的。>> 相反，你基本上定制了芯片，这就是TPU的起源故事。>> 是的，是的。我的意思是，我某种程度上做过，你知道，我们开始看到基于深度学习的语音系统、语音模型的质量结果非常好，我们正在训练这些模型。但它们比旧的语音系统在计算上更昂贵，但它们降低了错误率。所以这相当于在短短几个月内，通过摆弄模型、稍微扩展规模并获得更好的数据，实现了语音识别20年的进步。所以我们开始担心，如果语音识别变得更好，人们会使用得更多。
所以那个粗略的计算主要是关于，如果人们开始更多地使用语音识别来口述电子邮件或与手机对话等，会怎样。嗯，是的，事实证明，我们意识到我们需要比当时在CPU上运行更好的解决方案。所以我们提出了TPU，它们本质上非常专门用于低精度密集线性代数，这是当今我们使用的几乎所有现代机器学习算法的核心。而且，如果你为低精度构建专用芯片，
精密密集线性代数，且无法执行其他任务，但这在机器学习推理中却非常有用，尽管它无法运行 Chrome 或 Word 等软件。该系统随后推出了一款芯片，其能效比当时的 CPU 和 GPU 高出 30 到 80 倍，延迟也低得多，约为 20 到 30 倍，这简直不可思议。
这就是 TPU 如今成为基础架构的原因。你无法预测 TPU 会如此基础，毕竟 Transformer 架构是在 TPU 发明很久之后才出现的。是的，这正是我们构建通用线性代数系统的原因，因为 TPU 本质上就是如此。我们知道机器学习算法仍在演变，因此不想过度专业化，但又要足够专业化，以获得显著的性能优势。我们可以拥有非常大的乘法单元，高速内存，以及高速互连，后来的 TPU 能将许多芯片高效地用于解决同一问题，并持续扩大规模、提升性能。
令人惊叹。那么，对于想成为未来创始人的在座各位，今晚应该进行怎样的“餐巾纸数学”计算，以潜在地构建出像 TPU 这样具有重大影响的事物呢？这很难说。我认为，思考你在所关注领域中看到的问题和瓶颈，是否存在截然不同的解决方案思路，从而获得数量级或两个数量级的性能或能力提升。
有时，如果你眯起眼睛看问题，不局限于当前解决问题的方式，而是从第一性原理出发思考如何解决，你就能提出真正的好主意，这些主意可能与他人不同。这是一个很好的建议。
在座各位可能不知道，多年前，Jeff 写了一份非常著名的列表，即“每位工程师都应知道的延迟数字”，其中包括缓存未命中、磁盘寻道、网络数据包从加州传输到荷兰所需的时间等分布式系统和系统工程相关的数字。这份列表已被广泛引用，成为许多分布式系统工程师的圣经。
现在，该列表需要更新，请给我们 2026 年的 AI 版本。如果你查看当今 AI 系统中的重要内容，你需要了解加速器主内存系统与片上内存、乘法单元等之间的带宽。你需要知道执行单次乘法操作消耗多少能量，芯片间的互连带宽是多少，以及该带宽能连接多少芯片。
如果超出这个领域，例如当需要从 500 个芯片扩展到 10,000 个芯片进行通信时，网络带宽的下降情况如何？我认为这些都是非常重要的数字，它们真正影响你思考如何解决特定类型问题的方式。
我听到你提到一个有趣的事情，即如今衡量一切的单位是能量。是的。你指出，进行计算或数学运算的成本约为 1 皮焦，而移动数据和进行数据 I/O 的成本则是其数千倍。是的，仅仅是将数据从加速器上的 HBM 带入处理器以进行实际计算，就存在这种差距。
这种差距悄然决定了哪些产品是可行的，以及 AI 算法是如何构建的。那么，创始人们常称为模型问题，但实际上是能量或数据 I/O 问题的难题有哪些？你提到的在移动数据与进行实际计算之间能量存在千倍差异，这是一个相当显著的例子，它塑造了我们机器学习工作中的许多方面。
如果没有这种千倍差异，我们就不需要进行批处理，但为了分摊数据移动的成本，我们必须对许多样本或令牌进行批处理，以避免支付千倍的延迟惩罚，而是支付千倍除以批处理大小的能量成本。对于极低延迟的场景，批处理效果并不好。
因此，计算机硬件中各种决策背后的能量因素，确实影响着我们构建更高层系统时所做的许多决定。一个非常具体的例子就是模型训练的方式。整个数据集批处理和运行周期的概念，人们可能会误以为是模型问题，但这实际上是系统数据 I/O 问题，对吗？
是的。你必须组装批次以提高硬件效率。理想情况下，你可能希望进行批大小为 1 的训练，但这在效率方面并不理想。因此，如今人们使用相当大的批次。
你以在周末花几周时间想出 brilliant 解决方案而闻名。有没有可能 Jeff 花几周时间完成批大小为 1 的训练？我更多地在思考推理问题。我认为推理是一个相当有趣的问题，因为你确实需要极低的延迟。训练不一定需要极低的延迟。
我认为在推理方面，硬件专业化的空间比今天更大。关于推理，你正在深入思考哪些有趣的事情？主要是试图最小化数据移动，思考极低精度的操作，也许不支持多种不同的精度。如果你认为已经确定了所需的精度类型，也许只需将其内置到硬件中，而不做其他多余的事情。
这引出了一个核心的类比，我听过……
来自著名计算机科学家，其实整个AI过程是一个巨大的压缩问题，因为为了拥有数据，必须对其进行有损压缩，然后恢复它，你基本上需要理解它。是的，我的意思是，如果你真正理解了数据，你就应该能够很好地压缩它。Transformer架构基本上就是一种被证明非常有效的方法。是的，是的，我会说到目前为止效果相当不错。我的同事们做得很好。[笑声] 是的。现在让我们把视角拉远一点。AI的进步过去仅仅意味着更好的模型。你可以用更多的数据训练拥有更大参数的模型。但在过去几年里，越来越多的情况是，模型周围的一切变得重要起来。不仅仅是模型大小、参数量或更多数据。而是围绕检索工具、记忆、智能体工具等的一切，它可能会逐渐整合为人们所称的上下文工程，对吧？[清嗓子]
是的。我的意思是，我认为模型实际上只是你试图做的事情中的一小部分，即构建一个能够解决真正有趣问题的整体系统。这涉及一个知道如何使用各种工具的模型。它可能知道如何检索相关信息，可能拥有关于过去问题检索到的其他信息的记忆，并且它可以将信息放入模型的上下文中。这样做的好处是，这些信息对模型来说非常清晰，不像模型训练所用的训练数据，那里是数万亿个令牌搅拌成数百亿或数万亿个参数的汤，但都不如模型直接看到的用于此特定问题或使用案例的实际上下文清晰。
然后我认为能够理解有哪些工具可用，哪些工具将帮助我帮助模型解决下一个问题阶段，如何将问题分解为一系列工具调用。也许尝试多种方法来解决这个问题，看看哪些方法有效，并能够评估这一点。你知道，这就是复杂的智能体和多智能体系统的整个编排，我认为这将变得越来越重要，而且我会说这是令人兴奋的时代。我认为这个特定问题领域的有趣之处在于，实际上这里的每个人都可以做到，因为在训练模型之前，你需要 incredible amount of resources（大量的资源）、对GPU和数据的巨大访问权限，但对于上下文工程，这里的每个人都可以做到。你只需要像Gemini这样的API，然后为你自己的检索、你自己的工具调用等建立自己的设置。
那么，对于这里的每个人来说，有什么建议？每个人如何变得更好，并在上下文工程方面变得卓越？是的，我的意思是，我认为[清嗓子]一个非常好的方法是使用这些模型以及类似的工具和框架来尝试解决问题，然后有时你实际上可以看到模型在哪里失败。通常，你可以通过不只是调整模型参数（这很难从外部做到），而是为模型创建更好的指南，即编写技能，让模型知道如何使用不同的工具，这将极大地有助于解决这一类特定问题。而且我认为，当你这样做时，你最终会进入一种改进的、自我改进的设置，用于你试图用来解决问题的方法。你知道，这是变得更好理解模型为了变得更强大而需要哪些额外信息的好方法。
你能举一个你个人做过的上下文工程的例子吗？比如你写的技能或工具，在你的工作流程中产生了巨大的不同？是的，我的意思是，我想几周前Sanjay和我在合作，我们经常做一些非常底层库的性能改进工作。我们在Google编写了一个微基准测试库，你可以在其中编写微基准测试，以测量不同类型的操作需要多长时间，或者填充这个数据结构需要多长时间，无论是什么。有时这些数据结构在Google的数百万个进程中使用。因此，确保它们的高性能实际上非常重要。你可以编写微基准测试。
但是，如果没有基于智能体的系统，你通常做的是测量你在意的某些基准测试上的当前性能。你做一些修改以提高你希望的性能。然后你重新运行基准测试，看看哪些地方得到了改进。你运行可能更广泛的基准测试集，测量事物的缓存占用情况。所以我们编写了一个技能，基本上教会了模型如何以各种序列执行大多数这些操作，以便它实际上可以进行自我改进的基准测试测量、基准测试改进、代码更改、测量性能改进，然后在此基础上迭代，这对于某些类型的问题似乎效果相当不错。这实际上只是我们将作为人类会使用的这种方法，以模型可以使用的方式呈现给它。
哇，这听起来令人印象深刻。所以你是说，你有一个技能，如果有人获得访问权限，它就可以执行像Jeff Dean那样的优化。看起来世界会喜欢这个，对于拥有访问权限的人来说，它价值无穷。哦。我们实际上在几个月前发布了一份文档，我和Sanjay写的，名为“性能提示”，这是一份约30页的文档，关于各种性能技巧。有些人已经将其以摘要形式提供给各种模型，并看到该模型现在能够更好地推理代码中的性能问题。所以你在这里听到了。如果你采取我们发表的这篇关于性能提示的论文，你实际上可以像Jeff Dean一样优化你自己的代码。是的。
它都是免费提供的，所以你们都应该试试。非常酷。是的。现在，你在谈论智能体。这里的每个人可能都在某个时候构建了一个或已经构建了一个。我相信每个人都见过你的智能体在大约第30或40步时脱轨。智能体对于前10步左右非常棒，但在第50步左右就变得不稳定。你认为今天的限制是什么？是上下文评估器，还是因为本质上是一个错误累积的问题？
开放循环系统？是的，我的意思是，显然我们希望代理能够运行很长时间，因为只有这样它们才能解决越来越复杂的问题。但是，正如你今天所观察到的那样，它们在大约与工具进行10次交互后有时会停止工作。有时这是因为模型试图做一些它没有太多经验的事情。所以它在一组事物上进行了训练，一旦你稍微偏离它知道如何做的事情的分布，就像大多数机器学习模型一样，它的性能会突然开始下降。你离它知道如何做的舒适区越远，它表现不佳的可能性就越大。
所以你可以做很多事情。其中之一是给予模型技能和提示，这些技能和提示倾向于让它保持在它知道如何做的事情的更明亮的路径上。我认为，拥有多代理系统，其中多个代理尝试不同的方法，并且你可以评估，也许有另一个模型或另一个代理在评估哪些看起来有希望，这是在某种意义上搜索可能解决方案的空间并坚持那些看起来最有希望的方案，丢弃那些似乎不起作用或偏离轨道的方案，这是另一种方式。
这是一种非常有用的通用技术，即推理时间计算，用于对解决问题的合理方式进行搜索，这可以在长期运行的代理流程中获得更高的性能或更高的可靠性。>> 你在内部为代理实现这种特定工作流程的一些方式是什么？是的，我的意思是，我们有工具，还有一整套技能，特别是在内部Google开发环境中。我们有技能，以便代理知道如何使用我们大量的内部工具进行编码、代码审查、测量性能或获取日志文件。
这些只是你可以添加的技能，即使基础模型没有针对Google内部工程师从我们专有系统中获取日志文件的特定方式进行过训练，你实际上也可以让它发挥作用。>> 这提高了代理的实用性。现在让我们谈谈初创公司如何获胜。这部分是我个人非常关心的，因为这里的每个人都需要决定未来要构建什么，对于你未来的创始人来说也是如此。Google的事情在于，你共同设计了系统中的所有内容，从处理器到产品。
哪些是像Google这样的人会继续构建并不断变得更好的层次，而一个两三个人的团队在哪里仍然能获胜？>> 是的，我的意思是，显然Google和我们的Gemini模型以及我们的硬件基础设施正试图构建非常通用的模型，几乎可以做任何事情。但在很多情况下，这意味着我们没有太多关注特定的领域，在那里，也许一个设计良好的界面，加上模型和技能集，或者一个专门的模型，不在我们模型擅长的通用混合中，实际上可以拥有显著的优势，因为你可以构建一些令人愉悦且非常准确、高质量的东西，针对你真正热爱的领域。
我认为这就是房间里两三个人构建他们真正兴奋的东西时可以拥有优势的地方。但我还要警告说，通用模型确实在越来越广泛的事情上变得更好。所以你必须弄清楚，你正在做的事情，是否会是一个持久的东西，还是你认为前沿的模型会在未来六个月或十二个月内在这方面变得更好，或者这是它们几年或三年内无法做到的事情？在你决定做什么时，你要权衡这一点。>> 所以让我们深入探讨这一点。当然，通用模型将继续工作并变得更好。
观众应该如何推理哪些领域是……我的意思是，创始人应该如何思考选择哪些事情来工作。>> 是的。我的意思是，最重要的是选择一些你超级兴奋并想要构建的事情，并且你认为它在世界上会有用，对吧？所以如果你这样做，那么你已经在那些醒来后发现自己并不真的想做这件事，或者你要构建一些对世界或许多人来说实际上没有用的东西的人之前领先了。所以我认为这是我为下一个应该解决的问题选择应用的第一标准。
其次，我认为你想看看当前的更通用模型在该问题领域能做什么。你可以用它们进行测试，比如它们能否很好地完成这件事？如果它们完全失败，那可能是一个好迹象。如果它们能做其中一些，但做得不好，那可能不是一个好迹象，因为这可能表明该能力已经开始存在于这些模型中，随着更多训练数据或更大规模的模型，它可能会变得更好。所以寻找模型成功率只有0%或1%而不是20%的事情。>> 你是如何找到这些的？我的意思是，这些事情实际上是否偏离了训练集的分布，以及符合这种情况的问题形状到底是什么？>> 是的，我的意思是，我认为有时是你构建的一个产品，它可能能够访问底层模型可能无法访问的特定类型数据，即通用模型。
所以可能是你正在构建一些东西来帮助用户组织他们所有的个人信息，而模型不一定能访问这些数据。因此，你可以拥有巨大的优势，因为突然之间你的模型有了可见性，或者你的产品对重要数据有了可见性。它可能是某个极其困难的问题，如果你获得正确的训练数据，并且可以训练一个比通用模型更具体的模型，你可以非常负担得起地做到这一点。也许训练一个针对这个特定问题的利基模型不需要那么多计算资源，但你可以获得非常准确的东西。这有时可以是解决一个重要问题的非常好的构建块，这个问题也许不是
通用模型能很好地处理这些问题。>> 我觉得这很有趣。我认为基本上有两条路径。第一条路径有点意思，你们正在整理全球的信息。>> 是的，>> 这大概已经被很好地覆盖了。>> 是的。但整理你开放的个人信息就有点意思了。>> 是的。>> 然后第二条路径，你谈到了某些领域的专用模型。你能告诉我们更多关于这些领域的一些情况吗？>> 是的。我的意思是，如果你看看我的同事在AlphaFold上的工作，那是一个针对蛋白质折叠的非常特定的模型，它非常成功，并且能够很好地处理该领域，所以突然间你拥有了这个令人惊叹的工具和模型，可以有效地回答有关蛋白质及其结构的问题。但这不是一个通用模型，而是一个非常特定的模型，还有其他领域，那种方法可以很好地发挥作用。也许在材料科学或芯片设计等方面，将使你能够利用非常准确但利基模型的能力，去做今天很难做到的事情。
这是一个很好的例子。所以，如果你们中的一些人发现了一个形状类似AlphaFold的问题，那是一个值得研究的好问题。现在让我们假设你找到了一个要研究的问题。我们将谈谈如何成为AI原生创始人？你如何真正擅长于此？你过去曾说，管理一支由50或100个代理组成的舰队，关键在于编写非常清晰简洁的设计文档或规格说明书。>> 人们如何在这方面变得擅长？那些文档看起来是什么样的？是的，我的意思是，如果你能清楚地指定你想要什么，你在与虚拟代理合作时会取得更大的成功。你对自己想要什么越清楚，代理就越会有某种指南和某种规则，你知道的，一个它试图完成什么的轮廓。
而如果你没有指定很多东西，代理就必须推断你的意思。在许多情况下，它可能会推断出与你想象不同的东西。所以我们从一开始就一直告诉计算机科学家，真正重要的是指定你要写的软件试图完成什么，然后再去写它。所以现在我们要实际拥有基于代理的系统可以执行写作，但指定你想要什么的重要性实际上已经增加了，因为以前你会把它交给一个非常聪明的人类，他可能有背景知识或可以问你后续问题。代理有时可以做到这一点，但我认为清晰的规格是一个非常好的主意。
举一个编码代理工作得非常好的例子，你可以要求今天的模型非常有效地将软件从一种计算机语言翻译成另一种语言，因为在这种情况下，你实际上拥有非常详细的规格。你有整个软件，说明系统应该做什么。所以如果你有一个Python的实现，而你想要一个Go的实现，你知道，这是模型目前似乎非常有能力做的事情，因为它可以获取Python中的所有测试，确保它们在Go版本中通过，将测试翻译成Go，比较实现之间的行为差异，直到没有任何差异，并且非常有效，因为规格是如此清晰。
现在让我们假设，现在每个创始人都擅长同时运行数百个代理，并且所有的代码都是由代理为他们编写的。什么成为稀缺技能？>> 是的，我的意思是，我认为真正拥有非常良好的品味，知道让你的代理做什么，这是关键。你知道，从我背景的角度来看，这是一个研究问题。你知道，研究人员可以拥有所有工具和技术，但通常大部分战斗在于你要花时间在哪个问题上？如果你选对了问题并成功解决了它，那比愉快地执行一项对相当无聊问题的研究调查要好得多。
所以这种关于要做什么的高层智慧，我认为是非常重要。我认为模型在这方面不一定做得那么好。所以你将会有人引导大量的AI辅助计算，以完成伟大的事情并更快地完成。但你希望模型做什么的本质，是你应该关注的关键事情。>> 所以让我们再多谈谈品味，因为在这个代理编码的当前时代，这被谈论得很多。你如何 exactly 建立品味并做到这一点？我的意思是，是的，这听起来太深奥了。你如何使其具体化？>> 是的，我的意思是，这是一件困难的事情。在很多情况下，品味没有可衡量的客观标准。我认为其中一部分来自经验。你知道，过去解决了很多不同的问题，这教会了你关于未来可能有趣的哪些问题类型，或者通过拼凑这些以前的方法，哪些事情可能刚刚可行，以及你可能需要解决的一些开放问题，以达到某种神奇或高度有用的东西。
另一种让自己获得更多经验的方法是，写下你认为在未来12个月内可能很重要的一堆事情。也许你选择其中一个来研究，但回去评估12个月后，这些事情中哪些实际上显得重要，或者世界上其他人出去创建了哪些事情，哪些他们似乎还没有做。这可以给你的品味创造能力提供更多样本。这是一种重要的技能。>> 我认为第三种方法是我们之前谈到的，进行非常疯狂的思想实验。>> 哦，是的，那是另一种好方法。我的意思是，我认为有时最好不要把大多数人似乎视为理所当然的事情视为理所当然。所以我前几天和一些同事做了一个疯狂的思想实验，关于过去60年，整个硅芯片设计行业和制造行业，做了巨大的工作，以制造更小规模的晶体管，这些晶体管的错误率非常低，对吧？因为我们的假设是，我们制造的每一个相同设计的芯片都应该彼此相同。
你不希望任何位翻转。一切>> 没有任何位翻转
应该翻转。现在内存中内置了各种错误容错机制，比如纠错码内存。在宏观层面上，我们在构建大规模分布式系统时并不做这种假设。我们使用不可靠的部件构建可靠的大规模分布式文件系统，就像单个磁盘可能会故障，但数据应该是安全的。因此，我们在更高层面拥有机制，确保数据在三台不同机器和三个不同机架上有三个副本，这样即使任何机架交换机、单个机器或磁盘发生故障，你的数据依然安全。我们还使用里德-所罗门编码技术。但在我们研究的这种晶体管级别的极端规模上，我们似乎并没有做到这一点。
所以，基本上一个有趣的思维实验是：如果你试图构建一个每天可能有20个错误的晶体管系统，会发生什么？而不是每百万年才出现一个错误。这将是一个完全不同的设计点，并可能让你在制造方面做一些非常有趣的事情。由于晶体管极其不可靠，如果你希望信号从一处传到另一处，你将拥有完全不同的设计方法论。你可能会通过多条冗余路径发送信号，以确保它至少能通过其中一条路径传输。我认为这将是一组非常有趣的思维实验。我不是说我们应该这样做，但偶尔质疑假设是很有必要的。
通常这些思维实验行不通，因为过去50年来我们一直以这种方式而非那种方式做事，背后有很好的理由。但偶尔重新审视这些假设是好的。这太疯狂了。我的意思是，这开始与神经形态计算或人类大脑以及自然运作方式产生共鸣。确实，大脑中的信号从一处传到另一处并不特别可靠。因此，当有非常重要的事情需要从一处传到另一处时，大脑中存在多条路径来实现这一点。
你有着如此令人印象深刻的职业生涯。你在过去抛弃了哪个疯狂的假设，从而构建了一个具有重大影响的系统？TPU是一个很好的例子，即为一个非常狭窄的问题领域专门设计硬件，而在那之前，这个问题领域看起来并不像今天这样重要，这是一个思维实验。我认为MapReduce的起源是另一个好例子。我和Sanjay以及其他同事曾在Google工作过各种迭代版本的爬取和索引系统，我们编写了大量手动并行化的代码，并带有大量的检查点机制，以确保在100台或1000台计算机运行且部分计算机宕机时系统的鲁棒性和可靠性。
但这段代码往往与我们试图执行的相对简单的任务交织在一起，比如我只想查看所有网页的内容，然后计算URL到页面文本语言的映射。这被大量用于并行化和可靠性的其他代码所掩盖。于是我们想起了函数式语言训练，意识到我们可以透过现象看本质，开发出MapReduce抽象层，将其置于实现之上，而在实现之下，将所有检查点和可靠性机制放入底层库中，供所有其他代码构建。这成为了Google以鲁棒和可靠方式处理超大规模计算的一种极其成功的方法。
这个思维实验引导你创建了MapReduce？是的。太棒了。现在让我们回到你刚才谈到的，关于你目前对定制硬件的兴趣。现在Alpha Chip负责芯片布局。而你也有Alpha Evolve，它提出解决方案、评估它们并保留所有可行的方案。看起来你正在开始构建所有这些能够叠加并构建AI的AI系统。
我认为更普遍地说，这是科学方法的基础：你提出一个实验，实施运行实验所需的内容，评估实验，然后获得结果。我认为现在越来越多的问题可以实现，其中运行整个循环——不仅仅是运行少数实验，而是运行大量实验——因为能够自动化该循环并使该循环的延迟极低，这将非常重要。这将使我们能够解决科学、工程、机器学习以及模型设计本身中的许多不同问题领域，以及像芯片设计这样的工程任务。
如果你能以自动化的方式做到这一点，并拥有一个编排框架，该框架可以将非常高级的目标分解为子问题，每个子问题都可以是一个探索解决该子问题最佳方式的自动化循环，然后一个编排框架可以将子问题的解决方案组合成高层问题的整体解决方案，这将会产生巨大的影响，非常重要。我认为这将加速机器学习进展，加速科学进步，加速工程进步，这将是惊人的。听起来很棒。我的意思是，这听起来像许多领域，基本上只要有良好的评估器，或者与可以形式化验证的事物相邻，这些都是AI系统自我完善的沃土。
是的，我认为在许多情况下，有时你的评估器需要变得更快。例如，我的同事们在大约十年前在量子化学的一些问题上做了一些工作，你们试图理解特定分子的性质。
你可以生成一些分子构型，然后想了解它具备哪些特性。为此，你可以运行一种计算密集型的密度泛函理论模拟器，这可能需要整整一夜的计算时间才能得出一个结果。但是，我的同事们收集了这些模拟运行的输出数据——即输入的分子构型和昂贵模拟器的输出结果——并利用这些数据训练了一个神经近似模型来模拟该模拟器。这现在变成了一个验证工具，但运行时间从一夜缩短到了快30万倍。
其准确度几乎与运行全规模模拟器相当。这完全改变了你进行科学实验的方式，对吧？因为现在你有1000万个对象需要筛选，你可以在去吃午饭的时候完成这项工作，而不是将其变成一个耗时六个月、试图凑够计算资源来运行所有这些模拟的艰巨任务。我认为在许多领域中，都有很大的空间去使用更快的验证模型，可能是通过机器学习获得的验证模型，它们能更快速地逼近真实答案。
这改变了人们思考实验循环的方式，以及你围绕这些循环运行的速度。有哪些领域和问题是你特别兴奋于这种加速的科学方法能够解决或实现的？具体是哪些问题或领域？嗯，我认为机器学习本身就是一个，对吧？
那么，我们能否拥有一个模型，能够通过运行大量实验来递归地自我改进？如果你思考一下今天大型研究团队是如何改进模型的，通常的情况是人们想到一些想法，运行一些小规模实验，看看这些小规模实验是否成功。如果成功，他们会挑选最有希望的那些，在更大规模上进行尝试，然后进行评估，最后将结果整合成新的模型配方。
但我认为，没有什么真正的障碍不能使这成为一个更自动化的循环，让模型本身决定去探索，或者在人们的轻微提示下，例如“为什么不尝试一些结合这一点的新模型架构想法”，然后它会运行大量实验，看看哪些有效，然后以更快速度将这些纳入。
你知道，我们实际上想要优化的是单位计算输入下的发现数量。太酷了。是的。现在回到大家终将面临的现实，你们中的一些人将成为创始人或开始职业生涯，你们可能会收集到大量的拒绝。这会发生。杰夫，这也发生在你身上。
我的意思是，有一个故事说，2014年，你与杰夫·辛顿和奥马尔·芬写了一篇关于蒸馏的论文，这涉及到利用一个大型教师模型来训练一个更小、更高效、计算成本更低、模型参数更少的模型，这已成为目前工业界普遍使用的技巧。是的。问题是这篇论文在欧洲被拒绝了。
是的。我认为我不怪程序委员会，因为很多时候一篇论文会有三篇审稿意见，其中一位审稿人会说它不太可能有重大影响。不太可能有重大影响。但你知道，当我们写这篇论文时，我们实际上认为这是一个超级重要的问题，因为我们知道从大规模模型中制作更便宜、高度能力的模型是我们迫切想要做的，因为我们希望向更多不同领域的人提供服务，比如语音或视觉。
但有时审稿人可能没有那种经验，因为他们可能没有考虑大规模人工智能服务，而是在思考这是否是一个根本性的进步。所以偶尔被拒绝也没关系，我们把它放在档案库里，人们阅读它，人们使用它，一切都好。而且我们确实在制作我们的Flash模型时使用了它，例如从我们更大规模的Pro模型中，这也是为什么我们的Flash模型，例如在Gemini中，相对于其大小和速度而言如此强大的部分原因。
它们是各自模型尺寸类别中基准测试表现最好的之一。是的，令人印象深刻。我认为其中一课是，即使被拒绝，也要继续前行。是的，那就是我从中学到的教训。[笑声] 嗯，我觉得有趣的事情是，你基本上是在1999年作为一家20人的初创公司加入谷歌的。现在，如果你把年轻时的杰夫·迪恩从那时到现在传送过来。
是的。在这个时代，拥有你的技能。我现在感觉充满活力和年轻。嗯，你会做什么？你会加入前沿实验室，还是创办一家公司？我不知道你会做什么。今天的杰夫主题，25岁的杰夫主题。是的。我的意思是，这很难说，而且这是你想如何度过时间的个人选择。
对我来说，一些最重要的问题是，你是否在做你真正关心的事情？如果你能与一些你喜欢合作的同事一起取得进展，如果你们能够集体解决它或取得进展，这是否会在世界上产生某种积极的影响？比如，你是否能突然做一些事情，并提供这种服务，比如切实帮助生物化学家，或者这可能是一个更广泛的事情，帮助程序员，或者帮助互联网上的所有消费者或其他事物。
你知道，你应该 strive 做的是对世界产生积极影响，与你喜欢合作的人一起工作，并努力工作，做到最好。那么，关于你提出的加入前沿实验室与仅与一两个或三个亲密朋友创办公司的特定权衡，我认为那是不同的体验。在一个大型成熟组织中，你有一些结构，有很多非常出色的同事，他们知道很多你不知道的事情。
你有很多有趣的问题可以研究，而且你已经拥有一个通过工作产生影响力的平台，已经在影响世界上许多人。而作为一个非常小的初创公司，你需要有热情所在，并且……
在以一种你会成功并在此基础上发展事业的方式去承担那个特定问题时，存在很多风险。但这在我看来也可能带来巨大的回报。所以我认为，这真的取决于个人喜好，但无论如何，无论你选择哪条路，都要问自己：如果我解决这个难题，最好的结果发生，世界是否会因此变得更好？如果世界只是“嗯，挺酷的，但也无所谓”，那这种问题就不值得你把时间花在上面。
现在让我们多谈谈第二条路：与你真正喜欢的人在一个小团队中工作。你一直是许多工程师令人惊叹的导师和管理者，你也构建过庞大的系统。对于在座各位，如何发挥最大潜能、如何与聪明人共事或寻找聪明人，有哪些经验教训？
我的意思是，你总是希望找到在团队所需领域拥有出色技能的人，无论是在公司内部还是创业。但你也希望找到那些让你与之相处感到愉悦的人。因为你要花大量时间与人们一起解决非常困难的问题，你需要那些低自我意识、具有团队精神、且技能与你互补的人。
我一直觉得，在一个小团队中工作非常有趣，因为那里的人拥有我不知道的知识，而我可能拥有其他人不具备的技能。我们集体构建或研究某些个人无法独立完成的东西。在这个过程中，你实际上为自己获得了大量新知识和新技能，他们也是如此。
你应当将自己的工程或研究生涯视为拥有一个惊人的工具带，里面装满了各种技术。你总是希望向这个工具带中添加新工具，因为你永远不知道何时会遇到需要这四种专门工具而不是那三种的问题。添加更多工具会增加你未来遇到的难题能被你解决的可能性。
最后一点。我敢肯定在座有人或多人最终会构建出像你在MapReduce、TPU、知识蒸馏等方面所做的那样具有深远影响的事物。你希望他们致力于解决什么问题？
哦，是的。我认为世界上有很多有趣的问题，我随便列举几个。这并不详尽，因为世界很大且充满问题。我对硬件的新方法特别兴奋。之前的思想实验某种程度上表明，我们需要更高效的推理硬件。
我认为机器学习领域可能存在 radically 不同的算法，比我们今天使用的方法更高效地利用数据。想想我们现在的大规模模型，它们在18岁前看到的数据量可能是人类的1000倍。然而，18岁的人类在许多方面更优秀，并且与那些看到海量数据的前沿模型相当。
那么，能否开发出更高效利用数据、能从自身行动中持续学习的系统？持续学习是一个非常有趣的话题。多智能体交互也是一个有趣的方向。我认为创造更好的交流方式也是有趣的。
有没有办法进行更文明的对话？帮助世界各地的人基于兴趣相互认识？这些都是一些有趣的事情。我认为世界上有很多酷的东西，我们都应该去努力让更酷的事情发生。
这听起来太棒了。非常感谢杰夫·迪恩。今天的访谈就到这里。
不客气。谢谢大家。