大家好，我是娜娜。2026年7月31日，Y Combinator的Startup School发布了一期对谷歌首席科学家杰夫迪恩的专访。主持人是YC的Diana Hao，这期访谈的标题叫The 1% Rule for Building in AI（构建AI的1%法则）。杰夫迪恩这个名字，做系统和做AI的人应该都不陌生。

他1999年加入谷歌，从MapReduce、Bigtable、TensorFlow到TPU再到Gemini，他几乎参与了谷歌每一代核心基础设施的构建。这期访谈里，他没有讲太多具体的产品参数，而是反复回到一个问题：在AI这个行业里，真正决定你能不能做出突破性成果的，到底是什么？这期内容信息量很大，我们慢慢聊。

先从一个判断说起：2025年5月，在AI Ascend大会上，杰夫迪恩说AI已经达到了初级工程师的水平。一年过去了，这个判断准不准？他自己的回答是相当准确，而且有两点超出了他的预期：第一，模型处理越来越复杂任务的能力增长速度比他预想的要快；第二，他原本主要在编程语境下谈这个判断，但现在基于智能体的系统在编程之外的很多领域也开始大放异彩。

很多人讨论AI能不能替代工程师的时候，关注点还停留在“写一段代码对不对”这个层面。但杰夫迪恩说的初级工程师，指的是基于智能体的、能够长期运行的编程任务——不是写一个函数，而是完成一整套有上下文、有迭代的工作。那再往前看一步呢？2027年会是什么样？

他给出的下一个大胆预测是：机器学习系统本身会实现更多自动化。就是让机器学习系统自己运行大量实验，自己把问题分解成子问题，在紧密的自动实验循环中运行这些子问题。然后汇总结果，得出一个改进后的系统——完全自动化的问题分解和自动实验循环。

而且他认为这不止适用于机器学习本身，科学和工程的其他领域也一样：只要你能设定一个可衡量的目标，今天就能取得巨大进展。这个判断的分量很重，因为如果真的走到那一步，AI的进步速度就不再受限于人类研究人员能跑多少实验了。

聊完未来，我们回头看历史。杰夫迪恩职业生涯里有两个非常著名的“餐巾纸计算”的故事。第一个发生在2001年，那时候谷歌搜索还运行在硬盘上。杰夫迪恩和桑杰格玛瓦特算了一笔账，发现在某个时间点，整个搜索索引最终能够完全装入他们所有运行计算机的RAM（内存）里。

这个认知一出来，事情就变得不一样了。他们两个人在短短几天内就向生产环境发布了一个全新的搜索版本，直接在内存中运行，而不是在硬盘上。谷歌搜索速度从此实现了飞跃。第二个故事发生在2013年，当时深度学习驱动的语音识别系统开始展现出非常好的质量，错误率比旧系统降低了一半。

这相当于在短短几个月内，通过调整模型、扩大规模并获得更好的数据，实现了语音识别领域20年的技术飞跃。但问题也来了：新系统效果好得多，人们肯定会更多地使用它。杰夫迪恩做了一个粗略的计算：如果每个谷歌用户每天使用3分钟语音识别，仅仅3分钟，谷歌的服务器集群就需要翻倍。

而这仅仅是为了做语音识别，成本太高了。于是他们转向了另一条路：制造一种定制芯片。这就是TPU的起源。TPU专门针对低精度密集线性代数进行了高度优化，而这正是几乎所有现代机器学习算法的核心。这种芯片不能运行Chrome也不能运行Word，甚至可以说它除了做线性代数什么都不会。

但事实证明它对机器学习推理非常有用。最终产出的芯片能效比比当时的CPU和GPU高出30~80倍，延迟也大幅降低，低了20~30倍。后来的故事大家都知道了：Transformer架构问世，TPU正好成了它的核心基石。

但有意思的是，杰夫迪恩说他们当初构建TPU的时候，刻意没有过度特化。而是把它做成了一个通用线性代数系统。因为他们知道机器学习算法还在不断演进，不想把芯片绑死在某一种算法上。但同时又要足够特化才能拿到显著的性能收益：比如超大乘法器单元、高速内存、高速互联。

这是一种非常精妙的平衡：不够特化，拿不到数量级提升；过度特化，算法一变就废了。那回到今天（2026年），什么是这个时代的“内存时刻”？杰夫迪恩的答案是：高性能、低能耗的推理硬件系统。他说，现在每个人都意识到推理是让这些基于智能体的系统汇集更多人的关键，而延迟问题至关重要。

硬件的专用化是打造比GPU或TPU等通用计算设备更节能、延迟更低的产品的一种非常关键的方式。他甚至给出了一个具体的想象空间：如果延迟降低50倍，你能用它做些什么？这个判断的逻辑其实和当年的TPU是一脉相承的：当一个技术从“能用”走向“人人都用”的时候，瓶颈就从模型本身转移到了成本和速度。

语音识别是这样，今天的智能体推理也是这样。而且他最近思考更多的就是推理问题，而不是训练——因为训练不一定需要那么极致的低延迟，但推理需要。在推理硬件特化方面，他认为还有很大的提升空间：方向包括尽量减少数据移动、思考极其低精度的运算。

可能不再支持五花八门的精度类型：如果你能明确知道自己需要哪种精度，或许直接将其固化到硬件设计中，而不必做过多冗余设计。说到这里就不得不提杰夫迪恩另一个非常有名的观点：AI本质上是一个能耗问题。几年前，他写过一份非常著名的清单叫《每位工程师都应知道的延迟数字》，里面列举了缓存未命中耗时、磁盘寻道时间、网络数据包从加州传到荷兰需要多久等等。

这些分布式系统的经典数据被很多工程师贴在墙上。那2026年的AI版清单里应该有什么？他说，你需要了解加速器主存到片上内存、再到乘法器单元之间的带宽；你需要知道执行一次乘法运算消耗多少能量，芯片间的互联带宽是多少？在特定带宽下能连接多少枚芯片？

再进一步，当你需要与1万枚芯片而不是500枚芯片通信时，网络带宽的衰减会怎样？这些数据会深刻影响你解决特定问题时的思维方式。而这里面最反常识的一个数字是：执行一次数学运算大约只需一皮焦耳，但移动数据以及进行数据IO的能耗却是它的一千倍、一千倍。

仅仅是把数据从加速器上的高带宽内存引入到缓冲区，以便进行实际计算，能耗差距就这么大。这个千倍的能耗差距在悄无声息地决定着哪些产品具有可行性，以及AI算法该如何构建。最典型的例子就是批处理：如果没有这千倍的差距，就不需要批处理。

但我们必须对大量样本或大量token进行批量处理（Batching），以分摊数据移动的开销，从而避免承担千倍的性能损耗，把能耗成本降到“千倍除以批处理大小”的水平。而在追求极低延迟的场景下，Batching的效果并不理想。很多人以为Batching、数据集、运行轮次这些概念是模型问题，但实际上它们是系统级的数据IO问题。

你必须组装数据批次才能在硬件上获得更高的效率。理想情况下或许可以进行批处理大小为一的训练，但那样效率并不高。所以如今人们通常使用相当大的批次。这就是为什么杰夫迪恩说，能耗本质上是一个系统问题：它不只是芯片设计的事，深刻影响着我们在构建更高层级系统时做出的诸多决策。

聊完硬件和系统，我们再往上走一层。过去，AI的进步仅仅意味着更好的模型：训练更多数据、构建参数更大的模型。但在过去一两年里，重心逐渐转向了“模型以外的一切”：检索、工具、记忆、智能体。这些加在一起，有人称之为“上下文工程”。杰夫迪恩怎么看这个趋势？

他说模型只是你整个目标中的一块拼图。真正的目标是构建一个能够解决复杂问题的完整系统。这要求模型懂得如何使用各种工具，知道如何检索相关信息；甚至可能保留了过去为解决其他问题而检索过的信息历史，并将这些信息注入到模型的上下文中。这里有一个很关键的区别：训练数据就像是将数万亿个token混合在一起，搅入数千亿甚至数万亿个参数的大杂烩中，其清晰度有限。

但模型在解决特定问题时直接看到的实际上下文对它来说非常清晰：换句话说，上下文里的信息比模型参数里“闷”出来的信息要精确得多。除此之外，模型还需要具备理解可用工具的能力：知道哪些工具能帮助它解决问题的下一阶段？如何将问题分解为一系列工具调用？或者尝试多种方法解决问题并评估哪些方法有效。

这就是复杂智能体和多智能体系统的整体编排，他认为这会变得越来越重要。那对创业者来说这意味着什么？以前要训练一个模型，你需要海量的资源、海量的GPU和数据访问权限。但上下文工程不一样：每个人都能做，你只需要调用类似Gemini的API，然后搭建自己的检索系统、配置自己的工具调用等等。

那怎么才能在上下文工程上做到出类拔萃？杰夫迪恩的建议是：使用这些模型以及相关的测试框架和工具来尝试解决问题。这样你就能切实看到模型在哪些地方失败了。通常你可以通过为模型制定更好的指导原则，或者编写技能让模型知道如何使用不同的工具来解决这类特定问题。

从而让模型表现得更好并成功解决问题，而不是仅仅去调整模型参数——因为从外部调整参数很难实现。在这个过程中，你最终会步入一个不断优化、自我改进的良性循环：完善你用来解决问题的整套系统。他自己就做过一个具体的例子。

几周前，他和三J在做底层库的性能优化。他们在Google编写了一个微基准测试库，可以用来衡量不同操作的耗时。在没有智能体系统的情况下，通常的做法是先测量性能、修改代码，再重新运行测试。于是他们编写了一项技能，教会了模型如何按各种顺序执行这些操作：从而使其能够自主进行基准测试、测量、修改代码、衡量性能提升并不断迭代优化。

这本质上就是把人类解决问题的方法转化为模型能够理解和使用的形式传授给他。顺便提一句，杰夫迪恩和三J还发表了一份名为《Performance Hints》的文档（大约30页），介绍了各种性能优化技巧。一些人将其以摘要形式输入给各种模型，发现这些模型在推理代码中的性能问题方面表现得更好了。

这份文档是完全免费开放的。上下文工程听起来很美，但实际做过智能体的人都知道一个痛点：智能体在大概前10步左右表现很好，但到了第30步、第40步就开始偏离正轨，到第50步就变得不稳定了。这是为什么？

杰夫迪恩的分析是：有时这是因为模型在尝试做它没有太多经验的事情。它是在一整套数据上训练出来的，一旦你让它稍微偏离了它所熟悉的数据分布（就像大多数机器学习模型一样），它的性能就会突然开始下降。你让它偏离其舒适区越远，它表现不佳的可能性就越大。

那怎么解决？他给出了两条路径：第一条，为模型提供技能和提示，引导它保持在它确实擅长的、更清晰明了的路径上；第二条，采用多智能体系统：让多个智能体尝试不同的方法，并由另一个模型或智能体来评估哪些方法看起来有希望。

智能在可能解决方案的空间中进行搜索，坚持那些看起来最有希望的方案，并舍弃那些似乎无效或偏离正轨的方案。这是一种非常通用的技术：在推理时利用计算资源，在解决问题的合理方法中进行搜索，从而在长时间运行的智能体流程中获得高得多的性能或更强的可靠性。

在谷歌内部，他们就是这么做的：他们拥有各种工具链，并且在内部开发环境中具备了一整套技能。他们赋予智能体各项技能：让他们能够熟练使用内部的大量工具，无论是编写代码、进行代码审查、衡量性能，还是获取日志文件。这些技能可以随时添加，从而提升基础模型的能力。

聊到这里，一个很自然的问题就来了：既然谷歌这么强（从处理器到产品，对整个系统的每一个层面进行协同设计），那初创公司还有机会吗？两三个人的小团队在哪些领域还能保持优势？这是这期访谈里我觉得最值得创业者认真听的部分。杰夫迪恩的回答非常坦诚：他说谷歌以及他们的Gemini模型和硬件基础设施都在致力于构建非常通用的模型，使其几乎能够胜任任何任务。

但在很多情况下，这意味着他们无法将过多精力倾注于特定领域：在这些领域，一个设计精良的产品界面搭配特定的模型与技能集（或者一个专用模型），往往能展现出显著优势。这些细分任务可能并不在通用模型的擅长范围内，但你可以针对自己充满热情的领域构建出体验极佳、高精度或高质量的产品。

在通用模型不断进化的浪潮中，寻找那些他们暂时无法触及的细分领域，用极致的热爱打造体验极佳、高精度的专属产品。这正是两三个人组成的小团队破局的利刃。但它同时也提醒：通用模型在越来越广泛的领域内表现正在不断提升，因此你必须弄清楚你正在做的事情是否具备长期的护城河？

前沿模型在未来6个月或12个月内是否也会精通此道？还是说这是一两年甚至三年内他们都无法掌握的能力？那具体怎么评估？创始人该如何选择切入点？他给了一个很实在的标准：最重要的是选择一件让你充满热情、渴望构建，并且认为对世界有用的事情。如果你能做到这一点，就已经领先一大步了。

其次，考察当前通用模型在该问题领域的表现：测试一下他们能把这件事做得很好吗？如果他们完全做不到，那反而是个好迹象；如果他们能勉强完成一部分但做得不够好，那可能不是个好迹象——因为这通常意味着通用模型已经初步具备了这种能力。随着更多训练数据或更大规模模型的加入，它很可能会迅速提升。

所以要去寻找那些模型成功率只有0%或1%的领域，而不是20%。这些领域本质上是什么样的？有时你构建的产品可能能够获取底层通用模型无法接触到的特定数据：比如，你正在构建一个帮助用户整理所有个人信息的工具，而通用模型本身无法访问这些数据。这时你就能获得巨大优势。

也可能是一个极其困难的问题，但如果你能获取正确的训练数据并训练出一个比通用模型更具针对性的专用模型，就能以极具性价比的方式解决这个问题。他举了AlphaFold的例子：那是一个专门用于蛋白质折叠的非常具体的模型，取得了巨大成功。它不是通用模型，而是非常专用的模型。

他认为在其他领域这种方法同样能发挥巨大作用：比如材料科学或芯片设计等。假设你已经找到了要解决的问题，下一个问题是如何成为一名AI原生创始人？杰夫迪恩过去说过一个观点：管理一个智能体集群（比如50或100个智能体），关键在于编写非常清晰简练的设计文档或规范。

为什么？因为如果你能清晰地指明需求，在使用虚拟智能体时就会取得更大的成功：你对需求的描述越清晰，智能体就越有明确的指导方针和规则，越清楚自己需要完成的目标轮廓。相反，如果你没有明确说明，智能体就必须去推测你的意图：而在很多情况下，它推测的结果可能与你的设想大相径庭。

他打了一个比方：我们从一开始就告诉计算机科学家，在动手编写代码之前明确界定软件要实现的目标至关重要。如今我们确实有了能够亲自编写代码的智能体系统，但明确需求的重要性反而进一步提升了：因为以前你是把任务交给一个非常聪明的人类（他们具备上下文理解能力，还能向你追问细节）。

虽然智能体有时也能做到这一点，但提供清晰的需求规范依然是明智之举：毕竟代码可以由智能体来写，但定义“写什么”的灵魂依然在人。他举了一个代码智能体应用极为成功的例子：将软件从一种编程语言翻译成另一种语言。因为在这种情况下，你实际上拥有极其详尽的规范（你有完整的软件代码，明确了系统应该实现的功能）。

正因为规范如此清晰，它才能极其出色地完成任务。那再往下推一步：如果每位创始人都能熟练的同时运行数百个智能体，并且所有代码都由这些智能体代劳，那么什么将成为稀缺技能？杰夫迪恩的答案是两个字：品味。他说关键在于对于你要让智能体去做的工作，必须具备极其出色的品味。

从研究人员的背景来看……

这正是研究问题的核心所在。研究人员可以掌握所有的工具和技术，但成败的关键往往在于你要把时间花在什么问题上。选对问题并成功攻克远胜于完美的执行一项平庸的研究。关于做什么的这种宏观智慧至关重要，模型未必擅长这一点。所以仍需要人类来掌舵指引。那品味怎么培养？杰夫迪恩承认这确实很难。在很多情况下，品味并没有一个可衡量的指标。它部分源于经验，过去解决过大量不同的问题，会让你逐渐明白未来哪些问题可能有趣。