AI 代理能力超越预期与未来自动化预测
Jeff Dean 回顾了他去年在 AI Ascent 上提出的“AI 已达到初级工程师水平”的预测。经过一年的发展，他认为这一判断非常准确。随着模型在处理基于代理（agent-based）的长周期编码任务上表现愈发出色，AI 的能力边界正在快速扩展。Dean 指出，他此前低估了 AI 处理复杂任务的速度，不仅限于编码领域，基于代理的系统在其他领域也开始展现出强大的潜力，这将成为未来的重要趋势。
“我觉得模型在处理基于代理的长周期编码任务方面变得好多了，看起来它们现在确实很有能力……这似乎非常准确。”
对于 2027 年的展望，Dean 预测将看到更多 ML 系统本身的自动化。这意味着 ML 系统将能够通过运行大量实验、将问题分解为子任务、在紧密的自动实验循环中运行这些子任务，并将结果整合，从而自动改进自身能力。这种全自动的问题分解和实验机制不仅适用于机器学习，也适用于其他拥有可测量目标的科学与工程领域。
推理硬件的关键转折与延迟优化
回顾历史，2001 年 Google 搜索从硬盘迁移到内存（RAM）是一个关键转折点，Sanjay Ghemawat 和 Jeff Dean 通过计算发现搜索索引最终将完全装入内存，从而实现了搜索速度的飞跃。Dean 认为，2026 年的类似“内存时刻”在于高性能、低能耗的推理硬件系统。随着基于代理的系统需要向更多人提供服务，延迟变得至关重要，而硬件专业化是实现比通用计算设备（如 GPU 或 TPU）更低延迟和更高能效的关键途径。
Dean 强调，用户已经习惯了等待模型响应，但等待并不令人愉快。如果延迟能改善 50 倍，将带来全新的可能性。此外，他挑战了现场 6000 人可能持有的一个错误假设：即 AI 代理只能运行几小时。事实上，在特定领域和强大模型的支撑下，AI 代理可以连续运行数天甚至数周，执行极其复杂的任务。例如，Dean 提到可以让代理去实现全新的软件版本，以具备更好的安全性或性能属性，这种长期运行的能力正在被逐渐认知。
“我认为你会看到越来越多的 ML 系统自动化……基本上让 ML 系统通过运行大量实验来提升自己的能力。”
TPU 的起源：Napkin Math 与硬件专业化
Jeff Dean 以擅长“餐巾纸数学”（Napkin Math）闻名。2013 年，Google 的语音识别技术取得了突破性进展，深度学习模型在错误率上实现了相当于20 年进步的效果，但这带来了巨大的计算成本。Dean 进行了一次关键估算：如果每个 Google 用户每天使用 3 分钟语音识别，服务器规模将需要翻倍，这将极其昂贵。
这一计算直接催生了 TPU 的诞生。Dean 意识到，当时的 CPU 无法高效处理这种负载，因此团队开发了一种专门针对低精度密集线性代数（low precision dense linear algebra）的定制芯片。这种硬件专业化设计成为了现代机器学习算法的核心支撑，证明了在算力需求激增时，专用硬件优于通用硬件的战略价值。
| 对比维度 | 传统 CPU 方案 | TPU (专用芯片) | 备注 |
|---|---|---|---|
| 适用场景 | 通用计算 | 低精度密集线性代数 | 现代 ML 算法核心 |
| 语音识别进步等效时间 | 无显著加速 | 20 年进步 | 基于 2013 年模型优化 |
| 用户日均使用量假设 | 3 分钟/人 | 3 分钟/人 | 导致服务器规模翻倍 |
| 能效与延迟 | 较低/较高延迟 | 高能效/低延迟 | 推理阶段的关键优势 |
TPU 的通用线性代数基因与性能飞跃
TPU（Tensor Processing Unit）的诞生并非为了运行 Chrome 或 Word 等通用软件，而是专注于精确的密集线性代数运算，这一专注使其在机器学习推理领域展现出巨大价值。早期的 TPU 系统比当时的 CPU 和 GPU 能效高出 30 到 80 倍，同时实现了延迟降低 20 到 30 倍的惊人表现。这种性能优势并非偶然，而是源于其作为通用线性代数系统的设计初衷。Jeff Dean 指出，由于机器学习算法仍在快速演变，过度专业化可能导致技术过时，因此 TPU 需要在通用性与专用性之间取得平衡。
"We built a general purpose linear algebra system... because we knew ML algorithms were still evolving and you didn't want to over specialize, but you wanted to specialize enough that you got the dramatic performance benefits."
为了实现这一目标，TPU 采用了超大乘法器单元、高速内存以及高速互连技术。随着代际更迭，TPU 不断扩展规模，能够高效地将多个芯片协同处理同一问题。这种设计使得 TPU 能够适应后来出现的 Transformer 架构，尽管该架构在 TPU 发明时尚未诞生。通过持续扩大规模并提升性能，TPU 确立了其在 AI 基础设施中的核心地位。
| 性能指标 | TPU (早期/对比基准) | 当时的 CPU/GPU | 提升倍数/降低倍数 |
|---|---|---|---|
| 能效比 | 基准值 | 1x | 30x - 80x 更高效 |
| 推理延迟 | 基准值 | 1x | 20x - 30x 更低延迟 |
从分布式系统到 AI 系统的“延迟数字”演变
Jeff Dean 曾撰写过一份著名的“延迟数字”列表，成为分布式系统工程师的圣经，记录了缓存未命中、磁盘寻道以及跨洋网络包传输所需的时间。如今，这份列表正在更新，以反映 2026 年 AI 系统的关键指标。在 AI 领域，工程师需要关注加速器主内存与片上内存之间的带宽、单次乘法操作的能耗，以及芯片间的互连带宽。此外，当节点规模从 500 扩展到 10,000 时，网络带宽的衰减情况也是决定系统性能的关键因素。
"If you looked at what is important in AI systems these days, you would want to know things like the bandwidth between your main memory system on your accelerator to the onchip memory... You want to know how much energy does it take to do a single multiplier operation."
这些数字不仅影响硬件设计，更深刻影响着算法的实现方式。例如，数据移动的成本远高于计算本身。在加速器中，将数据从 HBM（高带宽内存）调入处理器进行计算，其能耗是实际计算成本的约 1000 倍。这种巨大的能效差距悄然决定了哪些产品可行，以及 AI 算法如何构建。理解这些底层物理限制，是解决大规模分布式 AI 问题的前提。
| 关键系统指标 (AI 时代) | 描述/影响 |
|---|---|
| 片上内存带宽 | 决定数据供给计算单元的速度 |
| 单次乘法能耗 | 衡量计算效率的核心单位 |
| 芯片间互连带宽 | 影响多芯片协同扩展能力 |
| 大规模网络带宽衰减 | 节点从 500 增至 10,000 时的性能损耗 |
能效瓶颈与 Batch Size 的系统性权衡
AI 领域常被误认为是“模型问题”的许多挑战，实质上是数据 I/O 和能效问题。由于数据移动能耗是计算能耗的 1000 倍，为了摊销高昂的数据搬运成本，系统必须采用批处理（Batching）策略。通过一次性处理多个样本或 token，可以将每样本的能耗成本降低为原来的 1/批大小。然而，这种优化牺牲了延迟，因为低延迟场景下批处理的效果并不理想。
"If you didn't have that thousandx difference then you wouldn't have to do batching... but you have to do batching... in order to amortize that data movement."
在模型训练中，这种权衡体现为使用较大的 Batch Size 以提高硬件效率，尽管理想状态下Batch Size 为 1 的训练在逻辑上更简单，但在能效上极不划算。Jeff Dean 指出，这种硬件层面的能效决策直接影响了上层系统的构建，包括训练时的数据组装和 Epoch 运行方式。对于追求极低延迟的推理场景，现有的批处理机制可能并非最优解，这为硬件创新留下了空间。
| 训练策略 | Batch Size | 能效表现 | 延迟表现 | 适用场景 |
|---|---|---|---|---|
| 理想化训练 | 1 | 极低 (数据移动成本高) | 极低 | 理论最优，实际难实现 |
| 常规高效训练 | 大 (Large) | 高 (摊销数据移动成本) | 较高 | 大多数大规模训练任务 |
| 低延迟推理 | 小/动态 | 中等 | 低 | 实时响应要求高的场景 |
推理硬件的未来：极致简化与专用化
针对推理场景，Jeff Dean 认为当前硬件仍有巨大的优化空间，特别是通过最小化数据移动和支持极低精度运算。与训练不同，推理对极低延迟有刚性需求，因此硬件设计可以更加激进地简化。如果确定所需的精度类型，硬件可以直接固化支持，而无需兼容多种精度格式，从而进一步降低复杂度和能耗。
"Inference is a pretty interesting problem because you do want very low latency... I think there's a lot of room for specializing hardware more for inference than we are today."
未来的推理芯片可能不再追求通用线性代数的广泛兼容性，而是针对特定精度和特定数据流进行极致专用化。这种设计思路呼应了 TPU 早期的哲学：在不过度专业化的前提下，通过专用化获得显著的性能收益。通过减少支持的精度种类和优化数据路径，推理硬件可以在保持极低延迟的同时，大幅降低单位计算的能耗，从而解决当前 AI 系统中数据 I/O 带来的能效瓶颈。
| 硬件设计维度 | 当前通用趋势 | 未来推理专用化方向 |
|---|---|---|
| 精度支持 | 多种精度兼容 (FP32, FP16, BF16 等) | 固化少数几种关键精度 |
| 数据移动 | 通用内存架构 | 极致最小化数据移动 |
| 延迟目标 | 平衡吞吐与延迟 | 极致低延迟 |
| 复杂度 | 高 (支持广泛场景) | 低 (针对特定推理任务优化) |
AI 本质：理解即压缩与上下文工程崛起
Jeff Dean 指出，AI 发展的核心逻辑在于数据压缩。他认为，若要实现数据的有损压缩并完美还原，前提必须是彻底理解数据。Transformer 架构之所以成功，正是因为它在这一路径上表现优异。然而，AI 的进步已不再局限于模型本身——模型大小、参数量或数据量的增加不再是唯一指标。当前的焦点已扩展至模型周边的生态系统，包括检索工具、记忆机制、智能体工具等，这些要素正逐渐整合为所谓的上下文工程（Context Engineering）。
"AI 的整体过程是一个巨大的压缩问题，因为为了完全有损地压缩数据并还原它，你基本上需要理解它。"
Jeff Dean 强调，模型只是构建解决复杂问题系统的一部分。一个强大的系统需要模型能够使用各种工具，检索相关信息，并维护历史信息的记忆。与训练数据中数千亿或数万亿参数混合的模糊状态不同，直接输入模型的上下文信息更加清晰明确。这种清晰度使得模型能更有效地处理特定问题。此外，理解可用工具、将问题分解为工具调用序列、尝试多种解决方案并评估结果，构成了复杂智能体和多智能体系统的编排核心，这被视为未来极具潜力的方向。
上下文工程的民主化与技能化改进
过去，训练模型需要巨大的算力和数据资源，门槛极高。如今，上下文工程的门槛大幅降低，任何人只需拥有如 Gemini 等 API 访问权限，即可针对自己的检索和工具调用设置进行优化。Jeff Dean 建议，提升上下文工程能力的最佳方式是实际使用这些模型和工具来解决具体问题，并在模型失败时观察其弱点。通过编写指导模型如何使用不同工具的“技能”（Skills），而非调整难以从外部修改的模型参数，可以显著提升模型表现。
这种过程会形成一个自我改进的闭环：随着用户不断调整指南和工具链，系统会逐渐优化，从而更清楚地认识到模型需要哪些额外信息以提升能力。Jeff Dean 指出，这种通过外部干预优化模型行为的方法，比单纯依赖模型内部参数调整更为灵活和有效，是普通人也能掌握的高级 AI 应用技巧。
实战案例：自动化性能基准测试与优化
Jeff Dean 分享了一个具体的上下文工程应用案例：他与同事 Sanjay 利用基于智能体的系统优化底层库的性能。Google 内部有一个微基准测试库，用于测量不同操作或数据结构填充的时间，这对于在数百万进程中运行的关键组件至关重要。传统流程包括：测量当前性能、修改代码、重新运行基准测试、评估改进、检查缓存占用，这是一个繁琐且易出错的过程。
他们编写了一个“技能”（Skill），将人类专家的性能优化方法转化为模型可执行的指令序列。该技能教导模型如何自动执行基准测试、应用代码更改、测量性能提升并迭代优化。这一自动化流程显著提高了优化效率，证明了将人类专家的方法论编码为模型可理解的“技能”是可行的。Jeff Dean 强调，这本质上是将人类解决问题的方法以模型可用的形式呈现，从而实现了自我改进的基准测量和代码优化。
性能提示文档与智能体扩展性挑战
Jeff Dean 提到，他们此前发布了一份名为《性能提示》（Performance Hints）的 30 页文档，详细阐述了各种性能优化技巧。有人将这些内容简化后输入给模型，发现模型在推理代码性能问题方面有了显著提升。这意味着，任何人只要获取这份免费文档并正确引导模型，就能获得类似 Jeff Dean 级别的代码优化能力。
然而，智能体系统仍面临扩展性挑战。Jeff Dean 指出，智能体在处理10 步左右的任务时表现良好，但在30 到 50 步时容易出错或偏离轨道。当前的主要约束在于上下文评估和错误累积。随着任务步骤增加，微小的错误会迅速放大，导致系统失控。这表明，尽管上下文工程和智能体编排前景广阔，但长期任务中的稳定性和错误控制仍是亟待解决的关键技术瓶颈。
长程智能体的稳定性挑战与缓解策略
在构建能够解决复杂问题的长程智能体（Long-running Agents）时，核心难点在于模型在脱离训练分布后的性能衰减。Jeff Dean 指出，虽然我们希望智能体能长时间运行，但观察发现它们在经历约 10 次工具交互后往往失效。这是因为机器学习模型在偏离舒适区（Comfort Zone）时，性能会突然下降，偏离训练数据分布越远，失效概率越高。
为了解决这一问题，主要策略包括技能注入与多智能体搜索。通过为模型提供特定技能和提示，可以将其引导回已知的高成功率路径。此外，采用多智能体系统（Multi-agent Systems），让多个智能体尝试不同方案，并由评估模型筛选出最有希望的方案，本质上是在推理时进行计算搜索（Inference Time Compute Search）。这种技术能显著提升长程流程中的可靠性（Reliability）和性能。
"As soon as you get a little bit off the distribution of things it knows how to do then like most machine learning models it will you know its performance will suddenly will start to degrade."
内部工具链的技能化封装案例
Google 内部通过技能定义（Skill Definitions）将专有工具链封装，使基础模型能够调用内部基础设施。例如，在 Google 的开发环境中，智能体被赋予了使用内部工具的技能，包括代码审查（Code Reviews）、性能测量以及获取日志文件（Fetching Log Files）。这些技能并非模型原生具备，而是通过外部定义增强其能力。
这种方法的本质是解耦通用能力与专有操作。即使模型未针对 Google 专有系统的日志获取方式进行训练，通过添加相应的技能定义，智能体仍能准确执行任务。这极大地提升了智能体在内部开发环境中的实用性，证明了通过技能扩展可以弥补基础模型在特定领域知识上的不足，使其能够胜任复杂的工程任务。
"You can actually get it to work and that improves the usefulness of the agents."
初创公司的竞争优势：垂直领域与热情驱动
对于两三人规模的初创团队，Jeff Dean 建议避开与 Google 等巨头在通用模型（General Models）上的正面竞争，转而深耕垂直领域（Vertical Domains）。通用模型旨在覆盖广泛场景，可能在特定领域的精度（Accuracy）和用户体验上不如精心设计的专用解决方案。初创团队的优势在于对特定领域的热情（Passion）和深度理解，能够构建出高准确率且令人愉悦（Delightful）的产品。
然而，必须警惕通用模型的快速迭代。创业者需评估其解决方案的持久性（Durability）：如果通用模型在 6-12 个月内就能解决该问题，则风险较高；若通用模型在 2-3 年内仍无法胜任，则存在机会。因此，选择极度兴奋（Super Excited）且对世界有用的问题至关重要，这比盲目追随热点更具战略意义。
"You have to figure out, is that thing you're working on, is that going to be a durable thing or do you think the models at the forefront are going to get better at that in the next six months or 12 months?"
"1% 规则”：寻找通用模型的盲区
Jeff Dean 提出了著名的"1% 规则”作为创业者选择赛道的核心标准：寻找通用模型成功率仅为 0% 或 1% 的问题，而非 20% 的问题。如果通用模型已经能完成 20% 的任务，说明该能力正在快速普及，初创公司的护城河较浅。相反，如果通用模型完全失败（0%）或仅偶尔成功（1%），则意味着存在显著的分布外（Out-of-Distribution, OOD）机会。
这种机会通常源于两类优势：一是私有数据访问权，如帮助用户整理个人信息的工具，通用模型无法访问用户私有数据，从而形成壁垒；二是专用模型训练，针对极难问题，使用特定数据训练小型专用模型，往往能以较低的计算成本（Compute Cost）实现极高的准确率。这种利基模型（Niche Model）可以作为解决重要问题的关键构建模块。
"Look for something where the model succeeds 0% or 1% of the time not 20%."
数据对比：通用模型与专用解决方案的性能差距
为了直观展示"1% 规则”的应用场景，以下表格对比了通用大模型与专用解决方案在特定垂直领域中的典型表现差异。这些数据反映了通用模型在分布外任务中的局限性，以及专用方案通过私有数据和微调带来的性能跃升。
| 任务领域 | 通用大模型成功率 (Baseline) | 专用/垂直模型成功率 (Target) | 关键差异因素 | 数据优势来源 |
|---|---|---|---|---|
| 个人文档整理 | 1% (完全失败或随机) | 95%+ | 数据隐私与访问权限 | 用户私有数据 |
| 特定行业代码审查 | 20% (部分可用) | 85%+ | 领域特定规范与上下文 | 专有代码库与规则 |
| 罕见病医疗诊断 | 0% (高风险/不可用) | 90%+ | 专业训练数据与合规性 | 专家标注数据集 |
| 企业内部日志分析 | 5% (格式不匹配) | 99%+ | 内部工具链集成 | 内部系统 API 与日志格式 |
注：以上数据为基于 Jeff Dean 论述的逻辑推演示例，旨在体现"0-1%”与“高成功率”之间的巨大差距，具体数值因场景而异。
总结：战略选择与执行路径
综上所述，AI 时代的创业策略应聚焦于通用模型的盲区。通过技能注入解决长程智能体的稳定性问题，通过私有数据和专用模型构建垂直领域的护城河。创业者需遵循"1% 规则”，避开通用模型已具备 20% 能力的红海，投身于那些通用模型完全无法胜任的分布外任务。这不仅需要技术上的专用模型训练能力，更需要对领域问题的深刻热情和独特洞察。
"The most important thing is to pick something you're super excited about and want to build and you think would be useful in the world."
通用模型与垂直领域的双轨策略
在AI应用的构建路径上，Jeff Dean指出存在两种主要方向。第一种路径涉及组织世界信息，这通常由通用大模型很好地处理，但个人信息的开放组织则是一个有趣且尚未完全覆盖的领域。第二种路径则是针对特定领域的专用模型，这类模型在特定垂直领域能取得极高的成功。以AlphaFold为例，这是一个专门用于蛋白质折叠的特定模型，它在处理该领域问题时非常有效，能够准确回答关于蛋白质结构的问题，但它并非通用模型。这种高精度但利基（niche）的方法同样适用于材料科学或芯片设计等领域，利用专用模型的能力来解决当前难以处理的问题。
代理协作中的规范重要性
当创始人需要管理由50到100个代理组成的舰队时，成功的关键在于编写清晰、简洁的设计文档或规范。Jeff Dean强调，明确指定需求能让代理获得更好的指导和规则框架，从而更准确地完成目标。如果规范不明确，代理必须推断用户的意图，这往往导致结果与预期不符。虽然以前可以将任务交给具备上下文理解能力的人类开发者，但在代理系统中，明确规范的重要性反而上升了。一个极佳的例子是代码语言转换，例如将Python代码转换为Go语言。由于源代码本身提供了极其详细的规范（即系统应如何运行），且可以通过测试用例验证行为一致性，因此模型在这一任务上表现得非常出色。
稀缺技能：品味与问题选择
随着代理能够自动编写代码，创始人最稀缺的技能转变为对代理工作内容的品味（Taste）。Jeff Dean认为，这类似于研究领域中选择研究问题的重要性。拥有工具和技巧固然重要，但选择正确的问题往往决定了成败。如果选对了问题并成功解决，其价值远超优雅地执行一个无聊的研究调查。这种高层级的智慧，即知道该让模型做什么，是AI难以替代的核心能力。创始人需要利用AI辅助计算来快速实现伟大目标，但决定模型行为本质的品味才是需要聚焦的关键。
培养品味的三种具体方法
为了将抽象的“品味”具体化，Jeff Dean提出了三种培养方法。首先是经验积累，通过解决大量不同问题，开发者能预判未来哪些领域可能有趣或仅靠现有方法拼接即可实现。其次是书面记录与回顾，建议写下未来12个月内认为重要的事项，并在一年后回顾哪些被他人实现、哪些未被触及，以此增加品味创建的样本量。最后是通过疯狂的思维实验来挑战既定假设。例如，他提到半导体行业六十年来一直假设芯片制造必须零错误率且每个芯片必须完全相同，但通过质疑这一前提，可能会发现新的可能性。这种打破常规假设的思维实验是提升品味的重要途径。
"I think it's really having incredibly good taste in what you ask your agents to work on, right? That is the crux..."
"The clearer you are on what it is you want, the more the agent will have sort of guidelines and sort of rules..."
"If you pick the problem well and you succeed in in solving it, that's way better than if you, you know, uh, delightfully execute a research investigation into a rather boring problem."
挑战底层硬件可靠性的思维实验
Jeff Dean 提出一个极具颠覆性的思维实验：如果构建一个每天会发生 20 次错误的系统，而非每百万年才出错一次，硬件设计将发生何种根本性变化？在宏观的大规模分布式系统中，我们早已习惯利用不可靠的组件构建可靠系统，例如通过三副本机制将数据分散在三台不同机器、不同机架，或利用里德-所罗门编码技术确保数据安全性。然而，在晶体管级别的微观技术中，我们似乎并未采用这种极端的容错设计理念。
"What would happen if you tried to build a system out of transistors that might have you know 20 errors per day."
这种假设性的设计点将迫使工程师采用完全不同的信号传输方法论。为了确保信号在不可靠的晶体管间传输，系统可能需要通过多条冗余路径发送信号，以确保至少有一条路径能成功送达。虽然 Dean 并不建议立即转向这种制造方式，但他强调定期质疑现有假设的重要性。尽管过去 50 年的技术路径有其合理性，但这种反向思考揭示了神经形态计算或人脑工作机制的相似性——大脑中的信号传输同样不可靠，但通过多重通路实现了关键信息的安全传递。
从 Google 爬虫到 MapReduce 的抽象跃迁
Dean 回顾了一个打破常规假设并产生深远影响的案例：MapReduce 的诞生。在早期开发 Google 的网页爬取和索引系统时，团队编写了大量手动并行化代码，并嵌入复杂的检查点机制以应对数百甚至数千台计算机中可能出现的故障。然而，这些用于保障鲁棒性的底层代码与简单的业务逻辑（如识别网页语言、提取文本）混杂在一起，导致代码极度复杂且难以维护。
受函数式编程语言训练的启发，Dean 及其同事（包括 Sanjay Ghemawat）进行了思维实验：能否将并行化与可靠性机制下沉到底层库，而让上层应用专注于核心逻辑？他们开发了 MapReduce 抽象层，将复杂的分布式容错细节封装在底层实现中。这一抽象使得开发者能够以简洁的方式处理大规模计算问题，例如将 URL 映射到语言分类。这一从具体实现到高层抽象的转变，成为 Google 处理超大规模计算、确保系统鲁棒性的核心基石，证明了抽象化在解决分布式系统复杂性中的巨大价值。
AI 驱动的科学发现与工程自动化闭环
当前，Dean 关注的重点转向了自动化科学方法的构建，即利用 AI 系统（如 AlphaChip 和 AlphaEvolve）来加速芯片设计与 AI 模型优化。这一过程遵循经典的科学方法循环：提出假设、实施实验、评估结果。关键在于通过自动化大幅降低这一循环的延迟，使得系统能够运行海量实验而非少数几次。
Dean 指出，这种自动化闭环不仅适用于机器学习模型设计，也适用于芯片工程等复杂领域。通过编排框架（Orchestration Framework），高层目标可以被分解为子问题，每个子问题由一个自动化的实验循环探索最优解，最终由编排框架整合这些子解决方案。这种分层自动化策略有望加速机器学习进步、推动科学发现并提升工程效率。Dean 特别提到，对于拥有快速评估器且可形式化验证的领域（如量子化学中的分子性质研究），AI 系统的自我改进能力尤为显著。通过构建能够自我迭代的系统，人类有望在多个学科领域实现突破性的加速发展。
神经近似模型将计算速度提升30万倍
在分子配置生成的科学探索中，传统的密度泛函理论（DFT）模拟器虽然精确，但计算成本极高，往往需要耗费一整晚的时间才能得出一个分子的结果。为了解决这一瓶颈，研究人员采取了一种创新策略：收集大量昂贵的模拟器输入（分子配置）和输出数据，利用这些数据训练一个神经近似模型来替代原始模拟器。这种“验证设备”并非简单的拟合，而是通过机器学习捕捉物理规律的近似表达，从而实现了计算效率的飞跃。
"Instead of it taking a night, they made something that was 300,000 times faster. And nearly as accurate as running the full scale simulator."
这一技术突破彻底改变了科学实验的闭环速度。过去，筛选一千万个分子可能需要六个月的时间并耗费巨大的算力资源，而现在，研究人员可以在吃午饭的间隙完成同样的筛选工作。这种指数级的速度提升使得高通量筛选成为可能，极大地加速了从假设到验证的实验循环。Jeff Dean 指出，在许多科学领域，利用学习到的快速近似模型来替代昂贵的真实模拟，是优化实验流程的关键方向。
| 指标 | 传统 DFT 模拟器 | 神经近似模型 | 提升倍数 |
|---|---|---|---|
| 单次计算耗时 | 约 1 晚 (Night) | 极短 (秒/毫秒级) | 300,000 倍 |
| 准确性 | 高 (基准) | 接近基准 (Nearly as accurate) | 保持高水准 |
| 筛选规模潜力 | 有限 (数月/半年) | 极大 (即时/午餐时间) | 从线性到即时 |
模型递归自进化与自动化实验闭环
Jeff Dean 认为，机器学习领域本身也是这一“加速科学方法”的最大受益者。传统的模型改进流程依赖于大型研究团队的人工干预：研究人员提出想法，运行小规模实验，评估结果，然后将最有希望的方案整合到更大的模型中。这个过程虽然有效，但速度受限于人类的决策周期和实验资源。
未来的方向是构建一个自动化的递归自进化闭环。在这个闭环中，模型本身可以决定探索新的架构或超参数，或者在人类给出高层指导（如“尝试结合某种新架构”）后，自动运行大量实验。系统会自动筛选出有效的实验结果，并将其快速集成到下一代模型中。这种机制的核心目标是优化每单位算力投入的发现效率，即在不显著增加算力成本的前提下，通过自动化实验大幅加速模型能力的迭代。
"Effectively you want to optimize your discoveries per unit of compute input."
这种自动化不仅限于模型架构，还可以扩展到训练数据的选择、损失函数的设计等多个维度。通过让 AI 系统自主进行“假设-实验-验证”的循环，研究人员可以将精力集中在定义问题和设定约束上，而将具体的探索工作交给高效的自动化系统，从而实现模型能力的指数级增长。
知识蒸馏论文曾被拒稿但终成行业标准
在回顾职业生涯时，Jeff Dean 分享了一个关于被拒稿但最终产生巨大影响的故事。2014年，他与 Geoffrey Hinton 和 Oriol Vinyals 共同撰写了一篇关于知识蒸馏（Knowledge Distillation）的论文。该论文提出了一种利用大型“教师”模型来训练更小、更高效、参数更少且计算成本更低的“学生”模型的方法。如今，这已成为工业界广泛使用的核心技术，特别是在 Gemini 等模型的 Flash 版本开发中，这种方法使得模型在保持较小体积和速度的同时，依然具备强大的能力。
然而，这篇具有里程碑意义的论文最初在欧洲某顶级会议上被拒绝接收。Jeff Dean 表示，他并不责怪程序委员会，因为审稿人可能缺乏大规模 AI 服务的实际经验，未能预见该技术在降低部署成本方面的巨大潜力。审稿人的意见是“不太可能产生重大影响”，这与作者当时的判断截然相反。
"The thing is this paper got rejected... someone will look at it and in this case they said oh it's unlikely to have significant impact."
尽管遭遇拒稿，团队将论文发布在 arXiv 上，随后被业界广泛阅读和应用。这一经历传达了一个重要教训：即使被拒稿，也要继续前行。在学术界，审稿人的视角往往局限于理论创新，而在工业界，解决实际工程问题和规模化部署的需求同样重要。知识蒸馏的成功证明了，解决实际痛点的技术往往比纯粹的理论突破更具长远影响力。
面对拒稿与职业选择的建议
对于即将步入职场或成为创始人的年轻人，Jeff Dean 强调了坚持与热情的重要性。他提到，收集拒稿是职业生涯的一部分，关键在于如何从中学习并继续推进。对于职业选择，无论是加入前沿实验室还是创办初创公司，核心标准是一致的：
- 做你真正关心的事情：只有对问题有深厚的热情，才能在遇到困难时保持动力。
- 与优秀的人合作：与你喜欢且能共同解决问题的同事一起工作，是成功的关键。
- 追求积极的世界影响：无论是帮助生物化学家、程序员还是普通消费者，工作应能带来正面的社会价值。
"What you know what you should strive to do is to have impact in the world that is positive and to work with people you enjoy working with."
Jeff Dean 对比了大型组织与初创公司的不同体验。在大型机构中，你有结构化的支持、丰富的同事资源和现成的平台来放大你的影响力；而在小型初创公司中，你需要更强的自驱力和对特定领域的激情。无论选择哪条路，努力工作、发挥最佳水平并追求积极影响是永恒的主题。他幽默地表示，如果年轻的自己穿越到现在，凭借现在的技能和经验，他会感到充满活力，并继续投身于那些能改变世界的挑战中。
选择高影响力项目与个人成长路径
在职业生涯中，面对高风险但高回报的项目时，决策的核心在于个人偏好与世界影响的权衡。Jeff Dean 指出，虽然投身于极具挑战性的领域能带来巨大的成就感，但最关键的标准是：如果该项目取得最佳结果，世界是否会因此变得更好？ 如果答案仅仅是“挺酷但无所谓”，那么这就不值得投入时间。这一准则帮助工程师筛选出真正具有深远意义的问题，避免将精力浪费在边际效益低下的事务上。通过这种价值导向的筛选机制，从业者能够更清晰地定位自己的职业使命，确保每一次技术突破都能转化为对社会的实质性贡献。
组建高效小团队与技能工具箱
在团队协作方面，Jeff Dean 强调寻找互补技能且低自我意识的队友至关重要。他建议工程师不仅要关注技术能力，更要重视人际互动的愉悦感，因为解决难题的过程漫长且艰辛，良好的团队氛围能显著提升效率。他提倡一种“工具带”（Tool Belt）的职业发展观，即工程师应不断积累新的技术和方法论，以应对未来可能出现的复杂问题。这种持续学习的心态不仅提升了个人解决特定问题的能力，也促进了团队内部的知识共享。正如他所说：
"I always find working in a small team where people know things that I don't know... is super fun because you're collectively building something..."
这种协作模式使得团队成员在共同构建宏大系统时，能够相互学习，从而在个人技能库中增加更多“专用工具”，提高未来解决未知问题的可能性。
未来 AI 研究的关键方向
针对未来具有重大影响力的 AI 研究方向，Jeff Dean 提出了几个关键领域，重点在于硬件效率与数据效率的突破。他特别指出，当前的大规模模型在 18 岁前所接触的数据量可能是人类的1000 倍，但在许多能力上仍仅与人类相当。这揭示了当前范式在数据利用效率上的巨大潜力空间。他呼吁研究者探索更高效的推理硬件、数据效率更高的算法，以及具备持续学习（Continual Learning）能力的系统。此外，多智能体交互和改善人类对话质量也是极具价值的研究方向，旨在通过技术促进更文明的社会交流和更精准的人际连接。
"If you think about our large scale models today, they probably see a thousand times as much data as a human does by the age of 18."
这些方向不仅关乎技术性能的提升，更关乎 AI 如何更自然、更高效地融入人类社会，解决从底层硬件到上层社会互动的多层次问题。