从餐巾纸估算到TPU：硬件驱动的AI突破
谷歌首席科学家 Jeff Dean 回顾了自己职业生涯中几个关键的“餐巾纸估算”时刻——即用极简计算快速判断技术路径是否可行。2001年，他与三J通过估算意识到，整个谷歌搜索索引已能装进当时全球所有运行中计算机的内存中，从而果断将搜索系统从硬盘迁移到内存运行，大幅提升响应速度。这一思路在2013年再次被验证：当语音识别模型效果突飞猛进（错误率下降一半，相当于二十年进步压缩至数月），Dean 预判用户量激增将导致计算需求爆炸式增长。他在信封背面估算发现，若每位谷歌用户每天仅用语音识别三分钟，整个集群规模需翻倍——这一结论直接催生了TPU（Tensor Processing Unit） 的诞生。
TPU 是为低精度稠密线性代数运算高度定制的芯片，虽无法运行通用软件，但其能效比当时 CPU/GPU 高出 30–80 倍，延迟降低 20–30 倍。Dean 强调，芯片设计需在特化与通用性间取得平衡：既要足够特化以获取巨大性能收益，又不能过度特化而无法适配未来算法演进。他指出，TPU 的成功不仅在于单芯片性能，更在于其可扩展的芯片互联架构——后续版本支持数千颗芯片协同求解同一问题，持续放大系统级优势。
“你要是为低精度稠密线性代数造一颗专用芯片，别的什么都干不了。” “TPU今天已经成了这么重要的基石，你当年绝对想不到TPU会变得这么根基性，尤其是Transformer架构还是后来才发明的，比TPU本身晚得多。”
智能体系统的长期运行：AI能力的新维度
面对主持人关于“AI是否已达到初级工程师水平”的提问，Dean 认为该预测基本准确，尤其在基于智能体的长时程编程任务上进步显著。但他补充道：模型处理复杂任务的能力增长比预期更快，且智能体系统正从编程领域向其他领域快速扩展。他大胆预测，到2027年，ML系统将实现高度自动化：通过自动分解问题、运行大量子实验、汇总结果并迭代优化，形成紧凑的闭环系统。这一范式不仅适用于机器学习，更将重塑科学与工程实践。
Dean 特别强调一个常被低估的趋势：智能体可在特定领域持续运行数天甚至数周，完成极其复杂的任务。他举例称，可让智能体独立完成某软件的新版本重构，使用更安全或更高性能的编程语言——这远超当前多数人对“智能体运行时长”的想象。这一能力将极大拓展AI在系统级任务中的价值。
“我觉得你可以让 agent 去独立实现某个软件的完整新版本，用不同的编程语言来写……而且干得相当认真。” “我觉得有些人已经开始看到一些苗头了，但我不认为所有人都真正内化了这一点，而这会是一件相当了不起的大事。”
AI系统的能量与数据瓶颈：工程师的新标尺
Dean 指出，如今衡量AI系统设计的核心标尺是“能量”。他揭示了一个关键事实：一次计算（如乘法）仅耗约1皮焦耳，而数据搬运（如从HBM内存到处理器）却要贵上千倍。这一巨大差距深刻影响着系统架构选择——例如，批处理（batch processing）并非模型问题，而是为摊薄数据搬运能耗的系统级策略。若追求极低延迟，则批处理不再适用，系统需重新设计。
他建议工程师更新“Latency Numbers Every Engineer Should Know”清单，纳入AI时代关键数字：加速器内部带宽、单次乘法能耗、芯片间互联能力及跨千芯片通信衰减。这些参数将直接决定系统能否高效运行。Dean 进一步指出，许多被误认为是“模型问题”的瓶颈，实则是数据输入输出或能量效率问题。例如，训练中批大小（P）的选择本质是硬件效率问题；他调侃道，虽未承诺，但“P=1的高效训练”并非不可能——尤其在推理场景中，硬件特化仍有巨大优化空间。
“这个差距其实，在悄悄决定哪些产品能做出来，AI里的这些算法该怎么搭。” “我会这么说，到目前为止效果确实不错，我同事们干得漂亮。”
技能化智能体：让性能优化可复现、可规模化
Jeff Dean 和三J（Gaurav Chaudhary）曾为谷歌内部开发了一套微基准测试技能（skill），其核心目标是让性能优化工作从“依赖个人经验”转向“可自动化、可复现”的流程。传统做法是：先测基准性能 → 修改代码 → 再测 → 评估改进 → 可能扩展测试范围（如缓存占用等）。而他们设计的技能，是将人类专家的这套迭代式优化方法编码为模型可执行的步骤序列：让模型自动完成基准测量 → 代码修改 → 性能评估 → 多轮迭代。这种“自我改进的基准测试”在某些问题类型上效果显著。
值得强调的是，他们并非仅停留在实验阶段——几个月前发布的《Performance Hints》文档（约30页）已将这套经验系统化，并完全免费公开。已有用户将该文档摘要喂给模型，发现其在性能推理任务上的表现明显提升。这意味着：普通人只要掌握这份材料，就有可能复现类似 Jeff Dean 的性能优化能力。
“所以你们都听到了。如果你拿到你发表的这份 Performance Hints 论文，你其实也能像 Jeff Dean 一样优化自己的代码。”
“对，而且是完全免费的。所以大家都应该去试试，太酷了！”
Agent 长程运行的瓶颈与破局思路
当前多智能体系统在执行约10步内表现良好，但到第30–50步时极易跑偏。Jeff Dean 指出，根本原因在于：模型本质上是在海量数据上训练的通用系统，一旦偏离其熟悉的数据分布，性能会断崖式下降——这与传统机器学习模型的泛化边界问题高度一致。
为此，他提出了两个关键策略：一是通过skill 和提示工程，引导模型始终运行在“光线更明亮的路径”上（即模型擅长的领域）；二是采用多智能体协同搜索机制：多个 agent 并行尝试不同方案，再由评估器（可能是另一个模型或 agent）筛选出最有希望的路径，丢弃无效分支。这种“推理式计算”（reasoning-as-computation）能显著提升长流程 agent 的可靠性与性能上限。
在谷歌内部，他们已构建了一整套skills harness，让 agent 能无缝调用内部工具（如代码审查、日志获取、性能测量等），即使基础模型从未见过特定系统接口，也能通过 skill 定义快速适配——这极大增强了 agent 的实用性与可扩展性。
创业者的破局点：通用模型的‘盲区’即机会
尽管谷歌正全力推进通用模型（如 Gemini）与软硬件协同设计，Jeff Dean 强调：通用模型无法覆盖所有垂直领域，而专精、高精度的垂直模型反而可能形成显著优势。关键在于识别那些通用模型成功率接近 0% 或 1% 的问题——而非 20% 的模糊地带（后者往往意味着模型即将快速追赶）。
他归纳了两类高潜力方向：其一，数据可及性壁垒。例如，整理个人全部信息的产品，因通用模型无法访问用户私有数据，创业者天然拥有优势；其二，领域专业化建模。如 AlphaFold 在蛋白质折叠上的成功，证明了：一个训练成本可控、但准确率极高的垂直模型，可解决通用模型力有不逮的关键问题。类似机会还存在于材料科学、芯片设计等领域。
“你基本上说了两条路。第一条路有点好笑，你们在做的事是整理全世界的信息……但整理个人自己的信息这块还是空的，挺有意思的。”
“所以，如果你们有人发现一个形状类似的问题，像 AlphaFold 那样，那可能就是个值得做的方向。”
思想实验驱动创新：从MapReduce到TPU
思想实验在重大技术突破中扮演了关键角色。Jeff Dean以MapReduce和TPU为例说明：在问题尚未显现出大规模重要性之前，就敢于为特定领域定制硬件或抽象层，往往能带来范式级的突破。MapReduce的诞生源于对早期手工并行化代码的反思——那些代码将核心逻辑（如网页语言识别）与复杂的检查点、容错机制混杂在一起，导致可读性与可维护性极差。团队从函数式语言中获得启发，提炼出MapReduce这一高层抽象，将可靠性与并行逻辑下沉至底层库，使上层应用开发变得简洁而健壮。这一设计不仅成为谷歌处理超大规模计算的基石，更成为分布式计算的行业标准。同样，TPU的早期投入也是基于一个思想实验：在通用GPU主导的时代，为AI推理专门定制硬件是否值得？答案是肯定的。定制化硬件的路径证明：当问题足够聚焦、规模足够大时，领域专用架构能带来数量级的效率提升。
我们想起自己受过的函数式语言训练，意识到我们可以换个角度看这些问题，然后提炼出 map reduce 这个抽象层放在实现之上，而在实现之下，你可以把所有检查点和可靠性机制都放进那个底层库里。
TPU就是个好例子，在某个非常细分的问题领域还没显得像今天这么重要的时候，就为它专门定制硬件，这是一个思想实验。
自动化科学循环：AI构建AI的范式跃迁
当前AI发展的核心趋势之一，是将科学方法本身自动化：提出假设 → 实施实验 → 评估结果 → 形成新知识。Jeff Dean指出，当这一循环的延迟被大幅压缩，且能被编排框架系统性调度时，将释放巨大潜力。例如，AlphaChip与AlphaWolf系统正尝试构建可自我迭代的AI设计流程——高层目标被拆解为子问题，每个子问题由自动化实验循环探索最优解，再由框架整合为整体方案。这种模式已在多个领域初见成效：在量子化学中，团队用昂贵的密度泛函理论模拟生成数据，训练出一个神经近似模型，将计算速度提升30万倍，同时保持与原模拟器几乎一致的精度。这不仅改变了分子性质研究的节奏（从“六个月算力凑不够”到“吃顿午饭就筛完一千万个构型”），更揭示了一个普适策略：用可快速验证的代理模型加速真实问题求解。
他们做出了一个快三十万倍的东西，哇！而且准确度几乎和跑完整模拟器一样高，所以这彻底改变了你做科学的方式，对吧？
如果你能真正自动化的做这些事儿，有一个编排框架，能把非常高层级的目标拆解成子问题。每个子问题都可以是这样一个自动化循环，去探索解决那个子问题的最佳方式，然后编排框架再把子问题的解决方案组合起来，形成更高层问题的整体解决方案。
被拒绝是常态，坚持价值判断是关键
即便像Jeff Dean这样的行业领袖，也曾遭遇重大挫折：2014年，他与Geoffrey Hinton合著的模型蒸馏（distillation）论文曾被欧洲某会议拒稿，审稿人认为“不太可能产生重大影响”。然而，他们坚信将大模型能力迁移到小模型是关键问题——这不仅关乎效率，更关乎AI服务的普惠性。论文最终发表于arXiv，迅速被业界采纳，成为工业界标准实践。如今，Google的Flash模型（如Gemini系列）正是基于蒸馏技术，在同等参数规模下达到基准测试最优水平。这一经历印证了一个朴素真理：技术价值不应由单次评审决定，而应由其是否解决真实需求来衡量。
我们写这篇论文的时候，其实已经看到这是个极其重要的问题，因为我们知道，从更大规模的模型做出更便宜、能力又强的模型，是我们特别想做的事儿。
就算被拒绝了，也要继续往前走。这就是我会从这件事里提炼出的教训。
选择与世界共振的事业：影响力、伙伴与工具箱
面对年轻工程师的职业选择，Jeff Dean强调：核心问题不在于加入大厂还是创业，而在于你是否相信所做之事能以积极方式改变世界。无论是在成熟组织中依托平台放大影响力，还是在小团队中直面高风险高回报的挑战，关键在于三点：是否是你真正在乎的问题？是否与你喜欢共事的人同行？是否能推动世界向更好方向变化？ 他特别提醒：工具箱思维至关重要——持续积累跨领域技能，因为未来问题的复杂性往往需要组合型能力。小团队中，互补技能+低自我意识+强协作意愿的成员组合，最能激发创造性突破。最终，他寄语听众：不要追求“酷”，而要追求“值得”——那些即使成功，世界也仅会觉得“挺酷”的事，不值得投入人生。
你应该把自己的工程或研究职业生涯看作一个装满了各种技术的工具箱，你要一直往这个工具箱里加新工具，因为你永远不知道什么时候会遇到一个问题，需要这四个专门工具，而不是那三个。