如果你能完全、彻底地理解细胞的运作机制，这将对抗击癌症等疾病产生惊人的影响。>> 我感觉自己像是被扔进了一部科幻电影里。当我还是个孩子的时候，我们只能梦想拥有这样的技术。现在，我也有一个问题，我在想也许只有你能回答这个问题。>> Alpha

基因组图谱（Alpha Genome Atlas）所做的工作，基本上就是预先计算所有这些内容。>> 哦。 >> Alpha基因组图谱的大小是AlphaFold数据库的30倍。 >> 哇。>> 因此，Alpha基因组产生关于[清嗓子]变异对细胞影响的详细信息的规模是前所未有的。>> 很高兴见到你，普什米特（Pushmeet）。看，这对我来说真的很有挑战性，因为这完全超出了我的专业领域，如果我真的有什么专业知识的话。一如既往，我今天以学生的身份来到这里向你学习。Alpha基因组是什么？>> Alpha基因组是一个机器学习模型，它会对基因组的变异做出预测。所以，我们的基因组——不仅仅是人类基因组，而且“基因组”基本上就是生命的配方。它本质上是一种代码。在人类的情况下，这是一种包含30亿个字符的代码。如果其中一个字符发生变化，会对实际的细胞特性产生什么影响？对生物体又会产生什么影响？这些都是Alpha基因组试图揭示的事情。>> 对于普通人来说，Alpha基因组最终可能会改变医学或他们的生活吗？>> 每个人都在某种程度上受到基因组层面发生事件的影响。基因组是生命的配方，它既有说明哪些蛋白质表达的“配料”部分，也有讨论基因调控的“混合”部分——这些蛋白质何时表达、在哪里表达以及以何种数量表达。所有这些编码都包含在这本生命配方中。地球上每个人都有一本配方，我有我的配方，你有你的配方，普通人也有他们的配方。虽然我们的配方相似，但存在一些差异。但这些变化究竟意味着什么？这些变化的影响是什么？这就是我们多年来、甚至数十年来一直试图理解的事情。通过人类基因组计划，我们第一次能够

阅读整本配方书——至少对于一个人的基因组而言。但现在我们正在努力弄清楚如何解读它或理解实际发生的事情。如果你在某个特定字符上做出改变，后果是什么？它会引发特定的疾病吗？它基本上是否与某种问题的高易感性有关，比如高体重指数或对某些癌症更高的易感性？所有这些在某种程度上都可以通过更好地理解基因组中发生的变异来解码。>> 嗯哼。这太不可思议了。我真的很想问这个，因为我的问题是，我不时尝试阅读医学论文。这不是我的专业领域，但我是一个学生，我只是想学习。>>

是的。 >> 而我的问题是，每当我读到任何类型的医学内容时，我的问题在于每个人都是不同的。 >> 是的。>> 我去理发店，理发师说他从未见过两个相同的头型。 >> 是的。>> 我读了一篇关于肌肉肥大（如健美论文）的论文，讲述如何构建肌肉。 >> 是的。>> 他们有一群经过精心挑选的人，年龄相同、身高相同、体型相同。 >> 是的。>> 他们接受相同的饮食，进行相同的训练。然后其中一个人变得极其肌肉发达。他们进行了测量。 >> 是的。>> 其他人长了一点肌肉，一个可怜的家伙一点肌肉都没长出来。还有一个人我认为还流失了肌肉。天哪，我们的差异有多大。我在想，我们是否终于能更接近理解每个人为何略有不同，以及这意味着什么。 >> 是的，完全正确。我想是这样的，这种理解或解读生命代码的后果是什么？有时候那些后果可能毫无意义，对吧？比如，有时变化并不那么重要。有时它们是非常实质性的、被充分理解的后果，对吧？例如镰状细胞贫血症。有一种特定的突变会导致镰状细胞贫血症，我们理解那里发生的情况。但如今你关心的大多数事情在遗传学上是多基因的（polygenic），这意味着有多个突变正在起作用，导致了那个特定事件或现象。在某种意义上，Alpha基因组试图做的是弄清楚特别是在单突变变异水平上分子表型会发生什么。那么这些分子表型如何影响整个生物体的特性？或者在人类的情况下，整个人类感觉到的对特定疾病的易感性——这仍然需要某种连接和研究还需要在这方面进行。>> 我的理解是，在深入探讨之前，AlphaFold对我们所有人免费且永久用于非商业用途。 >> 是的，完全正确。所以就像我们对许多科学模型所做的那样——无论是AlphaFold 1、AlphaFold 2还是AlphaGenome——我们已使其

对整个科学社区开放，供学术用途使用，让他们用于自己的研究、微调模型权重等。 >> 这些都是真的，请解释一下。基因组是细胞的说明书。>> 绝对正确。我想正如我所说的，基因组就像一本食谱书。它既有基因组的编码部分

这就像是食谱书的配料部分，说明需要合成哪些蛋白质。所以人类蛋白质组有20,000种蛋白质。我们的基因组编码这20,000种蛋白质，这些蛋白质可能存在变异。然后还有非编码部分，这部分主要关注这些蛋白质是如何混合的？这些蛋白质如何表达？在哪里表达？以何种数量表达？这部分基本上是整个基因组中较暗的部分，因为人们对它的理解远不如其他部分深入，因为它涉及基因的调控和蛋白质表达。所以我认为Alpha基因组试图做的是尝试解读并阐明整个这一空间。

我还有一个问题，我觉得可能只有你能回答。我真的很好奇：这个模型是在人类和小鼠基因组上训练的。是的，我在人类基因组上进行训练时，它已经具备了一定的知识和结果质量；之后又在小鼠基因组上进行了训练。那么在此之后，它在处理人类部分时是否变得更好了？

是的。我想你在机器学习的许多不同地方都见过这种现象：神经网络试图拟合数据。如果只给它人类数据，神经网络可能会产生一种倾向，即记忆或仅考虑那些只在人类基因组中起作用的机制。但通过训练它、迫使模型在鼠类基因组的背景下解释相同的效果，我们是在要求模型思考更广泛的内容，并考虑能够解释这两种不同类型变异的一般原则。这确实有助于不仅提升模型的泛化能力，还能让模型学习到真正重要的东西以及分子表型在生理层面究竟发生了什么。

我在另一篇谷歌DeepMind的论文中看到了类似情况，即Seera项目玩了很多电子游戏。我发现令人震惊的是：你玩一款游戏并得到一个分数，在玩了其他许多款电子游戏后，你在这一款游戏中的表现反而更好了。我认为这似乎是同样的现象，但这听起来像是智能的表现，对吧？你将其他事物的知识应用到当前事物上。

是的，我认为这就是迁移学习的实际应用。你能够从相关但不同的问题中提取概念，这有助于提升你的能力。比如，如果你解决了数学问题然后解决物理问题，仅仅在数学上变得更好就能帮助你在物理学上也取得进步。

我的理解是，这里的主要进展在于之前的模型要么过于聚焦和短视，要么看得很远但分辨率很低。而现在这个模型两者兼能。是的。这是真的吗？

这是事实。当我们开始这段解码基因组的极具雄心的挑战之旅时，存在许多技术难题。正如我刚才提到的，我们的基因组大约有30亿个碱基对（ATCG），是一个非常长的序列。如果你想了解特定变异的影响，你需要观察该变异周围更广阔的扩展邻域，因为它可能通过三维相互作用等机制影响相当远的地方。并不是说某个特定的碱基对只影响其邻近区域，邻域可能非常大。

因此，在早期的模型变体中——我们在AlphaGenome之前有一个名为Enformer的模型——我们观察邻域的上下文窗口较小，而且我们分析基因组的分辨率也粗糙得多。我们没有在碱基对层面观察发生的事情，而是将大量碱基对作为一个整体来看待。我们不是查看100万个碱基对的窗口，而是使用较小的窗口。AlphaGenome试图做到这一点，也是第一个实现这一点的模型：它以碱基对分辨率进行操作，并拥有非常大的窗口。这使得它不仅能做出需要高精确度的预测，还能进行涉及推理该变异邻域中发生的大量事物的预测。

我看到它非常占主导地位，在26个变体效应基准测试中匹配或击败了最强的对比模型。我想只有AlphaFold我听说过这种程度的主导地位，这绝对令人难以置信。现在我想问你的是：当你看到它第一次开始工作时，你感觉如何？

是的，我认为我们在这一问题上已经工作了很长时间。与我们的许多科学挑战一样，这些都是极其困难的问题，需要在数据、架构创新以及训练新思路等多个方面进行突破。当我们开始看到这些结果时，我们知道我们进入了一个不同的阶段。部分原因是预期的，因为我们已经完成了在如此分辨率下实现训练的所有艰苦工作，这以前从未做过。

但要使其正确运行并实际证明我们最初提出的假设——即如果你提高分辨率、扩大上下文窗口、适当正则化训练，神经网络就会显示出正确的结果——这对整个团队来说确实是一种回报。

有过怀疑的阶段吗？比如“这不可能对”，也许我们是在训练集上测试的之类的。

是的，我认为这是我们团队非常谨慎的科学态度的体现。我们在指标和评估方面做了大量工作。当结果出来时，你确实有一种真正的期望去再次检查以确保一切正常运行且结果是有效的。但我们对设定的指标很有信心，因为我们并不是只做了三个月的项目，这几乎是一个持续了四五年的项目。

什么是Alpha Genome Atlas？

Alpha Genome Atlas本质上是一本字典，记录了当基因组发生变异时会发生什么。我之前告诉过你关于AlphaGenome的内容。AlphaGenome的作用是查看你的基因组，你可以问它一个问题：如果将基因组中的这个碱基对或字符从A变为T，或者从T变为C，后果会是什么？这非常有用。假设你想了解所有变异的影响。由于存在大量变异——你有30亿个碱基对，每一个都可以改变三次（A可以变为T、C或G）——因此有90亿种可能的单核苷酸变异可供研究。

对于这些变异中的每一个，都可以提取大量数据以了解其在分子层面的影响、对剪接的影响以及对基因表达等各方面的效应。Alpha Genome Atlas 基本上预先计算了所有这些内容。它考察这些变异发生的情况，构建出规模达 PB（拍字节）级别的庞大数据集，并向科学界开放。

这令人难以置信。感觉就像 AlphaFold 的那个时刻，蛋白质折叠的预测速度变得极快，以至于 Demis（DeepMind CEO）说：“让我们把所有蛋白质都折叠一遍。”Alpha Genome Atlas 听起来就像是基因组领域的这一突破。确实如此，对于 AlphaFold，我们预测了约 2.5 亿种蛋白质的结构，涵盖了当时已知的大部分蛋白质。

目前 AlphaFold 数据库已被来自 190 个国家的超过 400 万用户广泛使用，而 Alpha Genome Atlas 的规模是 AlphaFold 数据库的 30 倍。因此，AlphaGenome 产生如此详细变异影响信息的规模是前所未有的。这一切都源自一百万个碱基对的 DNA 序列片段，即在一百万碱基对窗口的背景下进行分析。

对于影响基因活性的突变，预测效应大小与实际观测到的效应大小之间存在相当强的相关性。我在论文中看到相关系数约为 0.5，但这已经非常惊人且不可思议。我的理解是，它不仅预测突变是否重要，通常还能大致正确地估算效应的大小，这样说公平吗？

完全正确。我们认为 Alpha Genome Atlas 的主要贡献在于提出了一种新方法，帮助科学家查看和探索这些海量数据。AlphaGenome 变异影响评分（AVI）经过精心校准：如果分数高，意味着该特定变异需要认真分析和思考；如果 AVI 分数低，则有高度信心认为它不会对各种表型产生剧烈影响。

对我来说，这听起来像是那种“根节点问题”，解决后应用可以向各个方向扩展。我偶尔会查看 AlphaFold，它也是这类根节点问题之一。在最初几年，我能阅读使用它的论文并理解其用途；但现在基于 AlphaFold 构建的内容太多，任何人都不可能完全掌握。AlphaGenome 也会如此吗？

是的，我认为 AlphaGenome 旨在解决破译基因组的根节点问题。正如你所提到的，它在影响方面确实是真正的根节点问题。它不仅有助于更好地理解疾病，还涉及如何治疗疾病、需要理解生物学的哪些关键点，以及在特定疾病通路中控制某些蛋白质表达的变异位置。

但它的用途不仅限于理解人类健康和疾病，其影响还延伸到更广泛的生物学领域。事实上，我们现在看到生成式 AI 在合成生物学中的应用兴趣浓厚。当设计新生物体或蛋白质时，我们需要考虑哪些特性？例如 DNA 语言模型 Evo 的出现让人们采样不同基因组以解决各类问题，而 AlphaGenome 提供了研究这些基因组特性的透镜。

我觉得自己仿佛被扔进了一部科幻电影，小时候只能梦想拥有这样的技术，这太不可思议了。我们如何知道它学习的是机制而非仅仅是相关性？通常这是许多论文的痛点，证明两者之间的联系非常困难。这是一个很好的问题，也是计算生物学面临的挑战之一：我们不仅希望模型学习统计相关性，更希望它能理解导致预测结果的因果联系。

在 AlphaGenome 中，这种机制是通过其预测的分子层面属性来编码的。它可以预测剪接位点、剪接或基因表达等具体变异的影响，这些是可以从生物物理学角度解释的预测。AlphaGenome 并非简单地指出“该变异导致疾病”，而是告诉你细胞层面发生了什么，从而在实验室验证中使预测具有合理性。

本质上，因为整个体系基于物理学原理，这有助于验证过程。任务本身需要物理推理能力。虽然模型具体如何实现这一点仍在研究中，但其被要求解决的任务是扎根于物理学基础的。现在你拥有 AlphaFold Genome 中极其复杂的算法，而在论文之上却加了一个极简的 Lasso 正则化层。

我觉得这很有趣，我想象你发明了一台F1引擎，顶部却装了一个小自行车铃铛。是的，我想这展示了表示的力量。像AlphaFold Genome这样的模型应该展现出对所见内容或如何感知DNA序列的根本理解。

从某种意义上说，大部分工作应由模型在特征表示层面完成，而顶层的最终预测器应采用非常简单的形式。因为大部分工作已在表示层发生。

下一步是什么？我们正在做很多事情，就像AlphaFold的故事没有结束一样。我们需要改进它，使其对基因组的理解更好。生物学有很多不同的背景，例如不同细胞的行为方式不同。

因此，让AlphaFold更清楚地意识到它需要做出预测的背景是我们正在努力的方向之一。扩大可训练数据量，使其对不同性质的准确性更高；连接AlphaFold能产生的分子表型。

展示这些表型与生物体层面、人类层面的性质之间的联系和影响，例如患病倾向等。我们如何促进这项工作？这些都是团队现在关注的方向。

有很多事情在进行中，我不想贪心，但我想听听下一步计划。你们在此基础上构建什么？这太棒了。你和儿子用Gemini探索科学问题，比如飞机如何产生推力。

[倒吸一口气] Gemini有没有比你更好地向你儿子解释过什么？你说过“哦，天哪，这比我说的要好得多”。是的，[笑声] 这不仅在于这些模型解释概念的能力。

还在于使用不同的类比等，以及展示理论在实际中的应用能力。几周前，我试图向儿子解释风洞中工程师设计飞机部件时会发生什么，以及这些模拟的效果和方式。

我们让Gemini解释一下，它实际上创建了一个模拟器。你可以调整不同的参数，看看气流如何变化。虽然不完全准确，但这很好地展示了可能性及其创造有助于理解概念的视觉辅助工具。

我们生活在一个不可思议的时代，我记得我第一次编写流体的Navier-Stokes物理模拟时。当我第一次看到理论时，我以为我永远无法理解它，这永远不会发生。

经过数月甚至数月的学习和尝试，我现在对它有了基本的了解，至少能写一个基本模拟器。你只需输入提示词就能得到模拟结果。顺便说一下，由于智能非常强大，它甚至能凭空制造风洞测试。

你可以实时看到流线图，这令人难以置信，而且只会越来越好。我认为过去10年我们获得了约一百万倍的速度提升。如果算上硬件、Transformer架构的改进以及工程实现等所有因素，假设过去10年提升了一百万倍。

如果未来10年再有另一百万倍的提升，我们能做什么？目前有许多超出我们当前能力的开放科学挑战。例如模拟一个细胞、创建虚拟细胞，想象其后果吧。

如果你能完全真正理解细胞的运作机制，这将对抗击癌症或合成生物学等疾病的斗争产生惊人的影响。想象一下模拟一个生物体，那将是这种理解和能力所带来的力量。

但世界上还有很多事情我们仅触及表面。例如理解长期气候，某些行动对长期气候的后果是什么？开发有助于储存能量、以更高效方式转换能量的新材料类型。

从第一性原理理解生物学，从而真正设计新功能以应对人类健康、农业及世界面临的许多挑战。随着这些进展，许多问题有望得到解决。

这太棒了。通常我问这些问题时，人们也会觉得难以招架，因为一百万倍的提升意味着十年前我们不知道今天能做到什么。想到再过十年我们能做什么令人兴奋，但大多数人想得太小了，这个回答非常好。

自然界极其复杂精妙，我认为在理解世界方面有很多值得期待的事情。比如理解细胞、我们的大脑也是另一项挑战；材料中实际发生了什么？为什么它们表现出某些性质？

即使是我们已经见过的性质，比如超导性。我们还没有关于超导性的完整理论，只有一个狭窄的理论框架。想象一下那些尚未探索或未能清晰理解其现象原因的新性质。

能够设计这些对象的能力。”“太棒了。普什米特，每次见面我都学到很多。你知道最棒的是什么吗？我自己剪辑这些视频。所以我会再看五到六遍。我保证，每一次观看都会有新的收获。这太精彩了。非常感谢。”“谢谢。我经常使用 Lambda 在几分钟内复现 AI 研究论文。它也非常适合训练你自己的模型或微调现有模型。轻松运行推理、文生图或视频任务。快速且可靠地运行深度求索聊天机器人或智能体。Lambda 为你提供强大的英伟达 GPU，让你运行自己的实验。我测试我在论文中提到的想法，片刻之后（清嗓子）结果就出来了。

我爱它。真的，现在就去 lambda.ai/papers 试试看。”