嗨，大家好！罗永浩的直播间开始卖云产品了，还上了微博热搜。可能跟大家想象中不一样，都AI时代了，很多的中小企业依然在购置服务器。这里有一份数据，中国信通院二零二二年的数据显示啊。在美国的算力结构中，云计算占比超过了百分之六十，欧洲超过百分之五十，大家猜一猜，中国有多少？只有百分之二十八，所以说啊，中国的算力资源虽然现在是稳居世界第二，仅次于美国，但是呢，其实现在这些算力的利用效率并不高。其中一个原因就是公有云这种高效的算力模式占比过低。那之前老罗他其实自己也带火过很多的概念。我们这次来看一看老罗能不能引领一场企业级的IT认知运动，把云计算这个概念推向大众。那他这次的选品也是覆盖了阿里云众多的热门产品，价格也是给出了史无前例的优惠。所以大家如果感兴趣的话，可以去淘宝APP搜索罗永浩，三月三十一号晚上七点，让我们一起围观连续创业者罗永浩卖云产品。以及它是如何解决创业者的核心痛点的？

二零一七年，谷歌一篇划时代的论文《Attention is all you need》，掀开了这一轮人工智能的开幕式。这篇论文也是大家现在知道的大名鼎鼎的 Transformer。七年过去了，我们看到有人在这篇论文上加算力、加算法，开启了第三次的科技浪潮。今天我们的嘉宾来自 Meta Field 的研究员田渊栋博士，他最近也发表了两篇论文，都与端侧的小模型相关。由于离应用更近，并且呢在解决更加实际的问题，所以呢他的论文经常被很多工业界的人问到啊。而过去的这些年，他所有的研究都在回答同一个问题，就是神经网络是如何工作的。今天呢，我们就一起尝试探索这个问题，也跟大家一起聊一聊最近大火的 Sora Transformer，还有 AGI。 Hello，田博士，你好。你好。

我大概跟可能还不太了解田渊栋的听众简单介绍一下他过去的经历。田渊栋是二零一八年围棋开源项目 ELF Open Go 研究及工程负责人和第一作者。当时我记得这个项目其实在开源社区里面名气还蛮大的。然后也是曾经获得了2021年国际机器学习大会ICML杰出论文奖提名，以及2013年国际计算机视觉ICCV马尔奖提名。他的研究方向是深度强化学习、表示学习和优化。历任机器学习国际会议ICML、NeurIPS、AAAI、AI Statistics领域的主席。而且我记得你是二零一三年到一四年左右是在谷歌的无人驾驶担任软件工程师。

嗯，是的，那个时候应该是无人驾驶非常非常早期的时候，整个业界还没有注意到无人驾驶的时候。对，大概是这样子吧，或者确切说是国内还没有注意到，但硅谷这边其实已经有人注意到了，就是有挺多的机会吧。大概在二零一五年、一六年开始就起飞了。对我当时有很多来找我，非常非常多的人找我，我说我我不去，还是待在原地。今天我特别想跟你聊一个话题，我们何时能实现AGI？非常巧的是，我之前在知乎上看见你写过一个关于自动驾驶的帖子，我觉得你那个判断跟之后我们讨论的AGI某种程度上会有一些相似之处。我觉得待会我们可以详细的聊一下，你为什么放弃了自动驾驶行业哈。

但之后我记得，其实在二零一七年的时候，你刚刚就我们提到的这个围棋开源项目E145 Open Go也是基本上当时人工智能界最火的。因为当时谷歌的阿尔法Go、阿尔法Zero其实是大家看到了人工智能的一个大的突破的。当时你也是在研究人工智能怎么下棋的这样的一个问题。对，一七一八年的时候，我们也在做 AI for games，就是 AI for 游戏这样的一个方向。其实这个方向很早就做了，大概二零一五年的时候我们就开始做。我刚刚进 Fair 的时候，这个项目就是我的第一个主要的项目。对，做围棋，当时我们做了一个bot叫Dark Forest黑暗森林，name after刘慈欣的《三体》的第二部。当时我是《三体》的粉丝嘛，当时是在AlphaGo出来之前吧，对吧？我们的bot还是比较强的，能够跟当时最强的软件打个差不多平手吧。当然没到职业水平，但是还是很强，不错。当时我们也是用神经网络做策略，做 policy network，啊，做那个策略网络，得到一些比较好的结果，就是他们能够跟当时的最强的那个软件，他们花了十年打磨的水平差不多，让我觉得非常惊讶。

其实你提到了你做 Dark Forest 的经历，我想到你还有一个身份，就斜杠青年，你其实也是一个科幻作家。对对对对，我从零六零七年的时候啊，应该说更早吧，零五年时候开始写的。当然写的非常非常非常烂，你看到网上的小说那些都不是一开始写的，后面有空会写一点小说吧。我觉得还挺有意思的，因为对我来说就是不靠谱的想法就扔进小说里面写，靠谱的想法就来做科研。我觉得这样其实是一个比较有趣的一个一个一个组合吧。嗯，因为我有想过很多很多想法，但是不可能每个想法都最终能达到一个就是能发文章或者说能够产生影响力的这样一个一个一个一个结果。对吧？所以有一些非常非常那个 crazy 的，或者非常天马行空的想法，就可以把它放在一起。也许就有一天就会会有一本小说出来。

对，其实我挺好奇的，你研究过自动驾驶，研究过下围棋，包括当时你也做了 Dark Forest 的策略的研究。我挺好奇，现在你是怎么转过来研究大模型的？而且最近你们团队很高产啊！对，这个中间也经历了很多的过程吧。大概一八年我们的 OpenGPT 出来了之后，一九年发了文章之后呢，其实再往下这个方向就没有再做下去。一个是因为团队里面不同的人有不同的想法。OpenGPT 的最后一座 Larry 他现在做 AI for Science，他有一些关于那个 AI for Science 一些方向，比如说 Chemistry，像他们的 Catalyst 这个 project。那么每个人想法不一样，有些人已经走了嘛，所以后来也就没有再继续下去啊。但对我来说，我当时其实有很大的一个初心吧，想要去理解神经网络到底为什么工作，它为什么能够工作那么好，就是关于神经网络的理解。当时我就在想，其实我应该做这个，所以我在一八年、一九年之后呢，就没有再做围棋，而是去做这方面的工作。所以就是说，如果你看我的这边的 publication list，大概从一九年开始，二零年有很多的我一做的文章是关于如何对神经网络有理解，就为什么它能够搞得比较好。那么这个话其实我们做了很长一段时间。

其实当时一九年的时候，OpenAI的伊利亚他去跑过来找过我的。他跟我说有没有兴趣？当时我说我加入OpenAI嘛？他当时对向你发出OpenAI的邀请。对，其实我以前背过一个包，就是YC幺二零的包，那个包其实是当时我参加他们的活动，他们送给我的。他们当时有那跟 Y Combinator 有一些活动，当时伊利亚是请了我去了一次，然后问了我到底有没有有没有兴趣。当时跟我说是他们想做 language model 大语言模型，说我想做的是如何理解神经网络为什么能够 work。然后当然我们谈不拢了，所以我就没有去。当时是有这个有趣的一个故事吧。当然最后大语言模型是起飞了，都是在二零二二年的时候，二二年的时候起飞。那时候就是真正的，我就感受了，确实这个方向非常非常的有希望。同时呢，这个方向其实也可以跟我这边的一些对神经网络的理解其实是可以结合起来的。去年我们发了两篇关于如何理解Transformer的工作啊，一篇叫Scanner Snap，一篇叫Drama，两篇都是我一做。其实就是说把我这个如何理解神经网络和大语言模型结合起来了。因为 transformer 现在就成为了新一代的王者，很多很多网络，很多很多神经架构，现在都开始用 transformer 来作为这个方向。对这个东西进行理解呢，其实是一个很重要的一个问题。那么同时也可以通过这个可以得到更多的一些对于神经网络的改进的想法和建议。

像这次的两篇文章，一篇是 Mobile AI，还有一篇是 Glori。这两篇其实都跟我们之前的一些对神经网络的理解和分析是有很大的关系的。Glori 现在还是很火。前两天我们发了之后，网上有很多很多的反馈，包括我的微信也有很多人找我问一下，接下来我们怎么做啊？或者说啊，我们对这个东西的看法是什么样子的？已经有开源的社区重复了我们的工作哦，有意思。对对对，而且确实确认了我们的一些发现嘛，比如说怎么省内存啊，确实可以跑，而且速度也还可以，效果也不错，所以这个让我非常开心。那么这篇文章其实有很大的一个 motivation 呢，是源于比如说二零二零年我们的一篇做网络分析的一些文章。那么这篇文章当时被拒稿了，被哪拒稿了？当时被ICLR拒了，同时也被ICML拒了。被拒两次之后就没有再投，因为已经灰心丧气了，就一直放在Archive上。但这篇文章的两部分后来起了很大的作用，有一部分呢变成了去年我们那篇卓玛的一个文章的分析的基础。另外一部分呢，他的分析的那个能力和他的一个思维方式呢，就变成那个Gero这篇文章的一个主要的foundation。所以我觉得这个很重要，就是基础研究对于整个领域的一个促进作用，还是要很后面才能看出来的。要过个四三到四年的时间。

对你刚刚的这一段话里面，我有太多太多好奇的问题了。我觉得一个一个来啊。首先是你提到的你的 Garro 的这篇文章，我知道这篇文章确实在行业里面引起了非常大的反响。可不可以这样简单通俗的跟听众解释这篇文章？其实你主要讲的是怎么样在一个二十四 G B 的消费级的 G P U 上去运行一个七 B 模型的可行性？可以这样理解吗？对，这个是一个。但是呢，那 Gailo 主要的 focus 呢，还是能不能在四零九零的卡上去训练？哦，训练。对，推理呢，其实很多已经已经做到了。如果有一个模型，大公司或者说大团队帮你训练完了，你可以把它弄下来，然后可以在手机上，可以在你的个人电脑上进行推理。这个不是新鲜事，大家都在做，而且已经做的很不错。但是如何能在比较小的消费级卡上能够做训练，甚至是预训练，就是从头开始训练？那个其实是之前一直可以说是大团队或者说大算力的团队的一个独有的一个能力，对于消费级显卡来说，或者说对于那GPU破这一族来说就是比较难。但是这篇文章可以让大家看到了一个希望嘛，如果有很多的这样的卡连在一起的话，也许也能做到大模型预训练的一个效果。

当时就是我们现在预测算下来，就是单卡四零九零训练一个七B的模型，肯定要一百一十天，非常非常长，对吧？但是也许如果你有很多卡的话，那也许会有并行，因为我们现在能够把整个七B模型放进二十四GB里面的话，那也就意味着模型之间的不同层的一些交互呢，其实，在单卡里面可以进行。就不用出现跨卡交互、高带宽交互的这样一个情况，那么这个其实会大量的省带宽。如果你有很多四零九零的卡的话，也许他们可以通过 PCIe 或者说通过 Ethernet 就能够连起来，然后它能够训练完。那么这样的话，就有可能会发生这样的事情。我跟大家解释一下，四零九零是英伟达给大家用来玩游戏的显卡，它很难跟 A 一百 H 一百的算力相比，但是它也是一款可以说是性价比非常高的卡。简单来说，是大家在训练的时候可以更节省显卡了。啊，对，节省，也就是说可以绕过以前的一些限制吧。

比如说，为什么现在显卡那么贵呢？就主要一个是 Nvidia 现在有 NV Link。那个 NVLink 是要很高带宽，就它可以提供很高的带宽，是因为一个模型的不同的部分放在不同的卡上，所以他们每次在训练的时候，他们之间是要交互的。这个交互呢，其实是有很大的带宽要求，比如说几百 GB 每秒的速度交互。但是如果一个模型的所有的权重都能放在一张卡上，那么也就意味着他们在进行梯度迭代的时候呢，内部的计算可以在这一张卡上进行，卡和卡之间的交互呢就可以大量的节省。那么这样的话呢，也许有一些现当前的一些范式就会发生改变。你觉得哪些范式会发生改变？

比如说，现在有很多的model parallel的模型并行的一些方案，像FSDP这种方案，你要保证模型的一部分放在不同的卡上。模型太大了，比如说需要大量内存，比如说需要一百G内存，但是你每张卡只有四十G或者只有二十四G，你怎么样把内存分配在不同的卡上？把权重分配在不同的内存上，然后让他们充分的高速的交互，让这个训练变得很有效率。但是如果有了我们这个方案之后呢，也许一张卡上可以放更多的权重。这样的话呢，它训练的这个过程呢就会加速。你是怎么做到的？我们在算法上做了一些改进。关键的一个点呢，就是说，因为大家都知道，Lora权重太多了。那么，一个自然的想法是，我们把权重经过重参化（reparameterization），然后把权重变成小的矩阵相乘，这个叫低秩矩阵分解。分解之后呢，权重呢里面的参数的数目变少了。那么这样的话，我的训练呢就能够把内存的要求降下来。这是Lora的一个思想。那Lora是有问题的，问题在哪里呢？就是它一个它不能用来做预训练，特别是在一开始的时候，用Lora直接预训练会导致爆炸，会导致有各种问题，就是训练出来效果肯定没有全参数训练要好。那么这样就造成一个瓶颈，就是说你要省内存，你就不得不牺牲一些性能。那么我们怎么做到呢？

就是说我们的观点是，权重本身不应该是低秩的，不应该是low rank的。但是它的梯度的迭代，这个梯度是可以是 low rank 的啊，这个是不一样的。对对，因为其实大家可能都想的是权重本身是有这个性质，其实权重不一定有这性质。但是我们可以证明，甚至可以证明出来梯度的迭代呢，梯度本身是 low rank。因为梯度是 low rank 的话呢，那梯度对应的一些相应的内存开销都可以是 low rank 的，包括 Adam 的一些状态，它的 momentum 有些 variance 啊，这些东西都可以是 low rank 的。那么这样的话呢，就一下子降了很多的内存。那么这样的话，甚至是你比如说你要训练一个七B的模型，如果你用一般的方式训练的话，你至少要四十GB以上的内存，你一个七GB的卡永远放不下。但是用我们的方式的话，我们就可以把它砍掉，砍到一半，比如说十八到二十G就可以放进去。那么这样的话呢，就会让四零九零，比如说重获新生，比如说。通过这个方式，在算法上可以改变计算的过程，可以让这个训练变得更有效率、更深内存。

非常简单粗暴的理解，它其实是一个算法的改进，而不是说你加进去的预训练数据质量的提高。是的，是的，是数据是另外回事情嘛？那么这个改进跟数据是平行的关系，或者说是 orthogonal 一个关系。那么数据还是可以再往里面加，那么效果也可以更好。那算法本身如果效果更好的话呢，其实跟这些数据的改进也是叠加的关系。这篇文章的目的不是说要训练出一个跟现有的算法相仿的七B的model，我们这边实验就跑到了就二十个Billion的token。但是算法如果你真的要训练一个比较好的七B model，至少要一个训练，或者说就是反正是三到五个训练嘛，或者两到三个训练这个数量级。对，所以现在还没有到这一点嘛。希望以后如果有机会，还可以再往下做下去。

嗯，你还有一篇论文是 Mobile L M，要不要跟大家简单解释一下这篇论文的主要思想？这篇论文呢，就是说是我们能不能把神经网络预训练的参数数量压得更低？我们这边用的是三百五十亿量的更小的神经网络。那么在这更小神经网络下，我们是不是能够训练出更好的模型？这个模型的能力肯定没有大模型效果那么好，但是小模型到什么程度，这个本身是一个很有意思的一个问题。那么这篇呢，其实主要我这边是作为一个 advisor 这样的工作，因为这篇主要不是我们菲尔组的工作，这篇是 Reality Lab 他们组的工作。我作为一个 external advisor，给他们一些建议，包括层和层之间可以共享参数这些建议，这个都是当时我们讨论出来的。对我稍微穿插一下那个问题啊，因为我一直都很好奇，我们何时会达到 AGI？其实业界有两种观点嘛，一个是仅仅通过增加模型的规模，通过 scaling law 的形式实现 AGI。那其实还有一种观点，仅靠扩大规模，它一定会遇到瓶颈的，就是它是不够的。你更倾向于哪种观点？

一般很多人问这个问题呢，我永远会倾向于，我觉得我们现在离AGI还差几个breakthrough。我觉得现在直接scale不一定能有效果，而且我会觉得可能真的过一阵子，大家会发现scaling慢慢它给你的benefit会越来越小。因为 scaling law 是什么？ scaling law 本来呢，它其实就是一个 promise 是什么？就是说，如果你的算力乘以二，数据乘以二，各种东西乘以二，那么你的 performance 一定会上升一个固定的百分点。但这个其实不是一个好事情。 Neural Network 可以有这个 scaling law，但是同样的，Neural Network 最近的 方法用检索方法，其实也可以有这个 scaling law，一样的，就是说数据量越多，

性能越好，所有模型都是这样子。所以其实我们并没有完全理解，那为什么现在的 Transformer 或者说 Large Language Model 这样的一个方案有那么好的效果，其实并不是很理解。而且这个 loss 走上去之后呢，也就意味着这跟自动驾驶是一样的嘛。他们最终会达到这样的一个 curve。那么这 curve 是什么意思呢？我当时在自动驾驶那 2017 年的那个帖子上这么画过。一开始大家都非常非常的激动，说：“哎呀，我加点数据，像我这么好了，哇，这个人类就马上就要迎来新的春天了。”但是最后你会发现，数据加的越多，它的 performance 提升就越难以被人发现。然后最后它离那个人类最后那根线可能还差一点。最后可能会有这个问题。

那么对于自动驾驶来说呢，它的问题是数据会越来越难获取，主要问题是在这儿。因为如果你开一百万迈都没有任何交通事故的话，那就意味着你每一百万迈才能收到一个数据点，那个效率是非常非常低的。这样的话呢，你的数据效率越低，那最后的结果就是你永远达不到人类的水平。那么对大语言模型来说呢，这个情况会好一点，因为数据很多时候不需要那么从各种事故中搜集。还有很多的数据呢，能在网上能够用到，但是呢，也是有同样的问题。

也许我们会发现，比如说再过十年，有百分之九十或者百分之八十的日常的一些行为，我们都可以把它们建模建模的很好的，但还有百分之二十或者百分之十这些行为，因为它是可能每个人独有的，或者说是私有的，那么那些数据呢，就会拿不到的。如果拿不到的话，那也意味着就是拿不到，那我就没有办法用它来训练模型，那么模型就不会真正的去理解这些情况。那么这个其实是一个很大的一个问题。

然后另外一个就是说，大家可能会意识到数据会变得越来越重要，那大家也不太愿意真正把数据分享出来。这个两方面的因素就会导致有问题，就是最终可能会发现，就数据越来越难获取，数据难获取之后，你的模型就会变得越来越难，变得更强。所以这两个其实是有一些一致性的，所以我觉得，而且你就回想一下，对人来说，比如我跟你对话，我能很快的去理解你的处境、你的状态，我不需要你的大量数据就能理解，但是机器就不一样。所以这种情况下，其实人在这方面还比机器要更多一层的理解能力和深度。在这方面，其实我们现在还没有看到。

其实刚刚你分析自动驾驶的这个思路特别好，应该是我看过的最好的一个对自动驾驶非常独立思考，又用数学逻辑讲何时能达到完美的。我说的是完全的无人驾驶的这种状态的一个分析思路。所以你觉得这个思路在 AGI 领域也是存在的？对，也是存在。当然，自动驾驶有它的特殊性，因为自动驾驶一个是百分之一百不可靠，完全不能犯错，那个要求其实比大语言模型要强多了。大语言模型没关系，你做错了大家笑笑就好了。它还是能帮你改稿子，还能帮你总结各种文章，还是能帮你提供各种建议。

就因为他这种属于更多像是创新型的，如果没有什么好建议，没有问题，没有损失，有了好建议是更好。但是对自动驾驶来说，如果没事儿是你的 expectation，有了事儿就是你的问题，这个是不一样的。嗯，对我理解你是更倾向于第二种观点的。其实 AGI 不是 scaling law，它可以无限的增长下去，而是它一定会遇到瓶颈。在这个瓶颈中，怎么样依靠其他的，我们跳出现有的技术范式来去实现它，反而应该是值得思考的。对，我觉得是值得思考。

第一个依据呢，就是说人类在从小到大的过程中，他其实没有那么多数据给他给他给他喂的。但它还是做得很好。你看我们女儿怎么样学会各种技能，你会发现这些这她学会这个过程，一个是不需要人工干预，二是她学的速度是非常快的。你可能昨天她还不会攀这种小岩石，今天她就会攀了。她在大概几个月的时候给她放在楼梯上，她从来没见过楼梯，但她十分钟之内就会往上爬。这个其实是非常 impressive。

也许有人会会说很多东西是刻在基因里面的，这是有可能的。但是它的学习能力也是非常非常强大，应该是存在一个新的学习算法，而且这个学习算法应该是远远超过现有的效率。我们现在只是摸到了一个，就是 scratching the surface，就是我们现在只是摸到一点点。我们通过一些奇奇怪怪的组合，运气很好的碰到了一点点的皮毛，我们就已经拿取得那么大突破了。所以可见这个东西的潜力非常非常大。

所以你在做 GLaRO 的模型的时候，其实你已经是在思考这一层的问题了，怎么样在算法上的提高，让它的预训练更好。对这个不仅仅是 Gary 这篇文章嘛，应该说这个是 Go throughout the entire research career，因为我整个 research career 或者一个很大的核心就是我们怎么样去理解神经网络是如何工作的，根据这个理解，怎么样找到更好的算法，提高它的工作效率。这个其实是一个最大的一个方向。

这个方向上，我们有很多的，一个是理解，一个是分析，然后用这个理解和分析，我们应用在现有的算法上，然后把它变得更好。比如说围棋啊，包括之前我们其实还有一篇文章也是挺火的，叫 Search Former。哦，对，我知道那个。对，那篇其实也是花了一些时间去做。这篇其实是 Transformer 现在的问题是它没办法做大长城的推理，它的推理力非常差。比如说让它去玩井字棋。你发现它不行，我也试过，包括最新的 Crowd 三玩一下，发现也不行。

他说的非常好，对吧？但是他下的棋是错的。那我跟他说啊，我应该下这个，下这个我们就赢了嘛？他说啊，好像你是对的。他他就是他还是没有办法做这些非常简单的一些比较复杂的游戏式的推理。那么我们的 Searchformer 这篇文章呢，通过先模仿传统的推理算法、优化算法、planning 算法的过程，我们可以达到一些水平。所以就说我们一个很大的一个关键的一个思路，就是我们能不能找到为什么神经网络能够 work 的原因，然后能够用这个去理解、去改进现在的算法。

你刚刚提到了，其实你一直在研究神经网络到底是怎么工作的。我自己对这个问题也非常的好奇。那我把它具象成一个更加具体的问题啊。我知道你研究 Transformer 研究的非常久，而且非常深。你要不要先说一下，为什么在这么多条路径中，包括像 OpenAI 它的训练，它是用 Transformer 的架构来训练完成的？它的优点是什么？它为什么走出来了？它现在的瓶颈跟缺点在哪里？

首先，OpenAI 用 Transformer 不是他们的原创了，因为 Transformer 一开始是从 Google 那边出来的。我觉得他们一开始的想法应该是对于 GPU 的计算的一些深入理解，因为 Transformer 的一个好处是它可以有很大的并行能力。它比如很长的序列，我可以用 self attention 这个机制，同时计算这个序列里面所有两对的 token 它们之间的一个 similarity，然后用它来算 attention。那么我觉得这个原因可能是因为 Google 内部做 GPU 或者做 TPU，可能发现算力的价格远远比通信的价格便宜。

既然算力那么多，那为什么我不能设计一个模型让这个算力获得更大的优势？那好，我们干脆就把所有的 token 放在一起，然后我们让他们做 pairwise 的那个 inner product。这个应该是他们的 motivation，他们发现效果特别好，速度也没有慢太多，所以才有了 transformer 这样子的。但是呢，其实后来发现 transformer 的 scaling 能力非常好，往里面喂数据，就在数据多的情况下，它的效果有确实比以前现有的一些方法要好。

像 CNN 那些方法，它确实有在有些方面上不一定比得过 transformer，因为 CNN 有一些预设的立场。它比如说第一层感受也非常小，这个对 vision 是对的。我先把最小那些特征拼起来，然后再拼起来。那对 transformer 来说，它没有这个预设立场，那么就意味着这数据越多的话呢，它这个效果就会有更好的提升。它相当于是一个典型的用算力来换预设立场的例子。

因为你要看那个人类社会的那个发展或者研究的发展的话，一般是这样：计算资源比较低的时候呢，就需要人类的大脑去想到一些比较好的模型，在这模型上找到最好的解。但算力越来越多的情况下呢，人类的一些条条框框就要被打破了。慢慢的人类把条条框框打破了之后，把这些模型的建立的方式，让计算机自动去发现。那么这个可能就是传送一个在宏观上的一个很大的故事吧。

嗯，对，缺点呢？对，缺点那当然是它需要大量算力，还有一个就是它的速度也没有那么快。就比如说你要在车上你用 Transformer，这个其实是比较难的。就是如果你要做无人车或者说做那种 low latency 的，延迟太高，它延迟比较高。这种时候呢，很多人就说你还不如就用 CNN ResNet，它的效果还是不错的，也有很好的低延迟的一个特性。然后它算力也不需要太多，这个是一个很大的一个 difference。这个都是有 trade off 的，但是 Transformer 作为头牌，作为 AGI 的希望，对吧？肯定大家还会继续往下挖下去。

对我为什么刚刚花那么多时间在 Transformer 上啊？是因为我其实在想，我们达到 AGI 的方法是不是 Transformer 这一条路径？因为我知道现在也有很多像新的路径在做，比如说像 Raqul，但我知道它可能在处理图像跟视频的并行计算上，可能没有 Transformer 表现的那么好。刚刚其实我们也提到了，仅仅通过增加规模，你要最终实现 AGI 是很难的，所以我们要找到新的范式。所以我不知道你有没有发现一些新的范式。

整体上我是在想这样一个问题，就是在做学术跟科研的时候，什么时候大家应该是在一个小问题上不停的精进优化，就是我们把各个细节做到更好。同时，另一个方面就是，有的时候我觉得大的突破它并不是说在改进细节上做出来的，而是说 think out of the box。就是我们怎么又跳出来，从本质上质疑这件事情来达到的？这是很好的问题，就是 exploration 和 exploitation 的问题。

强化学习里面一个根本性问题，一个是说我什么时候应该做探索，我什么时候应该利用现有的优势获得更大的利益，这个永远是一个 hard problem。我觉得对研究员对研究来说，很多时候是多线并行的，不是说我就盯着一个东西。因为你谁也不知道将来会发生什么事，也许 Transformer 会继续霸榜十年，或者说明天它就被一篇新的 Arxiv 干掉，你并不知道将来会发生什么样的事情。

对我来说，我觉得大的逻辑呢，就是我们还是要从第一性原理出发。这是我的一个风格，我永远非常喜欢从第一人称出发，就是 OK，我对于世界上所有的人说的话，我都不一定会百分之一百相信。我们相信的是什么呢？是如果我们要出分析，如果像那些数学家一样，从最简单的定理出发，OK，这些数据之间是有相关性的。什么样的模型能够很高效的去模拟这个相关性，把相关性提取出来，用这个相关性去预测将来的一些事情。有这些东西之后。那么你就会自然而然会构建出它整个框架应该是什么样子的。

根据这个，你再去找很多文章去验证。就我每看一篇文章，我不是说是真的去百分之一百的把他们的所有细节都记住啊，这个没有意义，因为那么多文章根本看不完。我觉得我做的很多事情是这样：就看这篇文章，然后去看这篇文章里面哪些观点或者哪些现象和我心里面想对神经网络啊、对 Transformer 的理解是不是契合，或者什么地方是让我觉得我的理解是错的，我应该改变我的想法。通过这个方式来看文章，最近有看到什么好的观点吗？没有特别 surprising 的吧？

现在对，现在还是说在这个方向上我们继续往下去。像 Sora 是一个很 surprising 的 direction，这个是一个很有意思一个，就是这个效果确实比我能想象的要好好不少。但是也有很多的文章，比如说有些文章跟我们的研究方向是很契合的，那我们就要去看一下这些文章呢在做了些什么事情。比如说能够加速推理的那些文章，我们去看，因为我们去年有一些文章是加速推理的、省内存的文章，或者说一些对于神经网络的分析的文章，我都会去看一下。

那么这些文章其实跟我的研究方向是有关系的。他们号称比如能证这个东西能证出来，或者说这个有一些新的现象和观点，那我也会去看一下。刚刚你正好提到了 Sora，我们也还蛮关注 Sora 的。你觉得它让你最惊艳的点是什么？首先第一个就是我这边不是做扩散模型的，我很早以前做计算机视觉，但是现在也不做很多年了，可以这么说吧。我已经不是一个一线的，在 Sora 方向是一线的，我肯定不是。我当然可以给一些建议或者给一些想法。

我觉得最爆的点就是它确实效果非常好，最让我觉得 surprise 的就是它一致性非常好。你说的是所有的生成现在市面上放出来的那些，还是说它的某几个 demo？应该说所有它生成出来的东西一致性都非常好。这个不是说是一个两个比较好，但是我觉得基本上所有的答出来都是非常好的，都是一个完整的场景。然后场景的前后人物的表现啊，和他的那个穿着啊，还有各种行为啊，都还是比较相似，非常非常的 consistent。这个是非常强的，就这个是为什么让我觉得非常 surprise 的原因。

对，然后你去看它的技术报告，你可能会发现它并不是预测下一帧通过这个方式预测出来，它是相当于把整个视频看成一个大的 image。然后还有像这个 3D 的一个 image，那这三 D 的 image 我们通过 diffusion model 一点点 diffuse 出来，那么这样的话呢，确实可以保证一个 consistency，因为整个图东西是一起出来的。它不是像 predict next token 一样，就是我 predict 一个、两个、三个、四个，然后我 predict 不说六十帧，然后慢慢 predict 一百帧，慢慢慢把这个视频生成。你这个会有问题，因为你预测到最后，你慢慢慢会发现有些人就走形了，或者说有些一致的概念不一致了，然后他会去别的地方。

但是 Sora 在那个 latent space 上做这个 diffusion，它对整个 image 3D 的 spatial temporal volume 做 diffusion。把这问题提到了一个新的高度，保持一致性有多难，或者说它跟时间是有关系的嘛？因为比如说我们看像 Runway、像皮卡，他们是三到四秒，最多 extend 到十秒的视频。我看了 Soar 的 demo 啊，它只有在东京街头那一个视频是六十秒，其他的视频可能也是二十秒左右，还是十到二十秒之间，还有八秒的，对吧？它并不是所有的视频生成出来都是六十秒的。但是我想知道保持一致性，你看的是一个多大的时长，然后保持这个时长的一致性有多难？

我觉得二十秒内它的各种变化是非常大的。比如像有一个还是让我非常 impressive 的，就是那个反光，就一个人在车里面，像东京的京干线的街头，就他站在那边看外面的场景，不定期会看到外面，但不定期看到他自己的反光，他自己的反光在不同的时间段都是一致的，这个是一个非常让我非常 surprise 的情况，因为如果你只预测下一帧的话，你很有可能会发生这一帧你预测出来的反光，下帧反光就是不一样的。但是它能做到两次的反光是一样，尽管这两个 chunk 不是隔了十秒钟，那他们还是能保证这个反光是一样的。所以这个其实是让我非常 surprise 的一个点。

二十秒说十几秒其实倒不是问题，问题还是在于这里面的视频里面有多少内容，这个内容是不是在经过很大的变换之下，它还是能够一致。因为他，我看到很多这种镜头翻的非常大，整个人在很多的，就是之前有一个视频，就是一个猫。在一个废弃的垃圾箱走来走去嘛，它整个走路的过程是变动是非常大的，视角变化也非常大，它整个猫的形态还是没有发生改变，所以这个是非常 impressive。

所以 Sora 是世界模型吗？这个是一个很好的问题，因为世界模型这句话是非常广泛的。对我们先定义世界模型，对什么叫世界模型？就是你只要预测下一帧，或者说你对将来有一些看法，你都是世界模型。三岁小孩说：“今天晚上我要去外面吃饭。”其实世界模型一样的，所以我不觉得这个词这么高大上。Sora 齐你可以用来做世界模型，对吧？你可以说我把前面几帧定下来，给定前面几帧之后，把后面的东西拿过来做 diffusion，然后得到一个 consistent video，这个就是一个世界模型。这个都可以，而且 Sora 可以做反过来的世界模型。

我记得它有一个视频是给定后三分之一的帧，生成三个不同的视频，它们最终都会收敛到最后后三分之一的帧。最后三分之一的帧是说一个电车开进了三番的闹市区，但是开的过程可以是不一样的。它可以说这个电车先从空中降下来进闹市区，或者说从另外一个地方开过来，然后最后它都会无缝衔接到最后的那个开进闹市区这个动作。所以去说，Sora

可以做任何的补全了，你去掉一些帧，然后把其他帧补全，它都可以做。对，所以某种意义上说，它确实是个世界模型。但是另外一个问题就是说这点上我同意一样的观点了，就是它的物理上是有问题的。很大的问题，一个比如一玻璃杯掉下来之后摔碎了，但是没有摔碎的过程，它直接会变成碎掉的状态，是因为数据的问题吗？就比如说玻璃杯掉下来，大家能看到碎成一个渣子，这个是经常我们在图片或者视频中能看到的，但是它掉下来摔碎的这个过程，其实是我觉得在人类的生活中它也是很快发生的，我们不太容易去捕捉到它的。是的，是的，是的，对，我觉得其实就是这个原因，就是这个原因，就是说一个数据不够，然后另外就是说这个物理过程非常难模拟的，在机器人在机器人那边其实有同样的问题，机器人那边其实也要做世界模型。对吧？你要预测下一帧这个物体会在哪儿，它跟其他物体有什么样的交互？对，预测物体在哪非常简单，因为你只要套你的物理模型就行了，你把牛顿的定律拿进去套一下就好了。但是它一旦跟别人物体交互的时候，就会有问题，因为交互的动作它的变化是非常快的。交互的数据也不是特别多，最终它学出来这模型就质量就不好。但质量不好的问题就是说，而且模型变动一点点，它最后的输出也是完全不一样的。这个这些因素综合在一起，最后导致世界模型或者说特别是交互，比如说一个手砸在这个桌上，这个交互对吧？这个交互其实是很难的，因为在砸下去的一瞬间，你受到的力从零突然变到很大。这是非常小的，在很小的时间内发生很大的变化。这是一个两个物体之间相互交互，比如说你要看两个人打斗啊，我觉得这个对搜拉车其实其实会比较难。哦，我看见搜上它有一个是两个船在一个咖啡杯里面运转，那个也是很惊艳的。对，那是很惊艳的。那个就是说船和船之间是没有关系的，船和里面的水是有关系的。对，所以它也是会涉及到力学的。它会涉及到一些这个，我相信是因为网上有很多这样的视频，就是有很多水跟物体的模拟有视频，那么就会学到这个能力。但是如果数据不够的话，可能就比较难。

那我把我的问题稍微再拆解一下，就我把“世界模型”这个词儿拆解一下。你觉得Sora现在是不是能够理解世界运转的规律，把握物理法则？记忆检索信息，还有逻辑推理或者行动规划的能力。我总感觉像把Sora当成一个全能的模型。我觉得它也要分嘛，不同的你说，你觉得它你觉得其实其实挺难的，因为生成视频和预测物理世界是两回事。因为甚至事情完全甚至一个似是而非的，看起来很有道理，但其实是不对的，是非常非常正常。因为物理世界对于视频来说最重要是好看，最重要不是说是它真实。对，有可能会这样，就是物理世界上有一点点发生小小的变化。这些小小的变化，真正模型没有预测到，你的planning计划统筹能力就会变得非常差。因为这个，我觉得它planning跟这个能力应该不会特别擅长。因为有很多的小的物理误差，它累积起来之后就会变得非常非常糟糕。我觉得这个是一个问题。但是逻辑其实很难说吧，就逻辑逻辑的模型，你Sora更像一个创作模型，不是？它可以可以创造出一个视频，对他来说是最熟悉的。但是如果你要考他一道题，这道题他没有见过，或者说他不太有把握，他不一定能回答得特别好。所以我觉得这个其实很难，不要把它当成一个万能的一个东西。啊，我觉得他可能确实是往前走了一步，但是真的你要有万能的模型的话，你可能还需要很多很多的工作。

其实我们过去提到大模型，大多数时候说的都是大语言模型，但我知道颜罗困他有一套理论，他的理论是全脑模型嘛，人体他觉得不仅仅是语言，他觉得可能也要用感官去认知世界。你怎么看这两个？其实我觉得这个也可以算是我们刚刚讨论的，到底是think in the box或think out of the box。我觉得对央来说，他当然是希望提一个很大的大框架，包括里面所有东西都有。那用感官就是不然用perception，或者说embodied AI，用感官去跟这个世界做交互，然后得到一些信息，那这也是很重要的。因为对于人来说，如果就给他看幻灯片、看电电影的话，他其实对他的学习或者对他的工作，他的进步不会有太大的反影响。那么对人来说，最重要的还是能够对跟物体性交互，那这个就强化学习这部分内容。就是说我看到一张纸，我可能要相互翻来翻译，会来回翻。我可以想知道，就是有一些新的假设，你从你脑子里冒出来，你要从探索中把这些假设解决掉。我觉得这也是很重要的，这也是exploration exploration这样的一个很重要的一个点。那么世界模型其实是其中的一个很重要的一个组成部分，因为你对这世界没有预测的话，你是没有办法得到你想要做的什么事情的一个决策的。就比如说，你看到一只老虎，你第一反应是老虎要把我吃了，那我就得跑。世界模型这边的决策是预测老虎会把我吃了，如果我不动的话，决策模型会根据这个预测会决定我们要跑路，这都是相辅相成的。对，所以整体来说，它其实还是一个非常复杂的工作机制。啊，是的，是的，是的，是的。

然后，另外大家关于Sora讨论的比较多的一点，它在做Sora的生成的过程中用了很多的合成数据，包括用到了虚幻引擎五嘛。这个他没写啊，他没写吗？他没写啊。OK，这个我觉得有可能是因为误传吧，因为塑料刚出来的时候，有几个人在推特上写了一些猜测，包括我自己，虽然写过猜测，我说他一定是他是不是一定有引擎？他好像很多照片是从引擎生成的。当时我记得苏密斯好像也有一些想法，就是Patil的一个founder，对，还包括Jim Fan，他有一些脑洞。但是这个没有任何证实，没有证实他是用了合成数据的。呃，就说我觉得他肯定很可能是用了很多网上视频，这视频是包括合成数据。比如说我有些人网上放一些游戏视频，放在YouTube上。啊，我理解，就是说他如果用了，比如说游戏视频生成的，那那些游戏视频可能是虚幻引擎五做的。啊，对，但他他自己不一定说用虚幻，但他没披露他的数据源。对他没有披露过他的数。嗯，所以这个其实是一个以讹传讹的一个典型例子吧，我觉得是，我觉得充分证明了看第一手资料的重要性。对对，我觉得就是我当时第一个跳出来说，我感觉上这个是不是用用synthetic data了，然后你可以去看Twitter吧，当时资料出来之后，大概一两个小时之内就开始有很多评论。所以我觉得这个不是confirm的，是不是？OK，嗯，这个纠正非常好。对对，我觉得你去看看YouTube video，YouTube很多也是合成数据。对吧？游戏数据呢是当时合成数据啦，对他们用了一下之后，那他们也可以说用合成数据，但并不代表他们内部会用虚幻引擎生成合成数据。不一定是他们做的，但是他们可以拿数据过来。

对，那你觉得合成数据的方式去训练大模型，你怎么看这种方式呢？我觉得这个可能是以后的一个很大的一个趋势。我觉得像我们的Transformer其实用的是用就是合成数据，就是我们先用传统的方法生成大量的推理步骤，对吧？然后把这步骤放进Transformer里面去训练，对吧？那么这所有数据都是合成的，都是通过已有的引擎去生成一堆数据，然后去训练。那么这种这种方式呢，其实可以一个是比较有效的，能够避开现在书越来越多、越来越难找的一个窘境嘛。那我想以后应该会有很大的发展。那另外一方面呢，合成数据也有自己的一些局限性吧。你想之前围棋这个方向其实都是用合成数据，让围棋软件或者让AI自己跟自己下。So play，你都是合成数据。你这个观点太有意思了，你突然提醒了我，包括网上我们用的一些训练视频，大家觉得是原始数据，其实它有可能，它就是现在创作者的大量的视频，可能也是用合成数据来算的。所以我觉得是不是说合成数据跟真实数据它的边界本身也在变得越来越模糊？对啊，我觉得以后边界一定会变得越来越模糊。就比如说一个抖音创作者，他可能用了虚拟引擎，再加上自己，最后搞出一个视频来，这个视频算不算合成数据？其实也算，但是其实也是真实数据，因为是人加工的。所以我觉得其实没有特别必要区分这两者吧，因为最后可能会越来越模糊。所以其实，在科研上大家都会用到，只要这个东西有帮助，我们就都用。嗯嗯，对，它不是一个让大家觉得非常吃惊的一个操作。

但为什么会问这个问题？我们觉得人类的数据是有限的嘛？现在很多的数据已经被用来去训练OpenAI的大模型，包括各个机构的大模型了。那接下来，我们如果还要沿着“大力出奇迹”的方式探索像AGI的路，数据从哪里来？对一个方法就当然是合成数据了，因为合成数据就相当于用算力来换数据。你只要有无穷的算力，你就有很多很多数据，数据会越来越多，这是一个办法。当然了，这个也有问题，因为合成出来的数据如果没有human intervention的话，它somehow应该还有一些比较重要的一些信息，它其实也不一定能抓住。就像OpenAI之前有一篇文章叫Let's Verify Step by Step，这篇是做数学推理的。他们先生成了大量的一个推理步骤合成数据，先让AI来决定那数据好，那数据不好。那AI发现你可以做这些事情，但是做完之后呢，剩下数据还是要人去过一遍，因为剩下数据都是AI觉得很好，但其实是错的。对，那就是相当于如果没有人类的参与的话呢，那AI就会在原地转圈子，它永远会觉得这个是好的，然后去推上，但其实这东西是不对的。那他就没法达到更高的那个level，对，所以合成数据有这个问题。像围棋的合成数据，它的问题就在于它在围棋世界里面可以做到非常厉害，但出了世界之后就很难做到这一点。最终就是说，你可以用合成数据把自己的这个能力提上去，但最终它会遇到个瓶颈。那么这个瓶颈，人类能不能帮忙通过某种方式超过这个瓶颈，达到下一个level？这是一个问题，对。

然后还有一个也是最近的一个新的消息，Anthropic发了一个新的大模型。我看新闻稿里是说，它在推理、数学、编码、还有多语言理解跟视觉等二十多个测试中，性能超过了OpenAI的GPT-4。我不知道你有没有用过那个模型，自己的感你感受怎么样？他还是挺厉害的，但我感觉上，因为我是个小说创作者，所以我会拿很多段落去测他。他其实应该说是感性多于理性，就是写文章或者说写小说或者说给小说续一下，他的细节丰富度还是挺好的。你觉得他跟GPT Four哪个在写小说上表现更好？我觉得其实是Anthropic好一点，我觉得。但是推理上来说，我不知道，就是我觉得不一定。这你没试过推理？推理其实试过一些，但是它有两个方面，它特别强，一个是长文的理解和分析，这个非常非常强。我可以把我的小说进去，然后他会给你一个章节一个章节做一些总结，总结得非常好。我觉得这个总结能力其实远远强过GPT4。你的机制会有些问题，就是一个是说，如果给他送小说稿的话，他会调code interpreter，他会用IG加他的搜索引擎，那么但这个IG的效果就不好了。小A就相当于我就抽一段进来，然后用代码的方式生成一个蛋一个程序去抓里面的数据。这个肯定没有原生的用大语言模型来做summarization要好。但是anthropic给我的感觉是，给他很大一段很长一段话，那么这段很长很长一段故事，这故事可能他也没见过，那他能够总结的非常好。它的一些细腻程度也超过了现在的一些水平，这个是让我觉得非常好的。然后另外呢，就是说续写啊什么的也也不错。股权什么的都挺好的，但是呢，在推理上来说，给他一些问题，他确实也做的挺好。但是你要说比GPT 4强，我不知道，很难说清楚。就是我觉得没有非常清楚的界限，就它不是一个非常清晰的目标，它是一种人的主观感受。对对对对对对。所以其实我觉得这个很难讲嘛，因为现在网上也看到很多评价说GPT 4好像最近这两天突然之间变强了。

对，就是说之前GPT 4在偷懒。有很多人在抱怨GPT-4偷懒，说他有很多事情干活干得不好。这个当然也非常有可能了，因为如果这世界上没有竞争者的话，OpenAI可能会决定上线一个比较差的模型以减少计算代价。但是如果有世界上有竞争者的话，他们才会出一个更好的模型。这个太有意思了，所以我们很需要竞争，是需要竞争。一旦有竞争之后，马上就会让大家能真正的感觉到，OK，我这个模型一定要推出最强的版本。其实有很多网上有很多人抱怨了，就是GPT4刚出来的时候非常惊艳，比如觉得哇好厉害好厉害，但是越用越差越用越差越用差越用差，甚至有人发现他会在周末偷懒，是周末偷懒，就是周末的模型是比周一到周不是就是说对对对对有可能效果要差的，对的，就是他可能也学到了人类的一些数据集的一些bias吧。如果你发现这个邮件是周末写的，可能这个邮件质量就变差了。他会把这个连起来之后呢，他可能会自动的有这个bias，周末的时候我就写的短一点。然后就不会回你的问题，或者说他会忽略你的一些情况，可能会有这个一个问题。但是如果有竞争者的话呢，GPT Four就不得不保证自己的质量，这个其实是个好事情。

对，接下来我们聊一聊Meta，因为Meta其实也开源了嘛，我觉得它在市场上也还是蛮受关注的。你怎么看Meta开源？跟它开源的好处？我首先先声明，我不太想评论Meta的一些东西，因为我是Meta员工，所以我不是official的一个news provider。言归正传，我们在说我们这个故事。我觉得开源本身是一个好的，我们可以想想大模型的终局吧。一种可能是少数巨头垄断市场，大家都向他跪拜，我不希望这种事情发生。另外一种事情发生是人人都有核武器，大家形成威慑平衡。我希望后者是成立的。如果是这样的话，那其实我们应该拥抱开源，我们应该希望开源做的很厉害，开源的话能够让大多数人都用上。那么这样的话，其实保证一个最好的一个生态吧。有竞争才有进步的空间，有竞争的话呢，大家才会愿意分享，愿意把整个世界往前推进，那这样会比较好。对我一直都很好奇，开源的商业模式是什么呀？general的说一下开源的商业模式。我觉得商业模式其实就是赚吆喝呗。我觉得这是一个，因为对Meta来说，它不像Google吧？对Google来说，大模大样问一些要，其实属于要命的business critical的component。因为Google是个service，大语言模型其实提供了一个口袋版的Google。那如果哪天大语言模型能力超过Google现在现搜索引擎的水平？最后的结果就是没有人用过Google了，这个是对Google不能接受的，所以对Google来说，它是一个core business，所以我在训练和推理上的一个优化都不能发表论文，应该是这样子的。但对于Meta来说，Meta的core business它不是这个，它Meta core business是人和人之间的连接，通过人和人之间的连接来卖广告。所以对他来说，他当然希望所有人都均是，所有人都有自己的大语言模型，相互之间能够交流，通过这个方式，然后Meta可以作为平台获得一些利益。这是我的观点了。对他来说，开源其实是有利于他的将来的一个发展的。

嗯，Meta内部的科研氛围是怎么样的？这个可以讲一讲吗？我觉得还是比较自由的吧，有点像学校的，大家不要抱团up，可以自由讨论一些问题，讨论一些文章，最后能够找到一些想法做出来。嗯，所以其实科研也是一个蛮开放的，对，还是比较开放的一个方向嘛。就是我们还是可以自由的跟其他的院校合作的。我记得当时扎克伯格去找了困的时候，他说：“如果我加入你们，我的条件就是科研必须以一种开放的方式进行。如果你想单独的以一种封闭的方式只在Meta发论文的话，我不知道我的工作该如何的进行下去。”所以，他希望所有的东西在学术圈都是公开的。对，我觉得这个是个很好的一个logic嘛。然后我们确实把这个philosophy贯彻到现在了。我觉得这个是非常好的一个地方，就是一开始的创始的时候的一个诺言，现在还是能够保持。

对，最后一个问题啊，我知道在AI研究业余，你自己也是一个科幻作家，你写了很多很多的科幻小说，比如说像《幽夜星火》《破晓之中》《血迹》《梦想纪事》《使命》这些非常长篇的科幻故事啊。因为我一直都觉得人工智能、科幻，包括我们非常多前沿技术啊，有的时候是要靠一点点想象力的。所以我还挺好奇你自己的科研从科幻中产生了哪些灵感。首先第一点，这些小说不一定都是科幻。我其实一开始写玄幻的，不一定是科幻。科幻可能就是从《破晓钟》开始吧。其实之前也有一些科幻喜欢结合的一些例子，但是我觉得其实写小说动因倒不是因为它是科幻小说，动因是因为人和人之间的关系。比如说，我觉得有一些很有趣的场景是应该把它写下来的，或者说人生有些经历，这个经历让我觉得我应该写下来，然后让我能够在十年之后再回味这种经历，这种感觉。并不是因为科幻小说所以才写科幻小说，他的动因不是因为我做

研究，或者说不是因为我做科研，动因是因为另外一方面就是感性上的，或者说是某种就是人和人之间的交互的这种方式，人生另一种方式来动因的。所以是自己生活的影子，对，是生活的影子。这个跟科幻关系倒是不大，科幻只是一层皮嘛，很多时候是这样子。小说最重要的是人和人之间的关系，人和人的角色的塑造啊，这是最重要的。

你会花多长时间写小说？这个要看吧。比如说，《破晓之中》，大概在二零二零年年底的时候在知乎上连载过。那段时间我连连载，所以我就不得不每天都要花点时间写一下。嗯，现在还在连载吗？现在已经连载完了，连载完了。小说你写完了。

这部小说之前其实准备了很长时间，因为有很多很多的小的 interest idea，我要把它写进去。说这部分我要写，这部分要写，那最后呢，你要找到故事把它全部连起来。所以大概花了五年的时间吧，我觉得我大概在刚刚去 Meta 的时候，去 Meta 的前几年的时候，反正就是有些时候会有些想法，像像 interesting 那个 Spark，对吧？你可以把它写下来。我一般会先写场景。场景写完之后，再把它场景连起来，变成一部有趣的故事。这个过程其实要花一点时间的。

现在做爸爸了，还有时间写科幻小说吗？现在其实挺忙的吧，而且我们最近研究也挺忙。大语言模型出来之后，我基本没有什么时间做一些其他的事情。但是如果有空的话，你也还是会继续的吧？还是想继续写。会想，因为总是会有一些想法嘛，那只有一些想法，这些想法其实你把记录下来其实很可惜。你把记录下来之后，你会有一些新的思路、新的想法，因为有的时候脑子在换一个思路想一些不同的东西很有意思。

谁是你的科幻启蒙？很难讲吧，我也不是特别的明确，就是什么样的算科幻启蒙吧。我觉得就是以前看过漫画呀，这些漫画书可能会比较不能说是科幻启蒙，应该说是玄幻启蒙，或者说是对于一个世界应该怎么构造，或者说这个世界什么样的东西让我觉得很有意思。你喜欢哪些作品中的构造？哎呀，这个其实挺难说的嘛。当然，《三体》肯定是一个例子，但是《三体》其实算出来的比较晚了。在在那之前，应该有很多的暴露年龄了。嗯嗯嗯嗯，对我们都很老了，我已经很老了。

最早，比如说漫画，像最近鸟山明先生去世了。其实我很早以前就特别喜欢看他的《龙珠》系列。他们这种画的很好的大师，他们每一帧和每个镜头的切换和那个悬念的塑造都非常好。就是直接导致了，就是我在写的时候，我还是会想很多多线并行的剧情和悬念的塑造和人物的塑造，这都会去思考。这个可能会潜移默化的改变我的一些想法，或者一些小说的一些思路吧。我觉得我很幸运的是，我们在小时候接触的漫画都是顶级的水平，真的是真的是对。那个时候确实是非常好的。如果就真的去想整个故事的逻辑的话呢，那其实就会学到很多东西。

好的，非常感谢田博士。那这就是我们今天的节目。如果大家喜欢我们的节目，欢迎在你所收听的播客渠道订阅我们，也欢迎给我们一个五星好评。中国的听众可以在苹果播客、小宇宙、喜马拉雅、蜻蜓 FM、荔枝 FM、网易云音乐来关注我们；海外的听众可以通过 Apple Podcast、Spotify 还有 YouTube 来关注我们。感谢大家的收听，谢谢。