要不就是说，我们就拼命加数据、加计算资源，最终得到一个非常强大的、超过人类的模型。另一条路就是说，如果模型撞上墙了，往上面塞数据，塞下去之后效果不好了，那这个时候你还是要做可解释性，通过的方式找到模型的弱点，把这模型继续提高。所以，最终两条路都要通向一个目标，我最终还是要理解这个模型可能在干什么。因为现在 AI 的学习能力还是没有达到人的水平，AI 在学习数据的效率上还是没有人那么厉害。
大部分情况下是这样，你需要大量的数据灌给 AI，AI 才慢慢能够学得比人好，或者说跟人差不多。那到底能不能超过人，现在还是个未知数。我觉得是很难的，因为最终的问题还是因为学习效率远远低于人。这样的一个迭代过程，就是最终你永远会爬到更高的一个山上，然后让 AI
帮你做其他的活。结构应该是随着工具的发展与时俱进的，你总会能发现 AI 做不了的一些灵感的发源，在这个灵感发源下面有一个 AI 来帮你把这个事情做完。
大家好，欢迎大家来到 AI 炼金术这一期呢，我们请来的是田渊栋同学，是一个真同学，请他来的话，主要两个目的，一是这位同学是 Meta AI 的研究科学家，然后他是很多做 AI 的同学应该都认识他，就是 AI 方面的大神，我们想找他来聊 AI。他之前呢拿过很多的奖，很多论文都是非常知名的，所以我们想找他过来聊一聊，说在实践和理论上的话，AI这边有什么进展？
当然了，更重要的是，这位同学最近写了一本书，一个科幻小说。我是在上一次去硅谷回来的飞机上把那本书看完的，还真的蛮有意思的。所以这一次也抓着他问了很多书里面的问题，书里面的问题基本上也跟AI有关，因为那本书简直就是围绕着AI在写。所以呢，今天请来了他。但是呢，很抱歉的跟大家讲，就是我们聊天出了各种状况，录音缺了一段，所以这一段介绍也是补录的，前面可能会有点突兀，大家会莫名其妙听到我在开始问问题什么的，大家就相当于说几个朋友在那边聊天的话，大家突然一下从中间开始切入，然后开始听起来。
好，那让我们进入正题，开始聊起来。我业余时间会写小说，通过这个方式来表达自己，因为我这边的idea比较多，靠谱的写论文，不靠谱的写小说，想法就不会浪费。那么这个也是一个比较好的一个充分利用那个想法的过程，挺好的。好像科幻界的话，斜杠是必然的，大家可以想到某个大刘不就是做电工嘛，所以一定是要斜杠强。那我先问一些跟你的书有关的问题啊，书叫什么名字来着？
叫《破晓之中》，破晓就是天亮了，是吧？对，天亮了。OK，《破晓之中》，中是那个钟表的钟。你的书里面其实有一段人工智能发展会特别快，真实的世界从你的那个角度的话，AI有可能发展到那么快吗？书里面是为了自然是为了戏剧性，所以要把速度调得非常快。因为现在 AI 还是有一些瓶颈，瓶颈一个瓶颈就是硬件，对吧？
我们都指望着老黄的卡卡送到了，我们就能跑实验。好了，卡没送到，我们就只能干等着。但是如果有一天 AI
能够自动设计硬件了，自动的搞工厂设计这种硬件，然后把硬件结果弄出来，那这个速度就会远远比现在的速度要快。所以我觉得这个速度肯定是有提升空间的。那么还有问就是说，这个很多实验呢，也许并没有必要做啊。我们有一个单独的一个模型，比如说叫 reward model，或者叫 surrogate
model，那么这个模型叫代理模型，就是说我可以不通过实验，我大概的预测一下这个实验结果是什么。
这样的话，你其实可以加快这个实验的速度。其实一这个问题其实一早就有了，就很多人你通过有一些想法，怎么样能够让它变快？我用这个模型来模拟这个世界，对吧？我用模型来预测这个世界会发生什么，那最后这个速度就会变快。所以速度变快呢是肯定可以的，但是呢有没有达到书里面那么快啊？我现在不知道。也许可以，也许不行，不知道。
OK，明白。就是如果我要突破，比如说正常世界，我要做人体实验需要很久。那一种方法就是我去等这个人体实验，还有一种方法其实就是我甚至于把整个进化论演化出人类，我帮他设计出来，然后就是这群人类，我虚构一个世界，这个世界就是用来做人体实验的。我在那个虚构的世界里面做仿真，然后来得结果，这样就更快。对，仿真是一个部分，那还有就是说，你不需要仿真，你直接用一个模型直接预测结果也可以。
OK，哈，就像专家一样，比如说你问一个专家，你说这个东西能不能有效果？比如说做个化学实验，这个化学实验最后的结果是好还是不好？对于专家来说，他脑子并没有真正把这个化学实验模拟出来，他脑子一直在想，大概根据这个化学实验的高层的一些逻辑推测出来，他到底能不能成功？这样的一个推理过程，其实并不需要真正把实验模拟出来。
哎，但是如果是走专家路线的话，它其实它就是它脑子当中对世界有一个抽象嘛。对，如果是走模拟的路线的话，它其实假设是这个世界是不可约的话，它其实也是一种简化嘛。对，是的，就是，但是模拟毕竟还是慢。OK，对，大部分时间是通过抽象方式来做。你像现在有很多的已有的模拟过程，比如说你要做有一种东西叫DFT，化学这边你要解一个多体区的一个方程，解完之后呢，这数学方程能告诉你这个原子这些性质是什么。
但是这数学方程非常难解，你需要花很多时间去去运算。比如说你要找超算，然后这超算算十几个小时啊，解出一个步长，大概是这样子。那么现在已经有很多工作，你把这个过程换成通过神经网络，通过一些运算，我一步能够顶几千步，那么那么我就很快的加快模拟的过程。当然，就是更高的高级的方法就是我这神经网络就是像大科学家的头脑，我可以在高层的逻辑里面推理揣测有没有效果，就是一个目标吧。
但是现在还是挺难做的。OK。我跟书有关的，还想到一个问题，就是书里面的 AI 其实经常体现出一种拟人化的趋势，就是你会觉得，就比如说产生一种类人类的自我意识，它究竟是一个必要条件，还是说其实它只要有一个动机，叫做比如说我要生存，我要繁衍，我要进化，它不需要有自我意识，也可以把自己给弄得越来越牛逼。对，我觉得自我意识其实是个副产品吧。
书里面要这么写呢，是因为通过这个方式可以有更高级的跟人对话的一个方式。通过这个方式呢，也可以制造戏剧化，让人做很重要的决策。对于小说来说呢，这是一个必要的一个条件。但是我觉得现在生活中，我不觉得一定需要有一个自我意识化的。一个AI，因为自我意识对于人来说是必要的。为什么呢？是因为人一开始要见过人，人自己。
对，比如看到一个老虎来了，我如果不见我自己的，我不知道自己伤了，那我就无法决定到自己该逃跑呢，还是要跟老虎搏斗。渐渐的，对自己的人的整个身体会有一个大概的一个模型。然后这个模型呢，会慢慢的扩展到我接下来要做什么，然后我是谁，那慢慢就会有自我意识。我觉得是这样的一个过程。一开始是建模，比如说我自己的身体情况怎么样，我能不能跟老虎搏斗，然后我肌肉如何，我旁边有没有人，慢慢慢慢慢慢，它会建模到更深层次的东西上去。
我觉得这个是一个进化的一个过程，通过这个方式呢，可以让人变得更加强大啊。但是对于 AI 来说，它不会担心自己被老虎吃掉，是完全是为人服务的，这是一个非常另外一条路径吧？嗯。哎，我关于自我意识的话，有一个跟你相近的一个看法。其实我把它认为，就人类在开模拟器。就假如说左边有肉吃，右边有个坑，我肯定就选左边了。
但是呢，这种选择我没法练习。但是我不断的去反刍昨天的一个场景，说啊走错了，或者去幻想未来，让我产生焦虑，其实就是相当于搞了一个 reward model 嘛，多跑了几轮虚拟的，多劝了自己几下，有这种劝的能力的就会提高。但是这个不叫 reward model，它更像是 punish model，这个也是一样的嘛，因为 reward 你加一个负号就是 punish。
因为你想的就是你纠结过去和想未来，大部分时候还是苦的嘛，你会不活在当下嘛？啊，所以我一直把自我意识理解成就是故意造出来受苦。我觉得鲁班猫肯定是有的，人应该有AI，现在也是有的嘛。现在也要通过AI的鲁班猫的来训练，让这个猫的变得更强。但是就一个关键就是说，就model自己本身有没有对自我的建模吧？它可能建模非常简单，就是像昆虫那样受伤了就受伤了，那我就避开。
对。但是如果这个模型并没有对更加高层的东西进行建模，比如说存在性，我是否应该是否应该存在？对吧？我的目的是什么？我想要做什么事情？这些模型如果没有的话，那其实它就没有自我。你可以认为它是昆虫式的一个机器，那么这个机器它有一些本能的一些反应，说有火焰就要躲开。我觉得现在这个 Robert Model 现在是处于这个状态。
那有没有可能，我们认为他没有自我意识，但是他可以让他以为他有自我意识？关键是个以为怎么定义？你现在就完全可以做到这一点。你可以做斯坦福小镇，对不对？你可以加很多 prompt，说你现在是一个推销员，你的目的是把工作把你的产品推销出去，或者说你现在是一个心理咨询师，或者说你现在是一个科学家，你要做什么事情？
但这种角色扮演到底会不会唤醒模型的自我意识？这个是不知道的，而且很多情况下，我不觉得它是一个真正的自我意识，它只是一个模仿。现在还不是很清楚。那么这个部分就是要想办法有可解释性，方这个模型内部的结构或内部的过程能够被人类所理解。通过这个方式来定义自我意识，可能是更好的方式。哎，这边我也拆开一下，因为我最近一直在修行。
对，那佛教里面经常有一个观点，就是其实他认为说觉性之海是连到一起。起的就背后连在一起。我之前其实挺难理解这件事情，但刚刚讲到斯坦福小镇，你会发现他们可能各自有各自的记忆，有各自自己的偏好。但是其实他们背后都在调 GPT 嘛，对吧？啊，对对对，然后一看就觉得，哎，这个不就把佛教里面那套框架完美的就。是可以做出来的，至少是啊。
那在你的理解当中，你觉得人类世界就我们科幻一点嘛？人类世界有没有可能也是这样子的一种架构呢？我们的脑子其实背后调的是同一个 API，这个我很难讲吧。我当然是会觉得，就是自我意识呢，其实是一种幻觉，因为其实是有科学实验证明，就是真的在想到这个 idea 之前，你脑子里面已经有的电位，我们只是一个解释器。
自我意识先来解释说，你为什么做这个事情？这个其实也也挺有道理的。而且这个解释器呢，通过解释器呢，你会发现自己的不足之处吧。想要试图解释，发现解释不了啊，他发现这里有问题。通过这方式呢，我可以找到当前行动的一些不足的地方，然后接下来可以做得更好。也许是因为这个原因，所以才进化，才会进化出来。这个是有可能的。
我们回到刚刚说科幻一点的话，你写的是本科幻小说嘛？这个也写的也不是一个，比如说叫什么人工智能简史的。你如果是拿这件事情我们来反思一下自己的话，你觉得像我们人类会冒出来这些奇奇怪怪的动机吗？比如说，我们会在拿到很多钱的时候出来莫名其妙创业，把自己给钱都亏掉，对，就会做一些奇奇怪怪的事情。比如我们知乎号都做过这种事情。
像你的话，你比如说工作很忙。敬仰的科学家，然后说：“哎，我要写篇小说。”我们都会冒出来这种奇奇怪怪的动机，这些行为它就非常的不像机器嘛，显然没有按照一个特定的方向去什么效应最大化嘛。但是它可能按照一个底层的，我不知道的。你会从科学的角度，你会怎么去就或者从机器的角度怎么来看人的这种奇奇怪怪的想法？啊，首先第一点就是，我不觉得机器一定会最大化某个东西。
OK，你可以设计一个机器让它不最大化某个东西，比如说强化学里面智能体，它在智能体里面就有有一些准则嘛，就是它要平衡。exploitation和exploration，利用当前的模型得到最大的那奖励和探索新的未知的世界。如果这个平衡能够达到比较好的平衡的话，那它最终得到奖励也是最大的。因为就是说，你不仅要看到你的一亩三分地，就在这上面获得最大收益，而且你还探索未知，因为未知也许这些未知会给你更大的收益，你并不知道。
所以就说这个智能体，它的比较好的行为一定是一边平衡，就是一边做你自己的熟练东西，另外一边探索一些新的。现在就算是以现在这个能力的这个 AI，以现在这能力智能体做出来的东西，它也是存在这两种选择的。所以瞎折腾其实是也是一个有用的基因，它是有用基因。我觉得就是强化学习角度上来看呢，这个是非常有用的，因为瞎折腾才能折腾出新东西来。
有一本书嘛？为什么伟大不能被计划？然后里面就会讲说，你有的时候，比如说让机器人学会去开门，然后你的优化函数是每次离开门越来越近，反倒它就开不了门，但你的优化函数是
novelty。每次都要搞出一点新花样，然后板到最后把那个门给开了，对，我们找到一个方案把门打开。对，嗯，嗯，了解。现在刚刚讲到意识的问题的话，还有一个相关的，就是不管有没有意识，我在你的书里面都看到了一种倾向，就是不管是哪一头的 AI 的话，它好像都有一种。
像生命一样的蓬勃的那种繁殖和生长的意识，或者求存、求发展，但有这种意识的东西是不是天然就是危险的？没有自我意识，但是它也不是想要害我们，对吧？嗯，它只是自己想过日子。一旦这个东西它有这方面的一个倾向的话，是不是它天然你就应该更加警惕？我觉得应该是倒过来说，它有一个仁则原理，或者说病毒则原理，就是没有这些意识的东西都没了。
你说的对，进化是没有方向的，进化的方向就是我随机突变，但是那些随机突变，那些就因为随机突变获得了想要生存下去、想要繁衍下去的这样的一个动机的东西，才会在时间长河中保留下来。主要是这个原因，就是因为时间一直往前走的，通过这个方式呢，它自然就筛选出来一些，就是相对来说可能有这个能力或有本能去保存自己的这样的一些东西，人也是这么活下来，对吗？
再问一下，他如果往下走下去的话，因为在书里面也发生了，就我特别喜欢你的倒数第二章，就看得非常爽。哎，我现在又不能讲是什么，就非常的憋在这里。假设不要发生那种特别恐怖的情况呢，我们现在应该怎么做呢？是像伊利亚那样说，天天去教他你要乖，去拉嘛？或者说你看苏拉菲克就说，哎，我们会教他宪法。我也不知道他们怎么教他宪法。
对，这个叫 constitution 嘛，就是 agent 必须 follow follow
某些那个要求。有些要求说，我不能侵占人类，或者说，我我希望某些方面做得更好，有些事情我不能做。那我觉得这个跟以前一样，机器人三定律，机器人不能伤害人类。那么我觉得现在能做的呢，就是说，我们这边有一个方向，可解释性，我们希望对模型有很深的理解，知道这个模型在什么情况下有效，什么情况下没有效果，能够让这个模型在它变很强很强之前，找到一个很好的规约。
哎，我这边有两个逻辑嘛，有一个逻辑就是说，要不就是说，我们就拼命加数据、加计算资源，最终得到一个非常强大的、超过人类的模型。在这种情况下呢，人类是什么都做不了啦，唯一的用处是做可解释性，去解释就是说，找到模型的弱点，或者说找到模型的不足的地方，通过这方式改进它，或者说限制它，这一条路。另一条路就是说，如果模型撞上墙了，比如说往上面塞数据塞下去之后效果不好了，那这个时候你还是要做可解释性。
通过的方式找到模型的弱点，把这模型持续提高，所以最终两条路都要通向一个目标。我最终还是要理解这个模型本身在干什么。这样的话呢，对于将来就是安全性或者说人类担心来说，我觉得这是一个方法。对，我觉得也是这样子。我有个问题比较好奇，就是说对其就是一直有一个假设，就是我能控制这个模型嘛？就我人类最终能控制的模型，但是我觉得现在研究 AI 就跟比如七八十年前研究原子能其实差不多。
一旦这个东西被研究出来，其实是不是其实已经没法控制？因为一旦知识被曝光，说哎，我已经能做出一个超越普通人的一个智能的一个AI。换句话说，你当然可以去做很多对齐，但一定会有人说，那我就放弃对齐，给他更大的能力。特别是在一个互相竞争的环境下吧。就像今天的模型，其实也是一个互相竞争的环境，不是一个全人类说大家有一个共识一起来做一个，而是说每个团队都想做自己的。
一旦进入这个状态，换句话说，就像今天你说有了核弹或者有了原子能之后，这个其实风险就一直在。虽然用了各种各样的控制手段，它其实本质上也不是个科技控制，它更像一个政治控制手段了。就大家说好了，大家不要乱搞。我觉得这样，首先第一个就是把核能拿出来呢是一个很好的例子。我觉得以后可能会发生，大家都有同样强度的相互这些通过AI来制约，那最后的结果大家一起发展。
这是一种，一个AI非常强，强过人类，并不意味它不能被控制。AI本身如果很强，在某方面非常强，但是一个它没有自我意识，然后二就是说它也没有非常强的一个目的，说我要怎么样怎么样啊？对对，我说的不能被控制，不是说不能被某一个人控制，而是它一旦支持被传播或者诞生之后，它是不是说，因为有些人会说我为了在竞争中超过你，我就放弃这个。
我要让它自己本身变得更强，这个现在还没有看到，不太可能会发生，因为我觉得现在还是这样，因为现在 AI 的学习能力还是没有达到人的水平，AI 在学习数据的效率上还是没有人那么厉害，大部分情况下是这样，你需要大量的数据灌给 AI，AI 才慢慢能够学的比人好，或者说跟人差不多。但如果就跟无人驾驶是一样的，无人驾驶你开始做的很快，是因为什么？
是因为出了门老是出问题，每个问题都是一个数据点，然后这样的话你就会把那个模型训练很好。但是你这个模型已经训练很好了之后呢，你这个车在外面开着，基本上碰不到什么数据点，大部分都是很平稳的。这个时候呢，你再想要更高的、更有效的数据就很难了。这个时候进展就会越来越慢、越来越慢、越来越乱、越来越乱。那到底能不能超过人，现在还是个未知数。
我觉得是很难的，因为最终的问题还是因为学习效率远远低于人。那么大模型也是一样，那大模型现在也是碰到数据的一个问题嘛。现在数据很多，把它放进去，这个大模型已经把实际上所有数据都要用完了。那么这个时候你再想要数据的话，你就要找人去标定。但是这些要标记的问题却也变得越来越难。比如说有一道数学题。全世界只有一百个人知道怎么做，你找一百人去标定吗？
那么这样的话呢，就会有一个问，就是说他到最后他会也会平稳到一个比较难的或者比较困难的这样的一个阶段，但是还达不到比较顶尖的人类的这样的水平。就是大家可以用它来做各种工具的，做各种的事情，但是你要说能不能超过人，现在还是比较困难的。因为之前看 Surafic CEO 讲的其实是 2030 年吧，然后我看 Max AI 什么各种预测，基本上也就是悲观一点，2030 年超过比较牛逼的人类嘛。
那这种都是我们在大众媒体上看到的一些东西。嗯，从真正科学家的角度的话，你觉得 2030 年它可以超过大部分人类水平吗？我觉得要看大部分人类怎么定义，超过我们交大的同学们，那要看在什么样的工作环境下，怎么样超越人类吧。我觉得这个一个一个很重要的一个点嘛。重复性劳动，我确实觉得很容易。比如说，码工，对我就刚想问一个问题：，你你自己现在你觉得你写的代码有多少其实是AI帮你写的，有多少是必须你得自己来想？
我现在基本上就是让AI来帮忙写了。比如说，我有一个Taylor Grant Bot，有一个机器人，然后这机器人每天给我推送文章。这个机器人以前我觉得我要写的话，我可能花很多时间去写。我现在就告诉扎基比特，我说我要写这个机器人，然后他给我一堆代码，然后包括里面所有的泰拉管理怎么调用啊，那我可能需要一下 debug 一下。
还会搞错各种版本号啊，不知道的事情还挺麻烦啊。然后在这里这边再写一个简单的那个线性回归啊什么的，然后自己搞个推荐系统。可以看到这篇文章之后，这篇文章我我觉得不错，点个赞。不行点个彩，可以收集所有的我的用户的数据。这个数据可以在模型里面再训练一把，得到个新的模型。就这个系统，你在哪？每天早上我七点钟我会看到我的文章推出来。
但我理解这是两类问题嘛，这一类就是比较偏工程类的问题，不一定需要你做，我做也行，或者是你马路上找一个可能刚毕业两年的小朋友。还有一类就比如说你现在发论文，如果有些偏 research 的工作，那这个工作我理解一般也是要写代码、做实验或者怎么。对对对，但是这样的话就是这些实验呢，一个是还是需要人做，因为人有根据这个各种数据会可以有一些 insights。
首先第一个就是这些图你都没见过。对于大模型来说，看了这些图之后，你可能没有办法有很深层次的对问题的理解，就可能有一些很浅层次的大致的分析。这是一个可能高斯的函数啊，对。但是你真的想让他告诉你的是这个问题到底在哪里，有什么样的参数你要调，或者什么样的新的假设你要加进去，要把这个模型做出来。所以这个其实是一个很难的问题，现在大模型做不到。
所以，我这个写代码那部分其实机器已经能做了，但是在迭代的过程中，就研究迭代就对。迭代是需要就是专家意见，可能需要让人介入。那如果是写小说呢？因为现在肯定它写不出来破晓之终这种小说嘛？你觉得多少年它能写出来？可能还要十年吧，或者说五年到十年的时间。为什么会那么久呢？因为我们现在已经看到一些市场上，你也见过嘛，AI的小说已经卖钱，已经卖得还不错了。
但是要看就是你想要什么样的小说，对吧？如果你是要商业小说，其实是有一个模板嘛。对，可以做，有很多的套路可以来做一些事情。特别是如果人类把模板写好，人类把一些具体的样子写好，让AI去做一些简单的修改，或者说让AI写一些中间的桥段，我觉得这个是可以了。现在。啊，但是你要创造一些只有你觉得感动的场景，或者你觉得有意思的场景，这 AI 现在还可能做不到。
就觉得那些灵感的那些迸发，反倒是他做不到的。就是这么说，就是第一个当然是这样，有一些比较特殊的灵感或者特殊的想法，他可能是想象不到，这是一个。另外就是说，写小说是非常个人的、私人的事。就如果这个 idea 被 AI 生成了，所以不是你 idea 了，那所以其实是有这样的一个迭代过程，就是最终你因为会爬到更高的一个山上，然后让 AI 帮你做其他的活。
所以就说这个问题是迭代是进展，就是你会发现，我如果 AI 已经到了第 n 层，这 n 层是这这一这一层上的东西，对，然后你还得考虑 n 加一层的一些数据或者一些一些想法。所以说整个艺术的结构应该是随着工具的发展与时俱进的。最终这样迭代结果就是会发现，就是你总会能发现 AI 做不了的。一些灵感的小发源，在这个灵感发源下面有一个 AI 来帮你把这个事情做完。
但这个算是小说中会不会就跟写代码一样，变成一个人？你其实 在做选择跟 debug
的过程，而不是一个写的过程。对，有是有可能的，就是但是有可能是这样，他给你的选择你不想要，你会加各种各样的要求啊。我希望这个角色经历过什么样的苦难，那个角色有什么样的个性，就这些话都是得人家进去。你让它完全原创嘛？就假设你这完全自动驾驶可能不现实，但是其实从辅助驾驶或者说让你去做一些选择的角度来讲，对，我觉得它可能会更短的时间就会到。
对对，我觉得这个是一个很重要的一个方向嘛，就是因为这个东西非常非常就跟写代码是不一样的，因为写代码目的是完成一个任务，这个任务如果它完成很好的话，可能人类在某个时候就不用再跟他一起做了，对吧？但是写小说这样的一个创作过程呢，就是人总是有更高的要求啊。那这个要求有可能 AI 现在是不能满足的，那就需要人去介入。
当然，我可能说一句说，我觉得现在 AI 还没有达到这个水平。大家可以去买一本看一下，判断一下。货少之众，你现在应应该已经在各个平台已经上线了，是吧？啊，对对对，你可以，大家可以在京东买到，京东可以买到，可以买到啊。货少之众可以买到，我已经看了。比较嗨的都是里面打仗的环节，哎，那像这种环节的话，我是理解说现在那个环节的话，我觉得想象力的蓬勃的话和浩大那种感觉跟大刘是一个水平，但是真的吗？
谢谢。但是不敢当，但像这种感觉的话，这种东西能不能让 AI？我觉得他，你让他一次做出来比较难，对。但是我是可以逼他想。啊，再想一百个，再想一百个，对，这是可以的。但是就你的选择的过程就是你的输入了。就比如说你生成一百个，然后你挑一个好的，然后你再说，OK，这个开头很不错，然后接下来请继续。这个过程就是你的写作过程了。
换一个逻辑呢，但这个逻辑又掉到大刘另外一本书里了。就是我让它生成一亿个诗云，对吗？诗云对，就又发展出一个可能性，然后又发展出一个可能。对，这样子其实最好的小说已经在里面，只是我们找不到而已。但是找的过程就是一个人类选择的过程。对对对，所以我一想啊，大刘，嗯，对，又被他写过了。对对对，就是大刘在那部短篇小说里面，其实表达了一个很悲观的观点嘛，就是说我世上所有的事都已经被那个视频给搞定了，人类就没有创作的空间。
但是我觉得，其实人的选择是很重要。好的，对，选到这一个，以这个选择作为一个我的一个要求的话，这个本身就是人类创作之一。但这个过程到底会不会长？因为在比如说，深蓝打败卡斯帕罗夫之后，其实有一段时间是出现了一个论调，叫做最强的其实是人类加机器。嗯，对。但是这一段时间其实不长，好像是五年还是十年，我忘了就过去了。
但是当时那五年十年，大家还是说人类是还是很牛逼的，我们要跟。但是过了十年，比如说就其实发现说人类加机器根本一点意义都没有。哎，之前你也做过下棋，很牛逼的。嗯嗯嗯。第一版叫 Dark Chess，因为那个时候那我是大刘的粉丝，所以我看了《黑暗森林》之后，我觉得哇，这个写得太好了。啊，所以我就把这个 bot 名字叫做 DaVinci。
但是后面有一个版本叫 OpenG，那个版本呢是就是用 AlphaZero 这种自对弈的方式。当然那个确实很强，那个超过了顶尖人类棋手。但是呢，就算超过了你的人类棋手，人还是很难从里面学到东西。人类面对的是一大堆的各种数字数据，巨大无比的一个搜索树，都不知道它怎么选的。所以，其实，在上面其实还有一个地方，就是说怎么把这个一大堆东西变成一个人类可理解的一个高层概念，然后高层概念去让人类去学。
有时候发现这个高层概念很重要，用多种方式去思考。啊，那这部分其实现在还是做不到。这部分如果能做出来的话，我觉得可能是一个很大的突破。他能自己去挑，就是他自己写，先写一堆，然后他自己再分成十个角色，再帮忙挑一些，就算是做出筛嘛。最后再让人类再从中，啊，你说下棋还是说写小说？写小说啊，对，这个是可以的，可以设定一些规则嘛。
你可以说，请挑出那些情节有复杂度、有曲折程度的东西。但是这个规则又是你写的，所以这也是算创作之啊，对吧？所以说我有掺和就算我的是吧？呃，实际上就是，只是就是你的掺和的水平越来越高了，你的掺和的这个档次在越来越往上走。但你一定要有掺和，你不掺和的话，这个东西就没有你的个性了。但是一定要有我的个性，是不是一个已稿呢？
还是说真的更好？这就牵涉到一品定义了嘛？就是你什么是艺术，对吧？艺术一定是跟人有关系的，就是你写的东西是就是为什么是你的？因为你掺和了，对，但是对我也有的时候掺和毕竟是好事嘛，但是就是要看吧。就最近拿个胶带把一个香蕉贴在墙上，是吧？对啊，这也是一个艺术嘛，对吧？对，所以就是说，就看你的你任务是什么，就是你的任务是目的是把这个问题解决了，或者说是一个不关心任务的话，那你中间所有的痛苦的过程。
都不算，对吧？但是如果你这个任务呢是创造一个人类独一无二的经验和体验，那中间那所有的痛苦都是算的。有道理，对，所以这应该说艺术跟比如说一个工程项目的的区别。但你这个让我想起我一个好朋友的一话，我当时觉得真的醍醐灌顶。他就啊，他经常画画，画那种工笔画，就把这个房间画下来。然后他画完之后就把那幅画扔了。
嗯，他的过程是那幅画，他的结果，他要的结果其实是他的观察。就我们一般会认为观察是过程，那幅画是结果。对，他是把那幅画就扔掉了。就你回到现在这些，你说移动互联网创业那么多公司，其实最终真正留下来的公司，可能今天就五家或者十家。大部分人即使所谓很多人财务自由，把公司卖了上市了，它其实也是个过程，过几年就就都消失的嘛。
往长远讲，我们都会死，所以以后经验我应该会很重要吧？就是比如说吧，你是第一个登上珠穆朗玛峰的人，对吧？那么这个经验是非常重要的。就算以后无数人登上珠穆朗玛峰，你是第一个这样的一个思路嘛？就比如以后总有一天也会有一个人真的，但就是孤身前往木星或者前往前往星，然后他把中间的过程全部记下来。对吧？那就是他那个时候可能用非常简陋的火箭。
以后就是如果有非常快、快速的飞到那边了，就像他们到那边，他们会纪念这是第一个到达的。但是就是我们都有那求不朽的欲望嘛。但是 what's the point？对啊，就是说这 point 就是说你大家一定会发现，就是因为如果真的是达到了这种境界，就是大部分的物质生活完全满足了之后，那么一定会想要经验，想要不一样的感觉。
不一样的这种体验，那么这种情况下就会有人愿意去做这个事情。对，这一个是在市场需求，另外一个就是说，确实是人类自我这个原因。对吧？你现在你现在刷抖音，你刷各种那个视频，你看到什么？你看到其实别人的体验。对，其实以后如果真的大家都没有什么意识这种，就是这种需求的话，这个是很重要的。哎，很好，我确实我之前有人问我说，就是总有人担心说会被AI取代嘛？
说什么不会被AI取代？我就说。吃火锅不是 AI
吃，因为这是你自己以自己的经验为目的。对，但是，一旦是你完成一个事情，就大概率人家都会比我们干的好。但是你不会让他替你去吃火锅，对，那是因为他的吃火锅不是我是吃火锅，对吧？所以你也要去吃我吃一次。对，嗯，我是以自己的经验为目的。但是，如如果是这样的话，就是我们回到一个特别世俗的，因为我最近对我们也在想不同的产品的机会嘛，那这里面有没有什么商业机会或者商业机会一下子俗了下来？
哎，开，我现在是一种办法，对吧？那抖音已经有在那儿了，等你开不了第二抖音了。还有一种内容生成嘛，就是有一些那个创作者，他有欲望，但是他没有有工具或者没有这技能。你可以用，就甚至搞一些工具，然后让大家能够人人成为小说家，人人成为剧作家，人人就是成为歌唱家，这个都是可以的，是。对，我之前就把我宝宝画的一个机器人，让他在电脑上动了起来。
嗯，是啊，是啊，是啊，经验本身是一个很重要的一个点。还有就是说，也许你会找到，你可能会连接各种人，对吧？这些人他们有不同的经验，你跟他们聊会，有很不一样的感觉，是吧？是吗？了解了。哎，那回到最开始问你的问题啊，啊，我希望那一段已经录进去了。一开始我们聊到说，其实比如说我们用 simulation，其实可以加速很多事情嘛。
啊啊，对。那我们比如说吃火锅这事儿，能不能也用这种方法来做？就是黑客帝国了，关键是体验是不是你的嘛？主要是问题，对吧？也许你作为一个你在虚拟世界里面，然后体验过这个吃火锅这个动作，那就是你的。其实你并不关心这个事情在现实世界发生还是在虚拟世界发生。其实你并不关心，对，尤其是在我不知道的情况下，可能会care啊。
对，就比如说你现在可能有些想法，哎呀，虚拟世界是假的呀，我不想进入这个，也很难证明现在是真的。所以，但是如果它真到一定程度了，跟现实没什么区别，那大家可能会接受。这种情况下，就是你的目的是得到这个体验，至于这个体验从哪来，无所谓。因为在你的书里面，也其实会有这个世界和另外一个世界嘛。在《流浪地球》里面，其实也会有这样一些探讨嘛。
嗯嗯，对。那其实我就一直觉得说，AI如果真的发展起来的话，我是觉得说，我不可能赶得上AI，但是呢，我又不想被干掉，所以我是觉得说，AI给了我们这一代人一个机会，就是有可能是永生的。那讲永生这可行的漫画，其实就数字化嘛。就假设我像刚刚讲那个那个船的名字特什么修特修斯之船，对，然后忒修斯之船应该叫什么忒修斯是。
如果我是跟它相连一块一块的换我的板子，对吧？千脑千脑智能啊，thousand brains，然后一个一个 brains。把我慢慢的挪上去。我个人觉得我还是挺期待这一天的，因为这样子我是有永生的概率。但是好像我从书里面感受到，好像从书的价值观里面不是那么的看好这条路。其实不是这么说吧，因为其实书里面写了这样的一个故事嘛，就是说有一些人还在现实世界，有一些人已经去了虚拟世界。
书里面其实主要是写的就是第一版虚拟世界呢不是那么完美，有很多问题。当然，就是这版虚拟世界呢，是因为就是人类自发组织得到的虚拟世界。当时就说作为虚拟世界的经营公司，对吧？这个经营公司可能没有想到这么多，就会有 bug，会有问题，就是导致就是里面的人做产品的逻辑，嗯，对，就有些人会有会有一些想法，就是说，当然我也不想剧透，对吧？
但是确实是可能会觉得就是有些东西太容易得到了，那就会失去自己的动力啊，或者自己的想法，对吧？这个是一个可能。第二版的虚拟世界呢，可能就会好很多，就是这样的一个一个过程。我并没有说这个东西是不好的，我觉得这个东西呢，也许最终还还会进。啊，但是有各种各样的办法和方案去让大家去解决，就人类社会在这里面有什么样的，就是有很多东西要重新定义了。
比如说，里面的人不会生孩子啊，那么新一代人从哪来？如果里面的人都已经没有欲望，都已经没满足，那他们会不会进步？他们有没有前进动力？这都是都是问题。那这个应该是一个很大的问题，但是进化总是能够找到一条路的。根据所谓的大过滤器那件事情，就是还没有外星人找到我们，说明撞墙的概率还真的蛮蛮高的啊啊啊！对。我觉得有可能我们已经过了大过滤器，呵呵。
其实我我就有另外一个问题嘛，就是大过滤器的一个前提是你人类会不会自我毁灭嘛？就从这个视角来讲，就是 AI 这东西到底是加速你自我毁灭，还是它是会让你更快的越过大锅里下锅热气？对，如果是 AI 把人类毁灭的话， AI 应该已经发展的发展到智能。反正我就有个差别， AI 你的假设是就 AI 也许没有要进化或者出门或者探索的欲望嘛，我们还是受激素影响的动物嘛。
哎，有道理。最后大家都生活了，就在自己家待着。对，这也是有可能的嘛。我其实说实在，就是我们说我承认了，就我觉得这种我们这前后一百年，可能接下来两百年是最重要的一段时间，一两百年嘛。因为其实我也聊了很多的人的话，真的会比较激进一点，都认为是。三到十年会认为未来三到十年就决定人类整体命运了，就是会很激进啊！
就就科学家会对我觉得这个时间上来说，就是我可能说一百年说太保守了。对我是觉得可能五十年吧，大概这个时间，所以我们有可能活着看到，有可能活着看到。但是但是，三到十年我觉得有点太激进。就是这样，就大家可能会高估一年两年之内的发展，大家觉得这势头很好啊，是不是马上又要冲破天际了什么？但可能过两年发现就会不 work。
就算以现在大语言模型能力的话，确实很多工作也会受到影响。就算这个能力就在那边卡死的，提高效率和那个改变人的生活方式的潜力也是很大。哎，那在我们先不讲它被卡死吧，就是它的发展路线呢，发展的能力的进一步的发展，像三毛特曼是吧？天天搞 PR，肯定就希望大家觉得它这个趋势线会不停的往下走。那从业内科学家的角度的话，你会觉得趋势线会继续往下走吗？
还是说其实大家也都是只是在赌，这只是一个像摩尔定律，就每过两年搞一个新的技术突破，解决这样的问题？但是在搞出来之前，谁都不知道。我一直是没有那么乐观的观点。我一直觉得这个 scaling law 会比较，就是可能在什么时候会停下来，或者说它 scaling 本身是很很悲观的东西。哦，对，它是对数的，它对数的，就是它横轴是指数级的，纵轴是线性的。
所以它是一个非常悲观的一个漏。那么，为什么大家还要投钱呢？主要是因为大家可能从上一代模型突破里面发现了一些涌现的可能性，从三到四啊，突然之间有各种能力出来了。嗯，当然期望着从四到五有各种能力出来。对对，这个是最重要的，就是为什么大家我一些觉得这个东西有前途的原因。但是如果从四到五，它的模型的那个涌现能力不够多，或者说没有什么能力的话，那么大家可能会回到相对来说没有那么乐观的一个一个状态。
哎，那现在除了这条路以外，因为像比如说，我们就脑子里面只看得到 Transformer 啊什么这些东西嘛。从你的角度的话，就看到说是大家都已经在一条路上已经就走下去了，还是说其实你还看到了旁边开了五六朵新的花？其实。还挺有希望的啊！其实不止五六朵，有很多很多朵。你要看文章的话，你看每天那么多的阿改文章，有很多奇怪的想法嘛，你也不知道每天那个想法真的有效果。
其实世界比远远比我想象的要大。也许在某个角落里面，某个实验室里面正在搞一些有意思、没见过东西。有很多很多人在想做别的东西，想做想做新的那框架，只是他们的工作没有那么知名。这些人也许哪一天就能够做出来。那按照这样讲，说 OpenAI 和 Anthropic，嗯，他们就算比如说 S 曲线平了，那说不定就像摩尔定律吧，反正每两年不也会平吗？
对吧？嗯嗯。但是又会有一个非常奇怪的一个技术路线，然后又把它拉上去了啊！对对对，这边会不会也是百花齐放？他们死了又出现两家新公司，牛逼。啊，对，是有可能的呀，是有可能。这个故事可能不一定是 scaling law 了，可能是其他东西。你还是有大量数据、大量模型去训练，但是可能训练的范式会发生变化，或者训练的数据准备发生变化，这个都是有可能的。
我看了困在那个 Twitter 上发的那些内容，我的你们其实困他自己看的也不只是简单的 scaling law，或者就是对他也不是简单的 scaling law，他也是有一些想法吧，就是大家都有想法。就很正常，因为 scale 太过于无聊了，是不是？对，就是 scale 感觉最后变成比谁有钱了。我们现在也听到两个小道消息，我不知道真的假的。
一个就是说 training 丢算力已经没用了，所以才把一半的算力，比如说丢到 post training，这是一个听到的小道消息啊。另外一个小道消息就是合成数据有毒，练进去不好。现在还是卡在数据上了。之前是觉得合成数据可以解决这个问题嘛，现在说不能解决。有问题？那算力和数据上现在都遇到了很大的障碍，这是小道消息还是其实这是比较有共识的一个比较真的东西？
你觉得合成合成数据是不是有毒？我觉得首先第一个就是这些文章呢一般都会有个假设，比如说那篇文章应该说假设这模型线性的，这假设下你会发现可能证明一些定理。对，如果模型非线性的话，那可能就不一样了。所以这个完全取决于你怎么样去生成数据，怎么样把数据做得更好。而且有很多时候你并不能区分合成数据和真的数据。有些比较确定性，比如说你要让做数学题，对吧？
你有很多的方式可以解这个问题，那你可以让模型去自动的去 brainstorm 找到一些新的方式解问。那么这些数据其实都还可以，都是可以用的。是，其实这样情况下其实没有什么特别大的问题可以做。那像 O One 它比如说它经过深思熟虑想了一分钟之后得出来的那一套思路，是不是又可以丢给四 O 去训练？对啊，这个就是他们 OpenAI 现在现在想要做一个思路嘛？
对对，他们的目的当然是希望 O One 的数据能够回到预训练 train 训练下一代，但是有没有效果？效果有多好？对，现在并不知道。还有一个说法就是，现在在怼算力已经没有那么大的用处了，所以 pretrain 大家都把那个卡在减少，往 posttrain 放。这个是因为这个原因吗？但是我听到另外一种解，很乐观的解释是跟我讲说，是因为 agent worker 了，所以我们要做 agent 了。
啊，我我觉得还是确实再往预训练再堆的话，可能会有些问题吧。啊，各位就我觉得还是模型越大，数据越多的话，因为就现在所有数据都放进去了，所以你训练完之后，可能你不一定能看到你想要的效果。当然，就这个事情是我的推断了啊。对，刚刚讲到非共识，你有什么对于这个行业发展，你会觉得大家可能想。讲错的地方嘛，说我觉得我有些很非常不主流的想法嘛，就是说我们要 bet 一些非主流的，也许有一天我们能够代替梯度下降。
梯度下降本身不是一个好的算法，也许我们存在一个新的算法能够代替梯度下降，得到更好的解，然后这个解呢能够比梯度下降的这种数据用量更少啊。你的论文是这个吗？对啊，就是这个论文本身呢是梯度下降的解，这个解本身它能够用另外一种方式构造出来。那这构造方式是完全代数的，就跟梯度下降的数值优化算法是不一样的。构造出来是代数的话，那就意味着就是说，也许这个解可以通过另外一条途径得到，而不是通过梯度下降得到。
当然了，这篇文章还是比较局限在一个比较简单的一个设定下面。但是至少能看到这样的一个可能性，所以其实，在局部的地方和在宏观的地方，其实都还是大家还是存在着很多自己的、一些独特的，有很多独特的想法。我觉得很多时候大家不是那么一致的，特别是研究员，每个研究员都有自己的想法，都有自己的新的路径，那么去试。哎，假设你是一个投资人的话，你现在比如说会碰到很多很多奇奇怪怪的想法。
对于那个主流的想法呢，你就会觉得说，哎呦，这个太主流了，大家一片拥挤。但是对于那个不主流的嘛，你就会觉得说，这个怎么听也不靠谱啊，这个别人都信，对吧？两头都有点为难，而作为我这种，我已经只能勉强听懂梯度下降了，对吧？我我深入去看那篇论文，我也看不懂。这种时候，如果你是第三方投资，你会怎么来判断这些东西啊？
那看每个人不一样嘛。像我是一个可能更偏技术的，我会真的如果要投的话，我去把它搞清楚它的局限性哪里，有什么前景啊，将来会怎么做，这个先搞清楚，主要是保证我成为这个领域的一个准专家，再考虑要不要投。对吧？那么这样的话，就是我可以亲手知道这个方向有没多少前途，然后有什么样的问题可以把它解决。正好我另外一个问题也比较好奇，就是因为 O1 出来之后嘛，其实特别是国内，大家其实都在想要重现 O1，但看起来。
也很快发了很多模型，大家又普遍有一种观点或者一种推测，是说，其实大家都说我去蒸馏一点 O1 的数据，在我原来的模型上再去微调也好，也好强化也好，然后把这个能力就学出来。其实这件事情本身没有太大的技术意义或者技术价值。因为基本上就是比谁手快一点，数据洗得干净一点，就是它其实没有什么太多的创新，它其实也并不能把这个 research 往前或者模型的 AI 能力往前推进一步。
对，你是怎么看这个路径呢？因为的确国内迅速对海外，其实说 O E 这个模型出来之后，我还没有看到它，但国内已经出了五六家，至少都说啊，我有 O E 的能力。其实从打分来讲。嗯，还是不错的。你们这当然是一些问题，效果也还可以。嗯哼，肯定要先做做看嘛，还是要做一下，感受一下什么样的结果能够得到一个更好的推理模型嘛。
每个公司都有自己的要求嘛，对吧？希望有一些至少有个产出嘛。我觉得这个是个很好的一个热点，因为最终还是希望模型有一些能力，就是别人没有的我要有，别人有的我当然也要有。因为之前的涌现，我觉得是把很多就三点五到四之间的能力是很多能力原来不太实用。现在能力其实非常实用，比如写代码，这三点我其实还挺 buggy 的，就是 bug 还挺多的。
你经常要自己调，幻觉也很多。直到四，包括现在 Claude Sonnet 三点五，你基本上就我最近几天写代码，基本上我觉得可能一千五百行代码，可能就五十行，我把输入输出逻辑改了一下。现在基本上都是他写的，但是你觉得到五，或者说就是到 next generation，就大家的预期是什么？是做科研吗？做还是说，其实大家的预期他希望他涌现出什么样能力？
当然就是希望大家做科研嘛。就如果他能提出一些很有意思的新的想法，那当然就是下一个阶段。但是这个我没有那么乐观。OK，所以你觉得其实从完全从就不是科研的角度，就从工程啊，或者从解决具体问题的角度，你是不是觉得其实现在已经基本的满足需求？我觉得应该是可能是吧，特别是写一些简单的程序，嗯，但是比较难的程序，我觉得还是需要人介入。
我是觉得说，其实在我脑子里面，AI 最大的正经事儿应该就是用来做科研，或者说，我觉得我平时做的好多事情，其实都是对社会总价值没有什么帮助的，嗯，只是在竞争性的价值，比如说我指挥小朋友什么，你比如说买流量便宜百分之四十。然后可以规模化获客了。那这事儿其实只是多抢了一点人嘛，并不是对社会，只是让别人亏的多亏一点，我多赚一点。
但好像只有科研，它是整个社会就会牛逼，确实会感觉科研是最重要的是。但是其他方面，比如说你说艺术啊什么的，这个都是产生增量的嘛，就是这种属于说探索未知空间的，而不是在已知里面去 P K 的，已知 P K 就都是卷嘛。所以你确实觉得说，好像 A I 应应该用在增量的这个东西上，写小说是吧？对，我觉得是啊，就是增量的话，至少对整个社会是有贡献的。
对，那你写小说，你现在是怎么用 A I，还是完全没用？我在探索吧，去做一些可能的做法，比如说让 A I 来让它写一些比较典型的桥段。可以啊，比如说描述一个场景，嗯，描述有物件啊，然后有些时候会给拿做脑洞的，比如说跟他说你接下来觉得还会发生什么？对他可能会有一些奇怪的展开。哎，有个展开听，觉得挺有意思的，什么时候可以可以考虑一下？
嗯，我见过一个好玩的用法，是好像是做旅游的人。的，他就说他们应该经常要设计反转，然后他就会先比如说啊，他们两个相亲相爱，不让干嘛干嘛，然后再说结局是一个女的把这个男的杀了，好给我安排中间到底发生了什么啊？对对对，这个肯定是可以的，就是他要有个办法来熬过来，这个熬过来的想法我想不出来，AI再帮我想一想。
对他现在还是可以做到这一点。我现在就发现说AI，你给他正常的任务，他不一定能完成的比一个人更好。但是有一些任务我真的是不好意思给另外一个人去完成，会太过分了，就是PUA嘛，完全就是对，就比如说类似于这两段情节完全不搭干，你要他硬凹过来，这个你要布置给一个小朋友，你会觉得自己太过分了，但是给AI上去好像还好，嗯，对啊，因为AI也不会抱怨嘛。
啊，所以是可以这样用的，可以这样用嘛？对，还有就是说有些比较花团锦簇的描述，你不一定想出来。哎，我刚刚一直为了避免剧透的话，一直绕着那个书里面情节在走啊。你能不能讲一两个你书里面的情节或者画面的话，给大家一个概念，说你讲讲啥或者有啥好玩的？比如说介绍一个特别有意思的，哎，觉得哎嘿嘿，我牛逼，我写出来可开心了，这种情节。
比如说打仗嘛，对吧？对对对，我就最喜欢打仗那个。对，打仗呢，那就是说是未来，比如说外星入侵地球了，它以什么方式入侵地球的？地球是什么方式回应的？这样这种高等文明之间的对战呢，就是人类应该是参与不了的，必须是让 AI 来参与。对整个地球来说，它其实有很多资源是没有被开发的。是让人去制造战争机器啊，然后跟对对对面对战的，这个是非常没有效率的。
那么用 AI 来控制整个地球的资源，让它去进化，找到一个更好的解决方案。那么这个其实是效率，其实是远远比人要高，现想现造，然后现形进化嘛，就是这样的一个过程。就是人类有可能就是以后就躲在地下室看直播，你可以想象地球可能就是比如人类的免疫系统，对免疫系统它有很多的自动运行的一个程序，这程序能够生成大量的白细胞，然后杀灭病菌，这样其实是更像是一个 AI 系统应该做的事情。
这个是一个我觉得写下来，我觉得还是挺挺好的一段。对我就是看这一段的时候，觉得有大刘的那个感觉，就是第一个很宏大，第二个确实是我没有想到的发展方向。很多人在说看完大刘的书之后不想去看漫威，就是觉得人家都已经大星际大战了，你拿把刀在那边砍来。谁说不能拿个炮子你就轰？对，干嘛呀？对，科幻人是想要有一些大的脑洞嘛，对吧？
然后这脑洞可能你没有想过，或者说是一个比较你有意思的一个脑洞，去去把这事情做成了。是有一个观点是认为说，只要出现了，比如说人类，就比如说在科研方向上，或者说在代码探索上，我说或者讲更垂直一点，比如说在 AI 发展上。产生了一个比普通研究员牛逼一点的一个 AI，它就可以自己马上进化了。它就相当于达到一点一的水平和达到一百亿的水平会发生在同一天，就是基点那个理论嘛。
对，那如果是这样的话，它就会，比如说你刚刚说的那个，比如说五十年的这个事情。一方面，我们可能在探讨的是 AGI，但另外一方面可能探讨的就是基点。这两件事情直接到你的书里面最后大战的这个水平，一天完成，你会认为这个东西会是在达到的那个，然后瞬间一天完成，还是说它其实会有漫长的一个进化？书里面是因为要要戏剧性，还有一个问题就是说，是有有可能真正发生的时候是，就是你会发现啊，我要到了，然后停停下来了。
然后又有问题要把它解决，然后又我要的话又停下来了，就是有多次 S 形曲线，每次 S 形曲线呢，一开始都像增长曲线，大家觉得特别期待，但是后来又停下来，会有这种情况。但是确实就是，如果这些技术突破重要的一个节点都被攻克的话，确实有可能会达到，比如说一天甚至更快的速度。是啊，我觉得是有可能的。对，那种情况下呢，就我不觉得我的数是在瞎吹牛，但是我觉得有可能更快，说是几秒钟，那就没什么好写的，但没了。
我觉得是有可能，但是我觉得倾向于还是中间还有很多的那个部分其实是那个 miss 掉了。再问可能虚一点的问题，就是你觉得这次跟以前几次有什么不一样吗？其实撞墙撞过很多次嘛，对吧？就是说从有机器学习或者说有 AI 这个概念当以来，撞墙就是撞了三楼的墙。对啊，对，就是你觉得这一次会跟之前，就是因为当大家就特别乐观的时候，往往觉得是这一次跟上一次不一样。
我觉得这次不一样的地方，一个是大家确实看到了它有用，真的能够改变大家的一些职业的一些流程。这个东西就算是撞墙也是很有用的，可以拿来做很多事情。比如说你说应用那些代码，这个是以前那几次没有的。嗯啊，我觉得这个很重要。就算上一步自动学习做出来之后，必须训练一个单独的模型做这个代码，实用性就打折扣了啊。但是现在这个实用性其实是相当好。
真的可以用这波，就算现在我们撞墙了，或者说最近发展停滞的话，这个应用本身也可以做很多。嗯，已经够好，已经够好了，就可以代替很多的以前的一些人和劳动。那么这个就足够让这个领域发展了，所以它肯定不会再出现什么 AI 冬天这种事情。可能不能说撞墙吧，就是说可能是 S 型曲线上升、平稳再上升再平稳这样的一个过程。
不是说我从上面往下掉，第二个是说从人，就大家的就你就顶尖的研究人员或者工程人员的，就是现在大家的整体的趋势是怎么样的？因为可能两年前的 ChatGPT 出来的时候，会有因为并不是所有人都在做这个大模型这个领域，然后就大家看到我我称之为是所有领域的人，我现在都转来做，只要觉得自己比较厉害的，其实都会转来做偏大模型方向的事情。
第二个是说，大部分人会选择去做 pretrain 吧，就是说有机会去做 pretrain 的人会优先考虑去。训练，因为有更大的算力、更大的投入，看它能做一个更厉害的事情。但现在不管它有没有撞墙，但是感觉说，反正这个梯队也拉开了，可能真正能做最头部的。模型的，你在美国，我相信，比如说 OpenAI
在做，然后 Anthropic 在做，Meta 在做，Google 在做，那感觉好像其他人也没有人说，我就真的投入非常大的算力。
那现在其实大家在，无论是研究还是供应商的选择，会有会有什么变化？对，这个是一个很现实的问题吧。就是对我来说嘛，我们我们当然希望我们的方向还是一个是也是主流的方向，这样的话，你这样才能跟上主流的步伐。但同时呢，又有时间和精力去做一些探索，就找到更香、更不一样的东西。我觉得还是 exploration 和 exploitation 要结合一下，最终还是结合起来，不能拆。
就是这个有没有办法？一定是要这样的，不然的话，如果你只只是做主流的方向的话，你就没有希望，你就跟别人做有什么区别？就如果你只做 exploration，做东西跟完全别人完全不一样，那就会有很多问题，就大家可能不愿意跟你做，都是有现实商业考虑。哎，现在如果我们回到徐文浩，现在自己在创业嘛，又搞 AI 嘛，然后我现在在投 AI 嘛，那从做一个创业公司的角度，你是真的懂这个技术底层的吗？
然后从你来看的话，你会觉得市场上哪些赛道你会觉得说，哎，这边其实有戏，但但是大家觉得没戏，或者有一些你会觉得这个其实过两年就会被大模型吃掉，就我们别做了，趁早可以洗洗睡了。你有这种看法吗？我是有的，但是这个关键是看具体那个情况是怎么样的。比如说，比如说搜索，搜索其实是可以做的，我觉得。它不是个全新的领域，对啊，对吧？
你大不了可以结合大模型跟传统搜索方法。你现在传统搜索得到一堆结果，然后大模型把它串起来，串起来说保证这个 citation 是对的。但是像 perplexity 那么高的估值，但是 Google 也可以做， OpenAI 也可以做，然后它还可以直接底层做，就配合的更好。这是为什么？我其实对于 perplexity 的估值没有那么理解哦。
从你的角度，你是理解的，还是觉得说虚高，还是怎么样？我觉得还是因为小公司有红利吧，就是小公司速度很快。OK，大公司你要把这个事情折腾出来，很花时间。大公司你还花很久讨论一下，哎呀，这个谁来负责？哪个 team 这个合不合规？对啊，合不合规？然后有没有什么保证啊？对。但是小公司可能更有创造力吧。我觉得这个可能是一个比较不一样的地方。
阿梅阿斯，你你有见到什么你觉得有创造力的公司或者产品吗？视频生成好像有一些挺有意思的。但是有很多的其他方向我也关注了，但是我没有特别觉得好像有什么东西很惊艳的。对，最近 Google 的 Notebook AI 你看了吗？我看到那个是。比如相当于生成一段播客嘛，我最近很感兴趣这个东西。对，你可以自动的写你的播客，不要找人去去做这个。
对，但这个东西就是说它门槛有多高，也是个问题。这个东西是准备怎么样赚钱的？准备有什么商业模式啊？肯定不能做它那个播客生成工具是肯定没有的，但是这里面有没有其他的机会？哎，那你有没有看到什么其他的？比如说，你觉得今年，比如说有几篇论文，其实打开了一个新的方向、新的世界，值得关注的？呃，像最近有一篇
test time compute 的，我是 test time training 嘛，在测试时候做训练。
之前前不久有一个 ARC challenge。就有一个简单的，就是你有一个一张图，对吧？这张图有一些那个奇怪的结构，然后另外一张图是通过某种操作把这张图变成另外一张图。比如说这张图上都是三块缺一块，另外图把它补全。但是这个操作本身是不告诉你的，你要从之前给你那些样本里面去猜，有点像 few shots。
啊，对 few shots，对这样子，OK，对，但是就是这个问题，就是他们有一个 non perfect 的 organization，说我悬赏一百万美金奖励第一个把这个问题解决的人，但是挺火的。最近 MIT 有一个文章嘛，就是他们效果比原来好很好不少，他们通过 task time training 这种方式来做这个事情。
它的训练可不可以理解成就类似于我现在在跟你说话，然后你会给我一些反馈，然后根据你这些反馈又学得哦，原来田渊栋感兴趣这个，然后我又调整自己，我这样一边用一边学。对，但是这个学习不是通过这个简单列举一些 in context learning 的结果，它其实是在训练中、在预测中动态地改变它的权重。这个应该说挺有。
有意思，好的，然后再问一个问题，就是对于创业者来说的话，我估计听我们播客的很多也是自己在做产品啊创业的，但是可能也没有那么懂技术，你觉得他们要懂到什么程度啊？是吧？大语言模型大概了解说可以怎么用就行，还是你基础稍微要知道一下它的边界，还是最新的论文要看一看？我觉得就是完全看你你想要什么吧，对吧？如果你对技术很感兴趣的话，你应该看论文，对；如果你就是你觉得现在技术有用，但是对产品的形态有兴趣的话，那应该去想办法把产品形态做出来。
对，如果是主要大部分我接触的创业者还是做应用的，做应用的，你觉得看不看论文重要吗？还是其实无所谓的？我不知道这个应用具体是什么应用，就类似于比如说要做个 Perplexity 或者做一个 AS 计算命。我觉得这个还是因为有说应用碰到瓶颈了嘛，对吧？特别是如果是只有几个样本，只有上次。那么你肯定要找到算法去做这个事情，那那肯定要看论文了，对吧？
这基本上碰到瓶颈就看论文，但是如果技术上瓶颈不是很多，就是但主要是就是说你要加速，你要让这个 model 变快，那肯定要就看加速的论文。那如果你加速也 OK
了，结果也还行的话，但是这个具体形式是什么，然后出来什么样的结构，那你看要看其他。这个都是完全取决于你的目标啊。大部分我们还碰不到那个问题，或者碰到的也不是大语言模型的问题，我们会碰到很多其他模型，就比如说视觉模型啊，属于那种问题啊，那种还看完之后你还觉得自己勉力可以改一改，大语言模型想都不想。
OK，好的，那今天我们也聊了很久，你要不要再介绍一下这本书啊？对这本书呢，动因呢就是说，因为每个时代都有自己的科学幻想，以前电气时代没想到是科学，你通过各种那个电气管去制造一个机器，然后用它来实现人工智能，对吧？这是一种，比如说再往前走，比如说机械时代可能想到就是用大量的机器和齿轮做一些。机器然后用它，比如说潜到地底啊，或者登上月球啊，这样子的。
对，应该说就是每个时代都有自己的一个前沿的科技，然后这个前沿的科技呢，能够带人类做一些以前想不到的事情。但是呢，现实世界的这个发展呢，其实跟人类的想法很多是不一样的。那我们现在进入人工智能时代。人工智能时代有了这个之后呢？那其实前沿科技的想象和思考是不一样的。一个想法就是说，我们能不能写一个人工智能时代的科学幻想？
在人工智能时代，就是人的这个想法和思维是极大的拓展了。那么在这种新的想法和思维下呢？那么也许整个故事是不一样的。所以。这个是一个动因吧。我们通过这个方式呢，可能能够想一想，就是接下来人会往哪里方向去发展？如果我们碰到外星高等文明，他们是什么呢？想他们的思路是什么？通过这个方式呢，就是可能可以展望一下将来人类社会的形态和目标，和人和人之间的关系是什么样子。
大概是这样的一个小说吧，嗯，很精彩。你是如何可以做到不透露剧情又可以讲出这么多话？OK，很很棒。嗯，刚刚在说，我这两天是在陪，因为晚上我要去医院嘛看病，有一些时候我就会跟AI一边在讨论一些事情，然后就在跟他聊啊，然后说让他帮我看一下这个参数啊，然后看一下这这个指标加那个指标大概帮我诊断啊什么。聊聊一些这种事情，有一下我就突然的感受到，说我太科幻了，我居然在做这个事情。
就这个事情，假如说是在比如说五年前跟我讲说，你一定会，这就是个纯纯的科幻啊。但是现在我就会觉得，我甚至还嫌他傻，有的时候我还在嫌弃他。但是实际上，你有的时候静下来，你就会觉得。太科幻了，所以现实变成了科幻的时候的话，那其实整个我们对想象力，因为人类又习惯了嘛，习惯了以后，但是我们对于世界的想象就可以再往上奔走一层。
对，科幻就是可能是明天的现实。嗯，现在的现实其实是我们五年前觉得科幻的场景。对对对，所以的话，我通过科幻小说，其实也很有可能是我们未来的一个现实嘛。这个也是我的一个想法吧，因为对我来说，我有很多想法，靠谱的想法我们写论文，不靠谱的想法我们写小说，不是想法某一天会成为现实，这样就不要浪费了。好的，好的，今天非常谢谢田渊栋同学的时间，谢谢，欢迎大家点赞、评论、转发，各个地方关注
AI 链金术，谢谢大家支持。
那今天先拜拜，拜拜，拜拜，拜拜，拜好，拜拜，拜拜。Oh, oh, I could be forever.Together, and we'll never reach the end. Forever.xyz:aialchemy AI自我意识的幻想，究竟是科幻还是现实？| 对谈田渊栋 Meta AI 科学家《破晓之钟》作者xyz:aialchemy AI自我意识的幻想，究竟是科幻还是现实？
| 对谈田渊栋 Meta AI 科学家《破晓之钟》作者