不过我们回到那个小说的情节，就是当时小说里面提到他PhD啊，选方向啊，大家对，呃，就是呃。叫做风细雨的方向，也有一些微词。然后像这个问题呢，其实是很多学生PhD学生或者Master学生都会面临的一些问题。像师兄，呃，在PhD选research方向的这个角度，你觉得需要考虑哪些因素呢？或者是对现在的PhD有有什么样的一个建议？
对，我觉得应该是这样吧，就是那个风细雨这个角色呢，其实某种程度来说，它的他的这种个性啊和这种选题的这种想法呢，其实跟我当时也有点像，对，因为我会觉得就是你作为一个PhD，想要做一些全世界人都不知道的大事，对吧？所以你会花很多时间去做一些很难的问题上，然后不愿意放手放弃做一些简单的问题啊，很多时候是这样子的，对，就是但是呢，就是最终。如果你特别厉害，那有可能会成为世界大牛啊。但是，如果任何一步走错了，或者说任何地方做的不够好，那有可能会埋没在就是大家就是这PPT中间，而且最终那个结局也不会特别好，啊，所以其实是说比较。啊，比较可惜吧，就是说，因为就是在设定里面，其实那个分析员应该不是那种非常聪明的人，就是他是比较克勤奋、比较刻苦啊这样的一个一个角色吧，对吧？所以可能会比较惨，就是按照这个这个心高，但是能力不够的话呢，就就会比较惨啊。
就是如果你要按小说里面人物来比较的话，比如说像苏艳这样的角色，他应该他的设定的是非常聪明的，就是说也许很聪明的一个人，他的想法就是抵得过。就是非常辛苦的，啊，但是资质比较平庸的一个一个一个博士的一辈子的工作，啊，这个是非常有可能的啊，这个是非常吃天赋的，嗯，所以其实很多时候是怎么样摆正自己的位置，然后找到一个进可攻退可守的方案，就是。啊，如果做得好呢，那上限很高；但是如果做得不好，至少自己有办法可以保底。啊，大概是这样的一个想法吧？对，这样可能相对比较成熟的想法，就是能保证在读PhD时候不会啊，不会过得比较惨。大概是这样子，这可能是一个建比较现实的建议吧。
对，但小说里面是因为就是要制造一些戏剧性嘛，要制造性，那就是要把就是各种极端的或者说各种就比较疯狂的想法都注入每个人脑子里面，就让他们去演化，那么会产生很戏剧性效果。但是现现实生活中，我还是建议大家就是啊，两手都要抓啊，可能比较安全。嗯嗯，既要仰望星空，又要脚踏实地。在现实生活中，您觉得导师的作用和导师的角色是起到什么样的一个？呃，最终对这个学生起到什么样的一个作用呢？
呃，我觉得是这样，就是对于导师的决策来说呢，嗯，导师其实是很重要的一个角色，就是他的方向指得好，指得不好呢，嗯，其实会对学生有很大的影响，特别是对对刚进入博士阶段，呃，需要指点的一些学生来说，啊，是非常非常重要的，啊，就完全跟这也跟学生有关，就如果学生非常独立。然后呢，也能找到自己的方向的话，那导师其实主要的任务是提供平台，提供资源，然后让学生自由发挥。嗯，但是如果学生本身很努力，但是方向上不是那么容易把握的时候，就是要要看导师的能力。嗯，这个是很重要的，因为我现在也会指导一些学生做一些项目。
那么在这种情况下，嗯，就是我能很清楚的看见，就是如果战略上这个决策是错误的，那学生花时间力气做的再多，其实也是很难有很好的结果啊，除非他非常厉害，能找到自己没找到导师没看见的方向。啊，所以这个是一个很大的一个一个一个问题啊，所以那有些时候别人会觉得我，比如我我这个人不是那么挑学生，或者我在我在跟学生合作的时候，很多时候也是因为啊，我这边可能看方向会看的比较远一点，就是如果这个方向我觉得能做出来才会一起做，啊，如果没有办法做出来，或者说战略方向不明确的话。啊，那其实让学生去做呢，其实不是一个很好的一个一个一个一个选择啊。
可能您自己就先做一下，探索一下，确保我会看一下，就是说，就这个其实也是这十年，或者说毕博士毕业之后。一个主要的一个进步吧，就是说你能不能，就是作为一个老师或者说作为一个资深的研究员，能不能看到大的方向，能不能知道就是这条路能不能走得通啊？我觉得这个对于一个资深的人那个人来说很重要。呃，嗯嗯，明白明白。哎，就是说提一下，您那边好像音收音设备好像是不是在变？就是我我听了有有有一个回音，然后有的时候好像是麦克收音。确认一下。哦，好像没有，我现在一没有一直没有变，一直和原来是一样的。嗯，我就是用那个MacBook的那个嗯那个麦克风。哦，OK
OK，行，我就确确保一下，因为我这边听的好像有点有点变化啊。OK，哎，现在又变了，现在又不一样了啊？是吗？嗯。嗯嗯，好，没事没事没事，对我就确认一下。然后呃，回到刚才那个话题，就是说呃，像现在一些呃研究生选导师的时候，有的可能会倾向于选非常有名的导师，对，有的可能会倾向于选啊，可能就是刚步入学术界，然后还在初期打拼的导师。像这样一个决策的权衡，有什么样的一些考虑呢？您怎么看？
嗯，我觉得这个非非常取决于就是具体情况吧。对，如果学生自己有非常大非常大的主见，然后呃，这个主见。也本身也是非常跟主流不一样的啊，然后学生愿意坚持下去，那我建议学生去选那些比较有名的导师。因为他们一个方面可能他们比较忙，所以他们也没有那个时间，没有精力去真的在每一步骤上都是详细的跟你去聊天，啊，那这样的话呢，对学生来说自由度会比较大啊，然后同时就是这些导师往往资源也比较丰富啊，所以学生也不是很愁这个啊这个资金、房顶那些问题。啊，这是一种。
但是，如果你就是你自我定位是一个比较刻苦的，然后愿意做很多活，很很愿意拼命拼的，但是同时呢，就是方向上我不自己不是很了解的，那我建议去选一个就是刚刚毕业、有非常雄心壮志的啊老师啊，然后或者说非常有前景的这样的一个一个老师来来做自己的导师。那么这个时候呢，就是，呃，就是这两个之间就是相互成全的关系嘛。因为对于导师来说，他希望自己的学生能跟自己站在同一条战线，那个同一条战壕里面，然后把事情做出来。啊，那么同时，这些老师本身也会对工作非常认真啊，非常刻苦啊，因为这是他的这个整个职业职业的这样的一个一个一个一个一个一个方向。啊，所以我感觉上是应该这么选的啊，啊，但是这个情况其实也不一样，因为可能跟最后就是选的学校的位置啊，地理位置啊，包括学生的就是师兄师姐的这个他们做了些什么东西方做的研究方向，对吧？还有性格啊，还有当时那个当地的情况，这都是有关系的。啊，所以非常建议就是学生在选导师的时候，跟不仅跟导师聊，还得跟导师的师兄师姐们聊一下，看看他们的想法是什么，嗯。
那非常非常感谢的，非常非常实在的建议，我觉得很很有操作性。我觉得广大的一些校友们，还有即将申请呃研究生program的一些同学们，可以参考一下。嗯，对对对，嗯，不过话说回来，现在的就是特别是大语言模型的这方面的领域呢，学术界和工业界相比来说，可能就没有这么大规模的计算资源了。那而现在新的进展呢，其实我呃是由工业界可能引领着，然后学术界呢可能在跟。但这种情形下的话，呃，如何在学术界去做一些比较有影响力的研究呢？作为一个学生啊，或者是作为一个刚步入学术界的一个年轻老师来说的话。
对，我觉得，呃，这个完全看，一个是看兴趣，另外就是看趋势啊。像大语言模型这个方向呢，就是资源其实是不太够的。如果你要从头开始训练一个模型，如果在学术界呢，啊。呃，但是有很多可以做嘛，比如说，呃，像最近那个S one 啊这篇文章，它其实就是用尽量少的资源、尽量少的数据来训练出的模型跟。大模型就是大公司的模型，质量一样好，对吧？所以这种其实是一种就是以少胜多的一种方案。那么这样的方案如果做得好的话，影响就会很大啊。然后另外呢，就是说，呃，用的资源也不会特别多啊。这个是这个是一种，啊，还有一类呢，就是说四两拨千斤的这种工作，啊，就比如说如何去理解神经网络内部的构造，对吧？如何去那个怎么样那个。把神经网络搞坏掉，比如说 jailbreaking 这种，啊，这样的一些工作，我觉得这些工作其实对学术界来说都比较适合啊，因为其实资源不是特别多，但是做出来的话影响力会很大。我觉得这个，啊，当然还有一些工作，像建立这个 benchmark，啊，建立新的这个评价机制啊，对吧？或者说设计新的范式，啊，这些东西其实也是影响力会很大的，如果做得好的话，嗯，其实还是有不少可以可以可以完成。
嗯，那学术界是否就是可以和工业界一起合作呢？你觉得这种合作的可行性呃有多大？因为工业界可能会更加追求利润的导向的一些事情，而这些 fundamental 的一些东西，或者是 fundamental 并且消耗很多计算资源的事情，工业界可能不太愿意投资。呃，我觉得工业界其实也是要有需要方向的，对，其实很多的应该说有很多的组还是愿意跟学术合作，嗯啊，但是其实完全取决于，嗯，这种合作的微那个当前的这种微状态，或者说那个微观的情况如何啊？有可能比如说某工业界的组。他是有一些资源，但他缺方向，啊，缺一些有意思的这个那个探索的这个想法。因为工业界其实大家都是相对来说比较那个 short term，就是就是比较短视吧，因为不能说，就是这个是客观说法。对，那么如果有一些学术界的长期的想法能够融进来的话，那可能会有更更更更加大的突破，啊，所以这个时候工业界的人就会去愿意去跟学术界人去去合作，然后把事情做成。
啊，这么这种机会呢，其实完全取决于，就是比如说一个大公司里面一个小的部门的它的微环境是怎么样子的，每个部门是不一样的，每公司又是不一样的，所以这个难讲啊，这个是一个非常。局部的一个角色的过程，嗯嗯，明白明白，谢谢谢谢师兄分享这样一样的见解。对对对，现在买它里面我都觉得都有很多不一样的地方。每个组可能它的它的目优先级是不同的，对吧？每个组有些组可能会出现一两个，比如说那个访问学者的职位，对吧？那时候学术界的人就可以拿来可以过来那个那个可以过来跟工业界的人一起啊做项目啊，这个都是有可能的啊。但是这种机会呀，或者这种这种情况都是很难，就是预先预测的啊，就是完全看就是大家的对于学工业界有多少了解，认识多少人，然后机会从哪来啊，这个都不好讲，嗯。
明白明白，但至少对，但至少知道这样一个情况，其实这个信息对学术界来讲也是非常有价值的。是的，是的，是，嗯，对。另外一个就是，其实我在读的时候，像师兄，我猜测苏艳的一些观点哈，是不是来自于师兄的一些观点？特别是对那个 L M 一些评论，比如说苏艳就说啊， L M 其实是在模仿数据，但是呢，让人感觉是个智慧体。呃，其实这我在想，当时是不是师兄也是这样的一个看法？嗯，是的，因为这部分呢，有一些有些讲法，像里面有一些说法嘛，是就是它看起来像是人的那个决策，但是其实它用的是短路的方式啊。就看到天空是蓝的，他没有真的看过天空是蓝的，他就是通过天空跟蓝之间有关系。对对对，它是蓝。
其实这件事情在 A I M 之前就已经发生过了啊。像二零一五年、二零一六年的时候，有一阵子那个 Visual Question Answering，就是就是根据图像和那个图像来回答问题、理解问题啊，这个这个方向特别火啊。当时大家会觉得哇，这个模型那么厉害。啊，就是他能回答出很多问题，这些问题看起来都非常深刻深，但是他就是能学出来。后来有人，他是一开始大家觉得那个神经网络特别厉害啊，能改变世界，能够获得一切答案。后来有人发现，你把图片全部扔掉，然后只用只用那个文字，然后他回答问题，他回答也差不多挺好的。所以其实图片没有什么用，嗯呃，其实大家这时候才发现了啊，原来很多时候那个这样的模型其实是利用了这种因果关系中的一些那个短路的路径啊，这种便捷的那个作弊路径，然后获得答案的。
啊，那么这样的话呢，其实大家会恍然大悟，会意识到就是，AI其实并没有那么聪明啊，只是很多时候人类会给这种比较聪明的，就是机器啊一种幻觉啊，觉得它跟人一样聪明。啊，所以人有这个有这个倾向性啊，他每次都会对这个现代系统产生一种共情的啊能力，然后啊把这系统能力部分拔高了啊，这个其实是应该说是在二零一五一六年的时候已经能看到的东西啊，那现在 A I M 出来之后又出现新一波的那个同样的一个想法吧，对吧？所以我在写的时候呢，那大语言模型就出来啊，我写了这观点，但是观点后来发现大语言模型来之后也是有用的，嗯。
呃，对对对，非常有先见性。不过现在大语言模型呢，确实有一些商业价值，比如说像呃快手的一些大语言模型的应用呢，也给带也给快手带来了利润，还有一些抠定相关的一些效率的提成是非常非常显著的。还有最近非常火的宫崎骏风格的那个呃，或者是动漫风格的呃那个那个效果的图片，也是大家用的非常好。然后可行性有的话，就会吸引的很多。投资方或者是公司呢，就把资源给投进来了，让这件事情呢，虽然它它是一种它是一种模仿，但是呢，它解决了实际的问题。然后呢，很多资源就会把它呃投到怎么样有效的、高效的实现这件事情上，怎么样更便宜的实现这个事情上。然后，比如architecture，还有一些硬件的优化啊等等，全部都会倾向于这件事情。
然后，那如果比如说，呃，有一些研究者之后搞出了一个更好的，或者是更接近于跟比呃推理方能力呢，可能假设从本质上来看，推理能力高于 transformer base 的这些 model 的话，它可能短期内计算效率上都不一定能跟得上 transformer。这么多的一些优化的一些，呃，优化后的一个啊效果，像那那那师兄怎么样去看待这样一个问题呢？就是说是否 transformer 呢让这个一些先进的学术进展呃变慢了一些？然后如果是说探索一些新的方向，更加从根本上来替代 transformer 的话，呃，是应该 follow 怎么样的一个策略？
对，我觉得这个问题我也一直在想这个问题，因为呃，我自己这边也在想，就是什么样是新的架构啊，什么样是新的这样的一个机理，能够让这个训练变得更加有效率啊，所以我觉得有可能当然是就是说我还是尽量借用 transformer 的 component。啊，但是在一些关键的地方进行修改，让它变得更强大啊，这个是一个办法。因为确实，你从头开始建一个新的架构，你这个速度啊，或者说你这个加速，然后各种各样的那个 infra 上都是不支持的。对，就比如说吧，就是有人说啊，我要做一个。类似于神经的架构啊，然后我这个神经网络希望是，就是那个它的传输可能不是电信号的，我们需要从脉冲信号来传输。嗯嗯，啊，就是这个之前我看过有些文章嘛，像那个。那个什么，呃，就是这种就是脉冲神经网络，那么这种其实一个是就是它确实有意思，但是你要加速的话其实不太容易，啊，因为现在的主流GPU芯片还是基于那个矩阵乘法，啊，所以呃这样的话就会导致这个东西下下落地非常慢，嗯，所以我觉得就是尽量还是。从数学原理出发，然后找到一个关键的点，但同时能够那个用现有的技术来做加速啊，那么这样的话可能会有比较好的那个收益啊，大概是这样的一个感觉啊。但是其实就是要怎么弄呢？我们还是在思考中嘛，嗯。
嗯，明白明白，也就是说尽量利用好现有的成果，然后有自己一个 baseline 以后呢，在这上面提高一些。是的，是的，是，嗯，这个比较比较现实吧，对吧？然后，因为其实说实在，我觉得总有一种方案能够将自己的想法转化成现实的，就是不一定是完全跟传送不一样啊，其实可以有些地方传送一样，你说传送不一样就可以。啊，我觉得就是说，那个智能的数学原理应该是在那儿了，只是我们现在还没有挖出来。但是基于这数学原理或者基于这个基本原理的话，有什么办法可以把它实现到不同的硬件或者说不同的架构上面啊？其实有很多灵活度的啊。
就说同样的数学力学可以实现在大脑里面，大脑里面有很多的约束啊，比如说你有免疫系统啊，你的功率不能太高啊，对吧？你不，你必须有各种那个你保持分布式啊，有时没细胞死了之后，你还是得那个工作。那么这些部分其实呃都是约束，在这种约束下，它都能找到一个解，啊，那我觉得就是在现代的工程之下，那么多的那个基本的啊矩阵运算呢，或者说各种基本加速条件下呢，其实也许也许另外有一个解也是有可能的啊，所以并不一定要拘泥于某种类型的加工吧，就是说如果说数学你知道之后呢，也许有的办法可以把它放进去。嗯，明白明白。对这，我觉得师兄的思路非常的非常的实实际，我觉得套动性也非常非常的。