Hello，大家好，我是小俊。今天我们的嘉宾是游凯超，他是创业公司Infra的联合创始人兼首席科学家。那这个公司很特殊，它是从伯克利一个。校园开源项目vLLM演化而来，这个社区的核心维护者用了将近三年的时间，把它从一篇算法论文变成了一个开源社区，又变成了一个公司的正常运营。这些维护者们放弃了大量的个人诱惑，坚持着他们所相信的开源精神。
那今年初呢，Infra也获得了一点五亿美元的种子轮融资。所以我们也讨论了，当一个寄托着社区情怀的开源项目变成一个商业化的组织运营之后，它所面临的抉择转变与思考。那另外一方面呢，我们也非常希望在AI Infra的技术前沿上给大家带来一些新的思路。所以我也和游凯超聊了聊，在AI Infra。模型结构，甚至连Honeys Engineering都要联合设计的时代背景之下，那这个多方的联合设计应该怎么做？
那接下来就是我对游凯超的访谈，期待二零二六年我们和AI共同进步。最后我们是怎么说动他的呢？就是就是晓之以情，动之以理。就是最后跟他说，你如果不跟我们一起创业，你赚到了很多钱，但是十年之后WeWork项目失败了，你是开心还是还是不开心？那么比如说有的地方水流比较湍急。有的地方水流比较平缓，那你在这两个地方怎么样去设计你的发动机，使得你的发动机能够更好的利用这部分能量？
嗯啊，这个就是所谓的这个模型和 infra 的 co-design。那我觉得 DeepSeek 的这个深厚的 infra 工底，可能是来自于就是他们之前做换方量化的时候，对这个性能的一些极限极致的这个压榨。嗯，因为大家把 token
和电做一个类比的时候。可能会觉得，就是电它是比较通用的啊，电它是可以调制的，但是 token 它是没有办法去做调制的，就是你没有办法说把一个 DeepSeek 模型的 token 转化为一个 Kimi 的 token，这个 token 它是带着模型的烙印的。
Hello，凯超，先给观众朋友们打个招呼。大家好，呃，我是游凯超，哦，我是本科和博士都是毕业于清华大学，然后现在是 Infra 的联合创始人兼首席科学家。那我现在的主要任务呢，就是在维护以 vLLM 为核心的这个开源大模型推理引擎的这个相关生态。然后我们的目标是为AGI提供软件服务。我也是小俊播客的这个忠实粉丝啊。
啊，我们之前看到很多行业的这个前辈朋友们都来小俊这里参加过这个播客。那像张翔宇老师啊，这个杨志林学长啊，以及Minus的记忆超，我们都很熟。然后我也很荣幸有这次机会来这里跟大家一起分享一下我的一些经历和看法。说到Minus的记忆超Pick，其实凯超这次来我们节目也是他帮忙介绍的。对对，那个是去年十二月份的时候的事了。
然后那个时候其实那个Manas还没有被Meta收购。然后但那段时间其实我也在忙着成立公司，所以啊，虽然答应了要来，但没想到一拖就是半年啊。然后现在这个也终于来兑现我的承诺了。我们在正式聊技术之前，还是非常好奇的，想要探究一下你个人的经历。你是从什么时候开始接触计算机编程的呀？你是从初高中就有一些竞赛相关的经历吗？
我大概是从二零一五年开始接触这个编程的，因为我在这个初高中期间呢，我的主要任务哈就是这个中考、高考，就是正常的这个高中的学习，然后副业呢会做一些这个数学、物理竞赛方面的学习，然后提高一些这个知识水平。呃，算是一个我觉得比较典型的理科生吧。嗯，然后竞赛方面呢，其实成绩也不算亮眼，就是物理竞赛有一个省级一等奖啊，用处不是很大啊，就是最后这个对高考也没有很多用处。
所以呢，竞赛结束之后呢，我就继续准备高考。那所以我并没有这个算法编程比赛的经验。但是这个有一个这个我对计算机编程的了解呢，就是啊我们在学数学物理的时候，然后当时接触一些辅助计算的软件，比如说我印象深刻的有一个叫做几何画板的东西啊，你可以用它去观察各种函数图像，然后去做一些这个物理的仿真的动画的演示。
啊，虽然现在可能没什么人知道这些软件了，就是技术发展的太快了啊。虽然我这个回想起来好像只是十年前，但是好像已经是上一个世纪的东西了，没有人记得了啊。但是当时这些软件还是给我带来很大的震撼，就是让我看到计算机能做很多事情。然后呃，还有一个比较相关的事情是，清华大学在二零一三年的时候推出了学堂在线，这个基本就是对标国外的EDX的这个在线教育平台。
那么一四一五年的时候呢？啊，就是我在学习竞赛的时候，那么学堂在线呢，把很多清华的老师请来录制了一些教学视频。然后我当时一开始是在上面学习这个大学物理，因为我们中学的这个物理竞赛本质上就是大学物理加一些微积分。然后呢，学完了这个大学物理和微积分之后，刚好这个学堂在线他当时推出了跟EDX联名的一个Python的课程，然后我就跟他学了这个Python。
嗯，那么这个算是我第一次认真的学习一门编程语言。呃，虽然就是初中、高中阶段，我的主要任务是中考、高考，但是我不太喜欢这种无意义的重复劳动，就是我不喜欢这个刷题，所以我这个更喜欢学习新知识。那所以我的很多备考的时间都是拿来学习这种各种课程啊，虽然说这个。题目比较简单的时候，他不会考到这些知识。但是我个人还是觉得啊，学习这些课程能够学到一些新的知识，然后他对于我深刻的理解一些难题也是有帮助的。
那这部分内容你是没有办法通过重复刷题来获得的啊，所以我个人感觉就是学到知识这个比较满足。啊，虽然高考确实，他最后就是我那一年高考，它比较简单，所以我的这些能力可能也并没有体现在高考分数上面，没有用武之地。对，所以最后其实高考分数也就是勉强擦着清华的分数线上来的，啊，但是我觉得这个学习的过程还是很快乐的，就是确实学到了这些知识，我觉得是有用的。
哎，你刚进清华的时候好像还不属于就是最优秀成绩最好的那一波，好像是高考分数线比清华的录取线是高了两分，然后你是怎么在清华逆袭的呀？我觉得不太好说逆袭吧，就是呃，确实高考分数线就是可能呃分数就是比分数线高那么两三分，但是我觉得这不是很能反映，就是你不能拿它去预测一个人在大学的这个过程啊。我觉得它更多取决于你在大学里面干什么，就是那个分数它只是一个admission，就是你进了清华之后应该把这个分数就忘掉了，你就应该接下来做大学想要做的事情。
你当时有多卷？我看到一些记录说，比如说你一入学就开始疯狂追赶，大一发了一百多封邮件给老师请教问题，然后又看了一万多页的学习资料，而且你的精读笔记、你的论文精读笔记在校史馆展出，等等等等吧。最后三十六门课程获得了四点零的成绩。呃，这个是是比较老的历史了，已经过了好多年了。但是我觉得这个也不是一个卷吧，更多是说，就我觉得我还是比较享受学习。
然后呢，在大学里面确实，我觉得学到了很多知识。那比如说，你说发一百多封邮件给老师请教，那其实十多门课，然后每一门课你每周给老师发个邮件请教，那就有一百多封了。所以，他我觉得更多是一个坚持的过程吧。啊，包括学习各种东西做的笔记啊，也是因为我觉得在大学里面学到了很多，然后在记录了很多啊。就是我并没有把笔记的数量、这个字数什么的当做一个目标来优化它，就是。
对，所以我觉得更多是一个自然而然的，就是学习的结果。因为很多人认识你是从 vLLM 开始的。但是你在清华读书的时候，你的研究方向应该做的是迁移学习，但这和你后来做的推理系统看起来完全是两个世界。就是你是怎么从一个算法研究者过渡到今天这个深度参与系统工程的人的呀？我觉得这里面主要有几个主要原因吧，我可以这个稍微说一下。
嗯，啊，第一个原因是我觉得这个学术圈现在是一个礼乐崩坏的状态。就是我在刚接触人工智能研究的时候，大概是一八年吧。然后那个时候，可能一届学术会议，它一年大概几百篇论文左右。然后这个时候，我觉得它的学术社区比较健康。就是你投稿之后，然后呢，审稿人可以给你一些比较啊有建设性的这个积极的反馈。他会告诉你说，哎，你这个地方做得好，那个地方做得不好，然后你应该这样去改进啊。
就是我们真是真正的是在认真的讨论，怎么样把一个工作做得更好。但是呢，后来这个学术会议的规模的扩张，它的速度远远超过了社区成长的速度。这个人工智能会议的投稿数，它每一年都是在呈这个几何级数的增长。所以，一个显而易见的问题就是，审稿人的数量和质量都远远比不上这个投稿的数量。那所以，在这个时候，其实审稿的质量急剧下降。
那你的投稿就像这个抽彩票一样，就是你中或者不中，可能跟你这个工作的质量本身已经没有很大的关系了。嗯，那我是亲眼见证了这个过程，所以。啊，只能说比较痛心吧。然后，但是这个大厦将倾，它不是我一个人能够改变的，所以我就离开人工智能算法的研究，然后就不再把这个论文发表作为我的追求了。这是什么时候发生的变化呀？
这是你大几的时候？呃，这个应该主要还是研究生期间的啊，就是我一八年开始嘛，然后像一九二零年有这个趋势啊，但是我觉得到到后面这个二零年之后，这个趋势变得越来越严重，然后啊，这也是一个逐渐的过程嘛，对吧？就我不是哪一天开始突然就不投了，更多是感受到这个趋势，然后就逐渐的就对这个投论文不再有那么大的兴趣了。
然后呃，第二个原因是这个我发现人工智能算法领域的成果。其实它很多时候依赖于这个机器学习系统。怎么说呢？就是呃，我们做研究的时候，这个我们认为人工智能领域的这个这个算法领域的天花板啊，至少就是我个人心中的天花板，就是何凯明老师。就是他的这个 ResNet
是吧，一战封神。嗯，然后呢，后面每一次就是只要凯明老师的这个主页有变动啊，或者他又开了，这他又挂了一个新的这个 Archive 的论文，我们这些同学就像收到了新的神谕一样，就是上天降下了一个神谕，原来又有一个新东西可以做了，对吧？
然后我们就可以就就去拜读这个凯明老师的论文。那那个时候，其实我们这个私下讨论的时候，也经常会有这样的疑问，就是啊，看完了凯明老师的论文啊，我们觉得这个想法实在是太自然了，就是浑然天成的感觉，一开始就应该这样设计。但是好像类似的想法，其实我也早就想过。呃，可能在实验室的组会上，啊，我们几个月前探讨这个问题的时候，哎，我们也说这个你这个东西这样设计是不是就可以了呀？
啊，我们甚至可能还做过一点小的实验去验证说这个东西有没有效果。那为什么最后成功的是凯明老师呢？嗯。这个除了他个人非常厉害的原因之外呢，我这个分析出来的一个结论就是，凯明老师做的事情，他不仅是方法简洁有效，而且他是做了大规模的实验的。那我们实验室里面的这些小虾米是吧？我们只是在玩我们这个玩具数一数据集，然后呢，在上面就是有点这个螺丝壳里做道场的感觉啊！
一个小小的数据集，我们玩出花来了，然后但是并没有做规模化的实验。那当我尝试着把这个手头上的实验规模扩大的时候，呃，这个显而易见的事实就是支撑实验的这个机器学习系统以及对应的数据，它其实才是决定成败的关键，而不是说你去调这个 cross entropy 的这个五种加权方法，嗯啊，所以呢，这让我这个更关注机器学习领域的一个进展。
然后，呃，第三个原因是这个一些工业界朋友提供的反馈。那上学的时候，我非常喜欢参加一些活动，然后结交一些朋友啊，跟大家聊一聊现在工业界在发生什么。然后我印象比较深刻的是，这个二零二二年有一个叫做WOS大会啊，这是国内的一个这个机器学习和机器视觉的一个大会。然后呢，我在上面有个poster啊，就是我去那边讲一个poster。
然后呢，我在会场会场上这个刚好遇到了张强宇老师。然后我就厚着脸皮拉着张老师在那聊了一个多小时，哎，他他也这个有耐心跟我聊一个多小时啊。然后张老师他当时在旷世啊，他应该就是旷世的首席科学家。然后呢，他聊的时候啊，我就很惊讶的发现，他作为这个目标检测算法领域的一个啊这个大佬吧。他跟我们聊的其实不是说，哎呀，目标检测算法，我们现在又发明了什么新的loss，这个效果怎么样了？
他其实说的更多是说，啊，他们现在面对的，就当时啊，他们当时面对的这个面对的复杂硬件对于软件带来的挑战。啊，以及这个像旷视，它也要设计一些像这个为目标检测CV算法所呃特化的一些硬件。那么这些硬件上，为了特殊负载设计的这些硬件啊，它有这个多级的缓存结构。然后呢，你需要手动控制在芯片的这个多级缓存之间的数据流动。
所以，这个旷世的工程师他们每天最头疼的啊，不是说我这个参数怎么调，而是说这个我这个英伟达的CUDA代码里面又有这样的问题那样的问题，然后我需要适应这个硬件去写这样的算子那样的算子。啊，所以这个是对我触动比较大的一个事情。然后，呃，我觉得或许还有其他种种原因吧，但是这三个原因已经能回答很多问题了。啊，他们共同促进我，就是促使我这个从算法的研究转向机器学习系统的这个工程的研究。
哎，我你刚才讲的时候，我在想，有没有可能凯明的那个年代，他就更适合算法的研究，然后可能发展到今天，可能算法的研究，我不知道能不能叫做嗯某种程度上雕花，然后今天可能更适合大规模的系统研究，就你觉得跟时代背景有关系吗？哦，绝对，我觉得是有关系的。就是我觉得确实，就是凯明老师的那个时代属于是算法研究的蓝海，然后那个时候还没有那么多人进来。
所以我觉得算法那边能做的事情比较多，嗯，但是后面算法做的事情可能就是一些比较 low hanging 的 fruit 都被大家摘完了，然后啊，再往前面可能很难有一些根本性的变化，嗯，以及还有就是大家对于 scaling law 的这个信仰嘛。就是你的基本算法其实不需要怎么变，你只需要不断的在往上面堆算力、堆数据，你的效果就能够自然的变得更好。
对，虽然你对算法失去了希望，然后对发论文失去了希望，但是其实你在本科的阶段其实也发了很多很好的论文，然后你也进行了很长时间算法的研究。你要不要讲讲，就是你整个的研究的一个过程，从本科到博士，然后呃，你的研究轨迹是怎么发生变化的呀？啊，对，刚才说的那个转变，其实是在博士期间啊，就是我本科也没有做很久的研究，当时也是在跟随着这个算法的研究。
嗯，那我的研究方向呢，其实我觉得很多时候还是靠缘分和这个时代的趋势吧。就是刚才说到我我这个高中的时候在学堂在线上面学习嘛，然后上面啊有一些这个课程。然后呢，到了大学之后呢，我又是啊，又可以通过像EDX呀，还有这些名校的公开课，然后来学习进一步的知识。那那个时候，嗯，比较有名的公开课，像这个吴恩达老师的机器学习课程，然后还有李飞飞老师的计算机视觉的课程。
然后呢，还有Christopher这个Many老师的自然语言处理课程，啊，这些都是非常有名而且非常好的公开课。那么我学完了这些课程之后呢，就呃尝试找个实验室做一些研究。然后呢，当时刚好我们学院里面也有一个老师在做这方面的研究啊，所以我就从这个人工智能啊、深度学习这方向开始研究。然后呢，后面也是在这个老师手下继续，就是他就是我的博士生导师。
然后我就在这继续读完了博士。嗯，哎，你为什么没有当时考虑出国？呃，有考虑出国。其实一开始是准备出国留学的，但是后面受疫情的影响比较大哦，啊，就刚好撞上疫情了，然后啊，也不想那么折腾，就留在学校里吧。对，然后本科期间做的事情呢，主要是跟导师做一些这个我们叫做数据稀缺场景下的高效学习，就是提升机器学习算法的泛化性。
嗯，但后来发现呢，就是这部分研究它比较。锦上添花，就是别人已经做好了一个任务，然后呢，他可能做的不是那么好，然后呢，我再把一个通用的方法用上去，然后希望给他提升百分之一到百分之二的准确率，这个就很依赖于别人，就没有办法大规模的应用啊，所以后面实验室在这方面的投入其实也逐渐的变少了，然后呢。啊，一九年暑假的时候，我是去加州大学伯克利分校的，我们这个Michael
Jordan老师手下做过一段时间的暑期研修，然后呢，学习了一下美国那边的一些前沿的AI进展，啊，也是开阔了眼界。
然后当时其实已经有一些苗头，就是在做大模型相关的技术了。呃，回来之后就是博士入学之后呢，那么也是这个研究方向逐渐在往大模型这方面靠吧。嗯，那么我是二零二零年开始读博士的。然后那个时候，大模型其实已经在开始发展了。就二零二零年，应该就是这个 GPT 三发布的时候。啊，然后，但是我们实验室的这个算力资源也非常有限，所以我们没有办法做这个大规模的预训练的一些实验。
那我就根据我们能支配的算力，然后研究了一些像大模型的微调的方法。那这个做了一段时间呢，虽然有一些成果哈，但是其实也跟之前有一个类似的问题，就是这个它比较锦上添花，嗯，就是我们做了一年的时间，研究各种算法，可能在原来的场景下也提高了百分之一到百分之二的效果。但是呢，你会发现一年之后，哎，大家有一个更好的、更大的预训练模型了，那你只需要简单的替换一下这个预训练模型，你带来的收益比我这个算法还大。
那所以呢，加上刚才讲到的一些原因，那我博士的后半段就从这个人工智能的算法研究切换到了人工智能这个机器学习系统方面的研究。嗯，然后呢，我是在二零二四年的时候啊，又申请去加州大学伯克利分校交流，然后接触了vLLM，然后再开始做这个大模型推理系统。在你博士开始之前的二零一九年，应该是对你来说有两件比较重要的事情，一个是你去Michael
Jordan老师那里去做交流，然后你遇到了现在的合伙人，呃，这个是一个非常重要的事情。
然后第二个是你获得了清华特奖，这两个事情的先后顺序是什么样的呀？应该先是暑期研修，就是这个交流，这个是在二零一九年的暑假，然后特奖是在二零一九年的年底左右吧，啊。所以，嗯，在那个交流，你第一次遇到呃，你现在的合伙人也是vLLM的发起人的时候，你对他的是什么印象啊？当时是一个什么样的故事？你在知乎上分享过这段经历啊？
对我我可以这个把这个具体展开一下，就是二零一九年暑假，刚才说到就是我在Michael Jordan老师那里做署研嘛。然后，Michael Jordan老师他是隶属于一个叫做 Rice Lab 的实验室，嗯，这个实验室它是 U C Berkeley 的 E E C S 系下面的一个实验室。然后，这个实验室它是专注于机器学习系统的设计。
那么，它其实就包括两部分，一部分是机器学习，一部分是系统。然后Michael Jordan老师他当时是负责这个机器学习算法的方向，嗯，然后我在研修期间呢，也经常参加这个实验室的各种活动，所以呢，也借此机会就是接触了更多机器学习系统方面的知识。那刚才说到的这个啊，我们 vllm 的创始人之一，也是我们的好朋友李卓汉。
那么他是呃实验室当时是二零一九年秋季即将入学的博士新生，就是他比我啊高一级。OK，啊，所以当时我是大三，然后他已经大四结束了，他要这个申就是他已经申请完了，他在那个 Yang Storer 老师那儿做博士。然后呢，呃，当时他是在实验室参加一些这个入学前的交流活动。那我对他这个当时分享的研究经历比较感兴趣，然后就跟他呃加微信沟通了一下啊。
所以就是他刚才说的，他的导师是Yang Stoyka嘛，他就是负责这个Rice Lab里面的机器学习系统的方向。那所以我觉得也是啊，很有幸，就是那一次暑期研修，我有机会同时接触到这个顶级的机器学习算法的老师和系统的老师。嗯，然后啊，我在暑期研修结束之后呢，我是就回清华继续学习嘛。然后这个又是比较巧的事情，就是这两个老师他刚好那一年是成为我们学院的访问教授。
所以，在我这个结束交换之后啊，就是我结束暑研之后回到学校，他们也紧接着来我们学校访问了。就是他们从美国来到中国访问清华。然后呢，因为我当时在暑期研修的时候跟他们交流过嘛，所以我就负责这个他们访问过程中的一些活动的筹备。那那个时候，其实我心中已经有一些萌芽的想法，就是我觉得这个。啊，机器学习系统非常有意思。
然后呢，我也想做一个比较有影响力的软件啊。但是有一个担心，就是总是担心自己啊，就是无名小卒，然后做出来的东西就是没有人用。所以我在一次这个交流活动中呢，我跟Yang
Stoyka老师说，啊，就是这个怎么办？就是我如果我想做一个机器学习系统，但是呢，可能又没有人用，那我做这个系统的时间是不是浪费了？嗯，那Yang Stoyka老师他就用他这个人生阅历告诉我说，就是他之前做了很多很多事情，然后呢，他说只要你是一个好的软件，总会有人用的。
啊，这个也是我对于这个转向机器学习系统的一个啊比较大的影响因素吧，就是Yang Stoica老师的这个鼓励。嗯，这其实是个前奏。你还没有真正做出选择的时候，对对，这些是一些这个线索吧，就是他们埋下了一些种子。啊，然后呢，呃，我后面在学术研究期间，就是也零星的做过一些开源软件的建设，啊，比如说二零二零年的时候，啊，就那个时候也是疫情，反正也没有没有什么事做，就只能困在这个宿舍里面。
然后呢，当时和本科同学翁嘉毅，啊，一起做了一个开源强化学习的系统，叫做天授，啊，当时还是训练这个游戏机器人，就是玩一些这个Atari啊这些视频游戏。啊，然后二零二二年的时候呢，我也做过一些像把我设计的一些机器学习算法贡献给一些主要的开源社区，像这个 Open MMLab 的一些计算机视觉的库，以及像 Pytorch 这些机器学习库。
那所以在开源社区里面也算有一些影响力吧。嗯啊，然后二零二二年底呢，这个。就是 Chat GPT 发布了，然后呢，我就是看到当时我们还在一起玩泥巴的这个朋友，就是青苹果同学，对对，青苹果在植物上这么称呼他，对，就是翁嘉译，他现在已经是 Chat GPT 的训练师了。然后呢，当时 OpenAI 的每一个博客都是就是卷卷有他名，所以就是他已经属于是彪炳史册了。
那那个时候我就在想，就是我未来要走向什么方向嘛？那我当时也跟他请教了一下。然后呃，发现就是大模型相关的研究呢，几个方面吧。然后一个是这个数据和算法，这些是跟公司绑定比较强的，就是。啊，你的这个算法研究和数据研究都需要公司的比较强的支持，公司的这个大量的资源。然后呢，其中有一部分是机器学习系统啊，那么这一部分你是可以在实验室里面进行小规模的研究，然后可以很容易的扩展到大规模的场景的。
所以这个也是坚定了我这个对于研究方向的一个转变。然后就是到了二三年的时候，这个啊疫情已经基本结束了，然后国际交流就恢复了。那这个时候呢，我们的这个学院的访问教授就再次来我们学院访问。然后呢，呃，但是那个时候就是U C Berkeley的，当时叫Rice Lab，嗯，然后四年过去之后，已经叫做叫这个Skylab了。
然后呢，就二三年秋天的时候，呃，Yang Stolyar老师再次这个来我们访问的，来我们这里访问的时候，啊，我那个时候已经比较坚定了，就是我想继续做机器学习系统。然后呢，我就跟他说，啊，我能不能去你那里这个交流访问？那这个时候，我是嗯跟他这个提了一下，说呃四年前我其实问过你这个问题，然后呢这四年里面我也在一直探索，就是我能做什么事情，然后如果我做出来一些有意思的事情。
啊，是不是会有人会用？那确实这个效果也是很好的，所以啊，他也是就是看到这个四年前的一个清纯少年，然后四年之后还跟他说啊，他还一直在践行这个四年前他给的一个建议，所以他也非常感动，然后就同意了我的申请。所以我在二零二四年的时候就是在 Skylab 交流，然后刚好就是赶上了这个 vLLM 项目的发展。呃，所以说就是呃很多的这个机缘巧合吧。
但是我觉得就是啊，如果没有这个一九年的暑期研修呢，可能比如说我就没有那么早的加上这个卓汉的微信啊，我可能这个见杨苏维克老师的时间也会更晚一点。呃，但我觉得我的这个整体的大方向是不会发生变化的，嗯，就是这个大方向它其实是很多事情积累的结果啊。我觉得我依然会从这个算法研究转向机器学习系统啊。这一次这这个重大决定，其实我是酝酿了好几年的。
嗯，有一种冥冥之中的感觉，冥冥之中，以及我觉得这个是时代的趋势。嗯，啊，因为你同时看过，就是在算法上和在系统上都非常顶尖的学者，呃，Michael Jordan和呃Ion Stoica老师，你觉得他们的底层思维有什么不一样啊？底层思维啊，我觉得Michael Jordan老师更偏向学术和理论一些啊。
他做的是机器学习理论，当然他从来不把自己叫做AI研究者，他更多的是研究这个机器学习算法背后的一些这个理论的inside。他也做很多像啊博弈论啊、这个经济学分析啊之类的事情。所以它可能更偏理论一些，嗯，然后呃，Young Stoica老师更偏系统一些，然后啊，他的追求很简单，就是 real world 的 impact。
所以他做了很多这个开源软件，然后很多呃开源软件后面都孵化成了重要的项目，然后成为了这个工业界的基础。你追求的是后一个，对我追求的是后一个，而且我觉得啊，就是他们两个肯定没有优劣之分啊。但是我觉得在当下的那个时代啊，后一个是更值得追求的，前一个比较难追求。就像我跟翁佳一聊到的，就是前一个那种东西，你要能做出 impact 的，只能在世界上很少的地方有这样的坑位，能够做出这样的影响。
他跟你的选择也也比较相似，对吧？对他也是做的AI infra，就是我们当时一起做那个天授项目嘛，就也算是一个啊比较小的机器学习系统，嗯啊，然后啊，其实他当时也是做了一些这个算法方面的尝试，然后其实也有很多挫折，就是。你可能提出一个算法，然后投稿论文，然后对方说你这个不 novel 没有用，然后他最后可能就觉得，那我不如写一个系统，就是我告诉你说这些东西，就是训出来你就是牛。
所以你跟吴佳毅是有点惺惺相惜的味道，是吗？在读书的时候，呃，可能不算是惺惺相惜吧，更多就是我觉得我们还比较志同道合，嗯，就是大家都觉得这个事情比较有意思，然后就一起做。你刚才说了，你慢慢的对论文丧失了兴趣，然后也不想做纯理论的东西。但是你在本科的阶段，其实还是要去发论文。呃，你也是特奖的获得者，就这个是怎么发生的呢？
刚才我们说的是另外一条线，就是你是怎么走上系统工程这条路的？嗯，另外一条线，你是怎么在本科阶段就是获得了很多的顶会的认可，然后同时拿了清华特奖的？这是一个渐变的过程嘛，对吧？其实学术界他也不是一开始就礼乐崩坏的。就本科你还是有希望的，是吗？对对，充满希望热情。对，就是我，而且我刚开始做研究的那个一八一九年，我觉得还是有一些人在踏实做研究的。
然后做研究，就是做算法研究，也还是能够被人看见，有人认可的。然后啊，大概我觉得二零年之后，可能这方面的这个兴趣就不是很大了啊。当然，就是特奖评选，它是一九年年底嘛，所以他凭借的是一九年之前的这个成果。然后呢，我刚好这个也有一些成果，所以就去参加了一下。哎，在你获得清华特奖的时候，你当时是还是很兴奋的吧？
因为我当时看到你还写过，就是要在清华不要做一个观众，要成为舞台中间的一个人。啊，对，我觉得肯定是有兴奋的这个因素，就是获奖肯定还是比较开心的吧。然后获奖之后呢，也是朋友圈变得更大了，然后我可以接触到更多的优秀的同辈，那这个是我能感觉到的一个明显的好处。嗯，啊，但是我觉得整体上来说，就是这个特奖这个事情，它其实是在被淡化的，就是大家不再赋予它过多的含义，因为清华其实有很多奖学金，然后特等奖学金其实只是其中之一。
然后有些系其实有很大额的奖学金，就是比特奖其实奖金多很多很多哦。所以特奖只是奖学金之一。然后呢，嗯，我觉得特奖它是一个特殊历史时期发展的一个产物吧，就是当时社交媒体发展的比较快，嗯。然后呢，这个学校当时大力宣扬特等奖学金的评选，然后。出现了这个像马东涵和马东昕这个双胞胎的双料特奖，然后呢，像这个陈立杰这个理论计算机科学家这种有一些这个现象级的话题，然后呢，后面就就感觉有点这个变味了，就是每年的评选你可能都可以看到在这个社会上有一些不小的轰动，然后呢，大家就会说，哎，这个是一年一度的神仙打架。
呃，但是客观上来说，就是很多特等奖学金获得者啊，他在获选的时候，其实也是这个，我叫我觉得是稚气未脱的少年，就是他一般是大四上学期的时候评选，然后呢，其实也就是一个本科生入学这个三年左右，那么把这样一个这个同学，把他过度的曝光在这个媒体的聚光灯下，其实。很容易对这个获奖者的这个正常的学习、科研生活都产生不必要的干扰。
嗯，所以我觉得我还是比较幸运的，就是在我参选的那一年，学校已经这个意识到了这一点，所以他当时这个取消了特等奖学金的现场答辩的直播，然后呢，也后也后续其实也有意这个压低了宣宣传。所以再往后，大家可以看到，其实这个特等奖学金的话题在社会上的讨论，其实这个讨论度是越来越低的。然后呢？他现在可能基本上就是一个啊，清华大学的普通奖学金。
社会上其实议论的人已经没有那么多了啊。当然才是对的，对吧？啊，对，我觉得这样子才比较好。但是你就是对于获奖者本身总是开心的嘛？就是我获得了一个认可啊！但是我觉得之前的讨论其实有点太多了，嗯。尤其比如说，当时讨论比较火热的时候，大家总会说，哎，这个今年的特奖评选是评选这个，呃，这一届清华大学的学生里面最厉害的十个本科生。
那我觉得这个说法它本身就不是很恰当，因为这个学校里面，我觉得每个同学有自己追求的方向嘛，你其实很难拿一个统一的标准说，啊，这个就是这个最厉害的十个人，然后他比其他人都厉害。啊，我觉得每个人都有自己的方向，所以不应该拿一个统一的标准去衡量大家。你今天还这么想吗？清华是一个舞台，但你们不要只做观众。呃，我我当然可以继续这样想啊，因为我现在已经不在那个舞台上了，我已经退下来了，对吧？
然后啊，如果我要对这个新入学的同学的话，这这个说几句话的话，我觉得这几句话还是适用的，就是。嗯，来清华更多的是追求自己的成长，对吧？而不是说我在清华里面又看到了什么什么样的人。其实我看你的研究方向，就是你早期做呃迁移学习、预自适应，然后你就已经开始做像 LogMe 这样的工具。你后来又和翁天逸一起做过天授，嗯，它也是一个类似于标准化的工具箱。
你是不是很早期就开始已经想做这种通用工具性的事情？我在想，你是不是从更早期开始就已经就是对你现在做的事情更有热情？Lock me那个工作应该已经是二零二一年的时候了，所以那个时候其实我已经在思考着如何转方向的这个问题了。嗯，然后呢，也是另一个趋势就是啊，刚才说到这个算法研究，嗯，就是这个投稿比较混乱嘛，然后你很难啊有比较确定的让他中稿。
那么当时我其实发现的另一个事情就是，啊，我们做算法研究很多时候需要跟别人争论，说我这个东西多么创新，就是我的 novelty 有多高。但是呢，还有另一个方向就是，你跟别人说我这个东西加速了多少倍，嗯，这个东西是比较客观的。然后呢，当时我们做的那个算法宣称是跟这个其他的算法相比有几十倍的性能提升，然后这个事情是你你可以被验证的，然后呢，你也可以分析出来说这个背后的加速的原理是什么。
所以这个东西让我觉得，就是机器学习系统它是一个更确定的领域，就是我可以明确的知道我做的贡献是什么，而且可以很明确的量化。啊，你可以说我的东西不 novel，但是你不可以说我的东西没有用。你对就是算法那边的彻底的上向是希望有没有一个时刻呢？有一个事件吗？呃，我觉得我能理解它是一个过程，但是它有最后一根稻草吗？
对，就是它是一个过程。然后像刚才我说的，我发现，呃，机器学习系统这个领域，我投入更多的时间，我做更多的优化，就能有更多的收获。那这个时候，我就逐渐的不再把精力投入到这个算法研究上面了，就没有一个关键的事件，你有有一个导火索吗？催化剂吗？我觉得没有，就是我们之前的认知一直都是这样的，就是算法做顶级的算法研究它是有用的，但是你要找到这样的发挥这样的职能的这个
position 是比较困难的，可能世界上其实也就只有那几个有限的位置。
那么在不在那几个位置上没有对应的资源，即使做出来这样的算法，嗯，也是很难发挥作用的。就就像比如说，我没有凯明老师的资源，我即使想到了他那些论文的idea，也没有用。那比如说。如果做算法的话，可能论文引用数会是一个指标，它是一个呃，就是你能够衡量的标准。那如果你走向系统研究、系统工程这条路的话，你的衡量标准是什么？
你会更看重什么数字吗？嗯，那这个衡量标准就是啊，你做的东西有多少人用，然后呢，对大家是否带来了这个真实、真正的收益？嗯。啊，比如说你的这个 GitHub 的一个项目啊，有多少人这个 Star 了？然后有多少人发来感谢信，就是在 Issue 里面说，我用你的这个东西，然后给我提高了多少多少的效率。你就不会再用论文去要求自己了，对吧？
对，这个时候论文只是一个副产物，就是有些算法啊，有些系统工程的实现，我们做的很好了，然后也已经有很多人在用了。那么这个时候，我们再把它写成一个论文，把里面的一些有价值的东西给它列出来。然后这个时候，审稿人其实一般都不会说什么，就是啊，其实他可能也就是我们算法的用，我们这个系统的用户，嗯，所以这个投稿的过程都比较顺利。
哦，其实换了一条路来走，有过纠结没有啊？没有纠结，就是我觉得这个过程还是比较快乐的，因为它的正反馈是不断累积的。就是啊，你做一个事情，你说我这个东西给你加速了两倍，然后我明白这个背后为什么加速了两倍，这个原理我是确定的，所以我也我也可以很自信的说，别人用这个东西就是能加速两倍。那这个过程中，别人给我的反馈是持续不断的累积的。
啊，这个相比来说，比如说一个算法研究者，他提出了一个新的算法，然后他说他这个算法在他的场景下啊，提升了百分之二到百分之三的准确率。那可能别人尝试复现的时候，又会因为复现的场景不一样，甚至可能说你这个算法是不是反而降低了准确率？啊，那这个过程中其实我觉得很难积累一个正反馈。嗯，刚才我们讲到一九年，嗯，你认识了 Io Stoical 教授他的实验室里的学生，啊，这可能是一个嗯早期的前奏。
但是后来他们其实 vLLM 诞生已经是二零二三年的事情了。这中间几年你做了什么事情？然后跟他们后来的缘分是怎么继续下去的呀？这中间其实就是在做一些探索，就前面说到的一些方向的转变啊，都是在这个过程中逐渐积累起来的。嗯，然后因为中间也有很多疫情的因素嘛，然后对有一些你可能不能出国交换，所以只能啊做一些这个自己的探索。
他们那边呢？欧美那边还是比较就是热火朝天的在干大模型。对，所以这个也是当时啊，就是疫情结束之后，然后 ChatGPT 出来嘛，就是给大家就有点当头一棒的感觉，对吧？就是我们这几年在干什么，对比这个对方这几年在干什么，然后人家已经干出来了一个这么 amazing 的东西。我们要不现在话题切到 vLLM 上？
最早他们诞生的时候，你是不是还没有加入？你是二四年才加入，对不对？对啊，vLLM项目的诞生应该是就是他们二三年年中左右，就是中间的中，大概六月份左右开源的。然后呢，这个工作肯定是更早的在做，大概我觉得啊，二二年这个年底他们应该就开始在做这个事情了。做这个事情应该是。啊，对，然后他们做这个事情，然后写了一篇论文，然后这个论文啊投稿，然后最后中稿了之后，他们放出了这么一个原型的系统。
当时的创始团队都是Iosovik教授的学生，对吧？包括李卓汉。对对，主要是就是作为实验室的一个科研项目来开展的。为什么好像Stoico老师的实验室好像萌发过很多这种开源项目？这是有什么样的传统吗？对，他们实验室就是我觉得跟有一些历史一脉相传吧。嗯，就是包括我做vLLM，我觉得啊也是受到这个伯克利重工业软件的一个传统的影响。
就是伯克利它有很悠久的这个开源软件的历史。包括我们做这个操作系统里面的BSD，然后呢，芯片领域的这个RISC-V，嗯，然后还有存储领域的Raid，然后呢，再到这个后面大数据分布式机器学习系统领域的这个Spark呀、Ray啊，其实都来自于伯克利。所以说，呃，伯克利历史上它已经产生了很多很多的著名的开源软件。
而且这些软件其实都是学生在读期间发起的，就是他是从学生的这个一些 research 的一些 project 开始的，嗯，然后呢，最后变成学生主要维护，然后再把这个社区发展壮大，然后再变成这个工业界的一些基础设施。说到这个，我觉得就是我们可以说一下这个计算机体系结构领域的这个大牛，叫 David Patterson。
然后呢，他在一四年的时候写过一个叫做《How to Build a Bad Research Center》的一个观点论文吧。嗯，他就是说，呃，他过往的几十年的经验就是，每一个实验室或者大型研究中心呢，只做五年就够了。因为这五年就刚好是博士生毕业的一个周期，然后呢，你在这五年里面充分利用一些优秀博士生的时间，让他们在五年里静下心来专注一个领域，可以极大的促进这个领域的发展。
嗯，那所以像当时这个从 Amp Lab 做这个 Spark，然后呢，再到这个 Ray Lab，Ray Lab 应该做出来一个 Ray，然后呢，再到后面这个 Sky Lab。所以其实伯克利的这些实验室，他们的发展都是一脉相承的。所以你可以看到，就是他们这个实验室的五年的周期和工业界的一些需求的周期，一旦他们共振的时候，就会诞生一些重要的项目啊，比如说 Spark。
那我当时觉得这个 vLLM 就是下一个项目。啊，所以我去伯克利之前呢，这个 vLLM 它已经开源了嘛，而且发展相当的迅速，所以呢，我觉得这个历史机遇在摆在面前，然后我觉得我应该值得这个投入精力去维护它，所以我就这个尽己所能的去帮助他吧。说服一个学生去加入这样的一个开源项目，一直做一个核心的维护者，是一个困难的事情吗？
对，这显然是一个非常困难的事情。我以为会很简单。呃，对，因为每个学生他有不同的这个周期吧，就是他处在他的博士期间的不同的阶段，对吧？比如说刚入学的博士生，那么他可能急着需要发表一些论文来支撑他的毕业。然后呢？所以他需要去引导一些新的project，嗯，就是他很难参与到别人的project里面，就他可以通过别参与别的别人的project去练手。
去学习如何做research，但是呢，现在的博士生就是都很强，就是你可以说他们在博士毕业之前的成果可能都已经够博士毕业了。嗯，那么他们接下来要做的事情，只是把他们的这个研究能力在博士前一两年的时候再做出一些新的成果，然后方便他们能够毕业。所以，就是低年级的博士生同学，他们都希望有一些新的方向做，他们不希望沿着原来的老路去。
巩固一些现有的知识，嗯，然后呢，就是博士太后期的同学，他主要要急着找工作，因为他马上就要毕业了，他要去工业界啊，对，所以说他不太会花时间在这个开源项目的维护上面，嗯，所以。最适合的就是做开源项目的同学，应该就是博士的中后期。然后呢，没有什么毕业论文的压力，然后呢，又对开源项目比较有兴趣。啊，这样的同学比较合适。
你当时正好处于这个阶段，对我当时正好处在这样一个时期，因为啊，我之前的一些算法研究也基本上够毕业了。然后呢，我个人也觉得，就是我想转变一下研究方向。然后呢，转变研究方向的话，啊，我并不希望就是在这个机器学习系统领域有一些论文的发表，我更多的希望是拿到一些这个 hands on 的 experience，嗯，去学习这个系统就是是如何 build 一个系统的。
那所以我对这个纯工程的这个问题是完全OK的，就是你让我几个月都在做工程的实现，我都是OK的啊。然后以及我当时觉得这个vLLM项目有比较重要的是一个比较重要的历史机遇嘛，所以我都是就是比较全身心的投入在里面。你当时算是第几号成员啊？第几号的话，我觉得我算是第四个比较主要的吧。嗯啊，前面就是一开始比较主要的同学是这个，就是论文的两个作者嘛，李卓汉和。
乌苏矿对对，呃，卓汉和乌苏格是论文的主要作者，然后呢，他们也是这个开源项目的一开始的主要维护的同学。嗯，然后接下来主要参与的同学是Simon，就是他现在是我们公司的CEO。嗯，对。然后呢，他其实也是一个嗯开源老兵吧，就是他跟我差不多大啊，应该还比我可能年纪还要再大一些。但是他当时本来准备博士入学的时候，他他quit了，然后呢去参与这个AnyScale的创业了。
然后创业了几年之后再回来读博士，嗯，所以他已经有比较深厚的这个开源社区的相关的经验。然后呢，他也不是那么看重论文啊，更多的是看重这个对现实世界的 impact。他也觉得这个 vLLM 项目比较重要，所以他是应该是第三个这个全职投入的同学。然后，嗯，第四个应该就是我了，就是我过去的时候我也是一个类似的想法，就是反正我有时间我也愿意投入，然后这个项目也缺人。
然后，嗯，其他的同学就是这个项目，他肯定就是这个论文本身，它的作者有很多人啊，但最后啊，就是其他同学都是因为刚才说到的各种原因，他们都去找别的事情做了。我觉得有的人可能就会想说，如果是一个开源项目的话，我需要是发起人，就是它需要是我创立的。你有这种想法吗？我觉得不需要吧，就是更多看你能在里面做什么贡献。
其实当时这个开源项目它整体处于一个非常缺人的状态，所以我觉得只要投入热情，对，用真心，用真心，对，用真心就可以。所以你是为什么对他如此真心呢？是怎么开始的呀？你们？呃，就是你们，我们一九年你刚刚认识卓汉，然后你又去呃交流了嘛，然后这个时候跟卓汉还有。Wu Suk是聊的比较多吗？就是你们是，就是为什么你觉得这个项目这么吸引你？
首先就是这个项目发展的很快，嗯，然后呢，这个项目也确实当时缺人，嗯，然后我当时有一个判断就是这个。就是当时因为 Chat GPT 已经很火了嘛，嗯，然后我当时的一个判断就是，大家其实当时都在探都在探究怎么训练模型，但是很显然就是你把模型训出来之后，你需要去做推理，嗯，那么 vLLM
就是处在这样一个地位，就是做大模型的推理的，所以我觉得它未来非常的有前途啊，然后这个推理也是一个非常重要的事情，所以值得投入。
这个是二零二四年，呃，对，就是我做vLLM是二零二四年的事情了。但是我啊，关注到vLLM是二零二三年的事情。对，二零二三年这个年底，就是我当时向Youngstoyka老师申请交换的时候，我其实当时已经在里面跟他说了，就是我去做的话，因为我需要我需要propose一些这个idea嘛，就是我去做什么。嗯，那当时我我这个提出的就有这个大模型推理这一块。
然后这个时候vLLM已经有了，它已经存在了，对它已经存在了，所以我说我可以在vLLM里面做一些事情。我们来讲讲这个vLLM的核心原理吧。假设就是我们对这个系统了解不多，能不能给我们讲讲为什么在那个时候vLLM应运而生了？然后当时处于一个什么样的市场环境之下？呃，对，我觉得这里面可能需要区分两个概念，就是vLLM和它对应的论文Page的Attention那篇论文。
嗯，啊，就是vLLM的起源是那篇论文嘛，然后那篇论文的核心是一个这个Page的Attention算法。那么它是借鉴了操作系统的这个虚拟内存管理的机制，来管理这个自回归生成过程中的大模型推理的过程中这个产生的中间状态，也叫KV cache。嗯，那其实时至今日就是。vOM它早就不是配置的attention算法了，它是一整个大模型推理的系统，它是这个大模型高效运行的一个底座。
嗯，所以vOM它解决的问题其实是。这个在模型和硬件都飞速发展，然后互相耦合的时候，你如何去提供一个高效的推理服务？嗯，而配置的attention本身呢，它的原理就是说啊，如何去管理自回归生成过程中的这个中间状态，也就是KV cache。在当时，就是放在当时的那个环境下，配置的attention有是有一个很大的创新吗？
嗯，我觉得不能算一个很大的创新，就是啊，任何一个就是认真的分析大模型推理过程的这个机器学习的研究者都能够想到这个想法。所以从学术创新的角度来说，Page的Attention算法的创新性甚至是偏低的。所以他当时投稿这个是投稿到SOSP的二零二三这个会议上啊，也是一个非常顶级的系统会议。但其实审稿人就已经提出了很多批评，说你这东西too
simple，就是你这个想法太直接了，然后没有什么novelty。
嗯，他最后能发表完全是因为他们做的很早，而且做了非常丰富的实验。所以最后才是一个以低分的过线的状态被会议接受了。然后 vLLM 它是 Page 的 Tension 这篇论文被接收之后啊，作者团队开源出来的这个推理引擎。嗯，所以这也是为什么你说我们认知 vLLM 的时候不能够只认识到它是 Page 的 Tension，它应该是它后续做的一系列的事情。
对 vLLM 是一个推理引擎，它代表着一个推理的生态系统。Page 的 attention 以及 continuous batching 啊，这两个技术是这个大模型推理过程中的核心的技术啊，当然也涉及到很多其他后来的这个推理优化的技术，它们都是在 vLLM 这个项目里面的。所以，呃，当 Page Attention 这篇论文被接收之后，李卓瀚他们紧接着做了什么样的事情呢？
这个里面谁是起到比较关键的作用？论文接收之后，呃，因为系统的论文他们都有很多要求，这个 Artifact Evaluation 嘛，就是说你的系统需要被别人复现过，然后你的你的这些数字都需要被别人复现出来说你确实有这些收益。嗯，所以呢，他们本来就有一个原型系统。然后呢，他们后来就是把这个原型系统开源了啊！
我觉得这个也是跟Youngstoyka老师的这个理念有关系，因为Youngstoyka老师他是这篇论文的一个指导老师嘛，然后啊，他也很早的看到就是开源推理引擎里面蕴藏着一个巨大的机会。所以呢，他就推动这篇论文的这个学生团队啊，把vLLM当做一个很重要的开源项目在维护。然后呢，啊，就是不是所有人都同意杨斯托伊卡老师的观点嘛？
以及受限于刚才说的各种的这个每个人当时的一些客观的选择和情况啊，所以最后主要是这个乌苏格和卓汉两个人在继续维护这个开源项目。嗯，然后慢慢的有了Simon，有了你，对。说服你的过程难吗？应该很容易。对，因为我是主动过去的。你是主动要去的。对。Simon呢？Simon应该也是主动的。因为我觉得一个开源项目好像它跟一个公司这种组织还是非常不一样的。
因为公司人来人往，应该就是非常的常态化；但是一个开源项目的人来人往，就有的人加入，有的人离开，你们其实会有一些特别的，就是情感嘛。事后来看，你觉得这种有开源精神、有开源热情的这些人，是不是有一些共同的特征？就是是什么让你们走到一起，又是什么让一些人离开呀？对，我觉得就是每个人追求的目标不一样吧。就是比如说，有的人他追求金钱，就是你今年哪赚到多少钱，对吧？
然后有的人追求权力啊，你在公司里面爬得多高，是一个多高的这个领导的地位。那我觉得啊，我追求的就是意义，就是我做的事情是不是有意义。然后啊，我当时这个觉得vLLM有很重要的历史意义嘛，值得我的投入。然后呢，这部分决策也是就是受到Michael Jordan老师和Young Storica老师的比较这个大的影响。
啊，然后其他同学我觉得也是类似吧，就是嗯，加入的同学很多都是因为这个原因加入的啊。当然离开的时候，可能有些人也有一些自己的原因，这个也不能强求。那我觉得。啊，整体上来说就是啊，有一句话叫做“苍廪实而知礼节，衣食足而知荣辱”。那我觉得也是因为我们这个时代啊，这个物质追求这方面已经给我们已经有一个基本的生活保障了。
那么，让我们能够有更多的时间和精力去追求一些非物质的这个精神需求。而且呢，就是呃，做计算机方向的技术同学，其实他的基本的生活需求非常简单，对吧？就是有吃有住，然后有电脑能上网就可以了啊。所以就是我觉得这样艰难的环境，呃，为我们筛选出了一批志同道合的人吧。啊，他们热爱开源，然后热爱技术，然后呢，跟我们一起这个同甘共苦，就是做vLLM项目做了好几年啊。
所以后来他们也就很自然的变成了我们公司的这个初始创业的团队。就是我，我觉得比较感慨，就是啊，这个中学课本里面《送东阳马生序》里面这个叫做“以中有足乐者，不知口体之奉不若人也”。啊，我觉得我们这些同学就是非常适合这一句话啊，因为我们心中做着就是就是做着我们认为我们快乐的事情。所以呢，我们就不觉得这个吃的喝的这个穿的享受不如他们啊。
当然，现在我们这个有了资源哈，我们也会让我们的同学在实现精神追求的同时，有更充足的这个物质资源啊，这样子让自己的生活没有后顾之忧。二四年、二五年，在你加入之后，有没有发生一些让你印象很深刻的事情？这也是在你们公司成立之前的vLLM的两年。对，呃，二四年我觉得呃主旋律其实就是一个重构。啊，因为二三年的这个论文发布嘛，然后再是二三年的一个
prototype 出来，嗯，然后呢，这个 prototype 需要从实验的原型走向一个生产级的可用。
那在这这个过程中呢，我们调研了很多像业内其他的推理引擎的设计，然后呢，最终在年底的时候推出了这个从 v0 到 v1
的一个重构的计划。然后二五年的主旋律呢，就是一个大规模部署，就是硬件和模型都变得越来越大。然后呢，这个开源模型的发展的重心从欧美这个转移到了中国。然后呃，这里面比较巧的一个事情也是二五年，就是因为二四年我交换结束了，然后呢，二五年回来准备毕业，然后呢，当时这个vLLM社区在国内还是一片这一片空白的状态，然后呢，我刚好从伯克利回来，我就把这个从零开始搭建了中国的vLLM社区，然后呢也。
啊，刚好这个就是支持了大量的中国开源模型的发布，所以那个时候刚好是中国开源模型爆发的一年，二五年。对，就是二五年年初的时候，这个DeepSeek R一嘛，啊，其实DeepSeek V三是在二四年的年底发布的，对，然后二五年R一的，就二五年年初的时候R一，然后再是二五年春节的时候，这个R一开始爆火。啊，所以到后面也就是这个中国的开源模型，就像雨后春笋一样，这个不断的发布出来。
对，我觉得就是这两年确实是很多风风雨雨吧。然后尤其是像刚才说到的人员的不断的变动，因为我们是做一个开源项目嘛，所以啊人来人往的，就是有人参演，有人参加，然后又有人这个走。然后我们在这个过程中还要持续不断的去面对这个新模型发布的情况，然后呢还要在这个过程中去推动整个项目的维护和升级啊，这个整体是一个非常大的挑战。
所以我回顾历史的话，就是往回看，我觉得我不敢说我们做的非常好啊，只能说我们撑过来了。我对二五年非常好奇，但是我们先讲一讲二四年你们那次从v零到v一的那个重大的重构。嗯，因为用户侧可能感觉变化不大，能不能从工程角度讲讲你们为什么决定做这个事情，以及重构过程中它有哪些挑战？这一次重构呢，其实主要就是为了解决这个模型和硬件的发展对于推理引擎提出的一些新的挑战。
嗯，那打个比方呢，就是比如说我们现在经常喜欢把token比作是电。那这个过程中的推理引擎啊，就像是发电机，嗯，或者说是电力系统。啊，然后呢，这个我觉得模型可能更像这个发电机吧。我们后面可能可以做一些类比。嗯，然后呢，这个啊，硬件它就像是你的像风力，然后光伏啊这些自然资源。然后这个推理系统要做的事情就是，你需要把这些自然资源，啊，用发电机把它转化成电，然后呢再传递到每一个人的这个手中。
嗯，那所以呢，本次重构就好比说我这个发电系统整体上从这个火电过渡到新能源发电的一个状态。那么从用户侧的角度来看呢，它的使用方式可能差别不大，你可能都是电是吧？你把这个插头插上去就能用。但是呢，从推理引擎的视角来看，其实背后的这个工作原理发生了巨大的变化。嗯，那所以从终端用户的视角来看呢，其实推理引擎承担了一个非常大的责任，就是它屏蔽了这个模型和硬件的复杂性。
那用户选择不同模型的时候。就比如说啊，你在应用里面，然后这个一个应用它可能支持多个模型。那从用户的角度来说，你可能只是从一个这个下拉菜单里面点了一个模型，或者呢，你只是从这个请求的参数里面改了一个参数，说，哎，我请求的今天是 DeepSeek，明天是千问。但其实从背后的这个推理引擎来看，不同的这个模型，它的支持效率，它适配的硬件其实是千差万别的。
啊，所以这里面推理引擎承担了非常重要的任务。嗯，然后呢，在这个过程中，模型和硬件又在不断的发展，所以他们对推理引擎的要求其实是在不断更新的。那么，呃，v零和v一只是一个我们从名字上就能够看得出来的，它是一个非常大的变化。但其实类似的这样的小变化，我们其实一直在做。所以你可以说，就是vllm它其实一直是在重构的过程中。
然后这里面就是最困难的，就是你需要保持一些用户的兼容性，嗯，对吧？就是你背后支持的模型、支持的硬件不停的在变，但是你要给前端的这个终端的用户一个比较统一的体验，就是啊，我用vLLM我就可以保证说我在各种硬件上可以跑起来各种模型。二四年的时候，你们是不是主要支持的还是美国的一些模型，比如说Meta？对，二四年的这个开源的重心还在美国那边啊，欧美。
然后像Meta呀，像这个Mistral呀这些的，在支持他们的过程中有没有什么一些观察呀？当时其实支持的还不算很复杂，嗯啊，因为当时就是这个模型和硬件啊，它还没有很耦合。然后只有一些这个，比如说一些 attention 算法设计的比较复杂的时候，对推理引擎的影响比较大。但总体上来说，啊，还是在做各种推理优化，就是模型的结构在那一年没有发生巨大的变化。
到了二五年，是不是中国开源模型的爆发在所有人的意料之外，也在你们的意料之外？对，是在我们意料之外的。你是几月份回中国的？啊，我就是十二四年的十二月份结束交流，然后哦，那刚刚好碰上。对，就是我结束交流的时候，就是 DeepSeek V3 发布的时候。嗯，对，然后回来一月份，然后马上 R1 又发布了，所以是在我们意料之外的。
当时去支持 DeepSeek 是不是非常的措手不及？是一个什么样的状态呀？我觉得不能说措手不及吧，更多是说我们没有预料到它是一个这么大影响力的事情。嗯，因为 DeepSeek 跟我们的合作其实很早就开始了，就是你从二三年、二四年那段时间，因为 DeepSeek 它内部用的就是 vLLM 以及它就后续加了一些这个它自己优化的一个变种。
所以它其实从 DeepSeek MoE 啊，DeepSeek MoE 我 DeepSeek MoE 我觉得算是 V 一吧，然后它后面有 V 二，然后再发展到 V 三，它跟我们一直是有联系的，有合作的，嗯，然后呢，只是在二四年的时候啊，DeepSeek 还属于社区里面的。一元就是他只是一个泯然众人的一个模型厂商。
然后你们支持他们的故事就是在R One之后有什么值得分享的吗？这个还是给我们带来比较大的震撼的，就是DeepSeek的这个Infra同学做了很多的优化，然后我们需要学习，就是他们在推理引擎方面虽然是基于WeRAM做的，但是比我们做的往前面走了很多，所以我们当时是在不断的跟他们学习的过程中。然后紧接着又支持了很多中国的开源模型，在二五年对吧？
对对，就是DeepSeek爆火之后，然后中国的这个开始了一个开源的浪潮吧，尤其是这个二五年的七月份。我印象很深刻，因为我事后回想起来，感觉应该是当时这个 W A I C 快开会了。哦，然后呢，很多公司都是在这之前，就像发布产品一样，就是就是把自己有的模型都发出来了。今年又处于现在这个时间点了。对，然后我们其实一直在支持很多的新模型的发布。
呃，今年也会吗？呃，一直在呀，然后已经有了，像今年的 DeepSeek V4、 MiniMax M3 都是比较大的发布。哦，大家都赶着 WASC 之前发一波。呃，我不知道今年大家会不会再赶着W A I C再发一波啊？但反正今年已经有好几个比较就是比较大、比较复杂的发布了。因为你刚才说二五年，你整整一年就是呃回中国组建了vLLM的社区嘛，这是很简单的一一句话。
但是这背后是什么样的工作量？能不能讲讲这个过程啊？就是这个社区是怎么搭建起来的？我们也很好奇开源社区的诞生它是怎么。就是一步一步做出来的。这个社区的搭建啊，就是因为这个这个项目本身诞生在美国嘛，嗯，然后呢，二四年的主要的这个开源的阵地也是在美国。所以呢，整体的这个沟通渠道也是在偏美国的。比如说，我们是用 Slack 进行沟通。
然后呢，我们后来啊，就是在国内跟大家沟通的时候，就发现啊，就是我们当时跟跟大家说的，就是 vLLM 社区是一个很包容的社区啊。那中国、美国的同学都可以一起沟通呀。那我们有 Slack 的这个沟通机制，那大家都可以进来呀。那里面就遇到了两点问题。第一点就是国内的同学，他肯定更习惯说中文。那么在 Slack 里面呢，大家主要还是说英文。
那么这是一点语言障碍。然后呢，第二点就是，呃，因为各种各样的原因，那么国内的同学用国外的软件的时候，还是有一些不方便的因素存在的。那所以呢，啊，为了解决这些问题，我们就开始搭建一些这个 vLLM 的中文社区。那比如说。一些这个公众号啊、小红书啊、这个知乎啊这些宣传平台，然后呢，包括这个跟国内的一些大公司建立一些沟通和联系的渠道。
嗯啊，因为像DeepSeek、Kimi他们都是公开的说过，他们就是用vLLM的。那么之前呢，我们跟他们的沟通是非常少的，因为这个时区也不一样，然后呢，人也没有没有办法见面。然后呢，我回国之后呢，我就是啊，也走访了一遍这些公司，然后跟他们了解，就是他们用我们在做什么，然后遇到了什么样的问题。有什么样的痛点？
对，因为我在这个二四年的时候做WeWork比较多，然后大家也都比较认识我啊，所以就是我就这样把大家串起来。二五年还有一件事儿，就是 PyTorch 的基金会完成了机构改革，然后你们也变成了这个基金会里面一个非常旗舰的一个项目。这个变化是怎么发生？以及对你们有什么影响啊？我们二四年的年底就在讨论这个事情。
啊，就是当时的背景，就是其实这个项目的长期维护，就是我们在考虑这个项目的长期维护。嗯，然后呢，呃，Yang Storico老师说，我们应该有一个公司来支持这个项目，不然这个项目最后会会凉掉的。然后呢，但是我们几个人，呃，就是有一些同学还比较犹豫。然后呢，这个项目能不能找到一个长期的维护者，都是一个问题。
那所以呢，杨苏海克老师就说：“那我们就参照这个像Linux之类的项目的经验啊，把它捐给一个基金会。那么这样子能够保证它的长期的开源和维护。”啊，所以就把它捐给了这个 Pytorch 基金会，因为我们跟 Pytorch 的合作也比较紧密哦。啊，就是我们相当于是 Pytorch 是一个啊底层的机器学习框架，然后呢，vLLM 是建立在之上的一个这个推理引擎，所以这个合作也比较自然。
但是就是 Pytorch
基金会它本身呢，还是一个。嗯，偏治理结构的一个基金会，就是它不参与你的这个技术治理，所以代码什么的其实还是自己要写。然后呢，它更多的还是就是我们把这个项目捐给这个基金会，然后呢就意味着说这个项目它至少不会变成一个闭源的项目，就是它始终是开源的。但是后来你们又成立公司了呀？啊，对，成立公司我们是在做这个项目的商业化以及技术运维，然后呢，这个项目它依然是一个
PyTorch 基金会下面的项目。
就比如说 PyTorch 基金会下面它有好多一级的，就是顶级项目。那比如说 PyTorch 也是一个顶级项目，vLLM 也是一个顶级项目。嗯，那么啊，PyTorch 项目本身它还是 Meta 在做主导。那么基金会它可能承担了一些，比如说啊活动的举办，然后呢像这个 vLLM 或者和 Pytorch 的商标啊，属于 Pytorch 基金会，嗯，所以它更多的是一些嗯辅助性的角色。
所以，他能承诺的是，你们必须是一个开源项目，他能够保持这保证这个事情。因为，比如说 vLLM 的商标现在是属于排脱级基金会的，对吧？那你不能把 vLLM 闭源了之后，然后再说我支持 vLLM 项目。为什么不能属于伯克利呢？为什么一定要属于一个基金会？伯克利它是一个学校，那么你说这个项目属于一个学校的时候，你还是要从学校里面找出一个具体的人来承担这个职责的。
那么学校里面没有一个这样的机构。Stoic 老师他自己不行吗？他那个实验室？实验室就是前面说到，就是David Peterson老师说，你实验室应该只开五年，五年之后你就要关掉，就你要开一个新的实验室。所以实验室它不是一个具备这样资格的一个实体，它需要一个持续性。对，而基金会能提供这个。对，基金会它是一个独立的法人实体。
所以他可以做各种，比如说他可以注册商标，对吧？他可以有自己的法律团队，然后呢，他可以接受募捐，然后呢，他可以为这个项目投入各种各样的资源。哦啊。所以捐给基金会意味着，就是你们这创始团队这些人觉得他应该做一个开源项目持续下去，就是有没有可能你们也有另外一种选择？因为你们后来也成立公司了嘛，就是把这个项目放在公司里一起运营，这个能成为一个选项吗？
我们公司现在就是VM项目的技术管理和日常运营的主要的参与者，嗯，所以说我们把这个项目捐给Pytorch基金会，更多是从法律上明确了它一直是一个开源项目，而且它的商标属于社区。但是它的具体的技术发展以及它的商业化，我们都是可以从由我们公司来做的。当然，也不只是我们公司在做，还有社区里面其他的公司，比如说 Red Hat，那比如说 Nvidia、AMD，他们都在跟我们一起做技术的维护。
他们也可以对这个项目进行一些商业化。如果这个项目属于你们的话，那这个项目的所有商业化都应该是你们这个公司实体。对，如果这个项目属于我们公司，那可能它的商标也会属于我们公司，对吧？那么任何一个人他用 vLLM 啊，他用了他的 logo，可能都是要向我们申请。那现在它是属于一个开源项目，它的这个像商标啊、使用权啊，都是在公共领域的。
嗯，我们只是作为一个技术参与者和技术领导者在引领它的发展。在就是捐给 PyTorch 基金会，把这个项目捐给 PyTorch 基金会的时候，你们已经有成立公司打算了吗？就是当时这个事儿定了没？还没有定。啊，所以是先有的捐赠。对，这个可能就是可以说到我们几个人这个成立公司的这个过程吧，就是其实是嗯相当的艰难的哦。
啊，因为就是杨苏维卡老师他有非常坚定的信念，就是说。这么大一个项目，如果没有一个公司来支撑的话，它一定会凉了。就是他说的，就是 Linux 项目如果没有 Red Hat 的支持，那么 Linux 不会发展到今天。嗯，然后同样的，像这个 Kubernetes，如果没有 Google 的支持，它不会发展到今天。
同样的，Pytorch 如果没有 Meta 的支持，它不会发展到今天。啊，类似的，你还可以举很多很多的例子，像 Spark 它要有 DataBricks 的支持，那么 vLLM
项目。它的体量已经达到了前几个项目的体量，就是它的历史意义已经很明显了。但是没有一个没有一个这样的公司在支持这样的项目，嗯啊，就是有有一些其他的公司也会支持你，比如说当时 Meta 在用 vLLM，然后呢， Nvidia 也用， AMD 也用。
那么他们更多是一个参与者的角色，嗯，他们很难做出一些这个战略性的决策，他们之间可能本来就会打架。因为可能Meta是AMD和NVIDIA的客户，然后呢，他可能会说我要做这样的事情，然后呢，我要啊要你们实现什么样的东西？那么社区里面其他的公司可能不会服他们，所以很难在他们的领导下做这样的事情，所以。呃，vLLM项目的长期发展需要一家公司的支持，这个事情是非常明确的。
嗯，我们也都是认同的。唯一需要我们明确的是，我们是否愿意来创立这家公司？那么这个事情其实是很难做决定的啊。这个我可以说一下我们几个人的这个各自的心路历程吧。嗯，就是因为创立一家公司，呃，它的优点很明显，就是可以支持vLLM更好的发展嘛。你们也都能成为这个公司的创始团队啊，很好啊。但是缺点就是说，你需要承担很多原来不熟悉的一些非技术的任务，比如说创立一家公司啊，你要去学习融资，对吧？
你要去学习招聘，然后呢，你还要去考虑商业化。所以这里面其实是有相当大的阻力在里面的哦啊，对这这个路线似乎对你们好像不不难这几件事情，呃，我们就是你要考虑到我们其实都是学生团队，然后我们原来很习惯的就是很舒适的那个区域，都是说哎来了一个技术问题，我们怎么拆解它，然后怎么把这个技术问题解决掉。那么现在要我们做的是成立一家公司，然后要把这个公司就是抚养长大的感觉。
所以对这个路线的选择，其实就是困扰了我们两年吧，就是两年啊，对啊，就是因为我说就是Young Storyka老师，他是非常明确的说，你们几个同学就应该开一家公司来支持vLLM，嗯嗯，但是从二四年就开始说了。对，从OK，对，从二四年就开始说了。其实我觉得他应该从二三年就开始说了，只是二三年的时候我还不在。
嗯啊，然后啊，这里面我们几个人的选择里面啊，我算是决定的比较早的，因为我二四年就是呃，我还在交流的时候呢，啊，我们已经有很多同学在硅谷创业了。然后呢，我跟他们这个沟通的过程中，也是近距离观察了一下这些创业者的一些状态。嗯，然后呢，也跟他们沟通了一下这个创业过程中遇到的问题。以及这个关键的选择就是你是创业还是上班，嗯，对吧？
然后呢，也是跟一些投资人进行了一些初步的对话，嗯，然后最后我得出来的结论就是。即使创业失败，最坏的情况下你也不过就是少拿了几年工资，但是如果不创业的话，那么啊 vLLM项目最终没有办法长期发展，所以呢。啊，我在二四年年底离开伯克利这个交流的时候啊，我就已经下定决心要这个参与VM的创业了。然后呢，当时因为其他几个人还没有定嘛，所以我也不能自己一个人创业啊。
所以呢，我我做的选择是我接了这个Skylab的这个博士后的offer。然后呢，我当时说的是就是啊，我会为VM的创业公司再等两年。直到大家出来一起创业哦，这么的义无反顾。呃，还有一个故事就是啊，因为我当时快结束的这个交流的时候啊，我也找这个我当时本科期间交流的老师Michael Jordan老师聊了一下，然后我跟他说就是。
我们现在做的VLM项目势头很好啊，但是呢，如果我去找别的工作啊，也会有很多人给我很多钱，然后呢，做博后又非常的清贫，那这个时候要怎么选？那他跟我说的就是，嗯。从他的角度来说，根据他过来的人的经验，长期的来看，肯定是要继续支持vLLM的。就是因为我跟他也合作过很多，然后啊，也觉得就是这是过来人的这个饱经沧桑的一个历史经验，然后也是啊，我觉得就是非常值得就是遵守哦。
所以这个大概是我的一个心路历程，就是我觉得我们最终还是要创业的。然后呢，呃，现在只是时机未到，所以我就先等一等。所以你是第一个决定要做这件事情的人，呃，不好说我是不是第一个，但我是比较早决定的，嗯啊，然后我们的CEO Simon，呃，他也是很早决定要创业的，嗯啊，所以我说不好说我跟他到底谁谁先，但是我们都比较早的确定。
你有想过做CEO吗？呃，我觉得我可能可能他更适合CEO，因为当时我们这个维护社区的分工方面啊，他就已经展现出一些CEO相关的能力了，就是在管理整个社区，然后跟大家进行一些沟通，嗯啊，所以我觉得明显他是更适合CEO的。所以也就是说，为什么我不会一个人出来创业？因为我觉得人还不够。然后这个Simon他刚才说，这前面说到他本来也有一些创业公司的经验嘛，他已经参加过一些创业了。
所以呢，呃，他也认为这个就是他也认同杨苏瑞克老师的观点，就是其实我们都认同杨苏瑞克老师的观点，就是你必须得有一个公司来支持WeWork才能够长远的发展。嗯，只是我们当时就在犹豫说这个公司是不是我们来开啊啊，然后呢，这个Simon他也在Character AI待过一段时间啊，所以他当时尝试过，就是通过Character AI的帮助来帮助WeWork项目的发展。
比如说，从 Character AI 里面这个找几个人来维护 Weon，然后呢， Character AI 里面找一些机器的资源来帮助 Weon，但是最终还是发现就是没有办法靠别人，嗯啊，因为公司有自己的事情，嗯，对吧？你不可能把公司里面的人无限制的薅来，就是做 Weon 相关的事情。而且始终这不是我自己做出来的东西，我对它感情是不一样的。
对对对，所以说就是你在公司里面做，你只能有一个很小的团队，然后类似用爱发电的方式来支持。嗯，你很难说服公司的高层说，我有一个正经业务的公司，然后我需要全力来支持我们开源项目的发展。所以最后就是发现，就是靠别的公司是靠不住的。嗯啊，所以摆在我们面前的选择就是只有自己开公司。然后这个嗯，最摇摆的是就是我们的CTO乌苏格同学，对啊，他是Page的天使的一座，对，然后他可以选择的机会太多了。
对吧？就是二四年年初这个xAI刚创立的时候啊，其实当时这个马斯克就邀请他去参加这个infra的建设。嗯，就是他如果去，他就是领导xAI的这个基础建设。嗯，那尽管说xAI现在失败了啊，曲终人散了，但是如果他当时加入xAI，那么他后来能够获得的财富，对吧？就是这个是一个天文数字。二五年的时候，这个 Thinking Machine Labs 创立，嗯，这个时候这个创始人又邀请他去这个负责基础设施建设。
那后来这个 Thinking Machine Labs 的估值也是一路飞涨，所以说就是摆在他面前的这个机会属于是太多太好了，所以呢，他的犹豫也是人之常情吧。啊，最后我们是怎么说动他的呢？就是就是晓之以情，动之以理，就是最后跟他说：“你如果不跟我们一起创业，你赚到了很多钱，但是十年之后vLLM项目失败了，你是开心还是还是不开心？
”啊，我们问了这样一个问题，然后他也想了很久，然后最后发现他的答案跟我们是一样的，就是你赚多少钱，如果vLLM项目失败了，都不会开心。对，所以就是在这样的情况下，我们把这个，呃，我们三个最坚定的人搞定了，把他拉上船了。然后还有很多这个其他这个信念很坚定的合伙人，像这个Roger也跟我们一起做这个开源项目，做了很多年。
然后呢？还有我们是 founding engineer，就是说公司一创立的时候，他们就加入进来了啊。我觉得我们都是有一个共同的愿景吧，就是大家聚集在这个公司里面，然后啊，我们都是想做这个AI时代的推理引擎，我们想为接下来的这个智能时代打好这个基础设施。那我们每个人其实都可以在这个市场上拿到一个很高的offer，但我们最终选择了创业这条路，就是我们希望把这件事情做好。
啊，然后其实类似的这个问题，其实一直持续到这个公司创立的前夕，就是我们准备注册公司的时候。某家这个顶级大厂的一号位，他知道我们要创立公司了，然后他就直接给我们打电话，然后说。你可不可以不要创立公司？你来我们公司，然后我们可以给你们几个人，呃，我们四个创始人，然后可以给年薪两千万美元的工资，每个人是吧？
对每个人，然后说你可不可以来我们公司帮我们做我们的这个基础设施和推理？反正我们当时都已经坚定了嘛，我们信念比较坚定，然后就直接爽快的回绝了，我们没有一个人犹豫啊，所以这也是我们这个。创业的一点故事吧，所以我觉得就是我们公司这个创立之初，其实就已经是经受住了巨大的考验和诱惑啊。我们其实都已经是并肩作战很多年的一个老战友了。
哎，我在想，Wu Suk他虽然一直在犹豫，但是xAI和Thinking Machine Labs他都没去。二四年和二五年两个选择，他虽然没有决定要不要来创业做现在这个公司，但是他也没有去其他公司，是吗？就是他去过一段时间哦啊，去过哪家？对，就包括他在 Google 这个 Google Deep Mind 也做过一段时间哦。
就是他是一个以学生身份，然后兼职的状态。哦，所以我们当时是把他从 Singa Machine Labs 拉出来的。哎，这很有意思，为什么他作为 Page Attention 的发明者，然后是他的那个算法，然后导致了有 vLLM 这个推理引擎的诞生？但是他很犹豫，而且为什么李卓汉没有加入？呃，李卓汉没有加入是因为他毕业的比我们早，他二四年就毕业了。
那个时候就是他如果创业只有他一个人，因为其他的同学都是学生。然后呢，学生是非常廉价的，就是你只是要有吃有喝，然后有电脑有网，你就可以干活。你觉得没必要开公司。哦，所以那个时候他也拉不动其他人，呃，所以他就去工作了。然后他在 OpenAI 工作，然后后面包括在 Meta 的 TPD 工作啊，所以他已经有工作了，而且已经工作了很久。
然后呢，他就有自己的事情要做。你们有尝试把他也拉过来吗？呃，比较困难吧，因为确实他已经在公司里面做了一些事情了，然后就是你把人家拉过来，需要影响到别人原来的团队，OK啊，所以这个事情还是比较困难。然后呢，乌苏格同学还没有陷入太深，就是我们觉得还有机会拉回来。哎，你有这样的offer吗？你有动摇怀疑过没有？
呃，除了最后你们创业临门一脚的那个天价 offer 之外，在之前呢？对，因为我决定的比较早，所以我前面说我接了 postdoc 的 offer 嘛，嗯，所以我其实没有看其他家的 offer。OK，就是我跟大家聊都是在说啊，你们用 vLLM，然后怎么用的，然后大家一起看看怎么合作啊，没有跟他们说，哎，你要不要我去你那工作，然后你给我多少钱？
你有想过这个可能性没有？你在脑子里推理过没有？推理过，但是那还是那句话，就是我们觉得 vLLM 项目比较重要，我们都想做成它。这是同样的一个问题，我们四个人吧，就是卓汉、乌苏、个 Simon 和我，啊，我觉得答案都是一样的，就是如果我们赚自己赚了很多钱，但是 vLLM 项目失败了，我觉得我们会都是会后悔一辈子的。
啊，所以我们都比较坚定，就是要把这个公司开出来。跟李卓瀚还会有什么样的合作吗？呃，因为他现在在公司也有自己的事情，所以跟我们很难有很深入的合作，更多可能是有一些这个 high level 的一些技术的沟通。对，我觉得从你就是你们包括跟 Py Torch 基金会的关系，然后包括又开公司，就是我其实一个开源项目，我觉得它的整个运作跟可能外界想象还是非常不一样的，而且一般大家讨论的也比较少。
能不能讲讲，就是像这样的一个开源项目和大家想象的很有可能最大的不同是什么？以及它是作为一个组织是怎么构成、运转、治理的呢？不同的开源项目它其实有自己的这个治理方式啊。我这里只讲这个vLLM这这边的治理方式。嗯，那我们采用的是就是常用的这个分级管理的方式啊。我们有几个我们叫做仁慈的独裁者，就是可以最终拍板的，是你们几个吗？
对，就是包括这个 Simon Usuk 我和这个卓汉，然后还有瑞泰的一些同学。仁慈的独裁者，OK 啊，那就是说我们平常跟大家沟通都是心平气和的沟通，对吧？Nice。对，但是如果有重要的决定要拍板，或者说我们有的时候有一些比较强烈的坚持的时候，那这个时候大家得听我们的，嗯啊，所以这个是比较这个决策的几个人。
然后呢，我们还有这个十来个，就是日常的核心维护者。那么他们都负责项目里面非常重要的一些模块。然后呢，会参与项目的日常的一些啊关键的设计。然后呢，我们还有大概几十个 committer，然后呢，他们主要就负责日常的代码的开发，嗯，然后呢，嗯，剩下的就是这个社区的贡献者。啊，因为vLLM现在它是PyTorch基金会旗下的一个顶级项目嘛，所以它也接受PyTorch的一些治理结构。
那这里主要就是一些大公司的这个参与治理啊，比如说像这个英伟达、AMD这些重要的芯片厂商，嗯，然后包括像Red Hat这些软件厂商，然后呢，包括像啊亚马逊啊、Google啊这些云厂商，他们都会投入相应的资源在维护vLLM。所以呢，我们作为项目维护者的这个职责之一，也就是协调这些大公司之间的这个合作。然后，当然我们现在有公司，就是所以我们公司也是为我们项目这个治理过程中的一个啊不可替代的一员。
在有公司之前，因为我听过一种说法，就是这种开源项目更像一个社团，而不是一个公司。你们是有什么样的，比如机制吗？比如说例会等等，你们日常的沟通是怎么来完成的？对我们是有一些例会的，就比如说我们几个决策的同学可能每周要碰一下，然后这个呃，committer我们可能就碰的不会那么频繁，我们更多是在一些这个channel里面去聊。
它大概是一个就是每周可能碰一次，你们几个人？呃，对决策的同学要每周要碰一下，就是接下来要做的一些重点的事情。嗯，你刚才说你们是仁慈的决策者嘛？你们有做过非常强硬的决策是什么？就必须要这样仁慈的独裁者？对，仁慈的独裁者就意味着有些时候你需要对方向进行一些取舍，就是不能够做一个老好人。那这里面比如说我做的比较强硬的一个选择。
就是啊，基本上把一个叫做 beam search 的功能从引擎里面删掉了。这个其实持续不断的有人会来跟我们抱怨，尤其是做推荐系统的同学，他们的经验是，他们觉得 beam search 在他们的场景里面比较重要。但是我们从这边看到的情况是，大模型的推理就是AI这一边，我们主要的workload，它的这个推理形式已经不再适应这个就是冰社区的这种算法的发展了。
嗯，所以冰社区的算法，如果我们持续要维护它的话，只会给模型和这个推理引擎的适配带来越来越多的这个复杂性，不可维护。嗯，所以我就把它删掉了。这是你做的一个。独裁决策，对，嗯，还有其他的这样的决策吗？其他的，我觉得就更多是在一些这个。支持的优先级上面了，嗯，就是因为项目这么大，你最重要的事情就是定好优先级。
那么你需要支持什么，以及不需要支持什么，不想支持什么，嗯。那么比如说我们现在支持的优先级，明显是在大集群上面的大模型的支持。那么很多非常小的模型的支持，我们就没有把它列为高优先级的事项啊。比如说几百兆的模型啊，其实推荐系统里面有些人是在用的。嗯，那么现在我们给他的说呃说法是啊，你可以用vLLM，但是如果你有这方面的这个性能优化的需求，我们并不会接。
因为你们现在有很多贡献者，应该是两千加。管理这么大一个规模的开源社区，你觉得挑战是什么呀？对，我觉得最大的挑战就是刚才说到的，就是你要梳理事情的优先级，嗯，要做什么，更重要的是不做什么。然后呢，当一个项目有两千多贡献者，尤其是这个就是最近今年嘛，Coding Agent发展的特别火嘛，所以贡献代码这件事情已经变得非常简单了。
所以我们在作为项目管理者的时候，我们最重要的要做的事情是要屏蔽这个噪音，要找到真正值得做的这个事情，然后呢引导这个社区往这个方向发展。嗯，呃，这里面有一个数据，就是二零二五年的时候，GitHub发发布过一个这个统计数据，就是按照贡献者的活跃度来排序，vLLM是整个GitHub上面最活跃的项目。这一方面我们也很荣幸啊，另一方面其实这个也给我们带来一些这个我们叫做幸福的烦恼。
比如说今年五月份的时候，我们发现有部分培训机构通过提交垃圾代码的方式来包装学员的简历啊，就是他提交一个没有什么用的PR，然后合想要合并到vLLM里面，然后呢他就可以在学员的简历上说我是vLLM项目的贡献者，然后呢希望通过这一点来提高这个学员的简历通过一些面试的这个概率。那这个其实对我们来说是一个非常大的变化，就是它彻底打破了我们对于开源社区的用户都是善意的这一基本假设。
嗯，所以我们现在就只能引入一些认证机制啊，比如说我们会更多的重视来自一些知名机构的贡献，我们会忽略甚至拉黑一些看起来就很像机器人的账号。比如说，他十分钟之内给你提交了二十个PR，这种人一定是机器人，而且他提交的东西没有任何的人力的参与，就全都是coding agent，我们叫做AI slop。啊，就是完全没有营养的东西，所以你可以放心的把它block掉。
所以我觉得，随着这个AI和Coding Agent的发展呢，未来的这个开源社区的演进方向，它会更多的掌握在嗯机构和这些重要的贡贡献者手中。一些个人贡献者他能做的事情其实会变少，就是整体上来说，代码变得如此廉价，以至于，呃，维护者他花时间去看别人的PR，不如说，呃，他自己来让coding agent再写一遍。
然后呢，他自己还有更多的context说，我想让coding agent怎么写。所以我觉得以后开源社区会更加的重视这个反馈。那么社区它会变成维护者和用户这两个部分。啊，用户呢，你就只需要提交 bug report 或者 feature request，你只要只需要说你用的过程中遇到什么问题了，或者说你有什么其他的想用的东西啊，你就不需要贡献代码了。
然后只需要这个维护者自己来贡献代码就可以了。你觉得这是 vLLM 这一个社区的演进方向，还是很多可能现在的社区的共同的演进方向？我觉得这个是开源社区的整体的演进方向，嗯，就是嗯，Coding Agent的这个发展，尤其是今年在写代码能力上的突破啊，确实是远超我们预期的。所以这个对于很多开源项目的这个维护都造成了类似的问题啊。
这个呃，就是Pytorch的一个核心维护者叫做Edward杨。然后呢，他也写了一个类似的博客，就是说，啊，我们现在已经没有精力去看大家的PR了，所以，呃，与其花时间去看别人的PR，不如我自己重写一遍。你们跟Open Core联系多吗？他们现在社区维护是一个什么样的状态？他们的治理方式跟你们类似或者不同吗？
Open Core感觉已经变成了纯AI治理的方式，就是AI提交PR，然后AI来审，AI来合并。哦啊，对，已经变成了一个AI自治的社区。虽然这个社区它接下来演进的方向是好是坏，可能不是很好说。啊！你们为什么没有走这条路？我们这个地方还是很难让AI完全自动化的，就是还是需要我们很多的参与者有历史的这个insight在里面。
然后我们做的很多事情，其实它不是来解决现有的一个问题，它很多时候是解决接下来将要发生的问题。嗯，比如说我们要解决，我们要支持接下来三个月内要发布的新模型。那所以我们在维护代码的时候，我们不只是看它如何支持现有的模型，我们脑海里还必须想着接下来三个月支持的模型在这些代码里面怎么支持，嗯，以及包括接下来半年、接下来一个呃一年要推出的这些新硬件要怎么支持。
所以，我们这个项目维护的过程中，必须是带着大量的个人的context去做的。嗯啊，所以这一部分目前还没有办法交给AI去做。我听你在讲这个时候，我在想，是不是一个开源社区发展它的成与败也好，跟创始团队在不在会有很大的关系啊？对，就是创始团队需要在这儿撑着。如果这个主要的就是团队的主心骨发生了变化，那肯定需要会有一个这个阵痛期，就是他需要转型，他需要适应，所有的合作伙伴都需要去适应他的新的领导。
有这样换过领导还发展非常好的开源社区的先例吗？我觉得换过领导之后，这个项目基本上就很难发展的。很好了，你怎么看 Open Cloud 的未来的发展啊？呃，我觉得 Coding Agent 的发展给大家带来一个。虚拟的假象就是觉得好像所有的软件都变得很容易写，但其实有一些这个顶层的系统设计啊，包括长期的维护，还是需要人来设计的。
就是我觉得AI它可以帮我们走完百分之九十的路程，但是还有百分之十的关键的那个画龙点睛的那一部分。是需要人来这个提供支持的，嗯，需要提前预判顶层设计。对，因为我看开源社区的这个比较少，就是一个开源社区成功也好，失败也好，有哪些历史先例啊？就是最后可能导致，比如说一个社区分裂、萎缩、失败的可能包括会有哪些？
因为你们伯克利的这个渊源的原因，你们见过很多嘛？对，当然我觉得第一重要的就是这个开源项目，它确实是在解决一个大家都关心的问题，嗯，这个是最根本的，对吧？如果你解决的是一个没多少人关心的问题，那这个项目它就长不大。这是一个根，对，这是一个根根基。然后第二点就是有了这么一个重要的需求之后，那么能不能撑起这样一个项目啊？
这就这背后就涉及到刚才我们说到的，需要有一个创立公创业公司在背后运营这个项目啊，去组织这个项目。所以这也是很关键的一点，嗯，然后呢，我觉得就是像这个创始团队持续在推进这个项目，啊，这也是很重要的一点，然后呢，我觉得就是有了这些。嗯，天时地利人和吧，然后就是把这些事情持续推进下去。你们为什么那么执着于把Usuk拉进来？
你跟Sam两个人不行吗？他还是我们之中比较偏技术的同学，嗯，就是呃，很多因为很多历史上的技术决策都是他做的，所以他来做的话会有比较好的延续性。所谓根正苗红，他可能是那个根，就是第一个人。对，得在那里，对吧？我觉得这个对于社区的这个号召力也会有比较大的影响。有你见过那种非常可惜的开源项目吗？就是它可能根很好。
但是因为后期维护出了问题，然后最终导致失败了。呃，我觉得这些还是有比较多的例子的，尤其是就是一些开源社区，它没有公司在背后支持。嗯啊，这个比如说很多历史上的很著名的项目，其实都是很多人在，就是有几个人在艰难维持。啊，比如说像这个。Open SSH，这个其实是大家都要用到的一个这个计算机的基础设施，就是一个这个SSH的这个加解密。
那么它的维护者其实就只有那么几个人在自己维护。然后呢，这个事情是直到这个大概十多年前出现了一次事故，就是它的一个漏洞被人破解了，导致可能全世界都在裸奔，就是你的密码可能大家都能看得到。出了这个事情之后，大家才成立了一个基金会，然后给他投一点钱来这个支持他的维护，啊，所以。其实开源社区的这个基础设施建设，呃，一直是一个老生常谈的话题，就是它们都很重要，但是直到它们出问题之前，大家都觉得不需要投入。
你们还是提前来做了这件事情的。对我们提前做了这个事情，而且就是伯克利这边的历史渊源表明，呃，只有有这样一个创业公司在背后支持这个项目，才能够健康的发展。嗯，一定得是创业公司对吧？不能是一个大厂。对，我觉得得是一个创业公司。如果是一个大厂的话，嗯，它很容易带来这个大厂原来的一些偏见或者说立场。那这个时候，它很难去融合这个社区，就是可能有别的大厂不服它。
嗯，所以说，所有人不会跟他一起走。嗯啊，那么这个创业公司又是这个项目的创业团队，然后呢，在社区里面带着大家一路风风雨雨这样走过来，那我觉得他的号召力，包括他的公这个中立性、公正性，大家都是比较认可的。啊，所以我觉得这样的项目可以就比较 promising。最终你们觉得哦，这公司可以成立的那个节点是什么？
是乌苏大一加入的那一刻吗？有没有那样的一个时刻？那样的时刻，我觉得就是就是杨斯维克老师告诉告诉我们说，这个公司再不成立，这个项目就要完了。几年几月几日？可能找不出一个具体的时间吧，但是应该是二五年左右的时候，因为二五年左右的时候呢，我们做的一个主要的任务是做大模型的大规模的集群级别的部署，嗯，那这个时候我们其实遇到了很多问题，啊，一方面就是说这个人力资源的问题。
就是我们在以开源社区的方式运作的时候，这个参与这些事情的人都是不确定的，就是人来人往的，对吧？有些人来，有些人新加入，然后有些人离开。那么这个事情是没有办法支撑你长期的做一个重要的feature的。然后呢？呃，另一方面就是这个法务上的问题，就是我们跟很多公司合作是有一些这个保密性的，因为我们经常做很多新模型发布之前的支持，包括新硬件发布之前的支持。
那么在这个过程中呢，对方法务经常会要求说你需要有一个我们叫NDA嘛，就是保密协议，对吧？那这个保密协议谁来签？这是一个很尴尬的问题，因为开源社区它不是一个实体，所以对方的法务经常就会说。你背后是哪些人在做这个事情？然后呢，他可能还会要还会需要检查说，你这次来做的是这些人，下次来做的可能是另一些人。那么这些人里面变动的人里面有没有我的竞争对手？
我是不是要对他进行做一些做一些背景调查才能够允许他来接触这些信息？嗯，对吧？这些其实都是一个开源项目没有办法完成的事情。然后呢，再包括除了人力资源之外，还有这个机器资源的问题。那么我们做大模型的这个大规模部署，其实在二四年的时候，这个事情为什么没有这么突出呢？因为那个时候模型还比较小，然后呢，你搞到一台机器单机的单卡的就可以做很多事情了。
那么那个时候也有一些公司这个比较热心慷慨的给我们捐赠了一些机器，嗯。但是到了二五年的时候，因为整个的这个规模上去了，我们要做的很多优化都必须是集群级别的。那我要别人给我一个集群的时候就很困难了，就他给我一一台机器已经是顶天了，就是他能支持的最高的力度。然后呢，我们这个时候啊，为了做一些这个集群级别的优化，我们就只能去各处乞讨。
然后呢，我可能我首先需要花一个月的时间劝对方说给我这些机器。然后呢，我拿到了这些机器之后，我需要马不停蹄的规划，说，哎，我今天要做这些事情，明天要做那些事情，因为可能我这些机器一个月之后就到期了。然后呢，对方给我这些机器也不是一个 promised
的事情，他们内部如果有一些紧急项目，他是不是接下来，比如说我一周里面，我一三五，我可能我要自己拿过来用，然后呢，二四六给你给你用，甚至可能紧急通知你说，接下来一个小时我马上要用。
对吧？所以这些事情就给我们带来很大的阻碍，所以我们二五年其实我觉得，说实话，我们做的不是很好。那么这些事情就导致了我们啊，已经很明确的看到，就是没有一个公司的支持，这个项目已经无法继续往下发展。所以你们有点不得不。但你其实一直是等着要创业的，对整个项目的这个情况是已经不得不需要一个创业公司了。嗯，然后我是一直在等着这个创业公司，所以我一直是在内部呼吁说，啊，就我我会不停的说，我们你看我们现在又遇到这个问题了，对方又找我们来签NDA了，我们现在签不了了。
然后我们要是有一个公司多好啊。然后我就在在不停的说这样的话，然后最后啊也是二五年的时候，因为刚好大家都那一年毕业嘛。所以我们最后就说：“那真的开个公司吧？”你说这个时候，Simon会怎么说？Simon跟我是一样的看法，嗯啊。然后Wu Suk。吴苏格还在犹豫，最后他是怎么下定决心？他的下定决心那个时刻，对你们这个公司的创立有推波助澜的作用吗？
呃，对呀，就是他下定决心，就是我们问了他那个问题，对我们找他就是逼宫了，就是说你如果不做，我们自己做，然后呢你自己想一想，如果你不来的话，导致为我们项目失败，虽然你赚到了很多钱，但是你会不会快乐？然后对，就他想了几天，然后最后回来了。他当场没有给出答复。对，我觉得这个问题一旦问出来，是我们双方都需要冷静一下的时候。
那是几月份啊？去年。可能是快到七八月份、八九月份的时候了吧？哦，然后到年底就开始成立公司了。嗯，对，就是我们最终把他劝回来之后呢，我们还有各种流程要走嘛，我们还要去找这个投资人聊融资的一些事情。后面顺吗？比想象中，在面对你们觉得可能自己最不擅长的那部分的时候。现实是什么样的？我觉得这部分还是比较顺利的，就是因为呃，就是硅谷的VC对我们整体是一个期待已久的状态，就是呃，虽然我们决定成立公司是在二零二五年的年底，嗯，但其实他们二三年、二四年的时候就已经在跟我们接触了，而且那个时候就已经在给我们这个开源项目提供资金了。
所以我觉得这里可能可以重点讲一下，比如说像啊，ACNZ，他们在二三年的时候就给vLLM项目提供了一笔资助。这个是资助，对，这个是资助，是单纯资助给开源项目发展。嗯，然后呢？这个钱金额会多吗？一般来说，呃，当时应该是几十万美元的级别。嗯。对，然后呢？这个像二四年的时候啊，Cocoa和真格啊这两家也都给我们这个以开源社区的形式给我们捐赠了一笔钱。
嗯，所以他们其实很早就注意到了我们，而且呃，也跟我们一样认可，就是vLLM是一个很重要的项目，所以他们愿意投入一些早期的资源来支持我们。啊，当然他们也是说，就是如果我们创业的话，那肯定是大力支持我们。嗯，所以。当我们这个最终把这个消息说啊，我们几个人最终决定要创业了，我们要有一家公司啊。那这个时候我们再去找他，那么找他们的时候，他们其实都比较爽快，都说其实我钱已经准备好了啊。
所以这个你们终于决定了啊？对，他们一直在等我们。其实对，所以啊，虽然这个我们种子轮融资到的这个资金比较多吧，但整体上还是投资人在主动找我们要投资的阶段啊，就是。我们即使种子轮融资完之后，直到现在其实也不停的有人在说，我这里有很多钱，我可以直接给你们，就是嗯，几千几千万美元的这个safe都可以直接给你们，然后你们下一轮融资的时候把我们考虑进去。
嗯啊，但是我们现在还是一个。谨慎乐观的态度吧，就是我们希望把这个融资和公司成长的速度相匹配，就是我们不是为了融资而融资，不是说现在有钱我就要去拿啊，更多是看我们这个公司现在发展到了什么阶段，然后需要把钱拿来做什么事情，然后再去看下一轮融资。你们应该是全球来说AI Infra领域融资种子轮融资最多的一家，是不是？
啊，没有做过横向的这个历史的对比，但应该确实是比较大的吧？投资人为什么这么看好你们？呃，他们有说什么逻辑没有？核心还是我们在这个生态里面的地位。嗯，就是当你去看这个开源模型的生态的时候。每一个模型的发布背后都跟着vLLM的支持，每一个芯片厂商都会主动来靠近vLLM，说他希望得到vLLM的支持。那么这背后的市场其实是一个啊多少B链的市场，嗯，所以其实给我们的投资相比于我们产生的价值来说，我觉得并不算多。
其实市场也准备好了，然后呃客户也准备好了，但是就等你们几个人做决定。对，就等我们要做这个事情。当然，如果我们不做，可能有其他人来做，但是不一定有我们这么好的站位。出来以后，你们有说，嗯，我们应该更早出来就好了吗？因为其实融资比你们想象中可能容容易很多。确实，但是这个可能就属于马后炮了。以及，嗯，再往前面一些时间，其实我们也没有那么多时间，就是我们比如说在准备一些毕业什么的事情，嗯啊，然后也没有时间来做这些事情，嗯，所以更多是在像，嗯，七月份我毕业了，然后呢，秋季学期这个乌秀格和Simon他们也都快毕业了，所以刚好是这么一个时间点吧，嗯啊，其实我已经是在不断的催促说。
我们该创业了，我们你是为了创业去接的这个教职吗？对，就是我是为了等他们创业而接的这个博士后。对，所以我一直在不断的催促说，我们应该创业了，再不创业又有一二三四五这么多条问题。你们几个人是怎么分工的呀？现在，包括呃，Young Stoic老师他扮演一个什么样的角色？啊，Young Stoica老师是我们的这个创始人之一。
然后呢，呃，他现在呃属于一个advisor的角色，嗯，就是一些重大的战略决定，我们都会问他，因为他有很多的创始呃这个创业的经验嘛。他包括这，他是DataBricks的创始人。然后呢，也做过像最近的这个 L M
Arena，所以他对整体的这个行业的水温啊都比较了解啊，所以他会给我们一些建议，说这个阶段这个公司我们现在该做什么事情了，接下来该做什么之类的，所以他给我们一些这个 high level 的一些建议。
然后呢，呃，我们主要创始人这个四个人里面呢，就是更多的还是就是有什么事做什么事吧。有技术的就做技术，然后有非技术的就做非技术，然后看谁有更好的 context 来 handle 这个事情。对，比如说有一些公司原来是我对接的，那么对方来再来找到对接，那就我去出马。然后有一些事情原来是像乌苏哥在做的，那么现在这个事情需要继续往下推进，那么就他去做啊。
所以我们，呃，就是我觉得我们四个还是比较。四为一体的状态，就我们四个人可能是同样的一个共享一个大脑，然后只是需要谁的时候谁出马，还是仁慈的独裁者吗？对我们四个一起吧，也还是仁慈独裁者，四个一起，嗯，然后因为我们四个人做的事情没有那么多overlap，就是各自有各自的这个往之前负责的一些东西嘛，所以说肯定就是这个方向。
嗯，如果是你负责的，然后你又意见比较坚定的话，那你就做就好了。大家都支持你。这个开源项目商业化之后，会嗯，就是社区对于公司 infra 的态度会有一些变化呀？它会损失一些社区的信任感吗？哦，我觉得没有，就是这个事情对于社区来说是一个好事啊，因为他们其实也都在期盼着我们开公司，就像刚才说的，我们跟很多合作伙伴合作，对吧？
那么对方想要我们签保密协议，那没有公司的话签不了，有公司的之后，我们可以跟对方签保密协议了，他们的法务也很开心，然后呢？还有就是有些公司啊，就刚才说到的一些算力的问题，对吧？那我们之前合作的时候，经常会对对对方说：“哎，我们合作一起做这个事情，你能不能给我们一些算力支持？”那对方也很尴尬，就是因为公司里面的算力都在公司内部，他很难给我们公司外部的人支持。
他最多就是可能像刚才说到的，有一些公司给我们提供一些资金的支持，但是呢，我们要去买，你比如说这个资金。放在谁的口袋里都是一个问题，对吧？我们不能直接放在个人的口袋里。然后呢，你去买一些东西的时候，比如说买算力的时候，那对方可能也会要求这个一些资质的证明，你是不是一家合格的公司，对吧？所以说这些公这些东西，其实，在我们成立公司之后，都得到了很大的缓解，嗯，而且。
啊，我们有了公司，有了人力资源的支持，有了硬件资源的支持，我们可以把很多原来做不好的事情做得更好。那比如说，我们可以招聘更多的人来支持为我们项目的发展。然后呢，我们也可以有更多的机器的资源来验证我们原来验证不了的事情。所以呢，整体上来说，对社区来说是一个非常大的促进。那社区对于一个开源项目的这个意见，它并不是说他能够在这个项目里面能够写多少代码，或者说啊他在社区里面说话有多少人听，更多的是说这个项目能不能给他带来一些收益。
比如说新模型发布的时候，这个项目是不是又能够支持了？然后新硬件发布的时候，这个项目是不是又能够支持了？然后一些新模型这个特性、新的推理引擎特性的发布的时候，这个社区是不是又能够支持了？嗯，所以他们更多是一个从用户的角度来看这个事情。那么啊，我们公司的成立对vLLM项目的发展啊，尤其是对用户来说是一个很好的事情，因为这个项目现在更有保证了。
然后呢，各方面的也发展的越来越好了，所以他们都是非常支持我们做这个事情的。如果当商业客户和社区的需求发生冲突的时候，你们会选什么？啊，我们。不接这样的商业客户，我们现在是供少于求的状态，就是我们能支撑的商业客户远远小于想跟我们做商业合作的客户。嗯，所以我们可以非常爽快地拒绝掉我们不想做的事情。所以，我们目前做的事情都是跟社区发展一致的事情。
最终还是你们四个作为一个决策者，主要是我们四个在公司里面决策。那 Pytorch 基金会现在跟这个公司是什么样的一个关系？Pytorch 基金会就是他在我们项目的日常的管理过程中，就是他不参与技术管理，嗯，所以呢，我们目前主要是可能每一个季度会向 Pytorch 基金会汇报一下这个项目做了什么。然后呢，其他的没有很多别的了。
它只是一个象征性的意义，我我感觉，嗯，对。它作为一个持续的开源项目来存在，对，就是它是那一道保险杠，保证这个项目它不会闭源。嗯，对。然后具体的技术都是我们自己在做。你们对开源闭源这个问题上没有过争执或者是犹豫，对吗？没有，因为如果我们想做闭源的话，我们就可以自己去找家公司做了。就是我们觉得这个开源推理引擎它是很重要的事情，而且需要坚持下去。
你们公司为什么叫 Infraact？啊，对这个起名字是一个相当困难的事情，我们为此讨论了好几天啊。然后最后取名Infraact也是啊，因为我们公司主要做的事情是想做Inference，嗯，所以就有一个Inference在里面。然后呢，配套了一个这个，我们希望是啊，Bring Inference into Action，就是把推理做到行动里面。
那就让它真正的跑起来，嗯啊，所以最后起了这个 infraact 的名字。你们认为这个公司十年后会怎么样？你们的愿景和目标是什么？嗯，十年后这是一个相当长的时间了，我们已经很难预测，就是AI会发展到一个什么样的程度。但啊，我们的预期就是Infra希望能把大模型推理这件事情啊做到一个基本解决的状态，就是。
啊，大家想起推理就会想起 vLLM，然后想起 infraact，它的商业模式会是什么样？呃，商业模式的话，我们整体还是就是围绕大模型推理技术和 vLLM 的生态，然后呢，一边建设 vLLM
的生态系统，一边去做商业化，所以我们在探索好几种商业模式。那比如说啊，我们公司可以有机器，然后有软件，我们最后就给大家提供一个叫做 endpoint service，就是对方只需要直接从我们这里用 token 就可以了。
嗯，啊，我们也可以在探索一些像我们叫做 BYOC 的模式。就是你可以客户有机器，然后呢我们提供软件，然后我们产生token可能是给你内部自己用，嗯，然后呢也可以是一些纯生态合作伙伴类似的探索性质的，就是我们跟一些战略性的客户啊一起去探索这个怎么把vLLM的生态建立的更好，这方面也可以有一些商业合作的机会。
嗯，整体上来说，我觉得就是我们希望做到一个啊按量收费的状态，就是我们不是技术外包，我们不是在售卖我们工程师的时间，我们产生的价值啊取决于我们为你多产生了多少token，啊为你的这些机器又节省了多少成本，啊所以这个是我们一个整体的逻辑。嗯，现在公司多少人？我们现在公司大概三十多人吧，接近应该快到四十了。
我们还在持续的招人。再从一个像社团的一个组织变成公司这样的组织的过程中，你们有没有什么感受，或者know
how可以借鉴？呃，我觉得公司确实还是挺不一样的。就是我们之前在做开源社区的时候，啊，一个很困难的事情就是你没有办法从上到下的去。强制推进一些事情，就是你没有办法去规划，嗯，因为这些公司呃这些参与的同学他们都可能有自己的工作，所以他们不是全职在做这个事情的，他们可能内部有一些其他的，比如说紧急的事情，那么今天就来不了了，所以呢，我们只能是一个呃
best efforts 或者是一个许愿的状态啊，就是我求求大家这个这周把这个做完吧。
对吧？然后呢？现在我们有了公司了啊，就是这些同学都是我们的全职员工了，对吧？然后我们也有专门的资源可以去推荐这些事情了。那么我们可以引入更多的计划啊。我们说我们这个季度要完成什么事情，然后呢分给这个小组，你这个小组你接下来这一周应该要做什么事情？就是我们可以有更多的计划。那你们几个人的关系有没有发生什么样的变化？
呃，就是我们几个创始人之间都是，就是每天都会同步一下一些相关的事情，嗯啊，所以我觉得关系应该还是更紧密了。就相比于之前开源社区的时候，大家可能像同学。对，然后开源社区的时候，可能沟通还没有这么紧密，因为那个时候可能大家都是松散的组织在一起的状态，嗯，然后现在大家是啊，为了共同的一个目标去奋斗，然后大家可能都需要看就公司里面发生了什么事情，然后大家需要一起来解决。
Infra这个公司今年的一些规划会是什么呀？今年的规划，呃，我觉得目前还是在聚焦这个开源大模型推理的生态方面。那么，包括接下来即将要发布的一些下一代的这个推理引擎啊，包括这个下一代的模型、下一代的硬件，怎么样做到更好的这个。啊，推理，然后包括针对下一代的这个负载，就是大家怎么是用怎么去用这个token的啊，这些东西，我觉得我们需要。
用开源的vLLM给出一份满意的答案。好，上面我们回溯了你的研究历程以及这个公司从一个开源项目走向公司化的过程。那今天我们其实还也很想跟你聊的一个话题，就是模型与infra的。Code
design，我觉得这个你们非常擅长，也是现在很多模型公司都很关注的一个话题啊。那我们先从一个最基本的开始聊起，就是如果是一些给一些非技术背景的观众或者听众解释模型结构与infra的code design，你会怎么比喻？
他们为什么需要在一起设计啊？啊，我们我们现在很多人把这个 token 比作电力，对吧？嗯，然后呢，我觉得可能可以从这个比喻开始吧。呃，我们可以把硬件就想象成这个自然资源，就是你比如说不同的地方它有这个不同的风力和不同的水力，还有这个光伏太阳能。然后呢，呃，模型我觉得可以把它比作是一个发电机。那么有这种大风车的这种风力发电机，也有太阳能的那种光伏发电机，也有这种机械式的这个水力的发电机。
啊，然后嗯，推理引擎就可以把把它比作是这个电力系统。那么它把这个模型跑在硬件上，嗯，然后呢，最后再把这个token啊发送给用户，分发到这个千家万户。那么这里面的这个抠底赞的程度，它其实就决定了它的发电效率。嗯，那么比如说有的地方水流比较湍急，有的地方水流比较平缓，那你在这两个地方怎么样去设计你的发动机，使得你的发动机能够更好的利用这部分能量？
嗯，啊，这个就是所谓的这个模型和infra的抠底赞。就是在同样的自然资源的情况下，配上可能不同的发电机，然后它有不一样的发电效率。对，直觉上来看的话，推理效率可能是系统工程师的事情，它跟模型算法的关系是什么？呃，我觉得要讲清楚这个事情的话，可能就要讲清楚一个概念，叫做啊，hardware lottery，嗯，就是硬件彩票啊。
这个也是，就是这个哎，应应该不是不是David Patterson啊，是另一个这个学者写的，就是。他说的是，就是，呃，在几十年前呢，就是还是摩尔定律比较有效的时候，嗯，那个时候其实软件和硬件的发展基本上是一个各自为战的状态，嗯，那么你写软件的人，你其实不需要考虑那么多硬件的特性，因为硬件的通用性能它每隔两年就翻一倍，然后呢，软件的性能自然的就会跟着变快。
但是呢，现在的问题就是摩尔定律的那个黄金时代已经结束了啊，就是你没有办法再通过制程然后得到通用性能的提升，所以现在其实已经进入了一个呃专用时代，就是。啊，英伟达经常说这个“皇室定律”，就是说你的算力可能你每隔两年又会翻几倍。嗯，但是这个算力它其实都是专用的算力，就是它没有办法做到通用。那所以，如果你的这个算法没有利用到这些专用的算力，你就没有抽中硬件的那个彩票，嗯，你就吃不到这个时代的红利，嗯啊，比如说，我觉得就是呃，这个机器学习非常资深的这个Hinton老师，他当时强推了一个叫做Capsule
Network，啊，那个东西就是他觉得从概念上非常make sense。
但是那个东西在GPU上不友好啊，所以它得不到广泛的应用，或者说至今它没有得到广泛的应用啊。如果它需要得到广泛的应用，可能需要一个专用的硬件，所以说。就是模型的结构，它决定了推理效率的一个上界。如果你的这个上界太低了，那系统工程师就无力回天了，对吧？你已经做成这个烂样子了，那它再优化也就是这个样子。啊，所以你必须得把两者结合起来看。
其实 Transformer 就是抽中了 GPU 的彩票。对，可以这样说，因为它非常适合并行。这个并行指的就是它里面有大量的这个矩阵乘法。那应该是算法领着硬件走，还是硬件领着算法走？啊，理想情况下，这两个肯定是要协作的。但是实际情况是，因为硬件它已经造出来了，嗯，所以很多时候是算法需要去学习硬件的发展。
当然，硬件一旦走错了。啊，他就几年的时间他就走错了，这对硬件公司来说是一个巨大的挑战，所以它需要不断的踩着时代的脉搏去压住下一个有用的硬件长什么样子。嗯，但是一般来说还是算法和模型结构适配硬件适配的多。能不能举一个具体的例子来说明模因为模型结构设计的好，所以导致 infra 的效率提高了很多。一个比较著名的例子，我觉得可以说就是 rope 吧，这个叫做旋转位置编码。
嗯，啊， transformer 出来之后呢，说位置编码这个事情，我觉得你少说可以找到上百种位置编码的这个实现啊，但是呢，他们其中很多的实现都需要修改其中核心的注意力的实现。就是你的位置编码变了，那么你的注意力kernel需要重新写。那比如说叫做一个叫做Alibi的这个技术啊，它是这个absolute的这个position bias，所以啊，它就没有得到广泛的应用。
那RoPE流行起来的一个很重要的原因就是，呃，随着训练长度的这个提升，那么大家需要位置编码，嗯，然后呢，同时又Flash Attention解决了训练长度的问题，所以Flash Attention就变成了一个训练必须的东西。然后在这个时候，你的呃大部分的用户是没有办法就没有那个能力去修改Flash Attention的。
所以这个时候，大部分需要修改 attention 内部实现的位置编码就就被干掉了，嗯，就没有人去尝试了。而 rope
它的好处在于，它是一个绝对位置编码，就大家希望是一个绝对位置编码，但它同时又是一个呃相对位置编码，但是它是一个以绝对位置编码实现的方式，所以呢，它有非常良好的性质，而且呢，它是可以把它独立注入到这个 query 和 key 里面，它是独立在 attention 之外的，就你可以在 attention
kernel 之外独立的做这个 rope，所以呢，它跟 attention kernel 是互补的，所以它就变成了一个最佳搭档。
所以说就是啊，模型结构设计的好，那么它就可以跟Infra有一个Co-design，就是一个共鸣的效果，就大家可以互相提高啊，能够有一个更高效的实现。那么你的整体的训练推理效率都会提高很多。因为提到 infra，大家这一代大模型公司里就会说 DeepSeek 是 infra 做最好的。它的 infra 做得好是跟这个模型结构和 infra 的 co-design 有关系吗？
对，我觉得就是Infra的，就是DeepSeek的Infra团队啊，我觉得可以说是全球顶级的这个团队啊，是不是第一我不好说，这个可能见仁见智，但是绝对是顶级的。然后Infra的能力强呢，也就能够高效实现的模型结构就更多，所以呢，他们的算法研究员就可以更快、更充分的去探索各种选项。然后呢？呃，这里面我觉得还有一个就是他们的算法同学，其实也都是懂一部分Infra的。
啊啊，比如说在二四年年初的时候，就是当时呃 DeepSeek 探索 MoE 嘛，就是 DeepSeek MoE 那一波，嗯，那么其实是 DeepSeek 的一个算法同学写出了这个 MoE 的，当时还是比较粗粒度的 MoE 的一个比较高效的实现。啊，所以他们其实在探索MoE方面，这个Infra探索了很多，然后包括后面这个细粒度MoE也是他们在推理系统里面第一个做出来的。
嗯，所以说呃Infra的能力对于DeepSeek同学的这个算法探索啊起到了非常重要的作用。同时，他们的算法同学也会啊学习Infra的知识，使得自己的算法设计能够更Infra的友好。所以应该是算法主动去靠近Infra。算法需要主动去靠近infra，然后呃，infra也需要对算法有一些基础的了解。嗯，啊，我觉得就是这两者需要更紧密的合作，这两者需要。
比如说，一起办公有什么样的机制能够让他们更紧密吗？还是说我从招人上就应该算法的人懂Infra，Infra人懂算法？我觉得招人的时候，如果能招到既懂算法又懂Infra的同学，这个肯定是非常好的。然后呢，后期的组织结构上面，可能确实一起办公会，呃，更好一些。比如说，一起办公的同学，大家日常的讨论，对吧？
这个Infra的同学每天讨论的是什么事情？那么算法同学耳濡目染的也就知道了啊，原来我有这样的一些东西要考虑。然后呢，算法同学一些日常讨论，Infra同学也是耳濡目染的，就会就是会有一些潜移默化的影响吧。嗯，对。那比如说，如果Infra团队太主导，他有的时候也会忽略到算法上面的一些事情。啊，比如说这个呃，M
O E里面，那么就曾经出现过一些呃，Infra同学为了这个M O E的均衡而选择了呃，Expert Choice的这个事情。
那么这个事情在算法上面其实是不能被接受的，呃，但是在Infra上面你可以让它跑得很快。啊，所以这也是一个 infra 和算法过度倾斜到 infra 的一个例子。这两者谁的话语权可能可以更高一点？我觉得很多公司里面是算法的话语权更高一些。然后 infra 很多时候是一个被动接收的状态，嗯，对。但理想情况下，他们两个应该 co-design，怎么说呢？
这个就像刚才说的模型和这个硬件 co-design 一样，理想情况下他们都应该是 co-design 的。但是现实情况下是硬件更强势一些，因为它已经设计出来了。说到 DeepSeek，他们最近这个 DeepSpark 也刚刚发布，你们从旁观者的视角解读一下这个，呃，最新的技术进展。啊，就是 DeepSpark 它是一种这个新的投机解码的方法嘛？
啊，因为这个自回归的建模的大模型，它的推理整个就分为预填充和解码两个阶段。那么预填充呢，它是处理用户的输入，然后呢解码阶段它是处理模型就是自己自己在输出，然后因为它是自回归的，所以你模型解码阶段只能一个一个token的生成，这个效率比较低。然后呢投机解码它就是说我根据当前的输入一次性的猜测我接下来要生成的几个token，然后呢把解码的过程呢变成一小段一小段的这个预填充的过程，嗯，那么它一次性可以处理多个token，就可以提高处理效率。
那在 DeepSpark 提出之前呢，这个业界其实已经研究了很多的投机解码的方法，嗯啊，比如说常见的这个 Eagle，以及同样是这个 DeepSpark 提出的 MTP 的这个投机解码。那它们的特点就是猜测的长度比较短，一般可能就猜测三到五个，但是接收率比较高。那 DeepSpark 的技术路线呢，属于是 DeepFlash 的系列。
那这一部分我们其实最近几个月也都一直在关注，所以呃 DeepSpark 它不算非常新颖的内容。嗯，DeepFlash 路线的特点就是它一次性会猜很多个 token，比如说十六个 token。那我们 VLM 和 Nvidia 其实最近刚刚发布了一个技术博客，就是在介绍 VLM 里面的 DeepFlash 的支持。
这样的话，可以对某些模型达到每秒上千 token 的速度。呃，Diffresh的缺点就在于它猜的token很多，但是它猜错的也很多，所以呢，它模型验证过程中存在一个算力浪费的问题。嗯，那Dspark对于Diffresh的改进就是说，呃，估计一下这些猜的token里面哪些是准确的，哪些是不准确的，然后呢，大概率不准确的token你就不要再去验证了。
所以呢。啊，比如说模型猜测了十六个token，嗯，那你简单统计一下这个模型最后输出的一个置信度啊，可能发现只有前八个token是准的，那你就只需要验证前八个token就可以了，嗯，所以说DeepSpark大概是延续着这个路线在改进DeepFlash。那呃，Deep Spark 对我们来说其实并不意外，就是因为我们已经做了几个月的 Deep Flash 相关的优化了。
然后呢，Deep Flash 的这个接收率的问题，也是 Deep Flash 的研究圈子里面的一个共识。嗯，然后像在 Deep Deep Spark 提出来之前呢，呃，腾讯的混元团队其实已经有发布了一个 Deep Cut 工作。然后呢，上交的同学其实又提出一个叫做 Domino 的工作啊，都是通过类似的思路来解决这个问题的。
所以说，你说这个 Deep Spark 在算法上面有多么 novel 啊？我觉得并不能算很 novel。嗯，那我们跟 GPC 的团队、跟腾讯混元的团队也都有很多的沟通啊，大家很快也会看到 VLM 里面支持这些算法。但是就是创新性是一回事啊，就是然后能不能把这个创新的想法扎实的做出来，这又是另一回事。
嗯啊，我觉得 DeepSpark 是继承了 DeepSeek 一如既往的非常扎实的 infra 的基础。把这个推理优化压榨到了极致，这也是我们在跟他们学习的一点，就是怎么做到更好的这个推理优化啊。然后其实这个也是另一点，就是算法跟 infra co-design 的部分吧，就是呃有没有一个好的推理引擎上的实现，是决定一个投机解码算法能不能大规模使用的一个关键。
那 DeepSeek 的推理引擎团队非常强悍，所以也为推这个算法团队研究投机解码提供了更大的探索空间和更多的反馈。这刚好是一个 co-design 的案例。对你讲的这个，我在想，大家都会说会是一个很懂 infra 的人，当然应该也会有不错的 infra 吧？为什么就没有做起来呢？懂AI吗？他infra应该还不错吧？
我觉得他应该不懂AI infra啊。他们团队里面当然有一些懂AI infra的同学，因为你开出很高的价格，当然就能够招到一些同学嘛。嗯。呃，但我觉得整体上来说不是很懂。他也不懂infra是吗？对，我觉得这个属于是。就是一号位不太懂，然后他可能就开始就会有一些瞎指挥的问题。就是即使下面的有懂Infra的同学，也没有办法发挥出他们的这个价值。
嗯，说他懂infra，可能是因为他要建非常大的集群。那个我们可能把它叫做infra的infra，就是集群怎么搭建。然后呢，怎么样把这个机器点亮？怎么样交给infra团队？就是怎么样交给这个我们叫做AI infra的团队？我觉得这里面也不是说它技术有多高吧，因为很多时候建集群它是一个非常重的资本开销。
嗯，所以呢，它更多是说你有多少钱，以及你能找到多少地，你能找到多少电。啊，所以他更多是一个有非常多资源的一个人。为什么大家会说好的infra不是加出来的，是设计出来的呀？就是模型团队和infra团队这种。各干各的模式，它的问题可能在哪里？我觉得可能可以回到我们前面说的那个发电的这个类比吧。嗯，就是大模型它训练出来的目的就是为了用于推理，对吧？
那么两年前的这个大模型的整个生命周期里面，可能训练和开推理的开销，呃，整体上还是训练为主，然后推理的过程中也是推理的比较短，这个对话也比较短，所以呢，推理的开销不大。那现在已经很明确，就是训练和推理的开销可以达到一比一，甚至推理的开销还在持续的增长。所以，呃，拿发电来打比方的话，就好比说训练，我是在研究发电机的结构，是一个前期的技术投入。
然后呢，推理就好比说我拿做好的这个发电机去发电，那这里面的效率就很重要，对吧？就是你可以设计一个通用的发电机啊，以比较低的这个研发成本去设计。然后呢，你设计好了之后，拿到哪里都可以去发电，但是它的发电效率可能就比较低。那你也可以提前设计，说我这个发电机设计出来就是针对这一个地区发电的。那这一个地区它可能这个水文条件、风力条件，我都是可以提前测量的。
嗯，所以呢，我知道这些，我能够做哪些针对性的优化，来提高这个发电效率。然后呢，在一两年前，这个模型还是比较小的时候，推理负载也还是比较低的。那用AI的人还没有那么多，所以那个时候整体是呃算力多于需求，所以大家对于算力效率的这个追求也没有那么极致。但是随着AI的飞速发展，现在大模型推理的需求其实整体上迎来了一个爆发性的增长，所以现在处于一个这个供不应求的状态。
那这就好比说，电力供应小于大家的电力需求，而且是远小于。那在这在这种情况下，这个自然资源是有限的，它没有办法快速的增长，对吧？一个地方的这个水力、风力，它的上限是固定的。那你为了发出更多的电，你就只能一提高你的发电机的效率。你就只能在设计的时候，在发电机设计的时候，你就把当地的这个自然资源的一些条件考虑起来啊，比如说我这个水流湍急的地方怎么发电，我这个热的地方怎么发电啊，我这个昼夜温差大的地方怎么发电，对吧？
所以说这个是一个非常重要的问题。那除了这个算力供应不足的问题呢，啊，这个因素驱使大家极致的优化infra，还有一个问题就是算力非常特化。就是呃，GPU它本身在朝着大模型的方向演进，所以它能做的事情也越来越固定。所以模型它必须去主动适应这个硬硬件。就好比说，原来这发电，呃，我只是按原理区分一个大的发发电这个种类，说我的发电机有啊电磁发电，然后有光伏发电。
但是呢，呃，有些地方的这个发电资源非常的特殊。同样是电磁发电，就同样是水电。然后呢，如果你的发电机直径是十米，你的效率可以是百分之八十；但是如果你的发电机直径是一百米，那你的效率只有百分之十。那在这种情况下，你的发电机设计是不是就要紧密的去结合当地的这个自然资源的情况，对吧？这个翻译到这个大模型设计上，就是infra和算法必须是紧密结合，必须是co-design的，嗯，对吧？
这个模型团队和infra团队，它如果各干各的话，我觉得这个团队就完全没有前途啊。比如说刚才的我为什么举那个直径的例子呢？比如说，哎，如果某有某一个算法团队，他某一天异想天开说我的attention的这个head size能不能开到一千零二十四啊？啊，那么infra团队可能就晕过去了。啊，因为这个东西在硬件上很难实现。
因为你看过很多的这个呃团队啊，那你觉得全球来看的话，呃，模型团队的infra呃和算法的Co-design做最好的是哪几家？能不能给他们一个排序？点评一下他们，我觉得做的最好的应该就是 DeepSeek。嗯，呃，这其中主要体现在就是 DeepSeek 的 infra 团队真的是全球顶级的水平。然后呢，DeepSeek 的算法同学也比较懂 infra。
呃，像刚才说的那个 MoE 的一系列例子，其实他们算法同学都有在里面参与一些设计。所以呢，呃，包括像后面 DeepSeek 提出的啊，像刚才说到的这个 DeepSparse，然后呢，前面这个 NSA 就是那个 Native Sparse Attention，这里面其实都有非常浓厚的 infra 的味道。
那我觉得 DeepSeek 的这个深厚的 infra
功底，可能是来自于就是他们之前做换方量化的时候，对这个性能的一些极限极致的这个压榨。嗯，那么他们因为做量化，然后要自己自建机房，所以呢，他们对于机器的每一个细节都会深度控制，所以他们能够做这个全站的优化。呃，然后排序的话，我觉得可能就不好排。我觉得就是 DeepSeek 是说的最好，但是因为
DeepSeek 的 Infra 做得好，不见得其他的团队可以很轻易的复制他们的成功。
因为自建机房这个就是一道坎，就是自建机房你的优点在于控制力强，嗯，然后你的总成本可以压低，但是缺点在于它难以短期的大规模扩张。所以很多团队他其实选择的是租赁这个云上的一些机器，那它可以快速大规模的扩充这个机器的资源。但是缺点就是它的这个控制力比较弱，然后呢，它的总成本也比较高，所以呢，它是呃不同的公司面对各自情况的一个取舍吧，没有办法给他们这个排一个序，说谁的infra一定比谁好。
但是我觉得 DeepSeek 是在他们能做到的范围内，确实是做到的非常好。但是其他的人也不一定能够完美的复制过去。对你说的其他人很难复制 DeepSeek，那有没有什么是可学习的呢？可借鉴的呢？可习得的可能是什么？可学习的那就是算法团队要懂infra哦。这个怎么招啊？怎么找到这样的人啊？招聘肯定是一个老大难的问题，就像我们现在公司招聘，肯定也是希望能够有懂算法又懂infra的同学。
但是这个真的就是一方面需要这些同学能够有耐心去学习，啊，另一方面也就是。看缘分呀，你算是这种是吧？我是因为我原来做算法研究嘛，所以我有一些算法背景。然后呢，我现在做推理系统又有一些infra背景，所以，我嗯，确实算是就是有有算法和infra双重背景的同学。你这样的人多吗？比较难，因为呃，还是就是需要时间来熟悉这些背景。
啊，包括做算法的同学、做Infra同学，他们有的时候思考问题的脑回路也不太一样。比如说，就比如说算法的同学，他可能更多会想我这个东西在理论上是否make sense，就是我的模型表达能力是不是能够更强。然后呢，这个造成的后果就是啊，他们更关注这个下游的指标，就是我能不能又解决一些新的问题，然后我的一些精度能不能提高。
那么Infra的同学，他可能更关注的是说，是说。我手头上拿到的硬件长什么样子？然后呢，我能在上面做一些什么样的事情，能够极致的发挥硬件的各种性能啊？这个来的算法的需求是怎么样子？我怎么样把它实现过去？所以他们的出发点不太一样啊，然后你要养成这样的思维的话，可能都需要这个经年累月的一些熏陶。所以我刚好是在算法那边熏陶了几年，然后在Infra这边也熏陶了几年。
在当下能做的可能是让两边团队做在一起工作，可能能互相熏陶一下。对，我觉得坐在一起工作是一个比较好的，就是互相熏陶的机会。然后你坐在一起工作，比如说一起吃饭嘛，对吧？那吃饭聊点什么嘛，对吧？然后互相聊一聊这个对方关心什么话题。互相理解一下啊，对，互相理解一下。那你们也帮就是不同的模型进行部署嘛，嗯，包括海外的呃Llama呀，国内的千问啊、G L M啊、DeepSeek啊等等等等，你们有没有一些观察？
因为他们的模型结构其实现在是有差异的，那在推理层面带来挑战是不同的。从Infra的视角看，哪一个模型设计对你们有最大的挑战，哪一个又是最友好的呀？这个全球主流的开源模型我们都会支持嘛。然后他们在开源之前都会找我们提前支持，所以呢，呃，就是如果一个模型它开源的时候没有推理引擎的支持，那这个基本上就属于一个不可用的状态。
所以说啊，他们跟我们的合作对于他们的成功啊，这个开源的成功也是非常重要的。所以呢，我们确实跟他们都有很多的合作。那嗯，合作过程中，我们整体的感受就是，欧美那边的模型更重视效果。然后中国这边的模型更重视效率，嗯啊，我觉得这个可能整体也是因为两边的这个算力供给的问题吧。就是欧美的这个算力资源非常的充足，然后中国的算力资源非常的紧缺。
从Infra的视角来看，就是不同的这个架构设计对我们来说的最大的挑战，其实就是其中的这个它的注意力机制是如何设计的。啊，因为大模型它作为一个自然语言建模的一个模型，那么它是一个自回归的模型，也就是一个序列模型，它需要处理当前的这个状态和过往的状态的一个关系。这个我们就把它叫做attention。嗯，那么呃，vLLM的核心是管理大模型推理过程中的这个状态。
然后呢？不同的注意力机制决定了它的状态的大小和一些特性。那比如说，完整的注意力机制，它的特点就是每一个token它的状态比较小，然后它的状态只会增加，不会修改。啊，然后这个对应的就是一套这个配置的 tension 的管理机制，嗯，然后最近兴起的像这个线性注意力，对吧？那么它们的特点就是每一个 token 的状态比较大，而且它会被修改，所以它就需要更多的推理引擎方面的这个其他的支持。
那除了这两大类之外呢，还有一些很复杂的注意力机制啊，比如说混合的这个交叉注意力，那这种的状态就很很难管理了。嗯啊，当然这个比较庆幸的就是这种东西它现在还不是很流行，所以我们还不需要支持很多，然后。呃，从Infra的视角来看，那肯定是模型结构越简单越好，支持对Infra更友好，对吧？比如说两年前的Llama结构啊，但是就像前面说的，我们也不能完全从Infra的视角来看模型长什么样啊。
有的时候也需要看什么样的结构它的模型效率比较高，因为如果这个发电效率比较高，但是发出来的电是一个没有用的电，那也不行，对吧？这个我觉得说到这里可以提一下，就是呃，token和电的一个不一样的点。因为大家把token和电做一个类比的时候，可能会觉得就是电它是比较通用的啊，电它是可以调制的，所以啊，你发出来的电你可以去调制它的电压和频率，可以方便的用一些转换器去做转换。
所以大家在用电的时候，只需要在出口统一规定，我就是二百二十伏。那么所有的家电，它的这个只需要满足这个国家标准，它就可以接入这个电去用。但是 token 它是没有办法去做调制的，就是你没有办法说把一个 DeepSeek 模型的 token 转化为一个 Kimi 的 token。这个 token
它是带着模型的烙印的，所以就就好比说我们有上百种这个发电机的型号，然后呢每一种发电机的型号它发出来的电压和频率都是不一样的，但是你没有办法调制，你只能原样的去送过去。
那这里面你就只能让用户去适应了啊！比如说，我今天有九十伏的电压，明天有一百一十伏的电压，后天有一百二十伏的电压。嗯，然后呢，这就是导致就是有些时候你还需要去看你的Harness能不能适配这些模型的Token。然后呢，不同的这个推理厂商，它推理出来的Token也不一样。啊，然后啊，就是除了这个推理厂商本身的原因，还有就是模型本身它也不一样，对吧？
比如说大家经常会说这个有些模型聪明，有些模型傻，然后呢，有些模型它适合指挥，有些模型适合干活，然后呢，有些模型它适合用 Cloud Code，然后有些模型适合用 Open Code，所以说就是 Token 它比电复杂很多。它有一个异质性在这里，就是它不是像电一样的是一个 commodity，就是你拿到就可以用的状态。
基于呃每个token都带有了模型的烙印，你觉得这个会越来越同质化，还会还是会越来越差异化？呃，目前还是一个百花齐放的状态。然后呢，尤其是现在就是跟 harness 也有关系，就是你的 harness 怎么设计，然后模型在训练的过程中，它用过哪些 harness，对哪些 harness 比较了解啊，以及包括这个推理引擎的设计啊，它有的时候都会影响这个产生 token 的质量。
所以说，对目前是一个比较百花齐放的比较混乱的状态。哎，你们现在能支持多少模型结构？我们现在支持了有两三百种模型的结构，相当相当多。所以，我们其实最近在做一个事情，就是不用的模型结构我们要删掉。对，就是。既然每个 token 都这么复复杂度这么高，你们还支持这么多的模型结构，会不会让你的复杂度过一个？
那你们这其中的 trade off 你们的取舍代价是什么？对，这就是这个项目的价值，就是它支撑住了这个复杂度。当然，我们也需要就是不断的去删减掉不必要的复杂度。嗯，所以像刚才说的，我们删除一些不再用的模型，然后呢，我们删除一些不必要的 feature。然后呢，在这个过程中，我们也会更加的重视，就是当前大家用的主要的模型是什么。
所以我们接下来的重点肯定是优化主流模型在主流硬件上、主流 work load 上面的一些性能。MoE 架构现在应该是相对最主流的架构之一。那从推理 infra 的角度看，MoE 给你们带来什么挑战？呃，M O
E带来了三大挑战吧，就是第一个是细粒度专家，这个其实也是DeepSeek提出的。这个DeepSeek M O E就是发现这个专家的粒度越细越好，但是呢，这个细粒度专家它就会导致这个做矩阵乘法的时候，这个矩阵乘法的维度比较低，所以呢，它对于Infra的实现不是很友好。
那么这里需要有一个取舍。然后第二个是 M O E，它是一个动态选择的，这是 M O E 算法的基础。我们有一个路由模块来决定每一个 token 选择哪几个专家。那么这一个呢，对于数据的依赖啊，是这个 G P U，就是 G P U 的高效实现比较难以 handle 的部分。他们比较擅长的是那种静态的数据流，就是我提前知道啊，这部分数据要跟哪一部分数据进行运算。
然后呢，第三部分是这个专家并行的系统，就是M O E。当大家发现这个细粒度专家很有用的时候，那么大家快速扩展到了这个把M O
E扩展到了万亿参数。然后呢，在其中只激活了几十分之一。那这个就要求配合一些这个像专家并行的策略和数据并行的策略，这个对于系统设计和通信的要求都很高。呃，针对这三大挑战的解决方案呢，其实就是 DeepSeek 在二零二五年提出的一系列方案，包括像 DPEP
处理这个专家并行的通信，然后呢，DeepGen 处理专家并行的计算和选择。
所以，呃，确实可以说就是 MoE 这一波 DeepSeek 是引领了时代的潮流。MoE 之后，你觉得有什么可能的潜在的发展方向？啊，MoE之后，现在大家主要还在探索attention的设计。嗯，啊，就包括前面就是有一些博客也在请松林来讲这个linear attention嘛。那到底是linear attention还是sparse attention？
这个可能还是一个悬而未决的事情，或者说可能他们两个都是一个有效的方案啊。其实没必没必要非此即彼，可能都需要去探索。那test time scaling就是测试时计算扩展也是一个新的趋势。那嗯，它对于推理infra提出了有一些新的要求吗？Test and scaling，它其实一直都存在，它只是以不同的表现形式出现而已。
那在早期的这个机器学习系统中，我们有一个叫做集成学习的方法，就叫ensemble。然后同一个问题，你让不同的模型回答，或者你让同一个模型回答多次，然后对这个结果进行集成，通常都可以看到一个比较好的效果提升。那这里面我们 test and scaling 这个 scale
的就是模型尝试的次数。然后呢，这个大模型时代的 test and scaling 更多这个一般意义上指的就是 OpenAI 的这个 O1 里面的，呃，就是针对困难的问题，我们让通过让模型思考更长的时间来提高成功率。
嗯，那这里面我们 scale 的是模型单次输出的 token。所以在去年，我们经常看到，就是让模型思考很久很久，然后输出几十万的token，然后呢去解决一些高难度的问题。那比如说啊，国际数学竞赛。啊，当然，这也都是一些很有效的手段。嗯啊，但是今年以来呢，我们这个 test time scaling 更多是在 coding agent 的场景下，让 agent 的持续和环境交互。
那么这个时候，大家 scale
的是模型和环境交互的次数，嗯，或者说模型完成一项任务它运行的时间。在这个过程中呢，就是模型每一次交互，它进行的思考是比较短的，可能只有几百个token，但是它可以不断的去了解当前任务所处在的环境，从而适应这个环境的一些特点，从而能够更高效的完成任务。那这个集成学习就不说了哈，这个是很早的这个早期机器学习方法了，跟现在的这个大模型范式也不匹配，所以为什么我之前说我把冰测试这个删掉了？
啊，那这个让模型思考的更久，以及让模型跟环境进行更多的交互，这两种 scaling 对于推理的 infra 的需求是不一样的。嗯，那前者是一个请求，它在长期运行，这个对于系统的这个成本非常高，所以现在其实主要也就是服务一些特殊群体，那比如说科学家的前沿探索。然后呢，后者它是在今年迎来了一个大爆发啊。
通过与环境的探索呢，CoT Agent呢可以适应各种各样的环境，所以它可以走进人们的日常生活。那比如说年初的这个小龙虾的热潮就是一个例子。嗯，那在种这种这个多轮交互的情况下呢，前缀缓存也叫做Prefixation就非常重要。那我们要尽量确保这个历史状态都能够保留下来，这样子下一次请求可以很快的进行。
所以啊，这个 Tensan Scaling 的几个阶段对推理引擎其实有这个不同的要求吧？嗯，你刚才提到 Coding Agent，那在 A
阵场景下，就模型会被调用很多次，有复杂的上下文的管理需求。那你觉得现在的推理框架对这个场景支持的够好吗？呃，现在的推理引擎对这种场景的这个基础知识是比较好的，就是这种 coding agent 的场景，主要就是要保持一个前缀的稳定，呃，所以呢，这样子推理引擎就可以复用前面计算的结果。
嗯，当然，这也有一些这个呃模型设，就是它的设计之初就不完全遵守遵守这个前缀稳定的性质，比如说有些模型，它在下一轮思考的时候，它会删除上一轮思考的过程。那这个时候就需要跟推理引擎做一些联合优化了。嗯，然后目前主要的一个问题是生态比较碎片化，然后不同的这个 harness 框架它会带来不一样的这个负载的特性。
以及不同的模型结构，它又带来了不一样的推理优化的需求，所以很难统一。那这个和 infra co-design 其实是一个类似的问题。我们现在需要的是一个 harness 和 infra 的 co-design。啊，这一方面其实去年这个 Manas 的记忆超就是 Peak，他也有一篇博客写，就是如何设计一个 infra 友好的 harness 框架。
嗯，其中最重要的部分就是你要充分的利用前缀缓存。那这里面有一些这个 harness 框架设计者。他可能比较自作聪明，就是觉得每次哎，我把这个工具调用的范围进行一个精细化，然后呢，可以提高模型的效率。但其实这个因为工具调用，其实总是出现在模型的这个请求的前端，所以这种操作会导致每一次请求都会无法重复利用前面计算的结果，所以这个对推理系统带来一个巨大的负载。
然后呢，还有一些古老的传统，比如说 ChatGPT，它之前在 System Prompt 里面会加入当前的日期，所以呢，前缀缓存会在日期切换的时候统一失效，这个也是一个很不好的行为。那现在更优雅的做法是，你可以把日期当做一个工具提供给模型。然后呢，模型如果觉得这一次需要当前日期，它可以再去查询当前日期。
所以呢，你不要把一个经常变化的东西放在请求的前端，然后。最极端的例子就是有一些这个 harness 框架啊，把当前的时间嵌入到请求里面，而且精确到了秒，嗯，以及它的定时任务总是设置到整点，这就导致就是一到整点，这个推理系统就会收到一大波巨大的流量，而且这个对推理系统会造成巨大的压力。那蒙校的同学对于这个有一个非常形象的说法，就是一群小龙虾一到整点就集体出动攻打月球。
那其实这种东西都是可以很简单的优化的。你比如说，呃，每小时一次的定时任务，如果你不是要求整点的话，你可以在每小时里面随机选取一个时间点。然后再比如说，你的时间戳不要放在 system prompt 里面，这些其实都是很基础的逻辑哈。但是，嗯，可能觉得就是这个时代比较浮躁，然后，呃，知道这些基础的人其实都比较少。
嗯，然后。就是说到这里，TPC格他最近完成了一轮大额的融资嘛，然后他也在进行大量的扩招。那其实可以看到，他招聘的首位就是Agent的框架设计相关的岗位。所以在这里，我也非常期待，就是 DeepSeek 能够推出什么样的 Agent 设计的框架啊？然后他们在模型和 Infra 的 Co-design 方面可以说是一骑绝尘。
那我也相信他们的 Agent 的框架、Harness 框架也能够达到和这个 Infra Co-design 的一个高度，然后再给社区上一课，说这才是好的。agent的框架。那你刚才说的是agent框架harness呃infra呃他们之间的co-design。那在也有人说会在未来的AI系统里，模型架构和芯片架构也会越来越耦合，嗯，就像苹果的M芯片和iOS那样，你同意吗？
这对你们设计这个通用框架意味着什么？呃，目前的整体趋势确实就是模型框架，呃，这个模型的结构和芯片的架构它越来越耦合了。而且其实主要就是就刚才说的模型它是往芯片这边靠，因为芯片已经设计成那个样子。对。然后如果你没有往芯片那边靠，你的效率就会极大的降低。那这里我又又搬出这个 David Patterson 哈，就是他在获得图灵奖的时候有过一个演讲，就是说他对于计算机体系结构的一些看法。
啊，这里面主要有两点内容。第一点就是魔委定律已经无法继续延续了，就是通用的算力已经没有办法再继续往上涨了。那么在这个时候，你想要获得更高的性能，唯一的出路就是设计领域特定的芯片结构，就是为特定的负载提供特殊的芯片。那这反过来又进一步限制了，说芯片已经设计成这个样子了，它是为这个负载设计的。那如果你这个硬件、你这个模型没有设计成这个样子，那你就无法享受到这个芯片的红利。
第二点就是矩阵乘法是如此的简单，但是有效。嗯，当芯片结构为特定的这个负载进行特殊优化的时候，那我们自然就要问：这个特定的负载是否那么重要？是否值得我们去大力优化？那英伟达的发展历史以及这二十多年来这个工业界的探索经验就表明，矩阵乘法这个特殊的负载就是如此的有效。你只要能够把矩阵乘法算得快，很多问题就能够解决。
所以这两点可能是相辅相成的，就导致这个现在。高性能的计算芯片基本上都特化成了矩阵乘法的这个计算单元，那所以呢，模型结构的设计也必须要尽可能的往这个矩阵乘法这方面去靠近。呃，这方面我可能可以举一个具体的例子，就比如说这个 F18 的这个量化格式的设计。嗯嗯，二四年到二五年的时候呢，英伟达的这个旗舰芯片是从 A100 转变为 H100，然后呢，从 Ampere 架构升级成 Hopper 架构。
那么 Hopper 架构其中一个大巨大的卖点就是 F18 的算力，就是八比特的这个浮点运算。那么它比十六比特的浮点运算可以快两倍。那么，在这个模型结构设计里面呢，你想要用上这个加倍的算力，其实并不容易的。嗯，啊，一个简单的办法就是，你可以把这个模型进行全局量化，啊，全局量化成FP八，但是这个很容易损失精度。
然后呢，DeepSeek应该是第一个大规模跑通F18训练的团队，就是他们的核心就在于分块量化，就是对于权重做block的quantization，然后呢，对于activation做逐channel的quantization。啊，这个设计也是符合下一代芯片的这个MX的一些量化格式的。当然，纯粹的这个分块量化其实并不能解决这个问题。
呃，有一些这个团队之前也探索过，发现这这一这种方式的话，其实矩阵计算的乘法存在一个精度问题，所以存在了成为了这个摆在他们面前的第二道关卡。但是他们这个GPTC个探索出了这个矩阵乘法之后，再拿向量单元做累加的思路，那么利用芯片上两部分计算单元可以同时执行的特点，做到了精度不损失情况下的计算效率的领先，所以就领先了其他竞争对手一个身位。
啊，然后其实这些故事都是可以公开可查的，就是其实他们都写在 DeepSeek 的这个技术报告里面啊，只是对看的人多少的问题。不同的人会画不一样的重点，对于技术报告来说。哎，那如果对于想要做好 Infra 的模型团队给一些建议的话，这里面可能的 Secret Source 会是什么呢？有没有一些比如说思维方式或者方法论层面的？
我觉得这里面核心是要从第一性原理的角度去思考问题，也就是我们所谓的 first principle。呃，因为 AI 行业非常火热嘛，然后行业里面涌入了非常多的从业者。那每一个话题，每个月可能都有十个层出不穷的新技术。那这些就需要技术团队从第一性的原理的角度出发去思考，哪些技术是有用的，哪些技术它只是花拳绣腿。
那比如说做推理引擎啊，那有些同学他连 continuous batching 的技术都这个概念都不知道，他只能在这个别人给的代码里面做一些修修补补，然后再测量一些速度，也不知道这个速度的提升来自于哪里。然后呢？有些同学他做性能优化，他可能连GPU性能测试的这个基本概念都不知道啊，更别说就比如说要考虑一些这个散热呀、功率呀、机器的硬件频率对对这个性能的影响。
那这样的同学做性能优化，他可能就像抽彩票一样，就是他的有性能提升都是运气。对吧？那再比如说模型结构设计，对吧？那有些同学他连attention在各种这个batching条件下的计算过程都不知道，只知道一些课课本上的公式，也不知道这个flash attention是怎么写的。那他面对这个旋转位置编码的一百种上下文扩展方式的时候，他如何判断这里面哪一个方式是值得投入的呢？
所以说，我觉得。一个团队靠谱的首要条件，就是要在这个团队里面有足够多的人，他能够从第一性原理的角度去思考，他们要解决的是什么样的问题。然后在这样的前提下，不同的团队，它可能因为他们使用的硬件环境不一样，或者资源的限制不一样，做出了各种各样的选择，那都是合理的。但我觉得，只要他们是从第一性原理的角度去思考、去解决问题，那他们的结果都不会差。
然后我再举一个例子啊，就是这个我从算法研究转到这个机器学习系统研究嘛，所以我对机器学习系统的知识积累肯定不如在业内耕耘很多年的同学。但是我在学习这个 GPU kernel 编程的时候，那我首先看的就是 GPU 的编程模型，它给我提供了哪些设计空间？那了解了这些第一性原理之后。我很快就找到了一个，就是有一个很头疼的问题是GPU上的一个非法内存访问，我们叫做illegal memory access。
嗯，这个是GPU kernel里面一个非常难调试的问题。但是当我从第一性的原理的角度理解了GPU kernel之后，那么我很快就找到了一个叫做扩大core dump的技术。啊，这个技术它其实存在的很久了，但是AI infra的圈子里面知道的人非常少。那我是在了解了GPU的编程结构之后啊，这个编程模型，我觉得这个编程模型它就应该存在一个这样的工具。
那么GPU的驱动应该能够支持这样的任务，所以我是带着这个任务持续不断的去问英伟达的团队说，你应该有一个这样的方案，你给我找出来。那最后他们确实找出来这个方案其实是已经存在的，只是不为人知道啊。然后我后面把这套方案在社区里面进行推广之后，其实这个解决了非常多的疑难杂症。所以说，就是在一个快速发展的阶段，呃，通过第一性原理去看清楚这个时代发展的主线，然后屏蔽噪音，持续在一个有用的方向投入，我觉得这是最重要的。
那基于我们说这个模型结构和呃 infra 这个 co-design 理念，你觉得在 infra 和模型结构这两条线上，它们分别的演进方向是什么样的？能不能做一些技术预测？这个比较难预测啊，因为模型结构的发展它也不是一个线性向前的啊，它更多可能是一个螺旋式的上升吧。然后有的时候可能也会走到一些弯弯路。
而且呢，这个模型结构和 infra 它不是全部，对吧？它有的时候都是服务于对应的需求的。所以说，我觉得很难做一些大的预测吧，但是。呃，这里我我就就来几个 hot take 吧，就反正也不不论这个正确哈。我觉得一一个 hot take 就是我觉得，模型对于上下文的需求基本上应该停留在百万上下文的这个级别。
呃，个别领域，比如说生物化学之类的，他们处理一些特殊的数据，这些自然科学，他们可能会需要千万上下文，甚至亿级别的这个上下文。但是与人打交道这个模型，我觉得它的上下文应该不需要再大幅增加了。那模型执行长城任务的过程中，或者是一些终身学习的需求啊，我觉得都可以通过外部工具来实现啊，比如说一些记忆模块呀，一些技能模块呀，或者通过一些
sub agent 的模块呀，啊，这些都可以实现比较长上下文、比较长城任务的支持。
那如果这个预测成立的话，啊，那么当前的这个模型结构设计和 infra 还可以在现在的范式下啊延续很长一段时间。啊，当然这个这个是我的这个 hot take，我们可以几年之后再回过头来看看这个预测对不对？还有其他的 hot take 吗？呃，我就先讲这一个吧。嗯。你刚才也提到，就是国内的模型和海外的模型有一个很大的区别，就是国内模型追求效率，海外的模型追求效果。
这可能跟算力的资源有关系。那你觉得像比如说国内的模型现在做很多这种把现有的硬件利用率压榨到极致的嗯做法，但也有一种声音会觉得说，当模型本身朝 test time scaling 方向演进，推理 token 数爆炸式增长，再怎么压榨效率肯定追不上需求增长的曲线。那这种极致的效率优化对于 scaling load 的追求，如果两者出现冲突、出现矛盾的话，应该选择哪一个？
他们有矛盾吗？啊，我觉得他们应该不矛盾。就比如说，现在是夏天，是一个用电高峰期，那我们不能说大家的用电量激增，发电厂就摆烂，对吧？发发电厂肯定要更加努力的去产生更多的电。嗯，那所以说现在这个 token 就是推理需要的 token 爆炸式的增长，那对推理这个效率的需求其实是变得更急切了。因为现在地球上的资源是有限的，那么整体的算力是有限的，电力供给也是有限的。
所以说，遇到困难大家需要一起想办法。那比如说前面我们说到的这个 harness 框架，它可以和推理引擎做一些 co-design。那同样的任务，合理的 harness 的设计可以让这个推理引擎产生更多的 token。嗯，然后人是会灵活变通的嘛，对吧？那么如果 token 不够用的时候，大家就会开始研究说这个怎么样节省 token。
然后呢，钱不够的时候就会研究说这个怎么样用一些便宜的模型来做同样的事情。所以我觉得，呃，整体上来说，这是一个非常激动人心的时代。然后，这么多聪明的头脑，大家都在一起推动这个人工智能的发展。所以我相信，未来一一定能够达到一个token的供需平衡的状态。当然，这个肯定需要供需两侧共同努力嘛。那么供给侧呢，我们多优化，然后提高生产的效率。
那么需求侧呢，我们也需要多规划，提高模型的这个token的使用效率。所以效率和效果不冲突，对他们肯定是要共同进步的。海外在效果上跑得更快，国内在效率上跑得更快，是这样吗？对，这是我的感受。因为中国公司的开源文化现在已经形成了嘛？你觉得中国这一波开源的生态对于全球的模型格局产生了什么深远的影响没有？我觉得这个中国开源还是对世界产生了非常深远的影响的，就是基本上在美国走向闭源之后，扛起了开源的大旗。
对，所以非常重要，然后做的非常好。你们现在呃开源社区在美国多吗？像你们这样的美国现在主要是开源推理的技术社区，嗯，对，模型不太开源，也有一些公司在做开源，比如说 Mistral 还在做开源，嗯，然后呢，像其他的一些呃 Poseid 的呀，一些就是大家知道的不是很多啊，但是还有一些公司在做开源，但是顶级的目前没有，这会让你们的业务重心往中国迁移吗？
我们主要还是在做北美的业务，就是因为模型在中国开源，但是它可以在北美使用。你觉得中美在AI基础设施上的竞争会有，呃，什么样的走向？能不能做一些预测？我觉得他们不是竞争吧，更多是各自有各自的这个局限和一些掣肘的地方啊。比如说，中国很显然的就是一个高端算力紧缺，所以它需要想办法把各种各样的能用的算力都用起来。
所以会更重视像一些国产卡的适配，然后呢，它的优点就在于说土地和算力的供应，啊，不就是土地和电力的供应都比较充足，所以你建立数据中心什么的这方面都没有问题。那么美国可能这个是相反的，美国的高端算力比较多，然后呢，它没有这个算力方面的一些掣肘，就是它的芯片比较多，但是呢，它在这个土地和电力的供应上面是有问题的，所以他们其实现在下一波基建是在把电力的这个供应提上来。
所以长期来看，你觉得中美的模型格局的走向会是什么样的呀？呃，各有优劣吧。对，然后模型格局的话，呃，美国目前还是在走闭源的路线，就是顶级的像 OpenAI 和 Anthropic 和 Google Gemini 啊，都是在走闭源的路线。然后呢，中国这边顶级的模型还是在走开源路线。嗯，我个人是觉得开源模型最后会赢的。
为什么？因为我觉得还是拿电力来打比方吧。嗯啊，就是token和电它有相似之处，也有不同之处。那比如说，呃，发电这个问题，你如果有一个核电厂的技术，那么你把核电厂发出来的电供给给一个城市用，这个城市用这个电用一辈子，它也不会研究出核电的技术。就是它只是用电，它不会触及到发电的技术。嗯，但是大模型是不一样的。
大模型刚才说的每一个token，它都是带着模型的烙印的。嗯，那么。模型拿出来，这个训练出来是要给人用的。那么一旦你给人用了很长一段时间之后，其实用户他自己的数据已经可以训练出一个模型了。所以模型它就不是一个能够长期的对用户进行隐藏的东西。对，所以长期来说，呃，这个训练模型这个数据成本一定会降得越来越低，因为大家都能收起自己的数据。
尤其是Coding A阵来了之后，对吗？对，尤其是Coding A阵的数据，大家可以很快的收集到。我觉得一般一个月左右，一个公司级别的这个机构就能够收集到足够它训练的数据。嗯，所以这个时候它内部的飞轮就可以转起来，它可以训练自己的模型。现在你觉得有哪些公司已经开始形成自己的飞轮了没有？啊，像智谱就做得很好嘛，像他们 G O M 五点二的这个 coding 能力就做得很好。
这个跟它收集的数据有关系。具体他们怎么做的我不太清楚，但我觉得他们一定是在数据的收集方面有一些这个过人之处。所以这个会带来领先者的优势，对吗？对这个会带来领先者的优势，但是我觉得啊，这个优势肯定也不是长期的。就像我刚才说，就是我觉得模型能力的优势，它没有办法长期的守住。那最后的护城河是什么？我觉得在现在的一个场景下，这个护城河更多来自于你能不能快速迭代，所以没有一个东西你能够守着它守一年，你必须能够不断的推陈出新。
最后模型会是一个呃 commodity 吗？我觉得最后会的。啊，因为我觉得开源模型最后会赢。那么模型开源了之后，嗯，就是大家都可以用嘛。开源模型最后会赢，所以你 bet 中国？呃，我 bet 开源模型，中国模型开源我就支持中国模型，其他国家的模型开源我也支持。这个观点是什么时候形成的？这个观点，我觉得是基于对于AI的理解吧。
嗯，就是我说的，就是从第一性原理的角度出发，模型它就不是一个能够长期藏得住的东西。就是它不是说像核武器一样，你一旦研究出来了，你只需要爆炸一次给别人看，然后你就可以藏着它，就是用于威慑，对吧？那么模型它是一个民用的技术，嗯，它必然需要给大家大规模使用。那么，从AI的第一性原理的角度出发，你能够给大家大规模使用，大家就能够大规模地收集到数据。
那么，这个模型就必然能够被复制出来。嗯，如果开源模型会赢，这对你们公司带来的影响或者什么，对vLLM带来的影响或者什么？那就对我们来说当然是一件好事呀。所以我们公司聚焦在推理嘛，就是我们认为模型这个事情会有人帮我们解决。哎，模型公司会自己都做自己的推理吗？对他们都会做自己的推理。那为什么一定需要vLLM？
这个就是因为他们内部的推理引擎很多时候很难在外部去部署，所以比如说刚才说到 DeepSeek，他们的 infra 做的非常强，但是这个是基于他们完整的能够控制自己的从集群到上层的软件的这个条件基础上的，那么它就没有办法做快速的扩充。比如说你再给他十倍的机器，他们能不能马上产生出十倍的头梗？这个是不行的。
然后呢，我们做的开源的推理更多是一个呃更公用化的一个推理。嗯，那比如说我可以在云上面租一些机器，可能这个机器有各种各样这样那样的限制啊，可能我们没有办法控制的那么极致，但是我们也能够做出一个还不错水平的推理引擎。你觉得你们会是下一个Linux吗？我们是在往这方面考虑的，或者说就是确实是在往这方面的发展，而且它的影响力，我觉得已经。
啊，我们已经可以说它就是AI推理领域的Linux。那么，比如说你看到呃Linux一个重要的维护公司是Red Hat，嗯，对吧？它促进了这个Linux的这个推广，就是Red Hat它也在投入vLLM。所以，他为什么投入VM？就是他觉得VM就是下一个Linux，而且他已经把VM打包到他们很多的Linux的企业发行版里面了。
所以，就是未来他们部署的时候，就不再是一个冷冰冰的这个操作系统，而是一个能够运行AI的一个AI操作系统。你们接下来还有融资计划吗？有啊，我们这个公司肯定是要持续融资的嘛。嗯，但这个呃，我觉得像前面说到的，我们不是为了融资而融资，我们更多是希望能够有一些啊，我们做出来的我们觉得值得融资的成果。所以我们现在正在马不停蹄地做各种的这个工程的事情。
嗯，下一个 milestone 可能在哪？下一个 milestone 我觉得可能比较内部吧，就是我们希望我们把一些商业模式打通，嗯啊，然后出现一些能够可规模化扩展的商业模式的时候，嗯，这个时候我觉得就是我们在做下一次融资的时候了。我今天觉得你比我想象中有passion很多，特别是对你们这个开源社区非常有有感情。
我感觉你也很一直很喜欢做那种打通底层，然后解决通用问题，嗯，包括做一个透明化的系统的事情。你觉得你这个性格底色是怎么成形成的呀？呃，我觉得还是跟这个成长的时代有关系吧。就是我接触技术，像这个上大学以来一直接触的技术，都是就是大家对于开源是比较open的，嗯啊，就是我们不管做什么事情，第一件事就是先去搜索一下这个技术有没有人已经做过了，然后从开源的那边开始。
所以，嗯，这个其实也是最近十几年才有的风气吧，我觉得。然后我是在这样的这个环境下成长起来的，所以我自然的就觉得，呃，技术开源是一个很自然的事情。你觉得你在美国的那个实验室里面，嗯，中国？的人或者团队对于开源会更有热情吗？相对其他国家和地区的人来说，我不知道这个问的对不对。我觉得这个可能跟国家没有很大的关系，就是这是一个整体的全球范围内的开源运动。
嗯啊，可能从几十年这个操作系统。开源开始，然后一直演变到现在的一个状态。你从一六年就开始写知乎，你为什么喜欢写作？然后你觉得通过写作和通过通过写作，然后和世界发生交互，给你带来了什么？我的很多技术创作，就是我的很多写作也都是技术创作，嗯，所以我觉得可以把它归入到开源这一类。就是开源它不一定是算法，它也包括一些技术心得的分享。
就是跟社区自由的沟通的这么一个过程。你是一个会通过写作来思考的人吗？对我希望把写作就是把事情写下来。如果你没有办法清晰清晰的写下来，说明你对他还不够了解。但是有的人是通过写作思考，有的人是通过语，就是口头表达思考。有时候就是通过写作的人，口头表达能力反而没有那么强。你好像没有这个问题。我觉得写作和口语可能是类似的吧，就是我要把我的想法清晰的表达出来。
当然，因为我觉得我我也比较喜欢数学和物理，所以我比较喜欢形式化，就是形式化的东西，你只有写下来了，你才好验证。啊，你需要。大胆猜想，但是小心求证。所以说你是要把你的语言啊落实到文字，然后再去
polish。哎，你们团队管理方式会有通过这种大量的文本进行管理的方法吗？呃，文本是比较多的，呃，因为我们在新加坡和美国有两个 base，所以啊，大家没有办法长时间的在一起，所以很多都是通过文字来沟通，或者啊一些在线的会议，会一起写一个长文档，共创一个长文档吗？
长文档的方式比较少，更多就是直接，比如说在 Slack 里面聊天吧。对于现在想要入行的，嗯，年轻的 AI researcher，你会有一些什么样的建议吗？现在可能确实不是一个那么好入行的时代，因为确实行业竞争非常的白热化，然后也会导致一些呃，就是人的心态会有一些浮躁，所以很难长期的去积累一些踏实的东西。
所以，我我只能说，就是我个人认同的，就是做事要从第一性原理的角度出发，就是，呃，做人也是一样吧，就是想清楚自己想要什么，嗯，然后再去努力。然后我觉得，一般从这个角度出发，最后的这个结局都不会太差。我看到过你有一个说法，就是说在后摩尔定律时代，AI的上限取决于系统，而不是算法。你今天还认可这个观点吗？
啊，这个不是我的判断，这个是我提过好多次的这个 David Patterson 老爷子的一个判断啊，我是认同这个判断的，而且近十年的发展其实也是在反复印证这个判断。嗯，就比如说一些例子，比如说我们当这个 Attention is all you need 出来之后，那么当 Attention 要做长上下文的扩展的时候，啊，我们看到了有非常非常多的算法在尝试做各种。
近似在近似如何计算这个 soft max attention 啊，在长上下文的里面的这个计算效率的问题，但是这些问题最终都是被 flash attention 解决了，就是它告诉你说一个精确的 soft max attention 的算法，它可以被高效的实现。那么之前那些研究这个高效
softness attention 的论文就都没有用了，嗯，然后呢，啊，还有比如说，啊， auto regressive 的这个 decoding，那么一开始提出来的时候，大家是说它是非常慢的，因为你只能一个一个 token 的去计算，这个效率非常低，所以它肯定没有用。
但是呢，经过这几年的发展，那么大家看到 auto regressive decoding 之后啊，大家在上面做了一些很多的优化，比如说 VLM 就是其中很重要的一个优化，就是 continuous batching 结合上 page attention 的技术，那么就把这个 auto regressive decoding 的这个成本就降下来了。
然后同时还有另一个很重要的技术就是 speculative decoding。那么我们可以从一个一个 token 的 decoding 变成一小段一小段 token 的 verification。那么这个也是这个系统对于这个算法的演进的变化。嗯，然后呢，还有就是像之前这个博客里面也有提到过 linear attention。
那么 linear tension 也是有很多人在研究什么样的 linear tension 是好的是合适的啊。然后这个关键也就是这个像 Mamba Two 这个松林他们提出来这个啊，应该是松林提出的这个 chunk parallel 的这个算法，嗯，就是你如何分段的计算，然后你在分段的过程中能够有一些高效的这个计算方法。
所以啊，这一系列其实都是在系统层面如何去更好的支持算法。然后同时也就意味着它有一个呃系统彩票的问题，就是你的这个算法能不能被系统高效的实现？只有被高效实现的这个算法，最终才能够留下来。所以说呃系统是非常重要的，也有点抽彩票的意思。对，因为整体这是一个非常特化的时代，就是大家都需要抠底赞，因为通用的进步已经没了，嗯，所以说你需要跟硬件抠底赞，你需要跟系统抠底赞，然后刚才说的你需要跟
harness 抠底赞，所以对整体上来说，就是这是一个变化非常快的时代，然后你抠底赞也能够给你的这个发展带来更大的空间。
那这个抠底赞后面它只是解决一段时间的问题，它没有办法解决一个更长时间的问题。啊，更长时间的就需要看这个历史往哪个方向发展了。嗯，对，比如说现在的这个万亿级别参数的模型够不够啊？再到十万亿，它有没有用？然后呢，这个长上下文，像我刚才bat的说，百万上下文就可以了，那是不是真的可以了？要不要千万上下文？
嗯，然后呢，这个AGI到底发展到什么样的水平？然后呢，人类历史将来接下来要怎么演进？那我觉得这个，对它不单纯是一个技术问题，它是一个历史问题。从历史来看，你觉得今天的人类处于一个什么样的？时候，啊，它确实处在一个技术的临界点吧，就是从文艺复兴以来。啊，人类的历史一直是在，就是技术是在不断的积累的，嗯，所以这是一个很可怕的事情。
它就是它是一个指数增长的曲线啊。每一代人都是在基于上一代人的这个技术来进一步探索，所以每一代人都对上一代的技术做出了一个成比例的提升。然后再往后面，现在出现了就是呃计算机技术出现了之后，那么我们不仅是可以在过去的人的技术上做积累，我们甚至可以把过去的人他的思想、他的话、他的一生全都浓缩下来，所以我们后面是可以在所有人的历史经验上再去做指数级别的增长。
啊，这也就是AI的出现嘛，就是我们有大量的互联网的语料，那我我们基本上就是把整个人类历史都可以拿来训练，那么所以这里就诞生了AI，所以这个确实是就是指数发展到了一个临界点，那么接下来大家很多人讨论的就是呃碳基和硅基接下来该怎么共存的问题。如果到了那一天，你觉得你的人生会是什么样的？你的生活会什么样？
这个确实很难想象啊！但我个人的感觉就是，呃，碳基和硅基还是各司其职，有各自的擅长的地方。嗯，就是尤其是我做这个系统这边比较底层，然后发现啊，就是硅基的智能，它更多的还是一个summary。啊，就是他从他学习到的语料里面学习到的，然后呢，人类还是能够提供一些
insight，就是一些。我们所谓灵感，嗯啊，或者说啊，就是我们能够掌握的context更多，然后啊，我们能够提供更多有用的建议，就是啊，理想情况下当然是人类驾驭着这个硅基智能一起来让世界变得更加美好。
硅基提供。更大规模的智力，人类提供灵感，对硅基提供执行能力，嗯，然后人类利用这些执行能力，这些是这是我理想状态下的一个情况，嗯，哎，我看汪嘉译非常的相信命运，你信吗？你首先，你如果相信命运的话，相信的是什么样的命运呢？对吧？我觉得这个是一个无法描述的问题。对你首先得从哪里观测到命运，然后你再相信它。
所以我觉得啊，在我这里我并没有看到一些观测命运的手段。嗯，可能翁嘉怡同学有些时候做梦的时候遇到过自己未来的命运。对我这边还没有产生过这样灵光一闪的情况。那我们最后还有一些快问快答。一个全球范围内你喜欢的食物啊？食物我其实没有什么特别喜欢的吧，就是对生活上的追求并不是很高。嗯，有全球范围内你喜欢的地点。
呃，第一点我觉得印象深刻的就是伯克利，就是我的比较重要的两次人生转变，就是本科和博士博士期间的交流都在那里。一个少有人知道，但是必须知道的知识点，可以是一个冷知识。啊，我说一个推理引擎相关的冷知识吧，就是很多很多的大模型，我没有说这个一定是绝对啊，但是你如果对一个大模型输入一千个感叹号，那么它一定会输出很多很多的感叹号。
然后呢，这个东西有的时候你可以用于去探测对方的这个推理引擎背后它开了几步的投机采样。所以说，对，你可以通过吐出的token反推出背后推理引擎的一些技术。有没有一些你喜欢的音乐？我觉得在今天这个背景下，呃，我就说一个李宗盛的这个《山丘》吧，就是因为里面有一句话叫做“想说却还没有说的还很多”，所以我们之后可以如果有时间的话可以再聊。
你心目中影响AI进程重要的几篇论文？我觉得这个大家应该说到过很多，像这个 transformers 这个 GPT 三这些论文。然后我可能从技术的这个呃系统工程的角度补充几篇，就是我刚才提到的这个像 Flash Attention，然后像 vLLM，然后像 Flash Linear Attention，嗯，他们都是极大的影响了这些技术的进展的。
基于你当下的认知，一个重要的关键的 bet 是什么？我觉得我现在关键的 bet
就是我刚才说的，就是我觉得开源模型最后会赢。我们工作室叫做语言级世界工作室。当你第一次听到这个名字的时候，你在想什么？啊，语言即世界，就是维特根斯坦的那句话，对吧？就是我的语言的极限，就是我的世界的极限。啊，我第一次听到这个的时候的脑子里冒出来的一个想法就是，呃，五次及以上的方程的求根公式没有办法用有限的四则运算和开根号来表达。
啊，就是说，语言即世界，可能就表明我们其实只是一个低维生物，然后其实在我们之外还有更高维的存在。从这里，探索新世界。好了，今天的节目就是这样。这里是商业访谈录，是一档由语言及世界工作室出品的深度访谈节目。你可以到公众号关注我们的工作室，获取更多的信息。我们的公众号是语言及世界 Language is World，也欢迎你在小宇宙的评论区与我们有更多的互动。
我们希望和你一起从这里探索新的世界。We'll explore the new world from here. Shouting out so the clouds can't hear. Every heartbeat drawing the map we steer. We'll
explore the new world from here. Step by step to the town to cheer. We're the start of the story. This world we're here. We'll explore the new world
from here.