从学术理想到系统现实：一个研究者的转向
游凯超本科与博士均毕业于清华大学，目前是创业公司 Infra 的联合创始人兼首席科学家，其核心身份是开源推理引擎 vLLM 的主要维护者之一。他坦言，自己最初进入 AI 领域时，怀揣的是典型的算法研究理想——在学术社区中严谨讨论、共同推进技术边界。然而，他亲历了人工智能论文数量呈几何级数增长、而审稿质量却急剧下滑的过程。投稿逐渐变成“抽彩票”，论文质量与录用结果之间关联减弱，这让他深感痛心。他观察到，学术圈已进入“礼乐崩坏”的状态，而个人无力扭转这一趋势，因此逐步退出纯算法研究。
另一个关键转折点是，他在实践中意识到：真正决定算法能否落地的，不是模型设计本身，而是支撑它的机器学习系统。他以何凯明的 ResNet 为例指出，其成功不仅源于思想简洁，更在于大规模实验验证；相比之下，实验室小规模实验往往受限于系统能力，难以复现或拓展。当他尝试扩大实验规模时，系统瓶颈立刻显现——“支撑实验的机器学习系统以及对应的数据，才是决定成败的关键”。
此外，工业界的真实反馈也对他影响深远。例如在 2022 年 WOS 大会上与旷视首席科学家张强宇的长谈中，他震惊地发现：工业界最头疼的不是算法创新，而是如何适配复杂硬件、手写 CUDA 算子、管理多级缓存。这让他意识到，系统工程能力已成为 AI 研发的“隐性基础设施”。
原话：“看完了凯明老师的论文啊，我们觉得这个想法实在是太自然了……但为什么最后成功的是凯明老师呢？……他做了大规模的实验。”
原话：“我们实验室里面的这些小虾米是吧？我们只是在玩我们这个玩具数一数据集，然后呢，在上面就是有点这个螺丝壳里做道场的感觉啊！”
当开源精神遭遇商业化浪潮：vLLM 的蜕变之路
vLLM 最初是伯克利校园中的一个开源项目，由游凯超等核心维护者历时近三年，从一篇算法论文孵化为广泛使用的推理引擎，最终演化为商业实体 Infra。这一过程背后，是一群人放弃大量个人诱惑、坚持开源精神的长期投入。2024 年初，Infra 完成 1.5 亿美元种子轮融资，标志着这一社区驱动项目正式迈入商业化阶段。
访谈中，他特别强调了“模型与 infra 的 co-design”这一理念。他用了一个生动的比喻：就像水流湍急与平缓之处需设计不同发动机一样，模型结构与底层基础设施必须协同设计，才能最大化效率。他指出，在当前 AI Infra 与模型、甚至硬件工程深度耦合的时代，这种联合设计已非可选项，而是必选项。
他进一步解释了“token 的不可互换性”：token 是模型的烙印，无法像电力一样通用调制——你无法把 DeepSeek 的 token 直接用于 Kimi 模型。这凸显了模型与系统深度绑定的现实，也解释了为何像 DeepSeek 这样拥有深厚 Infra 底蕴的团队，在量化压缩、性能压榨等方面具备天然优势。
原话：“大家把 token 和电做一个类比的时候……但是 token 它是没有办法去做调制的，就是你没有办法说把一个 DeepSeek 模型的 token 转化为一个 Kimi 的 token，这个 token 它是带着模型的烙印的。”
创业初心：情怀、信念与时间的赌注
游凯超坦言，最初被说服加入创业时，并非出于商业考量，而是“晓之以情，动之以理”。团队曾用一个尖锐的假设打动他：“你如果不跟我们一起创业，你赚到了很多钱，但是十年之后 WeWork 项目失败了，你是开心还是不开心？”——这背后是对长期主义与技术使命的坚守。
他回顾清华求学经历时强调，自己并非“卷王”，而是更享受学习本身。高中时通过《几何画板》等工具初识计算之美；大学阶段则借学堂在线平台自学 Python，开启编程之旅。他指出，知识获取无法靠刷题替代，而高考分数仅是入场券，“进了清华之后应该把这个分数就忘掉了”。
尽管早期成绩并不拔尖（高考仅超清华线 2 分），但他通过持续请教、大量阅读与精读笔记（部分展出在校史馆），最终实现三十六门课绩点 4.0 的成绩。他强调，这不是刻意“卷”，而是“自然而然的学习结果”——当学习成为内在驱动，外在成果只是副产品。
原话：“你如果不跟我们一起创业，你赚到了很多钱，但是十年之后 WeWork 项目失败了，你是开心还是还是不开心？”
时代的浪潮与研究轨迹的转向
游凯超认为，研究方向的演进与时代背景密切相关：凯明老师所处的时代是算法研究的蓝海，彼时参与者较少，算法层面尚有大量“低垂的果实”可摘；而到了他读本科、博士的阶段，算法研究逐渐进入瓶颈期——scaling law 的信仰使得“堆算力、堆数据”成为主流路径，算法创新空间被压缩，发论文的成就感也随之下降。尽管如此，他在本科阶段仍发表了多篇高质量论文，并最终获得清华特奖，这得益于2018–2019年尚存的学术活力与踏实的研究氛围。
他的研究起点源于对名校公开课（如吴恩达、李飞飞、Christopher Manning的课程）的学习，随后进入实验室开展人工智能方向的研究；早期课题聚焦于“数据稀缺场景下的高效学习”，但很快意识到这类工作多为“锦上添花”：依赖他人已构建好的任务，仅能带来1%~2%的性能提升，难以规模化落地。2019年暑期，他在UC Berkeley Michael Jordan教授的Rice Lab参与暑研，首次接触到机器学习系统领域，并结识了未来的合伙人李卓汉（当时即将进入Yang Stoica教授组读博）。这次经历让他同时接触到顶尖的算法与系统视角，埋下了后续转向的种子。
“只要你是一个好的软件，总会有人用的。”——Yang Stoica老师对游凯超的鼓励，成为他转向系统研究的关键心理支撑
“OpenAI 的每一个博客都是卷卷有他名，他已经属于是彪炳史册了。”——提及翁嘉毅（青苹果）已成为ChatGPT训练师，促使他反思自身研究方向的价值坐标
从算法到系统的战略抉择
博士阶段（2020年起），他尝试在有限算力下研究大模型微调方法，但很快发现类似困境：一年的算法优化成果，常被新一代预训练模型的简单替换所超越。这一现实与对论文价值的怀疑叠加，促使他在博士后期彻底转向机器学习系统方向。2020年，他与本科同学翁嘉毅合作开发了开源强化学习系统“天授”，并在后续持续向OpenMMLab、PyTorch等社区贡献算法模块，逐步积累开源影响力。
2022年底ChatGPT发布后，他再次审视未来路径：算法与数据研究高度依赖公司资源，而机器学习系统则具备“实验室小规模验证→工业界快速扩展”的独特优势。这一判断坚定了他的选择。2023年，Yang Stoica教授再度访华时，他已用四年实践验证了“做系统能产生真实影响力”的信念，最终获得赴Skylab（原Rice Lab）交流的机会，并顺势加入vLLM项目——从“萌芽想法”到“坚定行动”，中间经历了长达四年的自我探索与外部印证。
“我觉得在当下的时代，后一个是更值得追求的，前一个比较难追求……前一种东西，你要能做出impact，只能在世界上很少的地方有这样的坑位。”——对算法与系统研究路径现实差异的清醒认知
顶尖学者的思维差异与个人定位
游凯超对比了Michael Jordan与Yang Stoica两位导师的底层思维：Jordan更偏向理论与学术，其研究根植于机器学习理论、博弈论与经济学分析，强调“理解算法背后的原理”；而Stoica则追求现实影响力（real world impact），通过开源软件（如Ray、Dask）直接推动工业界基础设施演进。他明确表示自己更认同后者——“做系统不是为了论文，而是为了被千万人使用”。
这种选择也与翁嘉毅的路径形成呼应：两人早年共同探索算法研究时均遭遇“论文被拒、创新性受质疑”的挫折，最终不约而同转向系统工程。游凯超强调，转向并非一时冲动，而是多年积累后的“冥冥之中”的必然；即便没有2019年的暑研契机，他仍会走向系统方向，因为这是时代趋势与个人特质共同作用的结果。
“我觉得我依然会从算法研究转向机器学习系统……这一次重大决定，其实是酝酿了好几年的。”——对研究方向转型的深层反思与自我确认
从算法研究到系统工程的转向
在清华本科阶段，我最初投身的是算法研究，那时学术界尚未“礼乐崩坏”，踏实做研究仍能获得认可。2018–2019年是我科研起步期，成果积累也支撑了我后来获得清华特等奖学金（评选于2019年底，依据的是此前成果）。获奖时确实兴奋，尤其那句“在清华不要做一个观众，要成为舞台中间的人”曾是我心声；获奖后也确实拓展了朋友圈，得以接触更多优秀同辈——但如今回看，特奖的光环正在被淡化：它本质上只是清华众多奖学金之一，部分院系的专项奖学金金额甚至远超特奖。更关键的是，特奖曾是特定历史时期的产物：早期因社交媒体传播（如马东涵/马东昕双胞胎、陈立杰等现象级事件）引发社会热议，但过度曝光对稚气未脱的大四学生而言，易造成不必要的干扰。幸运的是，我参选那年学校已意识到问题，取消了现场答辩直播，并逐步降低宣传强度，如今它已回归为一项普通校级荣誉。
原话：“你今天还这么想吗？清华是一个舞台，但你们不要只做观众。”——我当然可以继续这样想啊，因为我现在已经不在那个舞台上了，我已经退下来了。
原话：“我觉得每个人都有自己的方向，所以不应该拿一个统一的标准去衡量大家。”
真正促使我转向系统方向的，并非某个单一事件，而是一个渐进的认知过程：算法研究越来越依赖“创新性”（novelty）的主观争论，而系统研究则可量化验证——你可以说‘加速了2倍’，别人复现就能验证，反馈真实且持续。我参与的LogMe（2021年）等工作，正是这种“确定性正反馈”的体现：贡献清晰、原理可析、价值可测。相比之下，算法论文常因复现差异引发质疑，正反馈难以累积。因此我逐渐将重心从算法转向系统，衡量标准也从论文引用数变为实际用户数、Star数、Issue中用户感谢信等真实收益——论文反而成了副产物，投稿也更顺利，因审稿人常就是项目用户本身。
vLLM的前传：伯克利传统与历史机遇
2019年我结识了Iosovik教授实验室的学生，为后续合作埋下伏笔；但真正关键的转折是vLLM的诞生（2023年中开源，实际研发始于2022年底）。我于2024年加入，成为核心维护者之一，排第四位主要成员（创始人为论文作者李卓汉等）。vLLM并非孤立项目，而是承袭了伯克利“重工业软件”传统：从BSD、RISC-V、RAID到Spark、Ray，伯克利实验室习惯以5年为周期（博士生培养周期）聚焦一个方向，产出影响工业界的开源基础设施——这一模式源于David Patterson在《How to Build a Bad Research Center》中的洞见。
说服学生全身心投入开源项目并不容易：低年级博士生需论文毕业，高年级则忙于求职；最理想的阶段是博士中后期——无毕业压力、有工程热情、愿沉潜数月打磨实现。我当时恰好处于此阶段：前期算法成果已满足毕业要求，且渴望系统级实战经验，因此对“纯工程投入”毫无抵触。加上vLLM已展现巨大潜力，我视其为历史机遇，便全身心投入维护与迭代。
原话：“你做的东西有多少人用，然后对大家是否带来了真实、真正的收益？……论文只是一个副产物。”
原话：“我做一个事情，我说我这个东西给你加速了两倍，然后我明白这个背后为什么加速了两倍，这个原理我是确定的……这个过程中，别人给我的反馈是持续不断的累积的。”
开源Infra的使命与长期主义
vLLM的诞生背景，是2020–2022年大模型浪潮兴起时的“当头一棒”：疫情阻隔了国际交流，而欧美实验室已快速产出ChatGPT级成果，凸显了我们在大模型基础设施上的差距。这促使我们反思：开源Infra不仅是技术选择，更是战略响应——通过社区协作，快速填补工业界空白。Stoica实验室的持续传统（如AmpLab→Spark、Ray Lab→Ray）证明，学生主导的科研项目完全可能成长为行业基石，而vLLM正是这一路径的延续。
作为核心维护者，我深刻体会到开源工程的特殊性：它要求的不仅是技术能力，更是长期主义的耐心与协作精神。项目初期需快速验证核心思想（如paged attention），中期则需应对工程复杂度（如多GPU调度、量化优化），后期更依赖社区共建。vLLM的成功，本质上是“学术严谨性”与“工业实用性”的结合：论文确保技术深度，而GitHub Star、用户反馈、工业界落地案例则构成真实价值的标尺。这与我转向系统研究的初衷高度一致——拒绝“纸上创新”，追求可验证、可复现、可扩散的贡献。
原话：“如果vLLM失败，我们会后悔一辈子。”
从参与者到核心：vLLM 的早期团队与使命认同
在 vLLM 项目的早期阶段，作者自认是第四位全职投入的核心成员。项目最初由论文的两位主要作者——李卓汉与乌苏格发起并主导开源维护；随后，Simon（现为公司 CEO）作为“开源老兵”加入，成为第三位全职成员。他虽曾中断博士学业投身 AnyScale 创业，但回归后更看重技术对现实世界的实际影响力，而非论文本身。作者在 2023 年底接触该项目时，正值 ChatGPT 带动大模型热潮，他敏锐判断：训练只是起点，推理才是落地关键，而 vLLM 正处于大模型推理基础设施的核心位置。因此他主动加入，坚信该项目具有重要的历史意义。
“我觉得不需要吧，就是更多看你能在里面做什么贡献。”
“苍廪实而知礼节，衣食足而知荣辱……让我们能够有更多的时间和精力去追求一些非物质的精神需求。”
Page Attention：从被质疑的‘简单想法’到系统基石
vLLM 的技术源头是论文《Efficient Memory Management for Large Language Model Serving with PageAttention》，其核心创新在于借鉴操作系统虚拟内存机制，管理自回归推理中的 KV cache。尽管该思想在学术上被认为“too simple”，审稿人甚至质疑其缺乏 novelty，但因团队执行早、实验充分，最终以低分过线被 SOSP 2023 接收。值得注意的是，vLLM 远不止 Page Attention——它已发展为一个完整的推理生态系统，整合了 Page Attention、continuous batching 及后续大量优化技术。
论文接收后，在导师 Young Storica 的推动下，团队将原型系统开源为 vLLM。然而并非所有作者都持续参与维护，最终主要由乌苏格与卓汉扛起开源责任；Simon 与作者的相继加入，使项目逐步从学术原型走向生产级系统。这一过程也凸显了开源项目与公司组织的本质差异：人来人往常态化，但情感联结与使命共识成为维系核心的纽带。
“vLLM 它解决的问题其实是，在模型和硬件都飞速发展，然后互相耦合的时候，你如何去提供一个高效的推理服务？”
重构与部署：从 v0 到 v1 的工程跃迁与社区建设
2024 年是 vLLM 的工程重构之年：项目从实验原型向生产级系统演进。团队深入调研业内方案后，于年底启动 v0 → v1 的重大重构，其本质是将推理引擎从“火电式”架构升级为支持异构模型与硬件动态适配的新能源系统。对用户而言，接口变化不大；但对引擎内部而言，需在保障兼容性前提下，屏蔽模型与硬件的复杂性差异——例如用户仅通过参数切换模型，背后却要动态适配 DeepSeek、Qwen 等不同结构的推理逻辑。
2025 年则转向大规模部署与社区建设：作者从伯克利返校后，从零搭建中国 vLLM 社区，恰逢中国开源模型爆发期（如 DeepSeek R1 在 2025 年初爆火）。两年间，团队在人员流动、模型迭代、硬件升级的多重压力下持续维护项目，最终形成稳定核心团队，并成为后续创业公司的基础。作者感慨：“我们撑过来了”，并引用《送东阳马生序》——“以中有足乐者，不知口体之奉不若人也”，点明这群技术人以内在意义感驱动长期投入的初心。
“所以你可以说，就是 vLLM 它其实一直是在重构的过程中。”
推理引擎：模型与硬件演进的中枢
vLLM 本质上是连接模型与硬件之间的关键中间层，其核心任务是确保不同模型能在多样硬件上高效运行。随着模型结构（如 MoE、复杂 attention 设计）和硬件平台（GPU、NPU 等）持续迭代，推理引擎必须不断重构以适应新需求——v0 到 v1 的跃迁只是最显著的一次，背后的小版本重构几乎从未停止。这种持续演进的难点在于：在保持前端 API 稳定性的同时，动态适配后端模型与硬件的快速变化，从而为用户提供统一、可靠的使用体验。
原话："我用 vLLM 我就可以保证说我在各种硬件上可以跑起来各种模型。"
原话："vLLM 它其实一直是在重构的过程中。"
从欧美模型到中国开源浪潮：被动响应到主动共建
2024 年，vLLM 的开源重心仍聚焦欧美主流模型（如 Meta、Mistral），彼时模型与硬件尚未深度耦合，推理优化主要集中在通用层面。但 2024 年底 DeepSeek V3 的发布（恰逢作者结束海外交流回国）及 2025 年初 R1 的横空出世，彻底超出了团队预期。DeepSeek 早期就基于 vLLM 做了大量定制优化（从 MoE 到 V3），其 Infra 团队甚至在推理引擎层面走在了 vLLM 前面，迫使团队进入“边支持、边学习”的状态。
2025 年 7 月，WAC 前夕的“模型发布潮”标志着中国开源大模型进入爆发期，vLLM 社区随之迎来密集适配任务（DeepSeek V4、MiniMax M3 等）。这一过程中，团队意识到：仅靠远程协作难以深入理解中国开发者的真实痛点，因此开始系统性搭建中文社区生态——包括建立微信公众号、小红书、知乎等本土化传播渠道，并走访 DeepSeek、Kimi 等公司，直接收集一线反馈。
基金会与公司：开源项目的双轨治理探索
为保障 vLLM 的长期开源属性，团队于 2024 年底决定将其捐赠给 PyTorch 基金会。此举并非放弃主导权，而是通过基金会实现法律层面的开源承诺：商标、品牌归属社区，防止项目闭源；同时保留技术主导权——vLLM 作为 PyTorch 基金会的顶级项目（与 PyTorch 本身并列），仍由创始团队主导技术演进，并联合 Red Hat、NVIDIA、AMD 等共同维护。
选择基金会而非伯克利实验室或纯公司实体，核心在于持续性与法律能力：学校实验室不具备法人资格与长期运营能力，而基金会可注册商标、组建法律团队、接受捐赠，为项目提供稳定支撑。尽管团队后续成立了公司负责商业化与日常运维，但项目所有权仍归属基金会，确保其开源中立性；公司角色是“技术领导者”而非“所有者”，任何企业若使用 vLLM 商标仍需社区授权。
原话："即使创业失败，最坏的情况下你也不过就是少拿了几年工资，但是如果不创业的话，那么 vLLM 项目最终没有办法长期发展。"
在创业与稳定之间做出选择
我算是较早下定决心创业的人。早在2024年交流期间，我就已通过近距离观察硅谷创业者状态、与投资人初步沟通，形成了明确判断：即使创业失败，最坏结果也不过是少拿几年工资；但若不创业，vLLM项目将难以长期发展。因此，在2024年底离开伯克利时，我已决心参与vLLM创业。由于其他核心成员尚未确定，我选择先接受Skylab博士后offer，并明确表示“我会为vLLM的创业公司再等两年”，义无反顾。
期间，我曾向本科期间合作导师Michael Jordan请教：若放弃清贫的博后岗位去求职，收入会高很多，该如何权衡？他基于长期经验明确建议：继续支持vLLM才是更优路径——这源于他与我们长期合作的观察，也让我更加确信自己的判断。
‘你如果不跟我们一起创业，你赚到了很多钱，但是十年之后vLLM项目失败了，你是开心还是不开心？’
‘如果我们赚自己赚了很多钱，但是vLLM项目失败了，我觉得我们会都是会后悔一辈子的。’
为何必须自建公司？
我们曾反复权衡：是否可依托现有公司推动vLLM发展？例如，Simon曾尝试通过Character AI提供人力与算力支持，但最终发现靠外部公司不可持续——公司自有业务优先，无法长期无偿投入；且开源项目若非自己主导，情感与责任感都难以匹配。
CTO乌苏格（Wu Suk）的犹豫最具代表性：他手握xAI（马斯克亲自邀请负责基础设施）与Thinking Machine Labs（估值飞涨）等顶级机会，却始终未加入任何公司，而是选择与我们并肩等待。最终打动他的，正是上述关于“十年后项目成败是否值得”的灵魂拷问——他意识到，再多财富也无法弥补项目失败的遗憾。
‘你如果不跟我们一起创业，你赚到了很多钱，但是十年之后vLLM项目失败了，你是开心还是还是不开心？’
‘如果我们赚自己赚了很多钱，但是vLLM项目失败了，我觉得我们会都是会后悔一辈子的。’
开源项目的治理与运转逻辑
vLLM采用分级治理结构：由Simon、乌苏格、我及李卓汉、瑞泰等构成“仁慈的独裁者”团队，负责关键决策；十余名核心维护者分管重要模块；数十名committer负责日常开发；其余为广泛社区贡献者。作为PyTorch基金会顶级项目，vLLM还接受英伟达、AMD、Red Hat、Google、AWS等大厂的联合治理支持，我们的职责之一正是协调这些巨头间的资源与诉求。
日常运转中，决策层每周例会同步重点方向，核心维护者通过异步频道沟通。最大的挑战在于“优先级管理”——必须敢于取舍。例如，我曾果断移除beam search功能，尽管推荐系统用户持续抱怨；又如明确将“大模型大集群支持”列为高优，而放弃对数百兆小模型的深度优化。
‘你如果不跟我们一起创业，你赚到了很多钱，但是十年之后vLLM项目失败了，你是开心还是还是不开心？’
‘如果我们赚自己赚了很多钱，但是vLLM项目失败了，我觉得我们会都是会后悔一辈子的。’
开源社区的治理挑战：从善意假设到AI噪音
vLLM 目前拥有两千多名贡献者，是 GitHub 上2025年活跃度最高的开源项目。这一方面是荣誉，另一方面也带来了“幸福的烦恼”。随着 Coding Agent 的爆发式发展，代码提交变得异常廉价，大量由 AI 自动生成、毫无实质价值的 PR（如“十分钟内提交20个PR”的机器人账号）涌入社区，彻底打破了开源社区默认“用户善意”的基本前提。
为此，项目组不得不引入新的筛选机制：优先认可来自知名机构的贡献者，主动忽略甚至拉黑可疑账号。这种变化预示着未来开源社区的演进方向——维护者将更依赖机构背书与核心贡献者，而普通个人贡献者能参与的空间将大幅压缩。正如一位维护者所言：
“代码变得如此廉价，以至于维护者花时间看别人的 PR，不如他自己让 coding agent 再写一遍。”
“用户只需要提交 bug report 或 feature request，代码就由维护者自己来写。”
这种趋势并非 vLLM 独有，而是整个开源生态的共同挑战。PyTorch 的核心维护者 Edward Yang 也公开表示：“与其审 PR，不如自己重写。” 这反映出 AI 辅助编程正在重塑社区协作逻辑——从“集体共建”向“维护者主导、用户反馈”的轻量级模式迁移。
为何拒绝完全 AI 治理？历史洞察与前瞻性设计不可替代
尽管 Coding Agent 已能高效完成大量编码工作，vLLM 团队仍坚持拒绝让 AI 完全自治。原因在于：许多关键决策并非解决当前问题，而是为未来三个月、半年甚至一年的新模型与新硬件提前布局。这需要维护者具备深厚的历史上下文与技术直觉，而 AI 尚无法承载这种长期、动态的系统性思考。
相比之下，Open Core 已走向“AI 自治”极端：AI 提交 PR、AI 审核、AI 合并——但其长期可持续性仍存疑。vLLM 团队认为，AI 可走完 90% 的路程，但最后 10% 的‘画龙点睛’仍需人类主导，尤其是顶层设计与风险预判。
此外，开源项目的成败高度依赖创始团队的持续在场。一旦主心骨离开，项目往往陷入阵痛期。团队坦言：“换过领导后，项目基本很难再发展得很好。” 因此，吴斯克（Usuk）的回归并非单纯技术延续（他是多项关键决策的原作者），更是社区稳定与号召力的基石——他代表了项目的“根”，是连接历史与未来的枢纽。
创业公司的必然性：从开源社区到实体组织的转型
vLLM 团队最终决定成立公司，是多重现实压力下的必然选择：
- 人力资源层面：社区模式下人员流动频繁，难以支撑长期、复杂功能的开发；
- 法务层面：与厂商合作需签署 NDA（保密协议），但开源社区作为非实体无法承担法律义务，导致新模型/硬件支持合作屡屡受阻；
- 资源层面：2025 年起，大模型部署进入集群级规模，单机捐赠已无法满足需求，团队只能“四处乞讨机器”，在不确定的资源周期内争分夺秒。
正如杨斯维克老师所言：“公司再不成立，项目就要完了。” 这一判断成为临界点。尽管团队早有创业意愿，但真正推动决策的，是吴斯克在‘逼宫’式沟通后的最终加入——团队向他提出尖锐问题：“如果你不来，项目失败了，你赚到再多钱，会快乐吗？” 他沉默数日后回归，为公司落地注入关键动力。
融资方面反而出人意料地顺利：SVCF、ACNZ 等机构早在 2023 年就已向项目提供数十万美元的纯资助，说明市场早已认可其价值。团队总结道：开源项目必须由创业公司而非大厂主导——前者具备中立性、灵活性与社区共情力，而大厂易带立场偏见，难以凝聚广泛生态。
早期支持：投资人早已蓄势待发
vLLM 项目从开源初期就获得了硅谷VC的高度关注。尽管团队正式决定成立公司是在2025年底，但早在2023年，如ACNZ等投资方就已向vLLM项目提供了几十万美元级别的纯资助，用于支持开源生态发展；2024年，Cocoa与真格基金也以社区捐赠形式提供了资金支持。这些投资人的共识是：vLLM 是大模型推理基础设施中不可替代的核心组件，其生态地位已形成事实标准——“每一个新模型发布，背后都跟着vLLM的支持；每一家芯片厂商都会主动寻求与vLLM的合作”。正因如此，当团队最终决定创业时，投资人早已“钱准备好了”，甚至在种子轮结束后仍持续有投资人主动提出可直接提供数千万美元的SAFE。团队对此持谨慎乐观态度，强调融资节奏需与公司发展阶段匹配，“不是为了融资而融资”，而是聚焦于用资金解决关键问题。
原话：“其实市场也准备好了，然后呃客户也准备好了，但是就等你们几个人做决定。”
原话：“当你去看这个开源模型的生态的时候，每一个模型的发布背后都跟着vLLM的支持。”
组织演进：从松散社区到高效公司
公司化转型极大提升了项目执行力与资源获取能力。此前在开源社区阶段，工作依赖“best efforts 或者是一个许愿的状态”——成员多为兼职，无法强制推进计划；而成立公司后，团队从4位核心创始人扩展至近40人，实现了从“松散同学”到“全职战友”的转变。创始人间形成高度协同机制：“四为一体的状态……共享一个大脑，只是需要谁的时候谁出马”，重大决策仍由四人共同参与，但日常分工明确——技术事由技术背景者主导，非技术事务由对应成员负责，且“如果你负责的、又意见坚定，大家都会支持你”。创始人之一 Young Stoica 作为DataBricks创始人及 LM Arena 项目发起人，以顾问身份提供高阶战略建议，弥补了早期创业经验的缺口。
公司化也显著缓解了社区合作中的现实障碍：此前因缺乏法人实体，难以签署保密协议、获取算力支持或完成合规采购；如今有了公司主体，法务、HR、硬件采购等基础设施全面就位，使vLLM能更高效服务用户——例如招聘更多工程师、部署更大规模测试集群。社区对此普遍支持，因其更关注项目能否持续支持新模型、新硬件、新推理特性，而公司化恰恰增强了这一保障。
原话：“我们有了公司，有了人力资源的支持，有了硬件资源的支持，我们可以把很多原来做不好的事情做得更好。”
生态与商业：平衡社区与客户的核心逻辑
vLLM 的商业化路径始终以维护社区信任为前提。团队明确表示：“不接这样的商业客户”——即当商业需求与社区发展冲突时，优先保障社区利益。目前处于供不应求状态，因此可主动筛选合作方，确保所有商业动作均与开源生态目标一致。商业模式上，团队探索多种模式：包括按Token收费的 endpoint service、BYOC（Bring Your Own Compute）软件授权，以及与战略客户共建生态的合作模式。其核心逻辑是“按量收费”——价值取决于为客户多产出多少token、节省多少成本，而非售卖工程师时间。
公司命名 Infraact 体现其愿景：“Bring Inference into Action”，即推动推理从理论走向实际应用。未来十年目标是将大模型推理做到“基本解决状态”，使vLLM与Infraact成为推理领域的默认基础设施。目前公司仍聚焦开源生态建设，重点推进下一代推理引擎、模型与硬件的协同优化，并持续招聘以支撑技术演进。
原话：“我们目前做的事情都是跟社区发展一致的事情。”
硬件彩票与模型-Infra协同设计
当前业界常将 token 类比为“电力”，硬件是自然资源（如风、水、光），模型是发电机（不同结构适配不同能源），推理引擎则是电力系统——负责将模型运行在硬件上，并将结果分发给用户。推理效率的上限，本质上由模型结构决定；若模型未适配硬件特性，系统工程师再如何优化也难以突破瓶颈。
这一现象源于“hardware lottery”（硬件彩票）：摩尔定律终结后，通用性能不再自动提升，算力红利转为专用算力。算法若未抽中对应硬件的“彩票”，就无法享受时代红利。典型反例是 Hinton 提出的 Capsule Network：概念先进，却因在 GPU 上不友好而难以落地——它需要专用硬件支持，否则系统无法高效运行。
因此，模型与 Infra 的 co-design 不是锦上添花，而是生存必需。理想情况下二者应协同演进，但现实中因硬件已固化，往往由算法主动适配硬件。正如 Transformer 能大放异彩，正因其高度并行的结构天然契合 GPU 的矩阵计算能力。
RoPE 与 DeepSeek 的协同实践
一个经典案例是 RoPE（旋转位置编码） 的成功：它既满足绝对位置建模需求，又以相对位置方式实现，且无需修改 attention kernel 内部逻辑，可独立注入 query/key 向量。这使其在 Flash Attention 成为训练标配后，成为少数仍可高效部署的位置编码方案——其他需改 kernel 的方案（如 Alibi）因兼容性差而被边缘化。
DeepSeek 的 Infra 团队被公认为全球顶级，其强大能力不仅源于工程实力，更在于与算法团队的深度协同：算法人员懂 Infra，Infra 人员也理解模型约束。例如在 DeepSeek MoE 探索初期，一名算法同学就实现了粗粒度 MoE 的高效推理版本；后续细粒度 MoE 也由其 Infra 团队率先落地。这种双向理解极大加速了探索闭环——Infra 能高效实现新结构，算法则能设计出 Infra 友好的模型。
组织上，共同办公、日常交叉讨论是关键机制：算法同学了解系统限制，Infra 同学理解模型目标，避免单边主导风险。例如 MoE 中曾出现 Infra 团队为追求吞吐而采用 Expert Choice 调度，却违背算法公平性原则——这正是缺乏协同的代价。
投机解码的演进与 co-design 的价值
DeepSpark 是 DeepSeek 对 DeepFlash 系列投机解码的优化：后者一次性预测如 16 个 token，大幅提升吞吐，但验证成本高（猜错即浪费算力）；DeepSpark 的改进在于动态筛选高置信度 token 仅验证其子集，显著减少冗余计算。这一思路并非首创——腾讯混元的 DeepCut、上交的 Domino 等工作已做类似探索。
但 DeepSpark 的真正价值在于：它依托 DeepSeek 强大的推理引擎，将算法创新扎实落地为高性能系统。投机解码能否实用，关键取决于推理引擎能否高效支持其 speculative forward + verification 流程。DeepSeek 的 Infra 能力为算法探索提供了足够空间，也反哺 Infra 持续迭代——这是典型的 co-design 正循环。
这也回应了一个常见误解：“懂 AI 的人建好 Infra”并不成立。许多团队虽建了超大集群（即 infra 的 infra），但缺乏对 AI Infra 本质的理解：好的 Infra 不是堆资源堆出来的，而是为算法特性量身定制的系统级设计。一号位若不懂技术本质，即便招到优秀人才，也难以释放其价值。
Infra的本质是设计，不是堆砌
很多人误以为“懂Infra”就是会建大集群，但其实建集群更多是资源问题——取决于你有多少钱、能租到多少地、能申请多少电。真正体现Infra能力的，是模型与硬件之间的深度协同设计（co-design）。如果模型团队和Infra团队各干各的，整个系统就无法发挥出应有的效率。正如发电类比：训练模型好比研发发电机结构，是前期技术投入；而推理则是实际发电过程，效率直接决定最终成本与产出比。早期大模型训练开销远高于推理，但如今训练与推理的开销已接近1:1，甚至推理成本还在持续上升。在算力供不应求的当下，自然资源（如电力、带宽、芯片产能）无法快速扩张，唯一可行路径就是在设计阶段就将硬件特性与本地资源条件纳入考量，实现定制化优化。
“你可以设计一个通用的发电机……但它的发电效率可能就比较低。那你也可以提前设计，说我这个发电机设计出来就是针对这一个地区发电的……我知道这些，我能够做哪些针对性的优化，来提高这个发电效率。”
“GPU它本身在朝着大模型的方向演进，所以它能做的事情也越来越固定。所以模型它必须去主动适应这个硬件。”
Co-design不是口号，而是生存必需
Infra与算法的割裂，会直接导致系统性能瓶颈。例如，若算法团队提出“attention head size开到1024”，而Infra团队发现硬件根本无法支持，整个设计就失去可行性。真正成功的co-design，是让算法与Infra在设计初期就深度绑定。DeepSeek是目前业界做得最好的代表之一：其Infra团队具备全球顶级水平，算法同学也深度参与系统设计（如MoE、NSA、DeepSparse等），这种能力源于他们早期自建机房、极致压榨性能的经验——自建机房带来强控制力与低成本优势，但牺牲了快速扩张能力；而依赖云厂商的团队虽能快速扩容，却难以进行底层优化。因此，是否自建机房是不同公司基于自身阶段与资源的取舍，无法简单以“谁更好”评判。
“算法的同学……更关注我这个东西在理论上是否make sense……Infra的同学……更关注的是说，我手头上拿到的硬件长什么样子？然后呢，我能在上面做一些什么样的事情，能够极致的发挥硬件的各种性能。”
“坐在一起工作是一个比较好的，就是互相熏陶的机会……吃饭聊点什么嘛，对吧？然后互相聊一聊这个对方关心什么话题。”
Token ≠ 电：异质性带来的Infra挑战
尽管常被类比为“算力电力”，但token与电有本质区别：电是标准化 commodity，电压频率可调制；而每个token都带有模型的烙印，无法跨模型转换。这意味着推理引擎必须为每种模型定制适配，不同模型、不同厂商的token输出格式差异巨大——有的模型“聪明”，有的“擅长编程”，有的“训练 harness 不同”，导致token特性高度异质化。从Infra角度看，模型结构越简单越友好（如早期Llama），但也不能只追求Infra友好性而牺牲模型质量。当前vLLM等系统已支持两三百种模型结构，但必须持续删减冗余、聚焦主流模型与硬件。MoE架构虽为主流，却带来三大挑战：细粒度专家调度、专家激活不均、通信开销剧增，尤其对推理引擎的状态管理提出极高要求。
“你没有办法说把一个 DeepSeek 模型的 token 转化为一个 Kimi 的 token。这个 token 它是带着模型的烙印的……就好比说我们有上百种发电机的型号，每一种发电机的型号它发出来的电压和频率都是不一样的，但是你没有办法调制。”
“目前还是一个百花齐放的状态……尤其是现在跟 harness 也有关系，就是你的 harness 怎么设计，然后模型在训练的过程中，它用过哪些 harness，对哪些 harness 比较了解……都会影响这个产生 token 的质量。”
MoE 推理的三大挑战与 DeepSeek 的破局之道
在开源 Infra 的演进中，MoE（Mixture of Experts）架构已成为当前主流模型设计的重要方向，但其落地对推理系统提出了三重核心挑战：细粒度专家、动态路由机制与专家并行系统。
首先，细粒度专家（如 DeepSeek 所倡导）虽能提升模型表达能力，却导致矩阵乘法维度降低，难以匹配 GPU 的计算特性，需在模型精度与系统友好性之间做出权衡；其次，MoE 的本质是动态 token-level 专家选择，依赖路由模块实时决策，而 GPU 擅长处理静态数据流，对这种动态调度支持薄弱；第三，当 MoE 扩展至万亿参数规模（仅激活几十个专家）时，对专家并行策略与通信系统提出极高要求。
针对上述挑战，DeepSeek 在 2025 年提出了一系列系统级解决方案：DPEP（专为专家并行通信优化）、DeepGen（协同专家选择与计算）。这些工作不仅解决了 MoE 推理的工程瓶颈，更推动了整个行业对 MoE 架构的落地实践。
MoE 这一波 DeepSeek 是引领了时代的潮流。
“一群小龙虾一到整点就集体出动攻打月球。”——形象比喻了不合理的定时任务设计对推理系统的冲击。
Test-Time Scaling 的三阶段演进与 Infra 要求
Test-time scaling 并非新概念，其本质是通过增加推理时的计算投入提升模型表现，但不同阶段的实现方式对推理基础设施提出了差异化需求。
早期以 ensemble（集成学习） 为主，通过多模型/多轮生成结果集成提升鲁棒性；大模型时代则转向两种主流范式：一是延长单次推理 token 数（如 o1 模型在复杂问题中生成数十万 token），适用于高价值场景（如数学竞赛），但成本极高；二是增加与环境的交互轮次（如 coding agent），每轮仅生成数百 token，却通过持续反馈实现任务自适应——该模式正迎来爆发式增长（如年初小龙虾热潮中的 Agent 应用）。
后者对 Infra 的关键依赖在于前缀缓存（prefix caching）：需确保多轮交互中上下文状态高效复用。然而当前生态存在严重碎片化：不同 harness 框架与模型结构导致优化目标不一；部分框架设计者“自作聪明”地在每次请求中动态插入工具调用范围或时间戳（甚至精确到秒），导致缓存频繁失效，形成整点流量洪峰。更优雅的做法是将日期/时间作为可查询工具，而非硬编码于 system prompt。
让模型思考的更久，以及让模型跟环境进行更多的交互，这两种 scaling 对于推理的 infra 的需求是不一样的。
模型与 Infra 的 Co-Design：从芯片到框架的协同进化
随着 AI 系统复杂度提升，模型结构与芯片架构的耦合度持续加深，已形成“硬件决定负载特征，负载驱动模型设计”的闭环逻辑。David Patterson 图灵奖演讲指出两大趋势：摩尔定律终结使通用算力增长停滞，领域专用架构（DSA） 成为唯一出路；而矩阵乘法因其高效性，已成为芯片设计的默认负载基准。
以 NVIDIA H100 的 F18 量化格式为例：其支持 8-bit 浮点运算，理论速度是 FP16 的两倍，但模型需配合才能兑现算力红利。DeepSeek 通过分块量化（block-wise weight quantization） + 逐 channel activation quantization，并创新性采用“矩阵乘法 + 向量累加单元协同计算”策略，在不损失精度前提下实现性能领先——该方案已写入其技术报告，是典型的 model-infra co-design 实践。
对 Infra 团队的建议核心在于回归 first principle：拒绝追逐月度热点，而应深入理解连续 batching、GPU 性能测试、attention 计算细节等基础原理。缺乏底层认知的优化如同“抽彩票”，而真正高效的团队能从技术报告中提炼出关键洞察，构建可复用、可扩展的 co-design 方法论。
你现在需要的是一个 harness 和 infra 的 co-design。
第一性原理是技术团队的基石
在高性能计算与模型系统设计中，缺乏对底层原理的透彻理解会直接导致性能优化沦为“抽彩票”——结果依赖运气而非系统性思考。例如，若工程师不了解 GPU 散热、频率、功耗等硬件特性对性能的影响，或不清楚 Attention 在不同 batching 策略下的真实计算路径，甚至不熟悉 FlashAttention 的实现逻辑，那么面对旋转位置编码（RoPE）的上百种上下文扩展方案时，就无法理性判断哪种路径值得投入。因此，一个靠谱团队的首要条件，是至少有足够多成员能从第一性原理出发思考问题。不同团队因硬件环境与资源限制做出不同技术选择，只要出发点正确，结果都不会差。
“一个团队靠谱的首要条件，就是要在这个团队里面有足够多的人，他能够从第一性原理的角度去思考，他们要解决的是什么样的问题。”
作者以自身学习 GPU kernel 编程的经历佐证：在深入理解 GPU 编程模型后，他主动推导出应存在一种“扩大 core dump”的调试技术，并持续向 NVIDIA 团队求证，最终确认该技术早已存在但未被 AI Infra 社区广泛知晓。他随后在社区推广该方案，解决了大量疑难调试问题。这印证了：在快速发展的领域中，回归第一性原理，才能穿透噪音，持续投入真正有用的方向。
“在这样的前提下，不同的团队，它可能因为他们使用的硬件环境不一样，或者资源的限制不一样，做出了各种各样的选择，那都是合理的。”
模型与 Infra 的 co-design：效率与效果的辩证统一
关于模型结构与基础设施的演进方向，作者坦言难以做线性预测——模型发展更像螺旋式上升，且始终服务于具体需求。但他提出一个“hot take”：通用大模型的上下文长度需求将收敛于百万级；仅少数领域（如生物化学）可能需千万乃至亿级上下文，而长上下文任务或终身学习可通过外部模块（如记忆/技能/子 agent）实现。若该趋势成立，则当前模型结构与 Infra 范式仍可延续较长时间。
针对“极致效率优化 vs. token 爆炸增长”的矛盾担忧，作者认为二者并非对立，而是协同演进：正如用电高峰时发电厂不会摆烂，token 需求激增反而更需提升推理效率。他举例：合理的 harness 设计可与推理引擎 co-design，同等任务下生成更多 token；当 token 不够时，用户自然会探索节省 token 的方法；当成本受限时，也会转向性价比更高的模型。效率与效果应共同进步——海外重效果、国内重效率，是资源禀赋差异下的合理分工。
“遇到困难大家需要一起想办法……这是一个非常激动人心的时代。这么多聪明的头脑，大家都在一起推动这个人工智能的发展。”
开源是大模型的终极宿命
作者坚定看好开源模型的长期胜出，并类比电力系统：模型不是核武器，无法长期隐藏——一旦被大规模使用，用户即可通过自身数据反向训练出相似能力的模型。尤其在 Coding-Agents 等自动化数据生成工具普及后，企业可在约一个月内收集足够数据完成模型训练，形成“数据→训练→反馈”的飞轮。像智谱等公司已初步展现该优势，但作者强调：领先优势不可持久，真正的护城河是快速迭代能力。
vLLM 的定位正是“AI 推理领域的 Linux”：它不追求模型训练，而是提供通用、可部署于各类云环境的推理基础设施。相比 DeepSeek 等公司自研但封闭的推理系统，vLLM 的开源特性使其具备更强的泛化与扩展能力。未来，vLLM 将如 Red Hat之于 Linux，成为企业 AI OS 的核心组件。
“模型它就不是一个能够长期藏得住的东西……从AI的第一性原理的角度出发，你能够给大家大规模使用，大家就能够大规模地收集到数据。”
开源基因与技术成长
游凯超认为，自己对底层系统、通用问题与透明化技术的偏好，根植于成长时代的技术文化土壤——自大学起，他就浸润在开源氛围浓厚的环境中：面对新问题，第一反应是“先查有没有人做过”，并从开源项目起步。这种“技术开源是自然选择”的信念，塑造了他后续的技术价值观。他强调，开源不仅是代码共享，更是一种技术心得与社区自由沟通的实践，而写作正是他参与开源的重要方式。他坚持“如果你无法清晰地写下来，说明你还不够了解它”，并认为写作是将模糊想法形式化、可验证的过程，这与他偏好数学与物理的思维习惯一脉相承。
“如果你没有办法清晰的写下来，说明你对他还不够了解。”
“开源它不一定是算法，它也包括一些技术心得的分享。就是跟社区自由的沟通的这么一个过程。”
系统即上限：后摩尔时代的Co-design
游凯超重申并认同David Patterson的观点：“在后摩尔定律时代，AI的上限取决于系统，而不是算法”。他通过多个关键演进案例佐证这一判断：Flash Attention 以精确算法实现高效计算，使大量近似 soft max attention 的研究失效；vLLM 结合 continuous batching 与 page attention，大幅降低 auto regressive decoding 的延迟与开销；speculative decoding 则让 token 生成从逐个变为批量验证；Mamba Two 的 chunk parallel 算法进一步提升了 linear attention 的系统适配效率。这些进展共同揭示一个核心逻辑：只有能被系统高效实现的算法，才能真正存活并产生影响——他称之为“系统彩票”：算法能否中奖，取决于底层是否支持。
“只有被高效实现的这个算法，最终才能够留下来。”
“这是一个变化非常快的时代，然后你抠底赞也能够给你的这个发展带来更大的空间。”
碳基与硅基的共生未来
面对AGI与指数级技术演进，游凯超将当下视为“文艺复兴以来技术积累的临界点”：AI使人类得以在全历史语料基础上进行指数级知识复用与跃迁。他理想中的未来是碳基与硅基各司其职：人类提供insight（洞察）、context（上下文）与灵感，硅基智能贡献大规模推理、执行与总结能力，二者协同推动世界向善。尽管他自认“没有观测命运的手段”，不笃信宿命，却对技术演进抱有历史视角的敬畏——技术不是工具的延伸，而是文明的载体。他以“语言即世界”为工作室命名，联想到维特根斯坦的命题与数学中五次以上方程无根式解的隐喻，暗示人类或许只是高维现实的低维投影，而探索新世界，正是我们此刻的使命。
“我们甚至可以把过去的人他的思想、他的话、他的一生全都浓缩下来，所以我们后面是可以在所有人的历史经验上再去做指数级别的增长。”