成本是开源模型能够介入并解决的最大痛点。但你知道，每家企业都有愿景，希望更好地掌控人工智能，并根据自身业务进行定制，这才是他们的北极星指标。成本是他们可以在短期内解决的问题，但这使他们能够进一步为独特的用例定制这些模型。
2024年初，人们对自己的自定义模型进行微调的兴趣浓厚，随后这种兴趣似乎消退了，那些努力仿佛都白费了。因为下一个模型发布就会将其超越。现在看起来这股风潮又回来了。你身处这一切的中心，亲眼目睹了所有变化。你认为我们正在经历另一个周期吗？还是说这次它会留下来成为常态？
欢迎回到另一期《Lite Cone》节目。今天我们与Ollama的联合创始人兼首席执行官Jeffrey Morgan交谈，他是运行开源AI模型最简单的方式——无论是在本地还是云端。Ollama被900万开发者使用，拥有17.8万个GitHub星标，并被50%的财富500强企业使用。这意味着Jeff对人工智能的最前沿状态、哪些模型在基准测试中得分最高，以及开发者实际下载并持续使用的模型有着深刻的了解。Jeff，欢迎来到《Lite Cone》。
感谢邀请我。我们来看看现状如何？你看到了什么趋势？我认为我们看到的最重大转变是向开源模型的迁移，特别是在企业领域。这源自美国和中国的模型混合体，主要由编码代理以及像OpenClaw和Hermes这样的AI助手协同工作场景所驱动。
由于你处于海量令牌流的中心，你对人们实际使用哪些模型以及这些使用情况如何变化拥有非常好的数据。你看到了什么趋势？是的，起初这是一种在MacBook或其他硬件（如Nvidia、AMD、Intel）上运行开源模型的方式。今年早些时候，我们推出了Ollama云服务。在那里我们看到的主要是源自中国的中国模型。但它们被世界各地的企业所访问，尤其是美国和德国实际上是开源模型令牌访问的主要来源地。
这仅仅是关于成本吗？企业加入是因为他们只想降低成本，还是另有原因？成本是开源模型能够介入并解决的最大痛点。但你知道，每家企业都有愿景，希望更好地掌控人工智能并根据自身业务进行定制，这才是他们的北极星指标。成本是他们可以在短期内解决的问题，但这使他们能够进一步为独特的用例定制这些模型。
有没有特定的大型企业你可以举例说明他们这样做了？我想昨天《The Information》有一篇关于AT&T的好文章。结果显示，他们已经将其40%的令牌消耗转移到开源模型上，目前主要通过美国和欧洲模型实现，但他们也在评估中国模型。
他们运行什么样的工作流？主要是编码代理。我认为我们从极端增长中看到的，即每位开发者或用户的令牌使用量，主要来自编码代理。然后在三月和四月早些时候，我们看到OpenClaw兴起，随后Hermes项目（即Hermes代理项目）也兴起。这使得非开发人员——无论是金融、支持、营销还是销售领域的人——也能在很长一段时间内自动化大量工作。
你实际上展示了一张关于OpenClaw爆发式增长的指数级图表。是的，所以今年早些时候，这是一张Ollama云开发者令牌使用量的图表。他们每周使用的平均令牌数量……这是每位开发者的数据。所以看起来这个图应该反映Ollama的整体增长，但这实际上是人均数据。
正是如此。（笑声）这是基于单个用户的基础。他们每周使用多少令牌？所以有两个主要的拐点。一个是年初的初始飙升，由编码代理驱动。所以我们看到了Kimmy、GLM模型和Miniaax的发布。终于，我们有了能够驱动编码代理的开源模型。然后在四月，我们看到OpenClaw带来的惊人增长，这不仅仅是开发者，整个世界都可以将一个难题交给开源模型，让它去完成这项任务。显然，在弄清楚使用什么工具、获取什么数据时，这会消耗大量令牌。
我们的上下文窗口从12.8万扩展到了超过一百万，得益于开源模型。因此所有这些都促成了这种爆炸性增长。所以它增长了大约5倍，在此之前，在这些核心工作类型用例中，大概在1500万令牌左右。我认为四月份我们看到的OpenClaw跳跃大致如此。显然，从整体上看，如果是10到20倍甚至更多……通过云服务，我们从年初到现在看到了150倍的增长。所以这里巨大的有趣之处在于对开源模型需求的巨大激增，而2024年至2025年期间，由大型模型提供服务的主要是作为自定义模型服务的。你会拿一个现成的模型（比如DeepSeek或Kimmy）并为其用例进行微调，例如Cursor famously所做的那样。然后你可以大规模地部署它。
但看到开箱即用的开源模型被提供服务，这确实是在今年年初才兴起的。甚至自我们开始这个播客以来，这些东西似乎是以周期性的方式出现的。我觉得2024年初人们对微调自己的自定义模型有很多兴趣。然后它似乎消失了，就像那只是徒劳的努力一样。下一个模型发布就会将其超越。现在看起来它又回来了。你身处这一切的中心，亲眼目睹了所有变化。你认为我们正在经历另一个周期吗？还是说这次它会留下来成为常态？
我认为这些模型的发布节奏正在加快，这使得跟上步伐并保持领先地位变得更加困难。你是说最新的封闭前沿模型比以往任何时候都发布得更快吗？我认为在开源方面，速度越来越快。今年夏天我们已经看到了Deepseek Flash模型的三个迭代版本作为例子。以前这更像是一个六个月的周期。
是的，所以差距基本上在缩小……正在缩小，我认为这使得自定义训练变得更加困难。
模型方面，另一方面我认为工具正在变得更好，因此它允许希望微调其模型的团队保持领先。>> 我的意思是，我们也正进入这样一个时刻：AI安全性在前沿实验室中变得越来越成为一个问题。因此，前沿可能会放慢脚步以解决其对齐和管控问题。与此同时，开源模型
和开放权重模型正在持续增长并变得更好。>> 是的。而且你知道我们看到了GLM-5模型的发布及其能力，从网络安全角度来看非常令人印象深刻。这为初创公司或安全与治理领域的现有企业创造了巨大的机会，让它们真正介入并提供帮助，因为我认为如果你
看看我之前提到的AT&T文章，阻碍采用开源模型的主要原因很大程度上在于安全和安全 >> 嗯，但根据我们与客户的交流经验，无论是在欧洲还是在美国，如果你能解决安全问题，基本上采用中国起源的模型实验室是完全可行的，这对于这些
企业来说非常令人兴奋 >> 目前有一个有趣的时刻，Hugging Face不得不使用开放权重模型来实际检测来自前沿的入侵。 >> 我们常收到的一个问题是，在哪里可以使用那些比使用封闭的前沿模型具有巨大优势的开源模型？其中一个关键用例是安全测试，确保你的
软件是安全的。 >> 是的。因为如果你试图让Claude之类的模型对你的产品进行渗透测试，它通常会拒绝这样做。 >> 正确。基本上是这样。而Hugging Face上 literally（字面意义上）有很多被彻底优化的安全研究人员模型，你可以找到它们来执行此类操作。 >> 确实如此。有一些经过专门训练的模型，你知道的，更加自由地
去攻击这些问题。但即使是开箱即用的模型，它们也附带了安全训练，但如果你是为了一个良好的用例去做这件事，而不是更负面或恶意的用例，它们会更好地理解这一点。关于你们的一点很酷的事情是，因为你们是这些模型的关键分发渠道，我的理解是
通常模型开发者会在正式发布前联系你们以协调发布等事项，而且当新模型推出时，你经常会看到惊人的增长飙升。比如我想知道你能告诉我们一点关于在规模上运营这件事的感觉吗？ >> 是的，绝对如此。而且像
我之前说的，模型发布得越来越快。因此我们制定了一套关于成功的零日（Day Zero）模型发布流程的指南？其中有很多事情需要做好。首先要确保它在你喜欢的推理引擎中得到支持，这通常有时是一个多星期的过程，以确保它是快速的、准确的
符合参考标准的。还有找到合适的用例和框架（Harnesses），供开发者和用户使用这个模型。通常这些模型具有新功能。今天早上，DeepSeek发布了他们的第一个多模态模型，从大型语言模型（LLM）的角度来看。他们之前有一些较小的OCR模型，这解锁了一大堆用例
但他们同时也改变了DeepSeek框架（Harness），最近发布的以支持这一功能。所以第二步是找到这些框架，确保它们准备好实际运行此模型并有效地做到这一点。但你知道每个模型都不同。它们都有各自的挑战和架构变化以及工具调用机制，要把所有这些
做好真的很难。我认为归根结底要做的一件关键事情是在发布前对最终产品运行基准测试，并确保它按照实验室研究团队指定的方式运行。所以我认为你在整个生态系统中扮演的一个非常重要的角色是，你创造了一个非常清晰的标准，以确保你有最好的方法来
使用每个新模型的框架、每次新的工具调用以及所有这一切在不同模型之间保持一致，这相当难做到。是的，我认为有三件我们试图打包在一起的事情。一个是框架（Harness），例如，无论是现成的框架还是SDK来帮助使用模型。一些现有的专为
此设计的框架，现在很棒的是有这么多优秀的开源框架。CodeEx框架是开源的。Open Code是一个很好的例子，也是来自OAMI用户中最受欢迎的框架之一。第一步是做好这个，但然后你必须将其与模型打包在一起，确保它是可用的、可靠的，如果在云端
有足够的容量因为零日通常是最大的增长日显然。然后重要的是硬件和提供商。而这实际上有很多合作空间，无论是像推理提供商优化模型还是与我们的一些合作伙伴比如Nvidia或者例如与Apple Silicon堆栈合作，确保它实际上能非常快速地运行模型
因为如果模型功能强大但速度很慢那体验就不好了。所以将这三样东西打包成一个盒子，通常你会得到模型，如果幸运的话你能提前几周访问该模型。很多这些东西在模型发布前的最后24小时内才汇聚在一起，所以通常是一场火灾救援式的紧急行动。 >> 所以你有点像
旧世界的操作系统，你需要与所有驱动程序、所有硬件非常紧密地集成然后在应用层面确保所有应用程序都调优得很好，而你是所有这些的粘合剂。对吗？我认为操作系统这个通常被视为陈词滥调的比喻是一个很好的比喻，因为你有硬件
和提供商以及推理层的驱动程序，但你也有应用运行时并确保框架（Harness）能工作。将它们粘合在一起这是一个组合上非常大的问题要解决。所以做得好真的很难。但是你知道随着时间推移你开发了允许
你快速开发、测试和发布这些部分的组件，并拥有这种通用的
能够匹配任意框架与任意模型的运行时环境。这正是我们为开发者所扮演的角色。“你们团队由非常硬核的工程师组成，从最初针对苹果芯片进行微调，一直发展到如今的 DJX。你们是如何构建如此深厚的技术实力的？”我认为我们团队中很多人并非人工智能研究背景出身，而是来自 VMware、Docker 以及其他网络公司。因此，经典的计算问题正在推理领域以新的形式重现，这也是我们主要投入精力的地方。但最终一切归结于开发者体验：当开发人员调用 API 并获取令牌时，具体会发生什么？目前这一层面正在发生越来越多的变化。要处理好这一点，需要整个技术栈的各层协同工作良好。
我认为开源模型面临的挑战之一在于，其发展速度未能达到前沿模型实验室发布产品的节奏。正如杰森·黄提到的经典“五层蛋糕”结构，包括应用、模型、基础设施与推理、芯片以及能源。这些实验室在零号日就为开发者准备好了所有这些资源，而这正是我们试图为开源模型复现的东西。当然，我们无法涵盖技术栈的每一层，但我们可以协助进行编排。“你们将层级分层。”“是的。而在开源模型中，可能不止五层。比如模型层本身就很复杂，不仅有模型权重，还有大量编排组件，每个模型都有其独特优势。此外还有开发者 API 层。”
在模型与应用层之间存在着许多如今被隐藏在“五层蛋糕”结构中的机会。“这很有趣。你认为这些隐藏层级中是否有任何会被解耦，成为独立的公司或提供商？”“绝对如此。Anthropic 团队的平台部门曾做过一场很好的演讲，提到了三件大事：一是知识，即如何将公司的数据和上下文连接到模型；二是协调。当你向云应用或代码库发出请求时，它会启动许多子代理，其中一些在云端，一些在本地的协调问题；三是执行问题。我们常讨论沙箱环境，但这些代理越来越多地迁移到云端。”
那里存在巨大的计算问题需要解决。回顾云计算行业的经典历程，开源意味着针对每个问题都有最佳的专业公司出现。回想最初的云产品时代，如 Heroku 或 Google App Engine，这些都是捆绑在一起的解决方案。但开发者最终倾向于为每个需求选择最佳的专业产品。“这是一种自然主义，即所有事物都在捆绑或解耦。前沿模型实验室希望你将代理、上下文和记忆层完全封闭在他们的围墙花园中；而与此同时，小科技公司创始人及开源开发者不愿被束缚，因此我们要打造其他所有东西。这将是一个有趣的时刻，让我们看看最终什么会胜出。”
“我认为可能是两者的混合体。”你拥有大量正在创建的开源模型令牌，数十家提供商能够服务这些令牌。现在新的稀缺性和问题出现在令牌之上：如何协调代理从 A 到 B？这些都是系统工程和开发难题，个人开发者很难独自解决。他们没有能力构建所有这些层级。有趣的是，由于编码代理本身变得更好，模型可能正处于其最糟糕的时刻。过去存在护城河的经典原因是：维护经过充分测试且真正满足用户需求的软件太难了。如果这一点消失了会怎样？
“我们此刻正处于这样一个时刻：你只需给出一个提示，它就在某个 TypeScript 文件中运行 Markdown 文件。不再有锁定效应了。比如你今天使用 OpenAI 的记忆系统，明天可以让代理持续将其同步到你自己的记忆系统中，而且完全可行。通过 MCP 协议也能正常工作，运行时测试也很充分。”“是的，我认为如今我们所知的许多框架组件将下沉到模型内部。但当你把核心循环和钩子推送到模型本身时，有些部分会浮现出来，比如记忆就是一个很好的例子。”
我们的一般指导原则是：如果涉及状态存储问题，这部分最终无法进入模型。因为模型经过训练后便固定下来，尽管现在每月都有新的训练运行，但仍无法跟上最新数据。因此数据存储是一个巨大的问题空间，我认为它永远不会下沉到模型层。“比如管理凭证之类的事情呢？”“安全、凭证和安全性。开源模型没有闭源提供商开箱即用的所有安全工具，但这对于企业采用至关重要。”
“我很好奇在前沿闭源模型与开源模型之间，企业在支出平衡上的最终或未来状态是什么。起初大家似乎都将预算分配给 Anthropic 或 OpenAI，但我现在的感觉是：开源确实在增长，Anthropic 也在扩张。两者似乎在共同增长。这种趋势会持续下去吗？还是会出现一种稳态，比如一半预算用于……”
会有一半在闭源的前沿模型上，另一半则在开源或其他不同的模式里吗？ >> 绝大多数Token（这是一家之言）将在企业内部使用开源模型。我们称之为80%到90%。但这并不意味着80-90%的预算会花在开源模型上。事实上，我认为开源社区共同做得非常棒的一点是降低了成本，使其更具可访问性。因此，也许你只需支付10%到20%的成本用于开源模型，但你的Token >> 大部分Token将通过开源模型运行。
对吧？这将启用大量基于此的应用场景，因为你拥有充足的Token供应。你不必担心从团队中收回Token访问权限，而是给予越来越多的访问权。我认为最困难的任务仍保留给那些拥有大量顶尖研究人员的前沿实验室。然后，中间还有大量的问题需要解决，对吧？那里可能是开源和闭源模型结合工作的地方。我认为稳态是大多数软件和大部分模型都是开源的。这有点意思，因为随着模型变得更强
大，理想情况下你只想委托给你最聪明的模型来决定何时使用开源模型，但拥有这些模型的实验室假定你不希望这样。 >> 我认为看看所有实验室在许多方面都达成一致，那就是如何服务客户？我想这取决于客户的决定。如果我有一个路由器，其中一些调度和更复杂的编排通过前沿模型进行，那就这样吧。但许多类型的日常行项目工作可以通过开源模型以及两者的协作来完成。
我们已经看到大量这样的项目，无论是来自Sakana AI还是Open Router的，它们将两者结合并取得了非常好的结果。 >> 这与人类组织非常相似，对吧？比如律师事务所里有合伙人，还有一群助理律师。合伙人将工作外包给助理律师，对吧？情况是一样的。[笑声] >> 我们在云计算中也看到了同样的现象，那是专有软件的一种混合体。其中一些由云提供商自己提供。例如，你知道AWS拥有Dynamo DB
那是他们自己的专有扩展数据库。但许多客户将其与PostgreSQL结合使用，最终我们看到的是客户将两者结合起来使用。 >> 我认为这是一种非常普遍的模式。这也是Apple Silicon之所以更优越的设计原因，针对不同类型的负载提供特殊的加速器，比如图像处理或音频处理。这甚至可以追溯到PC时代，你有独立的声卡、显卡等等 >> 说到Apple Silicon，我们是否应该谈谈本地模型？因为你处于一个独特的位置
你既有云托管模型的庞大业务，也有将在你的笔记本电脑上运行的本地托管模型。你在这两个世界中看到了什么？你认为会发生什么？ >> 我认为这非常令人兴奋，因为它类似于闭源与开源模型的问题。在我们看来，这将是一个混合体，这也是我们从客户那里听到的情况：对于较简单的任务，你可以在本地运行它们，具有更低的延迟和当然更低每Token成本。最终
你 upfront 购买硬件并将这些与云模型结合使用。令人兴奋的是这一代新硬件（我们已经有了几年），它们在运行200亿到400亿参数范围的模型方面表现非常出色。有时高达1280亿参数。 >> 是的。Quinn 3.8（38B）现在在编码方面与Opus 4.6一样好，对吗？ >> 基准测试显示就是这样。
这非常令人兴奋，因为你可以运行它而不需要最低内存的MacBook，而是商店里可购买的第二低内存MacBook。这太不可思议了。 >> 你看到你的用户这样做吗？比如在实践中，人们将本地模型与云托管模型用于什么用途 >> 从他们运行哪些模型的角度来看？我们看到美国和中国训练的模型在本地使用方面有着非常稳固的混合，当然还有来自原始Llama模型的
令人难以置信的模型，以及DeepMind的Gemma模型。这些是本地使用的绝佳选择。但当涉及到用例时，编码代理总体上在大型云模型上最有效。你正在解决非常困难的问题。你在编写代码测试，这真的很难 >> 相比之下，一些文档处理工作流用例在本地运行得极好，因为它们最终没有如此困难的端到端问题需要解决。因此这就是我们看到的混合执行模式
一些更简单、更直接的任务在本地运行，然后你有一个路由器可以帮助决定嘿，我们需要为此去大型云模型。我认为这对客户意味着什么？那就是当你从开源模型转向时，你实际上进一步降低了成本。不仅因为它们在云中运行更便宜，而且因为你现在可以在为企业购买的硬件上有效地免费运行它们。
而我们最终从云编码代理模型中看到的情况是，目前主要消费的是中国模型。而对于本地模型，是美国、欧洲和中国起源模型的非常强的混合体。是的，这两张图相比相当惊人。基本上对于本地模型，美国和中国模型并驾齐驱。我们就像平局一样。而对于云托管模型，美国就像是重绘了X轴。基本上是100%的中国模型。基本上我们需要更多的美国实验室来制造大型模型。这张图是否有效地显示了这一点 >> 是的，你知道随着Neotron Ultra模型的发布
我们看到了这一浪潮的第一波，这真的令人兴奋。Nvidia这家公司非常有趣，因为他们的护城河不是试图启动新的软件业务或出售Token。他们似乎只对发布大量开源内容并帮助生态系统感兴趣，而他们这样做的事实又帮助他们保持在硬件方面的领先地位。 >> 我认为如此。你知道最终Nvidia最不可思议的是他们在帮助构建围绕开源的生态系统
模型，无论是硬件还是模型本身。我们知道他们正在研发新的DGX Station计算机，桌面上就能放置GB300。
“我们怎样才能登上那个榜单呢？那可不是闹着玩的。” “是的，你知道那东西的价格点是多少吗？” “我一下子说不出来。加里正在买它。”（笑声） “我知道，对吧？好吧，我查了一下。我的意思是，你可以用大约30万美元的价格非常缓慢地运行一个前沿模型。是这样吗？” “我认为它的竞争力甚至更强。”是的。
而且，你可以以略高于购买传统工作站计算机的价格，高速运行比前沿模型更多的内容。 “哦，不可能。”
你想想我们交谈过的许多客户，比如银行或工业企业。他们已经在每位工程师的桌面上配备了Nvidia工作站GPU。其中一些数量多达数万个。而这只是其中之一。“他们一直在为CAD工作出售这些产品。”“这是针对最初的RTX A6000，但这是下一代产品。”
是的。我得给黄仁勋发封邮件。“这是在GTC大会上展示的，所以我们在GTC上看到了这个。我们和埃隆以及其他人一样，是最早收到DGX Spark的人之一。”
它放在你的桌面上，提供128GB的统一内存来运行那种20B到120B参数规模的模型，但这显然只是能运行最大规模模型的新一系列硬件的开端。
“所以你是说你可以买很多这样的设备并将它们串联起来，实际上运行一个400B参数的模型吗？” “绝对可以。它们拥有非常快的网络链接，所以你可以像迷你数据中心机架一样将它们堆叠在桌面上。” “人们也会这样做Mac Mini。”
完全正确。“现在这是它的生产版本。” “我认为令人兴奋的是，你看到了来自Apple和Nvidia的这两家公司在下一代硬件上的惊人飞跃，这些硬件专为运行这些模型而构建且效率极高。”
“所以你会说这是获取……的平台，比如你可以让Apple Studio工作，但如果你想要一些能工作的东西，就买DGX Spark。” “根据我们的测试，两者都非常有竞争力。明白了。”
所以我认为这很大程度上取决于你能获得什么，以及你需要的技术栈。Apple通过MLX项目拥有非常成熟的技术栈，他们在Mac Studio甚至较小的Mac上运行LLM方面做了令人惊叹的工作。当然还有DGX Spark堆栈，简直不可思议。作为Nvidia的合作伙伴，我们对此感到非常兴奋。”
“我认为这将迎来个人台式机的复兴时代。” “我也这么认为。你知道，Ollama的旅程很有趣。我们起步于本地部署。显然，代码代理的需求在云端，但我们认为这会回归本地，因为硬件会跟上。当你的桌面上有GB300且想要最快的代码循环时，那将和运行测试或让代码编辑器更改一样快。我们都记得GitHub Copilot的体验，自动补全在几百毫秒内出现。那种体验将回归桌面，这是一个从本地开始、转向云端，然后我们认为它将回到本地的过程，最终你将结合使用两者。”
谈到为了运行Llama云端你需要大量的GPU。你在GPU市场看到了什么？ “我认为我们看到的是价格变化非常快，供需波动性很高。所以如果你是一家初创公司，想要获得运行最新模型所需的B200、B300 GPU访问权限是非常困难的。幸运的是，有一组很棒的推理提供商在此基础上构建。”
“所以你看到这种极端需求……当你能够获取所有需要的GPU时，你是否经常因为能获得的GPU数量而受到增长限制？目前的情况如何？” “我们很幸运与许多提供商合作，共同整合大量GPU，这使我们能够跟上需求。但这需要大量的工作，也肯定花费很多时间思考哪个模型将在哪里运行、速度应该多快、它在哪个区域，以及客户的延迟是多少。在这个技术栈中有许多难题需要解决。”
“我认为像Open Router、Alama和Open Code这样的产品令人兴奋的地方在于，对于最终用户开发者来说，他们可以注册并获得访问权限，而不必去谈判B200、B300的价格。你知道的，想想他们的24个月预测以获得对这些GPU的访问权限。”
YC Next Batch 现在开始接受申请。你有创业点子吗？请在 y combinator.com/apply 申请。永远不嫌早，填写申请表会让你的想法更上一层楼。（音乐）好的，回到视频。”
假设你像是一个初创公司创始人，现在刚开始建立一家AI公司，还没有筹集很多资金，所以你想尽可能多地使用token且费用低廉。你会给那个人什么建议，关于他们如何在有限预算下获得巨大收益？
有一类新模型是个很好的例子，比如DeepSeek Flash。我认为还会有更多这样的模型，它们的每个token成本极低。这也是一个非常重要的指标——每项任务成本低廉。在我看来，这类模型将是第一批实现“无限token”理念的产品。我们都记得ChatGPT。你不需要真的思考自己使用了多少token，你会每天使用它，拥有无限额度。”
“最终我认为我们会回到那种状态，但这需要在模型和架构上进行大量工作以针对高容量token使用情况进行定制训练。如果你回想年初，我们真的希望开放模型能达到智能的前沿。我们要弥合差距。我们与前沿封闭模型的差距可能不到3个月。”
“但下一个要解决的问题是极致的效率。看到ChatGPT Luna模型对客户变得非常具有价格优势是一个巨大的推动因素。”我们交谈过许多客户，那种定价使得在团队内广泛采用成为可能。我认为开放模型也会看到这种情况。”
我们已经在开源模型中看到了这一趋势。我认为 DeepSeek Flash 模型正在引领这场变革。如果我们回顾 OAM 云端的模型分布数据，增长最快的领域无疑是 DeepSeek 系列模型。这主要得益于 DeepSeek Flash 的广泛采用。这种新型“Flash”类模型足以应对80%的任务，它们速度极快且成本极低。我认为这类新模型将推动许多应用场景的实现。
没错，它们将成为处理繁重工作的“主力”模型。确实如此。你不再需要担心发出了多少请求或消耗了多少令牌，因为你知道它们能够解决那些困难的问题。回想一下我们之前讨论过的协调层，将这些 Flash 模型组合起来执行不同任务也能产生比单一大型模型更出色的结果。
拥有这些低成本模型不仅意味着更高的可及性和更快的运行速度，还能支持更高并发量的访问。更重要的是，你可以将它们串联起来，通过上层的编排来解决新的问题组合。这对于初创公司、现有的推理服务提供商以及那些致力于解决工作流问题的企业来说，都是一个令人兴奋的领域。最终能够将这些模型串联起来将极具帮助，而且你无需再为底层成本操心。
是的，回想我们最初在播客中讨论 AGI 时，曾有一种观点认为会存在一个无所不能的“上帝模型”。许多 AI 研究者当时都这么说。但到目前为止，情况并非如此。当然，如果你需要像破解 NSA（美国国家安全局）那样极端的任务，或许确实需要 Mythos 这样的顶级模型。但对于大多数应用场景而言，正如你所说，通过编排和组合较小的专用模型，实际上提供了更多可重复、更可信且成本可控的解决方案。
因此，如果是“上帝模型”与众多小型专用或简单模型的竞争，目前看来后者更胜一筹。我认为对于大多数客户用例来说，存在一个“足够好”的阈值，达到该水平后模型便足以满足需求。虽然模型可能会变得更快、架构更优或具备新功能，但用户无需总是追求那个“上帝模型”。不过我也认为，确实存在一些只有最强有力的大模型才能解锁的应用场景，这既令人兴奋，有时也让人担忧。
但在那些开源大模型真正大放异彩的常规用例中，我认为我们正触及一个关键点：这些任务虽然不一定是企业内部最难的挑战，但也足够困难，以至于此前无法被解决，而现在开源模型已经能够应对。未来会出现成为“神级”的开源模型吗？我认为这是可能的，我们正看到来自 Zhipu AI（智谱）和 GLM 等令人兴奋的发展。
我们都看到了 Kimi 模型在 Web 开发领域成为最佳模型时，给市场带来的新冲击波。这表明竞争不再是单纯的差距问题，而是正面的对决，这让这一切变得更加令人兴奋。这是一个稍微敏感的问题：你如何看待此事及其背后的地缘政治因素？我认为许多地缘政治角度始于模型的来源地。
随着我们与客户和用户的深入交流，我们发现越来越多的关注点在于模型在哪里运行、如何运行以及是否在安全环境中运行。当然，确保美国客户可以使用在美国训练的模型非常重要。我们接触到的两类客户中，有一类并不太关心模型的来源地，他们更关心运行环境。
但对于每一家这样的客户，都有一家客户明确表示非常在意模型的来源地。这不仅关乎数据安全，更关乎模型的语言风格和文化表达。我们都通过母语进行思考和交流。许多模型在训练过程中会经历不同阶段，有时听起来更机械，有时更友好，这些细节也很重要。
但最高优先级的显然是确保你完全了解模型端到端的数据来源。从 Neotron 等模型中，你可以追溯并检查是什么数据造就了该模型。因为人们绝对正在将开源模型用于关键任务。网上有一篇文章提到，Llama 支撑着芬兰一家发电厂的分析系统，以检测电力激增并确保供电稳定。对于这类关键任务，模型的来源确实至关重要。
那么如何确保即使是托管在美国的中国模型也不会像“门罗维亚候选人”问题那样被植入陷阱从而引发麻烦呢？是的，这就是所谓的后门或恶意注入风险。目前已知有此类案例吗？我想不出具体的头部知名案例，我也没听说过类似的消息。但我感觉如果真有这种事，我应该会听到风声。
不过你在一些新闻文章中看不到的另一面是，像我们合作的顶级财富500强企业那样，其 IT 和安全团队是多么强大。他们早已习惯处理这类问题，因为开源软件意味着平均每个应用程序有成千上万个依赖项。这不是新问题，只要有一个依赖项存在重大安全隐患，整个应用就会受影响。
供应链污染确实令人震惊。这已经是一个存在了几十年的老问题，从这个意义上说并不新鲜。它只是稍微更不透明一些，因为你无法像检查代码那样深入挖掘模型内部。虽然模型的推理是确定性的，但只要通过安全检查对模型进行严格筛查，根据我们从客户那里听到的反馈，这些问题大体上是可以解决的。
Ollama的起源是什么？你们是从Docker生态成长起来的，很多观众都希望处于你们现在的位置——拥有看似能延续至永恒的持久品牌护城河。这确实是一种非常有利的局面，基本上就像站在了一口巨大的油井之上。对于正在野外勘探的人来说，能讲讲这个故事吗？2021年时你实际上是与Jared一起工作的。
是的，我和联合创始人之前在Docker期间构建了Docker Desktop，因此我们非常了解什么是优秀的开发者体验。但我必须说，Ollama公司成立的最初几年，其实是在寻找用我们已构建的“设计卓越开发者体验”这一能力去解决的正确问题。
你们在2021年冬季申请YC时，想法完全不同。没错。还记得当时的标语是什么吗？我觉得当时定义得并不清晰。我们意识到应该回到为容器和Kubernetes构建真正优秀的桌面体验上。我记得我在申请表里写的是“用于Kubernetes的Kitematic”或者“用于Kubernetes的Docker Desktop”。
没错，那本质上就是Docker Desktop。他们有一个很棒的Kubernetes。（笑声）我想说的是，作为第二次创业的公司创始人，我和Michael经常告诫自己：我们在很多方面试图过度设计这个想法。
我认为在2021年完成YC之后，直到2023年7月Ollama发布并筹集A轮融资之前的那两三年里，我们一直在寻找一个能让开发者感到惊喜的客户问题。某种程度上，直到2023年尝试不同想法并转型是好事，因为那时Llama模型发布并开始推动开源模型的兴起。
这就是为什么它叫Ollama吗？不完全是。真的吗？根据我们的经验，无论是指本地LLM还是Reddit上的llama板块，“Llama”通常只代表开源模型。我们在想名字时，并不是源自某个现有的模型。
更像是LLM加上动物形象？是的。我认为拥有这样一个角色很重要。我们喜欢给名字赋予一个面孔，就像模型动物吉祥物一样。Docker就有GitHub上的那个形象。他至今还没采纳我的建议，让羊驼真正出现在Ollama的活动中。（笑声）
我好奇你们A轮融资时的路演内容是什么，因为虽然Benchmark是优秀的投资者，但2023年时我们如今所处的未来尚未完全爆发。当时的愿景是什么？我们在2022年与Benchmark合作，那是ChatGPT发布之前的日子。在路演中，我们强调正在构建卓越的开发者体验并解决安全问题。
由于Peter是Docker的A轮投资者，我们之前构建Docker时就认识他作为Benchmark的合伙人。因此，路演很大程度上侧重于团队以及我们的存在理由。说实话，解决Kubernetes的单点登录（SSO）这一真实问题并不是我们的热情所在。
我们很幸运找到了一位能透过表象看到我们所坚持理念和目标的合作伙伴，而不是仅仅关注当时解决的具体痛点。所以你是指在转型之前？没错。我之前没意识到这一点。
我只是看着这张按模型家族划分的云Token使用量图表，基本上如果只看这个图，Ollama的故事似乎始于2026年2月并在此后爆炸式增长。这很有趣，因为实际上它要追溯到2021年。
在荒野中迷失多年，做着那些有点可行但未真正起飞的工作，然后突然一切爆发，这种经历对你们、联合创始人以及团队和员工的心态产生了什么影响？那是一种怎样的体验？
这肯定很可怕，原因有几个。当你们试图为开发者或客户解决问题时，反复与他们通话却总无法完全契合，这比是否上头条或项目是否起飞更令人担忧。关键在于我们是否真正在解决某人的问题？
迷失在荒野中，什么是你们的北极星指标？客户通常是极好的指引，但看不到北极星更可怕。因为通常你知道想解决什么问题，只是还没弄清楚具体是什么问题。我和联合创始人Michael成立这家公司是因为我们过去曾建立过一家公司，并很快被Docker收购。
创始团队和Anorstar曾说我们要用开发者觉得很难但很重要的东西来解决体验问题，但在寻找那个问题的两年里确实很可怕。我们有一个超过10人的团队，这让情况更加艰难。
我非常感谢那支团队在我们尝试不同想法时始终与我们并肩作战。不明显的是，我们从“Kubernetes的安全”转型为“桌面开发者的安全”，这是我们从未公开谈论过的转型。
然后当模型出现时，我们采用了那种形态形式。虽然这是一个飞跃，但我们知道开发者想要的问题和感受类型，但LLM的出现让这一切变得清晰明了。当我们尝试运行Llama模型时非常困难，那一刻我们意识到这是一个问题，而当它成功运行时令人印象深刻。这确实是一个从0到1的时刻。
我好奇那个转型的故事，因为Ollama的经历中其实有很多次转型，但最关键的一次可能是转向本地托管LLM。这是如何发生的？你们只是私下摸索想法吗？当找到这个点子时，公司里每个人都觉得这是要做的事，还是存在分歧？
像是一场激烈的辩论？直到它爆发开来，才变得清晰。>> 我们记得曾坐在一起开会。当时我们在多伦多，因为我们的团队分散在多伦多和帕洛阿尔托两地，而现在我们主要都在帕洛阿尔托。当时我们在讨论：如果必须从头开始，我们现在刚刚加入，我们会怎么做？我们看到了两个大问题，因为我们和一些用户聊过，我们也尝试使用开源的 LMS（大型模型服务）或一般的 LMS。其中一个问题是：能否构建一个网关来访问任何模型并托管它，使其真正无缝衔接？当时我们将其视为 LLM 的一个细分领域。
这是一个很好的思考角度，我认为这演变成了现在这个巨大的“路由器”概念，而这仅仅只是开始。这是一个巨大的机会。另一个问题是，我们是一群来自 VMware 和 Docker 的人，我们知道如何让人造之物运行起来。所以我们要帮助开源模型更好地运行，然后我们开始>> 系统 >> 对，就是系统。因此，我们试图深入反思我们的团队，真希望我们能早点这么做，因为安全是一个截然不同的领域，与销售和开发者工具都不一样。通过这样做，我们倾向于说：让我们试试这件事吧，给自己两周时间推出 Llama 的第一个版本。
然后 Llama 2 发布了，那正好是两周的末尾。我们说：“好吧，我们要发布。”我们就有一种行动偏见（bias to action）。回想一下，在两周内发生了所有这些事：从想法到发布，再到获得的用户数超过我们以前所有产品的总和。在此之前是两年的过度思考客户和产品，却没能把东西推出去。>> 我第一次听说它是在 Reddit 上。我没意识到是你们做的。我只是看到了那个标志，我对运行本地模型很感兴趣，它出现在我想是 local LLM 的 subreddit 或其他地方。
大家都在狂热地称赞 Ollama，说它太棒了。>> 我当时想：“哦，这是一家 YC（Y Combinator）的公司。” >> 是的。我后来才发现的，因为你们当时叫另一个名字。你们不在我们的内部系统中。（笑声）>> 是的。我记得我和 Jared 碰头时说：“嘿，顺便说一句，现在有了所有那些安全方面的东西。”我当时正和 Jared 碰头，然后在楼梯上遇到了你。（笑声）我想你可能穿着你们的 T 恤或拿着什么周边产品，我当时想你们这些人很像>> 你知道我>> 遇到明星之类的。
这时间点对得很难，但我真希望我们能更早地迈出那一步。我的意思是，最好的时机是在 YC 期间。>> 不可能，那时候还不存在。 >> 没错。 >> Llama 还没发布呢。我想你也是最早的那个 GitHub 项目之一，很快就达到了十万个 Star，对吧？你还记得花了多久吗？非常快。 >> 是的，我不太记得具体有多快，但比 Docker 和 Kubernetes 要快得多。正如你所说，事情开始运转并开始爆发式增长，作为创始人，你真的感到不知所措，因为你无法完全解释为什么。我认为这是解释产品市场契合度（PMF）的最佳方式。
产品市场契合度有不同的层次。你知道，我们直到今年初才通过与 Llama 的云服务开始变现，但看到人们爱上这个产品。这是一个从 0 到 1 的时刻，真希望我们能在 YC 期间完成它，但在某种程度上那是不可能的。我也觉得把它放在背景中来看非常疯狂：你大概从 Reddit 上那些对在家运行自己的服务器感兴趣的极客，在两年左右的时间里变成了占据财富 500 强中 85% 的企业用户。这（笑声）就像是一个相当>> 这是从家庭电脑俱乐部到广泛计算机采用的速度冲刺，PC 花了十年时间。
18个月或12个月。 >> 是的。这也是最让我们惊讶的事情之一，因为我认为开源模型的最初用户非常像是只是 tinkering（摆弄）的爱好者。“天哪，这竟然可能。”但由于两件事：首先，它们免费入门；其次，你可以在任何地方运行它们。这对财富 500 强的 IT 开发团队来说非常有帮助，因为他们不需要申请许可就可以使用。所以这对爱好者用户有利的事情很快就在企业内的开发者身上得到了体现。
这恰好是一个案例，数据库也是如此，我们看到了一些类似的情况：像 MongoDB 这样为开发者开始的数据库也很快转向了企业市场。但由于 LLM 是无状态的，这使得过渡变得非常容易。现在谈到迁移到云端，情况要复杂得多。有一个经济问题：如果你是客户，当然涉及安全问题。模型在哪里运行？但开源模型的美好之处在于，无论是爱好者还是 IT 开发者都喜欢的地方在于：你可以立即开始。你不需要许可。
我们能谈谈变现的角度吗？因为这也很有趣。所以在2023年，Llama 2 突然爆发式增长，你有了所有这些用户、十万个 GitHub Star。显然你们找到了某种东西，但这基本上就像是 Reddit 上的极客在使用它。你没有收入，也没有明显的路径说明如何从这些 Reddit 极客身上赚钱。在你们真正弄清楚商业模式之前，这花了两年时间。有趣的是，这正是 Docker 当时所处的位置。在这两年里你们是怎么想的？
你担心过吗？团队有没有问过商业模式会是什么样子？你是怎么思考如何从中赚钱的？ >> 我认为我们总是看到开源模型有两种变现方式，这对公司、开发者和客户都有利。其中一种是注重隐私的 AI 产品，Ollama 最初就是以这种开源形式开始的。但我们总觉得存在这样一个时刻：比如当你没有立即使用 Llama 模型进行工具调用时，有些用例仍然保留给前沿（frontier）模型。
同样，冒着过度思考的风险，我们觉得开源模型在产品层面的产品市场契合度不如闭源模型。在某种程度上，从哲学上讲，我们希望在发生这种情况时与之保持一致，我们要在那里。
捕捉到了这一点。我认为今年发生了这种情况，编码代理使用开源模型运行，因为最大的AI消耗量终于与能够服务该需求的开源模型相匹配。在这个过程中有很多机会可以私下安全地执行此操作。再次强调，许多财富500强公司已经采用了Llama。但我们真的问自己，我们能为客户解决的最重要的问题是什么？
本地部分虽然是这个故事的重要组成部分，但从未感觉像是完整的故事。故事的核心是如何访问开源模型来解决最困难的问题？所以在某种程度上，我们在等待。我们知道我们需要稍微等一等让市场成熟。与此同时，等待的风险是什么？如果不小心，你会建立起一种文化。我们从Docker时代学到了很多这方面的知识
在那里你不去考虑货币化问题，这不是优先事项。我认为作为团队，我们凭借之前的战斗伤痕，某种程度上已经知道了这一点。但我认为另一个非常重要的组成部分是确保与客户保持联系。就像开源项目爆红后最大的风险之一，是你把用户群和客户群看作互联网上的一个模糊群体。
这是一种非常危险的看待客户的方式，因为你想见他们、了解他们的需求。他们在做什么？六个月后他们想做什么？他们的故事是什么？我认为这是我希望我们在过去几年中做得更多的事情，而现在我们正在大量做这件事。
我很好奇当你经历YC（Y Combinator）时，你们是第二次创业了。我很想知道是什么促使你们决定加入YC？其实我们对此反复权衡了很多，这本来是不应该的。我们应该直接说当然我们要加入YC。但大体上来说，创业是一种非常孤独的体验。即使你有一个很棒的联合创始人
迈克尔是我的联合创始人，也是我第一家公司的联合创始人。他是我在滑铁卢大学时的室友。但即便如此仍然很孤独，而且我认为拥有一群同伴非常重要。尽管我们是在疫情期间做的，每周与Jared和其他大约五个[鼻息声]创始人群组交谈
真的让你感到不那么孤独。我认为这是其中非常重要的一部分。当然，当我们最终搬到这里后，再也没有什么阻碍了，网络效应简直令人难以置信。而且我们可以遇到那些在开源模型上构建、在任何类型的AI上构建的创始人，你知道我们早就知道会发生这种情况
因为我们认识很多来自滑铁卢大学、在新冠疫情前参加过YC的创始人，他们说这真的关于聚在一起交流。这是其中很大的一部分我们知道那里有这种资源，你知道我认为这使得它成为一个显而易见的选择（no-brainer）。但同样我也认为有很多错误是你不必重复的。
我喜欢YC社区的一点是创始人们彼此之间非常透明地分享这些错误，你知道我仍然与Docker的创始人保持联系
他是我们公司的投资者我们能够讨论我们在上一代公司中遇到的一些挑战，这些挑战我们不一定需要重复或者一些行之有效的方法我们可以带入未来。
是的如果你不重复那些你知道有时会杀死公司的错误那本身可能就是一个错误潜在地是的我们的团队中很多人来自最终运作良好的公司Docker现在表现非常出色但无论是我们的一些团队成员早期在VMware还是其他情况
总是有起伏的我认为让一群拥有这些经历的人围坐在桌旁非常重要，而且实际上什么行之有效甚至比这更重要。能够拥有这种肌肉记忆是其中很大一部分哦天哪，我刚才想到这一点因为我们显然与很多18岁或19岁的年轻人交往和工作
然后他们总是问，“那我该做什么呢？”我开始意识到其中更重要的一点是，如果你从未在一个团队中工作过，向大量用户交付非常出色的技术或者实现清晰的产品市场契合度，那就去做一次。即使只做一个月的时间
即使是三个月的时间，你在那三个月里学到的东西会更多因为那样你就知道什么是好的。而没有那种经历的话就像我说的那样，虽然并非不可能像YC里的人也能搞定因为你们能学会但那就困难得多。
看到某种东西真正从开始到结束的运作方式之间的差异，比如这就是bug数据库的样子、我们如何发布软件以及所需的质量标准和我们互相坚持的底线。看到过这些只是让成功的几率成倍增加。所以很明显
从一开始就拥有一个见过很多此类情况的联合创始人团队是非常强大的。是的，我认为这为你提供了一套可以围绕其工作的价值观，尤其是在你手中掌握着如此巨大的AI权力时。有些部分我可以帮你处理但它不会对此让你负责
你知道软件是如何运作和呈现的吗？看看两年前在野外运行的版本。当有人爱上你的产品并继续使用两年后，你的软件还能正常工作吗？它还会运行良好吗？希望他们更新到最新软件或者是云服务
但我认为我们建立了这种肌肉记忆，而且我们从团队中许多更资深的工程师那里肯定拥有这一点，例如那些在VMware或NERA工作过的人。但与此同时我认为我们在上一代DevOps和基础设施领域学到的很多教训在AI世界中不再适用
哦是的告诉我们吧你发现了什么？还有什么不再适用的吗？我认为一个经典的例子是有一代公司被称为平台即服务（PaaS）在这个内容中，Heroku就是这种模式的绝佳例子。
我的意思是Docker最初就是这样开始的。Docker起初是一个平台即服务公司，这里有一个概念如果你是在其他东西之上的一个层作为初创公司你就处于一种脆弱的位置这在AI世界中绝对是不正确的
事实上在栈向上移动有时甚至更好因为你更接近客户。在基础设施领域也是如此
这就像是一个比喻，我们不得不打破许多这样的“肌肉”，实际上我们必须重新构建 Llama。另一个例子是，这些大型语言模型永远不会完美，而在系统世界中，你希望一切都按照设计的那样运行。它经过测试、验证，但大型语言模型从定义上就不是完美的——这是一种特性而非缺陷。没错，它是一种特性。我想你希望它具有一定的非确定性吧？
而且我认为在组建团队方面也是如此，现在有了人工智能，有些问题你不需要像十年前那样投入大量人力。想想你的客户支持流程是什么样的？或者提供云服务是什么样子的？这是一个非常不同的世界，因为现在的情况是，没有工程师确切知道所有代码是如何工作的。
因此，我们正在从基础设施 1.0（2000年代）到云计算（2010年代），再到现在的人工智能领域，学习许多新的经验教训。有很多规则被打破了。我想你们实际上在为生态系统的双方提供着极其出色的服务，最终用户得到了一个非常干净、即插即用且能正常工作的东西。
特别是令牌输出非常清晰，API 合理且有逻辑性。反之亦然，如果你没有这样一层抽象，我曾直接经历过这种情况：底层推理提供商有一个奇怪的错误。比如你以某种方式输入这个参数，或者它期望 JSON 格式但未记录在案。这简直是一个疯狂的雷区。
虽然代理程序可能最终能搞定，但在代理弄清楚之前，你可能会对着墙壁撞头好几个小时。与此同时，你会觉得这是一种糟糕的体验。所以你可能也在帮助推理提供商修复所有这些根本性的错误。是的，这是我们工作的一部分。
我认为开放模型格局中的一个巨大机会在于策展：整合一个碎片化的模型、推理技术和云服务宇宙，使其真正能够正常工作。这是一个非常有价值的问题，因为最终开发者正如你所说，他们只想构建软件，开发新产品或应用。
这正是我们介入的地方，也是许多优秀服务进入的领域。我们看到 OpenRouter 就是一个很好的例子，它提供了广泛的模型选择，开发者无需注册数十个提供商，只需去一个地方即可统一支付。
我们还看到 OpenCode 的情况：你可以通过一个集成任何模型的框架，为想要尝试下一个模型以查看其是否更好地解决用例的开发者提供极其强大的体验。因此，当现在存在大量模型和提供商时，稀缺性在于将这些整合成能够正常工作的东西。非常感谢你参加我们的节目，时间差不多了。谢谢邀请我们。