例如在人工智能领域,即使你实现了产品市场契合度(Product-Market Fit),也不意味着你可以规模化扩张,因为整个AI基础设施的成本非常高。许多小公司最终在规模化的过程中走向破产;例如,它们仅仅是因为资金耗尽而倒闭。我们要构建的“专用智能指数”(Specialized Intelligence Index)的目的,是将独特的私有基准数据聚合为一个单一的指数。

我最主要思考的是什么样的公司……因为我们目前看到的是一种超线性的需求(superlinear demand)。那么,什么样的公司能够承接这种超线性需求呢?林先生,很高兴今天与您交谈。您在会议上分享的关键信息是什么?我主要讨论了为什么我们认为人工智能的未来发展将主要集中在我们所谓的“专用智能”上。

专用智能的概念与通用智能是平行的。如果你查看全球数据,绝大多数基础模型尚未吸收这些数据。因为绝大部分数据存储于应用程序产品或企业内部,并且不会与他人共享。因此,基于这一点,我们觉得非常有趣:前沿生态实际上存在于这些应用程序和企业之中;它们应该将自己的私有数据转化为独特的智能体。这正是Fireworks一直追求的目标。

我们看到Fireworks刚刚发布了作为现实世界基准的专用智能指数,然后在23日又发布了自己的模型。这背后的战略思考是什么?我们的产品由三部分组成。在介绍产品之前,我想先解释一下,因为我们的战略是专用智能。专用智能最重要的方面是其独特性(uniqueness),因为每家公司存在的理由,就是它们以一种非常独特的、可以说是有区别的方式解决一个非常独特的问题。并且将它们解决得很好。

所以,这三个要素必须共存,公司才有存在的理由。否则,无论一家公司是否有存在的理由——这是一种非常残酷的解释方式,但事实就是如此。在这个前提下,我们希望展示每家公司的独特性。这就是我们所说的专用智能。而每家公司独特性的体现实际上遵循其产品的轨迹。每家公司的产品——这种产品的独特性在于其评估,即其自身独特的评估体系。

市场上有许多公开的基准测试(public benchmarks)。但是,公开基准已经被训练数据饱和了。“训练数据饱和”意味着它们使用特定的数据进行训练,因此结果自然很好,但这毫无意义。我们现在正在开发的“专用智能指数”旨在聚合每家公司的独特基准。

为了提供这样一个索引,以便每个人都有一个清晰的指南。每当有新模型发布时——无论是OpenAI或Google的闭源模型,还是开源模型——我们需要定期反映这些模型在专用智能层面的质量。这对整个行业有着巨大的帮助,让每个人都能真正看到这些新模型在其专业领域内实际提升了多少性能。

至于为什么我们要构建自己的模型,虽然发布的时间和专用智能指数相似,但两者之间没有直接联系。例如,我们的模型从不同的角度切入;专业化有两个原因。其中一个原因是降低成本。>> 嗯。>> 其运营成本——因为目前基于AI构建应用程序非常昂贵。例如,AI业务和SaaS(软件即服务)业务是完全不同的两个概念。在SaaS中,产品市场契合度和可扩展的业务本质上是同一个概念。因为一旦达到市场契合度,你就会尽可能快地扩张。

成本主要是人力、存储和CPU——而存储和CPU非常便宜,它们是大宗商品(commodities)。所以这不成问题,但现在有了AI,即使你实现了产品市场契合度,也不意味着你可以规模化扩张,因为整个AI基础设施的成本极高。所以许多小公司最终将自己规模化为破产状态。如果它们的增长速度快了十倍,它们的资金就会耗尽;如果不能筹集下一轮融资,那就完了。

然而,这个问题对大公司来说甚至更严重。因为一家大公司在本质上就像十年前的一个小公司一样。>> 嗯。>> 它已经在特定领域赢得了消费者或开发者的认可。>> 嗯。>> 它的性能表现如此出色,因此其流量巨大。如果他们想向所有用户推出一个功能,他们必须支付的天价成本是天文数字。

因此,对于许多提案,他们实际上无法推进。如果无法像那样创新,它们最终会面临一些非常严重的问题自己带来的困境。所以,成本是一个非常严重的瓶颈;我们需要在专用模型中解决的一个主要问题就是成本问题。我们的客户可以将成本降低5到10倍,也就是一个数量级。对于企业来说,这是巨大的影响。

第二个关键点是要控制他们的供应链;什么是控制供应?如果他们使用的是闭源模型,那么该模型何时会升级?他们什么时候可以使用多少流量?>> 这在很大程度上是不可控的。>> 如果他们想要十倍的增长,而他们的模型提供商无法支持这种增长。>> 那么他们就会被扼住喉咙(strangled)。

这就是供应链问题。闭源模型提供商也想构建产品。>> 如果他们构建产品,利润会更高,所以在很大程度上他们是在互相竞争。>> 这使他们处于一种非常奇怪的关系中。既是供应商又是竞争对手,这是一种很奇怪的关系。所以,这就造成了更大的供应链问题。使用开源模型配合自己的数据来创建自己的模型以控制这种供应链,是一种非常有效的方法,所以主要是基于这两点。

你能再介绍一下这个“One”模型吗?是的,为什么我们要发布这个“One”模型?是因为在开源模型的基础上,我们在降低成本的同时,也希望让模型变得更聪明;当模型需要解决问题时,它会进行思考和推理。其思考过程的每一步都会产生成本。思考的时间越长,成本就越高。

我们让模型变得更聪明的方法是减少所需的思考量,以便它能更快地找到答案。>> 嗯。>> 这样它就非常有成本效益了。因此,对于这个模型,我们基本上可以将推理过程缩短两倍(即减少一半)。嗯。>> 更短了。这样你花费的钱只有一半,使其便宜了两倍。

思维链(chain of thought)变得更短了,但效果保持不变。>> 是的,没错,效果是一样的,因为我们是为客户服务的平台。我们为大量拥有许多共同需求的客户提供服务;例如,我们看到模型上下文(context)需要更长的一个普遍需求。>> 嗯。>> 因为越来越多的智能体是长周期(long-horizon)的智能体,

它们的时间框架会变得非常……数百甚至数千个步骤才能解决。如果上下文有限,它就会遗忘。第二点在于简洁;如果你能快速解决问题,就能节省成本并减少时间。还有许多其他需求,当我们看到共同的需求时,我们会将它们推送到模型层面一起解决。我们在其他开源模型的基础上进行迭代。是的,因为开源社区依靠相互迭代才能产生最大的影响。如果是一个开放的社区而不让别人迭代,那开放的意义何在?

在你的平台上,你有没有看到新的趋势?我们知道个人助理正变得非常流行,包括 Inflection 发布的 Pi。我想知道你是否在你的平台上看到了同样的趋势?除了我们熟知的编码应用场景外,你还有哪些其他应用领域认为潜力巨大?是的,去年编码非常明确;只有一种类型的应用爆发,那就是编码。但今年,因为编码问题已经得到良好解决,许多基于此的知识工作者助理涌现出来。

知识工作本身范围非常广泛,包含各种不同类型的任务。所以今年它变得非常多样化,我们看到各式各样的应用。从医学——医生助理或患者助理——来解决医疗咨询问题;到生命科学,如药物发现、癌症治疗和临床试验数据缩减,这些可以非常快速地迭代;再到客户支持代理、招聘、营销、销售以及网络安全——这是一个热门话题,许多公司现在都在投资从检测到防御。

所以,我看到今年应用出现了非常广泛的爆发。我认为我们现在看到了一些有趣的消费者应用程序,但我觉得它们仍处于相对早期的阶段。我认为许多应用还没有完全打磨好。我对明年非常乐观;很有可能明年将是大规模消费者 AI 的一年。为什么时间线定在明年?我认为今天有很多实验,很多消费者方面的实验,以看它们是否符合消费者的口味。

是否能解决他们的问题,如果解决了,市场能否规模化?你需要建立业务,仍然有很多实验要做。但是今天,当我们看到一些例子确立时,明天可能会有更多问题出现。你如何看待你的竞争格局?我们只是专注于尽可能好地解决我们要解决的问题。我们不仅定制模型,还定制推理。此外,这种训练和推理是协同设计和优化的。这样做的好处是,在模型为推理定制后,我们可以保证位级等价性。

也就是说,它在任何位置都不会偏离。这非常重要。为什么?因为这是一个逻辑问题。例如,如果你正在解决一个需要 100 个步骤的任务……每个数值步骤可能有 0.1% 的偏差。这看起来很小,但在 100 个项上累积后,可能会变成大约 10% 的偏差,这是完全不可接受的。是的。对,而且我们消除了这甚至存在的 0.1%。它完全不存在。所以,这就是我们对等价性的追求。

这贯穿整个训练过程,同时我们可以在训练期间进行大量的推理优化。是的,所以我们是……在这个训练和推理平台之上,我们还有一个名为 Nexus 的智能路由器。这个智能路由器解决了这样一个问题:人们需要使用这么多模型但不知道如何导航——无论是封闭模型、开放模型还是他们自己的定制模型,并决定针对特定问题选择哪一个。考虑到各种组合,这个路由器意味着你不必担心那些复杂性;我们会根据你的需求自动将你路由到最佳选项。

所以,这三样是我们的主要产品。在未来 18 个月里,你认为 Firework 最大的挑战是什么?我现在思考最多并考虑的是如何扩展公司规模。因为我们现在看到的是超线性需求。那么,如何在如此快速的增长中保持我们的速度以赶上这种超线性需求,从而不让我们慢下来?这是我经常……如何在确保能够跟上市场应用爆炸式增长并服务于该市场的条件下进行扩展?这就是公司规模的问题。

是的,完全正确。我们如何以最快的速度扩张同时保持最高的速度?这是一个组织结构问题。从组织角度来看,我们要如何重新思考这个问题?因为我觉得以前的组织结构行不通了,所以我们正在从头开始原则重新思考。因为我们的整个层级非常扁平;不存在某项任务仅属于特定团队的情况。它必须是端到端的;我们如何让每个人对端到端的过程负责,即使跨越多个团队?

但同时它也必须非常高效。当我们很小时,这个问题更容易解决。当我们要变大时,我们仍然需要保持非常高的效率。这是我们经常需要考虑的问题。好的,非常感谢你今天分享。