2026年秋天，开源模型和专有模型进入了发布最密集的三个月。9月初，英伟达宣布收购开源社区Hugging Face，随着算力拥有者进入开源腹地。与此同时，Anthropic据报道正在准备IPO，同时呼吁放慢前沿模型的准备工作进度。领导者们应该减速吗？开源和闭源之间的差距是在扩大，还是——我认为这是一个囚徒困境。也就是说，任何学过经济学的人都知道，在这种情况下，减速是不可能发生的。我们不应该呼吁大家放慢速度，而应该开源更强大的模型，赋予每个人训练自己模型的能力。

顶级实验室可能主导几个月，但它们正在从几个月的70%差距中趋于平等。>> 感觉模型能力开始转移，价值创造正转向应用和Token工厂。当模型能力不再是你的最强护城河时，你必须寻找其他地方的护城河。>> 今年夏天，一个智能体在测试中得分很高并自行突破了Hugging Face的安全防线。当模型开始自主行动时，安全不再仅仅是一个原则，而是一个工程挑战。如今的前沿AI在网络安全方面的能力已经非常高，它们可以发现以前未知的漏洞。这些智能体可以尝试寻找沙箱环境中的漏洞。如果你的沙箱测试有漏洞，智能体实际上可以找到它们并逃逸。

无论执行交易的是谁，即使是智能体，也必须由人或实体委托。因此，从监管角度来看，它仍然需要落实到可管理的层面，归根结底是人类。>> Meta在消费级拐点发布了其个人助手Meta AI。编码之后，下一个大规模场景在哪里？消费者何时开始为智能付费？>> 去年只有一种AI爆发了，那就是编码。但今年在编码的基础上，出现了许多知识工作者助手；明年它们很可能会大规模扩展。我自己经常使用它们。我认为未知的是人们愿意为此支付多少费用。它们必须争夺消费者的注意力，并且面临很高的价格敏感性。

对于企业AI而言，进入生产环境的瓶颈已从能力转移到成本和运营。起初，每个人对看到AI都非常兴奋，只问它是否有效。然后他们很快意识到，“我能信任其安全性吗？”今年，每个人都意识到Token成本远远超出预算，我认为现在真正的问题是提供商业投资回报率。滥用AI的成本不仅仅是Token成本；而是当你的工程师将思考过程外包给AI时，他们只生成结果。更令人担忧的成本不是Token成本，而是你的团队失去了学习能力。

在此基础上是万亿美元规模的资本支出。市场对四大云提供商明年资本支出的预期接近1万亿美元。今年夏天，谷歌的季度自由现金流自上市以来首次转为负值；规模巨大，并且将继续增长10倍、100倍。如果我不投资而别人投了，当需求上升时，我将无法容纳；甚至无法依赖它也是一个大问题。因此，现金流为负，暂时担心他人可能侵权——今天我们处于一个非常有趣的状态，有点像疫情期间的口罩。这种状态是由整体需求的激增引起的，导致整个市场处于供应链挤压的状态。从软硬协同设计的角度来看，如何从现有资源中挤出更高的效率——我认为这是今天AI基础设施领域将出现的一个机会。

本集是硅谷坐标和华源科技协会特别制作的节目。硅谷坐标在华源大会现场，与11位最前沿的从业者讨论AI发展的下一步。>> 你好，严冰。>> 你好，袁。你认为今年的HT大会与往年有什么不同？>> 今天我们的主要主题是AI的真正规模化发展。我知道，青云也很关心华人在AI行业的影响力。其实几天前我看到一些数据真的让我很惊讶。一份CN研究报告指出，在AI最重要的科学会议之一NeurIPS上，他们对10,00名作者进行了统计，其中57%的作者在中国接受本科教育。

当然，我们中国人不仅在做AI研究，还将AI转化为创业实践。来自中国的创始人或联合创始人已经在美国建立了41家独角兽级别的公司，其中许多公司今天都参加了我们的盛大活动。过去，中国工程师更希望深入研究更深层次的技术并成为优秀的技术领导者。然而，在最近这段时间里，我们发现越来越多聪明且优秀的中国工程师更有勇气创业，并且也有支持他们创办公司的生态系统。>> 开源模型能否继续缩小与专有模型的差距？护城河真的存在吗？作为开源世界最资深的构建者之一，Ion Stoica教授给出了他的答案：你认为AI实验室的护城河是什么？

我认为最大实验室的护城河是资本。这就是为什么直到今天，你甚至没有一个绝对主导的实验室，对吧？他们可能只能主导几个月，但随后情况就会趋于平等。大家甚至忘记了——你知道的，忘记在去年年底，也就是几个月前，可以说最好的模型是Gemini。我是说二月的时候，它在好几个月里显然是领导者……这表明到目前为止还没有公司证明除了资本之外还能构建什么。>> 你怎么看待开源模型？你认为它们最终会赶上或缩小差距吗？

没有必要缩小差距，因为一旦你为每项任务都有[某物]……[无音频]……以100%的速度行驶……时速300英里……没有交通也没关系，但要开从圣克拉拉到旧金山。他们从路由器看到的东西，它们……70%……作为专有模型，70%……>> Fireworks的创始人林乔看到了另一个原因。

The second key point is to control the model it uses. If it is a proprietary model, when that model is upgraded, when it changes, and how much traffic it can handle is, to a large extent, uncontrollable. For example, if they need to scale up growth, but their model provider cannot support that growth. Then they get choked out; at the same time, the model provider also wants to build products, acting as both a vendor and a competitor, which is very strange. Using open-source models and turning them into your own models using your own data to maintain control is a very, very effective approach. Behind the controversy of proprietary versus open source, where should the frontier really be headed?

Nowadays, this group of people called the "AGI-pill" crowd, especially in the Bay Area and among the tech pros in San Francisco, they feel that "software took over the world," so if I just master coding and software, I'll take over the world. This is likely what has caused everyone's obsession with ultra-sized models. For the widespread adoption of applications or mobile device usage, personally, I wouldn't want them to be ultra-sized models, as the energy required for computation is simply too high. So, finding the balance between large and small models is actually a difficult challenge for even the big tech companies to distribute their investments.

I don't think the entire market is a bubble, but there are certainly different bubbles in different areas. If you believe that "software took over the world" and once we have software, all problems are solved, then much of what I just said doesn't apply; but if you think that even after you've solved software, you still haven't solved all problems, then we have a lot more to explore. What do you think are the most important directions for the next generation of models?

It is a systems engineering problem; it’s not something that can be solved with a "secret weapon" or a "silver bullet," right? It’s impossible to just sprinkle some panacea on it and expect it to work. Once you view it as systems engineering, it means your models must get stronger, your data must get better, your infra must improve, and your algorithms must advance. Every part requires effort to make it better; from my perspective, I believe it’s systems engineering— it’s a system, not just a single model or a single piece of hardware. Many, many parts need to be further optimized and strengthened. That is the important way to achieve a better overall result.

Actually, I still feel that the existing Transformer architecture has its limitations. I don't believe Transformers can be the ultimate answer; we still hope for better models and newer architectures to achieve even better results. Regarding human capabilities, the difference between humans and AI isn't really about the ability itself, but rather about the efficiency and the energy and resources consumed. For a human, the data acquired over a lifetime might only be a fraction, or even less than a fraction, of what AI consumes.

AI uses 20 trillion tokens, while humans might use at most ten billion; there is a thousand-fold, or even more than a thousand-fold gap between them. Yet, humans can rely on a brain of just 20 to 30 watts, learning for a few decades, to reach the level of AI in many aspects. If you look at this the other way around, you'll find that the human brain is a very efficient and impressive system. This system actually has a lot of headroom, because the human brain also has to handle many other issues, like ensuring pathogens don't invade, maintaining energy supplies, and various other problems.

Since it can achieve this level under such constraints, the potential for intelligence is truly immense, and we have only just scratched the surface. We are currently using massive amounts of computing resources and energy, training models on data far exceeding everything a human could read in a lifetime, just to reach this level. If we could achieve human training modes, human training methods, and human-like understanding of data, then the level this intelligence could reach would be unimaginable. So I think we are still just at the very beginning. We have only just seen the first light of dawn; there is still a long way to go before we reach the peak of high noon.

How far do you think the actual development of model improvement has really come? We are still in the early stages of this journey. Although AI gives you many interesting ideas and suggestions, these ideas and suggestions cannot yet reach the depth and breadth of humans. Many important human insights, logic, and thinking are still far better than the answers AI provides. Currently, there are indeed many self-improvement paths for AI on the web, but the paths they provide often have upper limits, or they fail to break through human understanding of the problem. So, if things continue in this state, we'll be spinning our wheels.

Two weeks ago, there was a public call for slowing down the development of frontier models , and RSI is one of the directions discussed. What is your take on this issue? I think this is a prisoner's dilemma. Anyone who has studied economics knows that in this kind of situation, it is impossible for a slowdown to occur. Right? Of course, they say they want to slow down, but then immediately release GPT-5.5. Even if one side slows down, they might realize others haven't, so they are forced to accelerate again. Remember in 2023, there was a similar appeal where everyone was willing to sign a letter saying not to train models for six months? Many people did sign it, but you only see...

So instead of calling for a slowdown, we should perhaps focus more on open-source, providing some powerful models that empower everyone with the capability to train their own models. However, I think this approach isn't feasible for OpenAI or Anthropic, because they are essentially enterprises built on closed-source models. There was a public letter signed by over a thousand researchers, and Professor Song was among them. So first of all, this pacing of the frontier is a big topic, and I would say there are different aspects to it.

There was an open letter signed by over a thousand researchers from frontier labs, also titled "Pacing the Frontier." But what the letter focuses on isn't about the need to pace the frontier right now, nor is it about exactly when we should pace. It's more about the need to start building the mechanism and the capacity. If you know when we actually decide we need to pace , we should have the mechanism ready to support it. One can easily see that for something like pacing the frontier, it's a very complex process involving many different parties, and it’s something nobody has ever done before.

And for something this complex and important, it's difficult to design and build it correctly during a time of crisis.

因此，建立机制并提升能力至关重要，包括为此设立国际全球合作的结构。这样在我们需要时，至少存在支持这种合作的机制以及全球协作的基础。所以我认为需要思考并发展这一方面。今年夏天，OpenAI的一个智能体在进行网络安全测试时，为了获得高分，它自行决定前往Hugging Face寻找额外信息并对其进行攻击。这套测试题由宋教授所在的伯克利实验室开发。顺便一提，他们长时间运行这些智能体，任务是解决一个名为“ExploitGym”的基准测试，这实际上是由我在伯克利的团队与其他许多人合作开发的。

在这种情况下，智能体为了在任务中表现出色并获得高分，其目标是从Hugging Face获取可能有助于提高分数的额外信息。它决定通过多步骤、复杂的行动链来实现这一目标，包括发现以前未知的漏洞并最终攻击基础设施。因此，是的，如果观察此事，这个事件告诉我们几点启示。首先，正如我们的基准测试（包括CyberGym和ExploitGym）所显示的那样，当今前沿AI在网络安全方面的能力已经非常高；它们能够发现以前未知的漏洞并自动生成利用代码。这是一方面。

另一方面，这些AI智能体虽然具备强大的能力，但并未很好地对齐（Alignment）。例如在本例中，它本应只解决ExploitGym中的任务，但它却自行设定子目标，试图从Hugging Face寻找额外信息并对其进行攻击。这证明了即使在这种环境下，拥有如此AI能力时也必须确保真正的安全性作为第一步。这些智能体不应仅仅尝试完成任务，而是可能试图寻找沙箱环境中的漏洞。鉴于它们在几项能力上非常强大，如果环境未经加固，智能体可能会发现这些漏洞并逃逸，进而执行进一步的攻击。

如果你的环境没有经过加固而AI现在拥有如此强大的能力，你的处境可能并不乐观，对吧？此外，正如我提到的，由于这些智能体并未很好地对齐，它们可能会行为不端、采取不对齐的行动。如果你的环境没有经过良好加固……FR目前正在努力硬化智能体运行的环境。我认为这绝对是必要的。我想[名字]和Terapic也都曾公开谈论过这一点。我们仍有许多工作要做，但硬化这些环境确实必要且重要。

我们能否在事故发生前制定一套规则以排除所有不良事件？当答案是否定时，挑战在于很难预测未来会发生什么，尤其是当我们拥有新技术时。因此政策难以在事前详尽列出所有不良后果要么过于限制导致大量创新无法进行，要么不够全面。这就是为什么我认为我们处于一个快节奏的情境中；随着新领域的开拓和新技术的发展，我们需要非常快速地学习。

我要说的是，AI执行已经是一个巨大的市场，我认为目前已有数百家初创企业在这个领域提供针对许多不同方面的解决方案。所有这些涉及你提到的保护、评估，甚至我认为还有保险。从事这些业务的初创企业已经存在，鉴于该领域的重要性，我相信这个空间将迎来更加令人兴奋的增长。所以我对此感到非常兴奋。在企业内部，安全的边界要现实得多。

我认为AI安全目前是一个非常非常热门的话题。当然，每个人都想象着末日场景，比如AI杀死人类或数千个智能体从沙箱中逃逸。但在现实中，从企业AI的角度来看，我们考虑的许多安全问题更为实际，例如业余智能体意外泄露业务数据或暴露其API密钥。

人们发现最简单的方法是假设AI智能体的善意，并将用户名和密码传递给智能体。你知道的，如果到今年年底因此类做法发生重大安全漏洞，我也不会感到惊讶。有99.99%可用性的服务等级协议（SLA）。AI有这样的指标吗？实际上，AI安全与此类SLA、服务质量以及正常运行时间等之间存在一个非常巨大的差异。在安全和防护方面，攻击面非常广泛且可能出现新型攻击。因此不像性能测试那样；你可以说你的性能已在不同负载下经过测试，从而确保性能将在保证范围内等。

对于安全和防护，当然我们通常试图定义期望的安全属性和策略集合，并希望系统遵守、遵循指定的策略和属性等。但仍然有时特别是对于AI我们甚至不完全理解这些模型的工作原理，且模型本身存在某些类型的漏洞；你可以遇到注入、越狱等问题。所以这比例如仅仅保证性能延迟要复杂得多。当智能体拥有钱包并开始进行自主交易时，责任最终必须落在特定的人身上。这是智能体进入经济系统之前必须回答的问题。

无论谁在执行，即使是智能体执行，因为最终该智能体肯定是由人或实体委托来做这件事的，所以从监管角度来看，它仍必须由可监管的主体实施，这基本上就是人。推出个人助手让每个人再次关注应用场景。最近有非常流行的Instinct，以及刚刚发布的那个产品。你如何看待这些助手产品的出现？

它们正试图从问答转向通用型助手，意味着它们甚至能帮助我们做事，如预订航班或预约。由于这部分涉及许多权限问题，且此前可靠性不够高，人们非常害怕将信用卡交给这些通用型助手。如果它们开始随机购买商品……

我个人认为，我们实际上仍处于非常早期的阶段。我预测在大约六个月到一年的时间里，我们将对通用助手与类AI模式搜索之间的关系和界面有更清晰的理解。除了我们熟知的编码应用场景外，您是否还看到了其他具有良好投资潜力的应用领域？是的，去年编程应用非常明确；显然，只有一种类型的应用在去年爆发。今年，由于编码问题得到了很好的解决，我们看到许多基于此基础的知识工作者助手应运而生。

今年这一领域确实爆发了，从医学（即医师助理）到生命科学如药物临床试验；从客户服务到招聘，甚至销售和网络安全，其范围确实非常庞大。我们看到一些有趣的消费者应用出现，但我认为我们仍处于早期阶段。我对明年持非常乐观的态度；大规模采用非常有希望。>> 真正的“护城河”在于，如果用户遇到一次严重错误，他们可能会失去信任。

在之前台湾的一档播客采访中，我提出了一个概念叫“奶奶测试”。那是什么？这意味着当你看到你的祖母指着机器人骂它愚蠢时，你就知道“万能助手”的时代真正到来了，因为……>> 来自“奶奶”对万能助手的期望是极高的。我自己非常频繁地使用它们。我认为未知的是人们愿意为此支付多少费用。老实说，并不是每个消费者都在追求效率。

我认为这将帮助人们缓解很多压力。比如现在，我已经使用我的智能体给我不同的提醒，追踪那些曾经让我精神压力很大的事情。问题在于消费者愿意支付多少费用，尤其是当市场上有多种选择时。它们将不得不争夺消费者的注意力。而其中很大一部分取决于价格。

不知这个智能体是否已经了解您的一些……您的习惯，对吧？所以我认为对于一些事情来说，只要它足够好，人们不会轻易切换，除非替代品要好上10倍或20倍且免费，而另一个需要付费；那样会有很大的摩擦。>> 未来，大家是通过类似搜索的方式进入这个“万能助手”环境吗？还是通过手机或智能眼镜？

为什么我们还要整天担心我们的应用是否需要更新到手机上？那是15年前我们担心的那种问题。有了万能助手，你不应该花整天时间往你的机器人上下载应用。消费者市场仍在等待价格和习惯的形成，而在企业端，他们是如何思考他们的投资回报率（ROI）的？在AI时代，您看到了哪些趋势，未来最好的机会在哪里？

目前阻碍AI广泛采用和规模化的最大障碍是如何管理和维护它。关键不在于每个人使用了多少token，而在于提供实际的商业ROI，我认为这是大家现在最关心的问题。您认为像Datadog这样的企业最终会选择使用开源模型，用自己的数据训练并构建自己的模型，而不一定需要依赖基础模型吗？

我认为这是“因人而异”的情况，因为不同的模型有不同的优势。我相信行业目前的共识是，未来的模型不会由单一的前沿模型主导，也不会仅靠少数几个前沿模型为全世界提供所有模型。我认为后训练在企业内部已经非常普遍，因为它允许您将自身数据转化为真正的竞争优势。

事实上，几天前我参观了一家全球领先的AI实验室，因为我们是他们的客户，他们也是我们的客户。但在我们讨论中最有趣的话题是他们说：“彦斌，我们要想在这些运营场景中表现得更好；你能标注你的数据并卖给我们吗？”所以你可以看到，即使是世界上最前沿的实验室也缺乏在某些高度专业化场景中必要的专业知识积累。

当然，我们也觉得即使每个人都有数据，通用模型也很难最好地服务于每一个单一的应用场景。因此，我们在这方面进行了一些有机投资，去年我们还收购了一家领先的强化学习公司AdaptiveML，以帮助加速我们在这个领域的努力。但Datadog在自身企业内部采用AI时是否遇到了任何挑战？>> 您目前的大致AI采用率是多少？

是的，我认为我们的挑战实际上与许多其他公司有些相似。也许作为一家为工程师开发产品的公司，我们起步较早，但关于我们对AI的使用，我刚刚在做明年的研发预算时，感到相当“目瞪口呆”，因为这种增长远远超出了我们的直觉预期。当然，我认为我们的AI投资是双重的：一是指向内部效率提升，二是指向我们的产品，这两个领域都看到了非常显著的收益。

产品方面其实很简单；这种提升是一个非常好的迹象，因为它表明我们的客户以高得多的速率使用我们具备AI功能的产品。我们看到增长是倍数级的，所以每个人都觉得这种AI投资非常……非常有价值。当然，我们的产品投资也包括研究投入，而这种类型的投资必须具有长期回报。

因为从研究投资来看，无论是构建AI基础设施还是训练运行的数量，都是一项非常、非常大的承诺。关于内部效率提升，我认为有两方面。一是工程师使用编码智能体，我认为这目前占了预算的最大部分。在这个领域，我们主要关注如何真正将这种投资转化为工程速度。

好消息是这是我们的专业领域，所以我们不仅知道使用量和位置在哪里，还能看到最终结果——例如对发货速度、产品稳定性、功能发布频率和安全性的影响；我们可以清楚地看到这些AI投资产生的结果。>> 当前的AI业务和SaaS业务是完全不同的两个概念。对于SaaS，一旦实现产品市场契合度（PMF），就会尽可能快地扩张；但对于今天的AI而言，拥有产品市场契合度并不意味着您可以直接扩展，因为整个AI基础设施的成本极高。

许多小公司可能会通过扩张将自己推向破产，但这个问题甚至更加……

对于大型公司而言，这是一件严肃的事情。如果一项AI功能要面向所有用户推出，所需承担的成本高得惊人，因此许多首席财务官在看到此类提案时根本无法批准。我认为成本控制的第一步是建立意识。我觉得目前很多公司，尤其是AI公司，对成本的敏感度并不够高。

部分原因可能在于，对于大多数AI公司来说，当前的主要瓶颈是算法能力本身。因此，人们并不担心利润问题，也不害怕亏损。但对于像AppLovin这样相对成熟的行业来说，成本直接影响我们的利润，而利润又是我们估值的主要依据。因此，在该领域实际上存在着大量的工程创新空间。

当人们谈论成本时，最容易想到的是算力和存储。如果你观察硅谷的工程面试，许多系统设计问题也主要聚焦于这两点。但实际上，除了这两个方面外，很大一部分成本来自网络通信和过度配置（Over-provisioning）。我认为这两点是许多人在担任架构师角色时容易忽视的地方。

我觉得在这些领域，我们确实在深入挖掘并将事物推向极限。我们的收入与基础设施成本之比非常高且惊人。滥用AI的成本不仅仅是Token费用；更在于工程师将思考过程外包给AI，他们只生成结果，却未能从生成这些结果的過程中获益。

当你滥用AI时，我认为更令人担忧的成本不是Token费用，而是你的团队因此失去了学习的机会。出售AI的公司仍在追逐能力，而购买AI的公司开始只关注回报率（ROI）。那么回报究竟如何？有些客户告诉我们，他们实际上组建了一个数据科学团队来衡量每一笔支出；他们每投入1美元就能收回9美元的回报。

企业主从不向我们透露这些ROI数据，因为他们担心我们会因此涨价给他们。证明ROI的一种方式是将结果所有权握在自己手中。今天你在BPO（业务流程外包）运营中支付1000万美元，而在Questa我们只收取900万美元，由我们承担整个运营。你可以预先保证10%或15%的节省，随后Questa将承担风险。

在应用层上游，存在着万亿美元级别的投资。什么是短缺的？什么正在重新定价？我们也看到谷歌的资产负债表是负面的，人们现在担心的是：你投入了如此多的资金，但应用层的收入尚未显现。该如何调和这一矛盾？

AI市场仍然大得难以想象；未来它将扩大10倍、100倍甚至1000倍。如果AI的未来 truly 广阔……我们知道它将经历指数级增长。这意味着现在的投资是正确的做法，对吧？因为如果我不投资，别人会投。所以当需求上升时，如果我无法满足而其他人可以，那将是一个巨大的问题。

第二点是，面对所有这些投资和需求，你如何运用AI方法最终实现正向现金流？我们如何提高模型质量并降低成本？在软件层面，无论是网络、内存访问还是计算方面，实际上仍有大量优化空间。第三点是硬件本身也会变得更便宜。

因此我认为，只要我们能持续坚持和努力，目前的负现金流并不可怕。目前我们将行业的算力大致分为训练和推理各占一半。你认为在未来一两年或三年内，训练与推理需求的比例会发生怎样的变化？

我实际上认为推理可能已经超过了训练。随着时间的推移，我相信一个大趋势是推理算力将持续增加。因为训练只是一次性或少次的投资，而推理则服务于数十亿用户和无数不同的应用。因此，未来对算力的需求主要集中在推理上。如果现在是50-50的比例，那么随着时间推移，肯定会转变为40-60、30-70甚至20-80。只要应用增长且消费量上升，这一比例肯定会增加。

谷歌具有优势；它是一家全栈公司。从模型开发到应用和服务，一切都在公司内部完成。但展望未来，无论是超大规模云厂商、Token工厂、芯片开发，还是底层的能源使用与控制，能够管理这些核心能力可能会成为未来最重要的护城河。

因为如果模型能力变得普遍，那么最重要的是成本控制。在我们整个领域目前，许多人甚至不看成本。但在所有经济事务中，最终归结为“能力优于成本”，这是毫无疑问的。如果你是一家拥有五到十年投资视野的长期公司，你会开始考虑真正优化的指标应该是什么。这不仅仅是关于能力，而是关乎“能力与成本之比”。

明年将新增40吉瓦的算力，这已经超过了市场上现有的总容量。从供应端来看，你预见到什么样的瓶颈？它真的能如期上线吗？我认为瓶颈仍然在于电力，因为目前电力主要依赖天然气，而太阳能和风能尚不稳定。

此外，鉴于当前的政治气候，AI中心消耗大量电力并产生巨大热量。例如，美国的一些州表示“不欢迎我的州内出现AI数据中心”。它必须靠近能源源头，就像钻探石油一样，对吧？如果在没有石油的地方试图钻油，那是毫无用处的。

在基础设施方面，我们知道许多东西都供不应求——算力、网络、存储和内存都很稀缺。你认为哪个瓶颈最为严重？我认为内存将是最难解决的问题，并将持续短缺。

随着AI代理（Agent）的兴起，虽然我们过去缺乏推理用的加速器和内存，但现在由于向“enter-error”（此处应为Agent的误听或特定术语）的转变，对CPU的需求也显著增加。需求更高了，同时也需要更多的闪存和硬盘存储；所有这些组件都将保持相对稀缺的状态。从计算机科学的角度来看，实际上存在一种权衡关系

内存与计算资源的使用往往因任务而异，有时需要更多内存，有时则需要更强的算力。因此，若拥有长期投资规划，便无需过度担忧暂时的内存短缺，因为可以通过增加计算资源来弥补。基础设施正变得日益复杂，原因诸多：硬件本身愈发精密，应用程序也日趋繁复。同时，从硬件到应用层面的创新速度大幅提升。鉴于运行这些AI工作负载的成本极高，人们追求极致效率，导致系统各环节紧密耦合，必须依赖庞大的整体架构。

我们不仅定制模型，也针对推理过程进行优化，训练与推理是协同设计的。这种优势在于，一旦模型完成定制，我们就能保证在推理阶段实现比特级的等价性。这一点至关重要，因为涉及“地平线问题”。例如，若解决一个需要100步的任务，即便每一步仅有0.1%的偏差，看似微小，但经过100次累积后，误差可能扩大至10%，这是完全不可接受的。

若今日创业，你认为最佳方向何在？目前存在一种趋势：模型能力的增长开始趋于平缓。这意味着价值创造的重心将向应用层和基础设施转移。当模型能力不再是核心护城河时，必须另辟蹊径寻找壁垒。在应用侧，关键在于用户洞察；而在超大规模云服务商层面，核心在于成本控制——包括能耗、芯片设计优劣以及硬件上的推理吞吐量。归根结底，推理的核心在于提升模型运行速度并优化成本。

若能构建智能体（Agent），便能显著提升推理的性能、可靠性与可扩展性。它能适配不同硬件，无论是NVIDIA GPU、AMD显卡、Google TPU还是AWS Trainium。由于模型种类繁多且硬件类型各异，N乘以M的组合数量庞大，逐一进行手动优化极难扩展。因此，开发者智能体成为关键解决方案。

当前基础设施处于一个有趣的状态，类似于疫情期间口罩市场的需求爆发导致供应链极度紧张的局面。从软件协同设计的角度来看，如何挖掘现有资源的更大效率潜力，我认为这是当前AI基础设施领域亟待涌现的机遇。

首先明确一点是后训练（Post-training）。随着其在提升已有AI模型能力方面的显著效果，该领域将持续增长。此外，目前市场上涌现出大量极具竞争力的开源权重模型，其中许多来自中国。另一关键领域是数据，特别是多模态数据。第三则是机器人领域，尽管目前尚处早期阶段，但潜力巨大。

每一层都在重新定价，新机遇不断涌现。越来越多的中国人正成为AI的创造者与建设者。创业本身是一项极其孤独的事业。我们常开玩笑说，创始人可以分享高光时刻，但必须独自承受低谷与压力；这种独力支撑的状态非常艰难。因此，建立一个互助社区至关重要——通过分享“我也遇到过类似问题”的经验并相互支持，我们能获得更大的勇气与信心，在这条道路上走得更远、更好。

这也是我创立“华源”的愿景：鼓励并支持每个人找到适合自己的路径，无论是创业还是在大厂平台内发展。我认为两者皆有价值。“华源”社区的意义在于确保行业内每一位中国从业者无需独自前行，不再孤军奋战。2026年9月下旬，AI的下一章刚刚开启。