大家都在谈论“Harness Engineering”(智能体工程)。你是否好奇这究竟是什么意思?我将为大家解释一切。事实上,Harness Engineering 包含许多内容,其中有一项甚至有点令人毛骨悚然,我稍后就会带大家深入了解。但首先,我想展示一下在一个智能体 Harness 中运行项目的结果,该项目使用了 Kimi K3 以及全新的 Qwen 3.8 Max。
这展示了两个模型的使用情况,总花费为 8.71 美元。让我展示一下它做了什么。对于这个项目,我重新启用了我最喜欢的一个:CRM 平台。我要求一个编码智能体构建一个销售 CRM,就像 Salesforce 或 Pipedrive 那样,从零开始为我构建整个系统,以便我使用个人 CRM。这就是它生成的结果。我必须说,我认为这是我迄今为止得到的最好的一个。
你在这里看到的非常漂亮的仪表板,是你初次进入产品时看到的页面。它显示了预期收入以及基于销售漏斗的全额收入。如果你看过我之前做的图表,比如使用 GLM 和 Fable 时做的,你会看到类似的图表。你还会看到按阶段划分的销售漏斗,显示新客户、已合格、已提议、谈判中、成交和丢失。
它同时显示了总价值和预期收入,后者是基于概率加权的。因此,你可能会在一些高端销售平台中看到一些非常有趣的功能。然后,和以前一样,还有待办事项列表。这是一个很好的产品。我们可以点击四处查看,比如组织信息,以及你期望的所有功能,联系人。还有删除和编辑交易的按钮,包含不同交易的详细信息。
当然,还有销售漏斗,那里有一个看板,支持拖放操作,并且总数会随之变化。一切运行得非常顺利。这是一个很棒的产品。它构建所花的时间与使用 Fable 构建时大致相同,但价格却只有其一小部分。那么,什么是 Harness Engineering?它与我刚才展示的项目有什么关系?这有什么大不了的?我之前提到的那个令人毛骨悚然的东西是什么?
现在让我揭示一切。但首先,如果我再次给出 AI 智能体的定义,请不要讨厌我。智能体是一个配备了工具的 LLM(大语言模型),它在一个循环中运行以实现目标。这就是智能体的定义。另一种有时听到的解释方式是,智能体是一个处于 Harness 中的 LLM。Harness 是为其配备工具、将其置于循环中,并围绕实现目标而设计的结构,反复调用它,直到它决定目标已达成。
因此,你可以将 Harness 视为围绕 LLM 构建的脚手架,以使其能够实现更复杂的目标。在过去的几年里,我们都经历了这段旅程。几年前,热门话题是提示工程(Prompt Engineering)。人们曾为了成为提示工程师而获得巨额报酬。然后去年,出现了新术语“上下文工程”(Context Engineering),即组装完美的输入上下文发送给智能体,使其处于最有利于成功结果的位置。这就是上下文工程。
但现在上下文工程已成过去式。我们已经超越了那个阶段。现在一切都关于 Harness Engineering。Harness Engineering 基本上就是上下文工程加上更多内容。它是关于构建所有围绕你的 LLM 和智能体的脚手架和 Harness,以使其能够承担最艰巨的任务并获得最佳结果。因此,我将解释 Harness Engineering 的全部内容,然后我们将进行一些 Harness Engineering,这将使我们实现迄今为止最好的销售 CRM。
那么,Harness Engineering 包含什么?显然,Harness Engineering 的第一部分是获取正确的脚手架,即做我们已经在上下文工程周围所做的一切。思考我们为了达成目标而为 LLM 配备的提示、工具和记忆。这是其中很大的一部分。接下来是工作流或循环。它可能就像浏览待办事项列表一样简单,或者你可能希望以某种更复杂的方式处理特定问题。我们稍后会对此进行具体说明。
另一个要点是状态(State)。特别是在编码智能体中,状态通常通过使用 Markdown 文件来管理,即在 Markdown 文件中记录信息,从而以持久方式跟踪状态。但也有其他方法。然后是子智能体(Sub-agents),我之前使用过,它可能非常强大。如果运用不当,它也可能变得复杂。然后是智能体团队(Clawed Agent Teams),更具协作性。这是将任务分解为运行独立的智能体循环的另一种方式。这也是 Harness Engineering 的一部分。
然后是拥有正确的权限,可能在沙盒中运行以控制智能体能够做什么。以及可观测性(Observability),即能够观察正在发生的事情并能够评估它。你知道我多么强调评估。这非常重要。这也是 Harness Engineering 的一部分。赋予模型定量评估自身结果的能力,以便它能够改进结果。这是我们在我上一个关于 Groove Box 的视频中看到的使用编码智能体获得更好结果的简单方法。如果你还没看过,那就是可观测性和评估。
最后但同样重要的是自我改进(Self-improvement)。自我改进是关于在智能体 Harness 中构建功能,使其能够自我进化。它有能力改变智能体 Harness,并在解决更困难的问题方面变得越来越好。这就是自我改进。现在,自我改进中有一部分,即自我改进内的特定技术,相当令人毛骨悚然,我现在不会告诉你。我稍后会展示给你。我认为你会同意,这是一个令人大开眼界的发现。我们将对此进行探讨。
其中一些功能在你要使用的智能体产品中是开箱即用的。例如,如果你使用 Hermes,那么它基本上具备所有这些功能。正如我们在之前的视频中探索时发现的,这就是 Hermes 的功能列表。如果你使用 Clawed Code 或 Open Code 之类的东西,那么你会得到其中的一些功能,但其中一些取决于你自己。
那么,你如何处理 Markdown 文件中的状态,或者如何处理沙盒化?你设置这些了吗?你的流程中是否内置了自我改进?这真的取决于你。而配置这些,这就是一项活动。这项活动被称为 Harness Engineering。现在,我设置了一个简单的构建 CRM 的项目,并融入了 Harness Engineering 的许多方面以进行展示。
你亲自体验一下。即使你并不特别想深入代码,也没必要。我会把所做的一切以及它们如何构建我们的智能体框架讲得清清楚楚。让我展示一下。在我的列表中,上下文工程之后的第一项是工作流。让我在这里展示一下。有一个名为 process.mmd 的文件,它基本上给出了构建我们要求的项目的工作流程。按照需求文档构建整个项目。确保满足成功标准。使用子智能体检查最终产品,整合任何更改,然后按照自我改进的说明来改进你自己。我们稍后会回到这一点,但这展示了布局好的工作流。现在,我今天将使用 Open Code。对于 Open Code,有一个名为 open code.json 的 JSON 文件,它描述了不同的子智能体。这就是我设置我的子智能体团队的方式。我有一个主智能体,其指令是遵循我们在 process.mmd 中刚刚看到的工作流来构建项目并改进自己,它将使用 Qwen 3.8 Max。然后我们有一个产品审查子智能体,它尝试产品并提供反馈,我们将为此使用 Kimi K3。它们已设置好适当的权限,例如,审查者不能更改任何文件,它只需负责审查。显然,通过这种审查,我能够对正在发生的事情进行评估,并确保有一个反馈循环以变得更好。
接下来是关于沙盒化。我使用的是 VS Code 内置功能的开发容器,以便在隔离的 Docker 容器中运行。我在这里有设置和配置它的说明,以便它安装 Open Code,还安装了一种技能,即来自 Vercel 的 Agent Browser 技能,以便它能够测试自己的工作。最后但同样重要的是自我改进。所以这是我在我的工作流中添加的一个概念,即框架需要能够改进自己。当我打开这个文件时,它说你必须完成这一步,回顾你在构建项目中的工作,包括你遇到的任何挑战以及反馈,然后更新你自己的工作流程,纳入学到的经验教训,以便下次做得更好。这就是自我改进的实际应用。当它运行时,它不仅会构建一个 CRM,还会更新它自己的流程,因此它将能够更好地构建类似的东西。
现在来看看这个诡异的部分。看看第四步。这就是所谓的递归自我改进。有些人没有完全理解这意味着什么,但这里解释了。更新这个文件 self-improve.md,以便你在未来更有效地改进自己。改进你改进自己的方式。变得更擅长变得更好。这就是递归自我改进的理念。我们希望它不仅改进它自己的流程,还要改进它改进流程的方式。这太疯狂了。因此,所有这些活动,设置子智能体,建立沙盒,制定流程,拥有带有子智能体的反馈评估循环,然后拥有这种改进、这种自我改进甚至递归自我改进步骤。这就是框架工程的全部内容。这就是我所做的。现在到了付诸行动的时候。
现在我就在开发容器中,我将输入 open code 来启动 Open Code。它出现了。现在我将按 Shift+Tab 切换到我的构建和改进主智能体。我们准备好了。我只是对它说,去吧,构建一个项目。改进自己。做你的事。让我们看看它会做什么。它正在使用 Qwen 3.8 Max。它正在查看它可以访问哪些文件。它将去做它的事情。我们稍后见。好吧。
所以,并不正好是一分钟。已经过了大约一个半小时。我去吃了午饭。但这里是结果。你可以看到它已经检查了待办事项列表中的所有项目,阶段、产品审查子智能体,然后自我改进阶段也被勾选。你可以看到它给出了个人 CRM 构建的结果,自我评估的验证,整合的反馈,最后是自我改进。令人满意的是,你可以看到我们在框架工程中付出的努力得到了回报。你可以看到它们如何反映在它实际所做的行为中。我们最初开始于一个简单的五步流程。这是我们现在在 process.mmd 中的内容。它显著地扩展了。流程现在在开头增加了一项,关于在开始时仔细阅读所有文档,包括改进文件。然后我们有一个包含以前运行经验教训的 playbook,架构配方,验证循环,单元测试是必要的,但还不够,以及审查和反馈。所以,有很多详细的笔记是为自己写的,以指导自己,以便根据它所学到的知识在下一次拥有改进的流程。
但是,我感兴趣的是看它是否真的能够更新它改进的方式,如果它以有意义、有用的方式做了一些递归自我改进。所以,让我们看看这个文件,看看它做了什么。所以这部分看起来与我们之前的一样,但它添加了一个新部分。如何有效地进行自我改进。元学习。以这种结构化的方式进行反思。好吧,让我们看看它得出了什么。它说在写下之前对每个学习进行分类。这看起来很合理。它有记录检测方法。将它们写为可执行的指令。有趣。修剪。区分持久的改进与项目改进。通过在你写完后阅读它来闭环。这很棒。然后是一个特定的工具怪癖。在你确定应用程序损坏之前,用真实用户事件重现它。 fascinating。这些看起来像是合法的自我改进学习成果。
显然,我不想过多纠缠于递归自我改进。这是一个很好的功能,但它只是我们在实践中应用的框架工程的许多方面之一,它让我们获得了我在多次这样做中构建的最好的 CRM。所以,我认为我们做得很好,我认为这是我们在框架工程部分付出的努力的直接结果,你应该尝试自己做一些框架工程。下面的描述中有说明来调出这个仓库。玩弄一下。让它为你构建一个 CRM。
我希望它和我手头的这个一样漂亮。这真的很不错。如果你想要一个不错的个人客户关系管理工具,你也可以直接使用这个。你也会在下方找到详细信息。它真的很棒。看看这个。如果我来到这里并移动某个东西,这里会弹出一个提示框,告诉我它已被移动。然后会有两个这样的提示框。这真是太好了。这里的功能非常丰富。所以,我希望你喜欢这个客户关系管理工具,也希望你喜欢这个视频。如果是的话,请点赞并订阅。这样我就知道你真的在观看,并且希望我制作更多这样的内容,而我也会继续制作。我希望很快能再见到你,带来另一期