今天，我使用我的 Agent OS 和 Hermes Agent 来回答大家最新的“AI利润董事会”提问。让我们直接进入这些问题。Almir 提出了一个关于本地 LLM（大型语言模型）的问题，我们来看看具体情况：在 Hermes 下，五个本地模型以不同的方式失败了。他使用了 RTX 570 Ti 进行测试并总结了结果，询问是否有人能提供帮助。好吧，让我们直接切入正题。
第一点是关于思维模式（Thinking Mode）。Quen 3.54B 在 Hermes 下开启思维运行，如果关闭它可能会改变什么吗？我不这么认为。我的意思是 Quen 3.5 应该足以在 Hermes Agent 中运行，听起来像是那里出了点故障。如果我是你这种情况下的我，我会安装 Claude Code Desktop，并让 Claude Code 桌面版来配置它，直到最终工作正常。
关于上下文扩展（Context Extension），如 RoPE 和 YARN，我说这不是我的专业领域。但同样地，如果你让 Claude 帮你处理这个，它可以为你更好地进行配置。我对 RoPE 或 YARN 这类东西不太精通，我 literally（字面意义上）不知道那是什么。我之前用 Hermes Agent 运行过许多本地模型，从未担心过这类事情。感觉这里有点过于复杂化了。
运行时方面，是 VLM 还是 llama.cpp with vicade？我会说通常我运行本地模型时，只是用 Ollama 并采用默认设置。约束输出可以是语法或模式约束吗？对此我不清楚，这看起来非常技术化。同样地，我认为运行本地模型使用 Hermes Agent 不需要那么高的技术要求。我怀疑像 Claude 这样的 AI Agent 能够处理类似的事情，但即便如此，这听起来像是技术术语，而不是我在设置本地模型时通常会担心的事情。
架构方面，是否有两遍处理方法？据我所知没有。也许有，但这不是我做过的事情。对于小模型，你可以使用 LFM 2.5（可能是指 Qwen 或类似模型的笔误/特定名称，原文为 LFM）2.6B。即使在 Mac Studio 上运行 Hermes Agent，它也能跑得很快很流畅。所以如果你需要一个更轻量级的模型作为测试对象，你可以尝试类似的东西。
然后是模型选择：在 8B 到 14B 参数范围内，适配 64K 上下文且拥有最佳记录的本地模型中，哪一个在多轮自主工具使用（特别是 Notch Chat 或单次代码生成）方面表现最好？我的意思是，我在 Mac Studio 上，所以我没有在 RTX 5090 上测试过这个。我只能根据我自己的经验告诉你什么是好的，但从我自己的经验来看，我发现 LFM 2.5（原文如此）是最快与 Hermes Agent 运行的模型。它在工具调用方面也不错。
之所以适合这一点，是因为在训练数据中，他们实际上使用 Hermes Agent 作为框架来训练该模型。所以这是一个相当好的选择。是的，有一些技术问题在今天周日早上挑战了我。但同样地，我已经为你们回答了这些问题，问得很好。
但是老实说，如果你遇到所有这些麻烦，我建议你直接获取 Claude Desktop 来为你配置它。因为它可以操作你的电脑并调整一切，不断迭代直到所有测试都通过且工作正常，因此你不必担心你所提到的所有这些技术细节。
如果你想让我这样回答你的问题，请在“AI利润董事会”中发布它们。如果你还不是会员，请立即加入 AI 利润董事会。你每周将获得四次直播通话、每日 AI 教程、分步培训、我们的提示词和资源库，以及访问由数千人组成的构建 AI 社区的权限。点击下面的链接，加入 AI 利润董事会，我们在里面见。