Mistral Medium 3.5: NEW Powerful Agentic Local AI, Beats Qwen 3.6? 3090?

Mistral Medium 3.5：从本地先驱到云端代理的转型

Mistral AI 近期发布的 Mistral Medium 3.5 模型标志着其战略重心的重大转移。作为 Mistral 产品线中的“中端”模型，它不再仅仅关注如何让模型在本地 GPU 上高效运行，而是转向了 Agentic AI（智能体AI） 的应用场景。Mistral 曾以 Mistral 7B 等小模型 pioneering 了 MoE（混合专家）架构在消费级显卡上的应用，并率先提出并发运行小型模型的概念。然而，随着 AI 代理的发展，这种思路正在发生根本性变化。Mistral 明确表示，编程代理正从本地笔记本迁移至云端，在那里它们可以并行运行并在完成后通知用户。

"Today we're moving them to the cloud where they run on their own in parallel and notify you when they're done."

这一转变并非偶然，而是 Mistral 试图与 Cursor 等 企业级代理任务执行器 竞争的直接体现。该模型旨在通过 Mistral 的 vibe CLI 或 latechat 界面启动，允许用户在不离开对话的情况下卸载编程任务。这种设计利用了 NVIDIA 统一内存架构在长时间、多实例任务中的优势，显示出 Mistral 正在尝试推动新的计算范式，尽管其背后的硬件需求和性能权衡仍值得深入探讨。

模型规格与基准测试数据对比

Mistral Medium 3.5 是一个 1280 亿参数 的密集模型，拥有 256K token 的上下文窗口，支持指令遵循、推理和编码，且仅需 4 块 GPU 即可实现自托管。该模型引入了可配置的 推理努力（Reasoning Effort），允许用户根据请求调整模型的思考深度，以解决以往推理模型因过度消耗 token 预算而无法完成任务的问题。

在基准测试方面，Mistral 展示了其与竞争对手的对比数据。值得注意的是，Mistral 未包含 Qwen 3.6 27B dense 模型，而是选择了 Kimi K2.5、GLM 5.1（较旧模型）和 Qwen 3.5 进行对比。以下是基于视频字幕中提及的基准测试类别整理的数据对比表：

Mistral 声称该模型在 数学指令遵循 方面表现相当，而在 Agentic 基准测试 中，它显著优于之前的 Mistral 模型，成为 Mistral 旗下最佳的编码模型。然而，这些基准测试的选取引发了关于其是否经过“精心挑选”以突出自身优势的质疑。

自定义代理运行时与跨工具工作流

Mistral Medium 3.5 的核心创新在于其专为 Mistral 新代理运行时（Agentic Runtime） 优化的特性。Mistral 并未采用 Pydantic 或 Hermes 等现有框架，而是构建了 自有的工具链，认为其能提供更优的集成体验。该模型被设计为在 latechat 的“工作模式”中运行，支持复杂的 多步骤任务，如研究、分析和跨工具操作。

"They're not using Pydantic, they're not using any of these existing frameworks... we're just going to do our own because we think we can make our harness better."

这一架构类似于 Claude Code 的代理化版本，强调 人机协作（Human-in-the-loop），即在工具执行过程中智能地插入人工审核环节。Mistral 特别强调其 跨工具工作流（Cross-tool workflow） 能力，即单个任务可以在多个工具间无缝切换。例如，用户编写邮件后获得反馈，代理随即在代码库中实施相应更改。这种能力旨在将 AI 代理整合进软件团队的工作流中，类似于 Auto Research 等研究性代理的实用化演进。

本地部署成本与用户互动实验

尽管 Mistral 强调云端代理的优势，但用户仍关心本地部署的可行性。在视频演示中，作者通过 latechat 界面询问了关于 NVIDIA RTX 3090 显卡的部署需求。虽然 Mistral 官方声称仅需 4 块 GPU 即可自托管，但对于拥有单块或少数几块 3090 的用户而言，这仍然是一个高昂的门槛。

"So, tools-wise we have a code interpreter, we can do images, uh we can do web search."

在功能测试中，Mistral Medium 3.5 展示了包括 代码解释器、图像处理和网页搜索 在内的工具集。作者尝试接受服务条款并启动代理，以验证其易用性。尽管 Mistral 试图通过 vibe CLI 和 latechat 简化代理的启动过程，但其对 NVIDIA 统一内存架构 的依赖以及对多 GPU 的需求，表明其当前版本更倾向于企业级或高性能计算场景，而非纯粹的本地轻量级应用。这一策略反映了 Mistral 在 Agentic AI 领域的野心：通过强大的云端代理能力，重新定义本地 AI 的开发和使用方式。

量化支持与社区反馈现状

Mistral Medium 3.5 的本地部署面临量化版本缺失的尴尬局面。虽然模型理解用户未使用量化版本，但官方目前没有提供 2-bit 量化，这导致显存需求计算出现偏差。尽管 Unsloth 在发布后迅速推出了表现不错的量化方案，但社区反馈普遍负面。许多用户指出，该模型在多项测试中表现不如 Qwen。Hugging Face 页面上的 GGUF 量化文件目前处于不可用状态，预计后续会更新。值得注意的是，即便在 3-bit 和 4-bit 量化下，该模型依然庞大，这与其宣称的本地友好性形成反差。

"It understands I'm not using a quantized version... there is no 2-bit quantization currently, so that's a little odd."

模型体积与基准测试的争议

核心争议在于 Mistral Medium 3.5 的资源效率极低。用户 Yusuf 指出，即便经过量化，Mistral Medium 3.5 的体积仍是 Qwen 3.6 27B 密集模型的 4 到 5 倍，但两者在 Swee 验证得分上却持平。这种巨大的体积差异意味着 Mistral 在硬件要求上处于劣势。此外，Mistral 被批评引用过时的基准测试，其宣传材料中引用的数据来自半年前，未能反映当前 Qwen 3.6 等模型的快速迭代。这种策略被形容为 AMD 级别的失误，即在竞争激烈的市场中未能及时更新性能对比数据，导致其在“世界舞台”上的竞争力受到质疑。

智能体任务性能与实际应用

在智能体（Agentic）任务中，准确性和能力比单纯的推理速度更重要。Mistral Medium 3.5 在需要多工具操作、逻辑链理解和连贯文本生成（如撰写求职邮件）的场景中表现不佳。Zen Magnets 组织的一项直接对比显示，Mistral Medium 128B 密集模型在浏览器操作和智能体任务上明显落后于 Qwen 3.6 27B。更令人担忧的是，Qwen 3.6 27B 并非专门为智能体设计，而 Mistral 作为新模型却未能超越它。考虑到 Qwen 3.6 122B（基于旧架构的混合专家模型）即将发布，Mistral 在本地 AI 领域的领先地位可能正在下滑。

"It's actually much worse at browser and agentic tasks compared to Quen 3.6 27B, which to an extent wasn't even deliberately made to be agentic."

硬件需求与购买建议

鉴于上述性能与体积的失衡，运行 Mistral Medium 3.5 对硬件要求极高。目前，用户可能需要约三张 RTX 3090 显卡才能在合理范围内运行该模型。虽然更大显存的 GPU 可能有所改善，但对于大多数用户而言，Late Chat 可能是更好的替代方案。视频作者建议，在做出购买决策前需谨慎，因为 Qwen 3.6 已经提供了更优的性能体积比。社区正在观察 Mistral 是否能通过后续更新改善这一局面，但目前来看，Qwen 3.6 是更推荐的本地运行选择。

"Unfortunately currently you're probably still going to need about three RTX 3090s to run this within reason."