MiniCPM5 1B First Look & Test – Is This a USABLE 1B Model?

模型定位与基准测试表现

本次评测的对象是 OpenBMB 发布的 MiniCPM5 1B 模型，这是一个拥有 10亿参数 的密集型模型，专为边缘部署设计。尽管体积微小，但其在同尺寸模型及上一代较大模型中表现出惊人的性能。为了直观展示其竞争力，评测者引用了包含 Qwen 系列及 Llama 2.5 1.2B 的基准测试图表。虽然具体数值未在字幕中逐条列出，但图表趋势显示该模型在多个评估领域均处于第一梯队，甚至超越了部分更大参数的竞品。评测者特别指出，Liquid Foundation 系列模型同样在小型化方面表现优异，且具备视觉能力，值得对比关注。

"Bet you've never seen a 1B model in open code before."

这种性能表现使得 MiniCPM5 1B 成为本地大模型爱好者和边缘计算开发者的理想选择。评测者强调，虽然该模型设计用于资源受限设备，但本次测试特意在高性能硬件上进行，以观察其在非典型环境下的极限表现。这种“大材小用”的测试策略有助于验证模型的泛化能力和稳定性，同时也为后续的性能数据提供了高基准参照。

核心特性：混合推理与长上下文

MiniCPM5 1B 的一个关键创新在于其混合推理模式（Hybrid Reasoning）。用户可以根据任务需求选择是否启用“思考模式”。在资源受限设备（如手机）上，禁用思考模式可以显著加快响应速度，避免等待思维链（Chain of Thought）完成的延迟；而在需要复杂逻辑的任务中，开启思考模式则能提升准确性。评测者在本测试中主要使用思考模式，以便观察小模型的思维过程，尽管这可能会消耗更多耐心。

此外，该模型支持高达 131K 的上下文长度，这对于一个仅 1B 参数的模型来说是极为罕见的配置。评测者对此表示好奇，并计划测试其在 64K 或 100K 长上下文下的表现，以验证其在处理长文本时的性能衰减情况。这种长上下文支持极大地扩展了模型在文档分析、代码库理解等场景下的适用性，使其不仅仅是一个简单的对话机器人，而是一个具备深度处理能力的工具。

开发者生态与本地部署工具

对于本地大模型爱好者而言，MiniCPM5 1B 提供了完整的基础模型（Base Model）和预训练版本。评测者比喻道，基础模型如同“房屋的地基”，允许用户在此基础上构建自定义风格的应用，而不仅仅是使用已完成的“成品房屋”。这种开放性极大地促进了社区的创新和定制化开发。

在工具支持方面，官方推出了类似“桌面宠物”的交互应用，支持人格化（Persona）和工具调用（Tool Calling）功能。然而，目前该应用仅支持 Apple Mac 平台，Windows 版本仍处于实验阶段，Linux 支持尚未提及。评测者对此表示遗憾，认为这限制了其在更广泛操作系统上的普及。尽管如此，评测者已在 LM Studio 中加载了该模型，并配置了推荐的采样参数，准备进行详细的性能测试。这种工具链的完善程度是衡量一个模型是否“可用”的重要指标。

代码生成测试与性能数据

评测者使用 General Browser OS Test v2.5 对模型进行了代码生成测试，要求模型在单个脚本中创建一个包含五个项目的应用列表容器，并初始化 JavaScript 逻辑。这是一个典型的边缘测试用例，旨在检验小模型在结构化代码生成方面的能力。

测试结果显示，模型在 14.46 秒 内完成了整个思维链的思考过程，最终以 410 tokens/秒 的速度生成最终代码。评测者指出，虽然模型未能完美通过所有测试点，但其生成的代码结构合理、语法正确，展现了超出预期的代码理解与生成能力。这种速度在本地部署中极具吸引力，尤其是在 RTX 6000 Blackwell 这样的高端硬件上，模型甚至没有使用量化版本，依然保持了极高的吞吐量。

"We have the final code right here at a total speed of 410 tokens per second. So, we're going pretty quick..."

评测者总结道，测试小型模型往往缺乏大型模型的“视觉冲击力”，但 MiniCPM5 1B 在代码结构和逻辑连贯性上的表现令人惊喜，证明了其在实际应用场景中的可用性。

1B 模型生成浏览器操作系统的尝试与局限

本次测试的核心在于验证 MiniCPM5 1B 模型在代码生成方面的实际可用性。测试者首先尝试让模型生成一个包含 3D GTA 克隆、2D 游戏及多个应用功能的完整浏览器操作系统（Browser OS）。然而，由于提示词过于复杂，模型无法处理如此庞大的指令集，导致生成结果几乎没有任何实际功能。为了验证模型在简化指令下的表现，测试者大幅缩短了提示词，仅要求生成基础的浏览器界面。

"All right, so here's our 1 billion parameter browser OS. Okay, so we have our list of apps, a 3D GTA clone, a 2D game, an app one and app 2, and then change wallpaper. Okay, now sadly, nothing really happens here."

在简化提示词后，模型成功生成了包含应用列表、壁纸切换等功能按钮的 HTML 代码。虽然这些按钮缺乏实际的功能逻辑（如点击无反应、无法独立窗口化），但界面布局清晰，按钮具有悬停效果，且未出现代码结构混乱的情况。测试者指出，这种视觉上的整洁度对于 1B 参数量的模型来说已经相当不错。随后，测试者尝试让模型生成一个包含 553 行代码的复杂静态地铁场景 UI，模型在 131K 的上下文长度下保持了较好的逻辑连贯性，尽管最终生成的 UI 元素（如亮度滑块）同样没有绑定实际功能，但能够绘制出结构化的 UI 组件本身已显示出一定的能力。

工具调用能力测试：时间查询与硬件监控

MiniCPM5 1B 模型的一个关键特性是支持工具调用（Tool Calling），推荐使用 SGLang 作为后端。测试者搭建了一个基于 SGLang 的前端环境，以验证模型在非量化全精度状态下的工具调用性能。首先测试的是时间查询功能，模型成功调用了时间工具，准确返回了东京当前时间为 13:58（即下午 1:15），并展示了具体的调用结果。这一结果表明，即使在如此小的参数量下，模型也能准确执行简单的工具调用任务。

"Total GPU memory of 95.6 gigs with 18.3 used and 76.7 free at 19% usage. That's actually kind of cool to see."

接下来，测试者要求模型检查 GPU 显存状态并汇总信息。模型返回的数据为：总显存 95.6 GB，已用 18.3 GB，空闲 76.7 GB，使用率 19%。通过与 nvidia-smi 命令的实际输出（总显存 95.593 GB，已用约 18.8 GB）进行对比，模型的数据基本准确，存在微小的浮动误差，这在动态变化的系统中是可以接受的。此外，模型还成功查询了一个合成的订单状态，返回了订单号、当前状态（打包中）、预计完成时间及承运商（USPS）等信息。尽管这是合成数据，但模型能够正确解析并返回结构化信息，证明了其在处理特定领域工具调用时的可靠性。

知识库准确性与硬件推荐评估

在通用知识测试中，MiniCPM5 1B 模型的表现显示出明显的局限性。当被问及苹果 iMac 的历史时，模型给出了完全错误的回答，声称 iMac 起源于亚洲且栽培历史长达 1500 年，这显然是严重的幻觉。然而，在涉及当前硬件知识的测试中，模型表现尚可。当被问及当前最佳 GPU 时，模型正确识别了 NVIDIA 的 RTX 3090 和 4090，并提到了 AMD 的 7800 XT。

虽然模型在显卡功耗等细节数据上存在错误，但它能够提供一个结构化的推荐表格，根据不同使用场景（如高刷新率 144Hz+）推荐相应的 GPU 层级，并明确指出如果预算允许，RTX 4090 是性能最强的选择。此外，模型还准确回答了关于 Twitter 被 Elon Musk 收购的问题。这些数据表明，尽管模型在长尾知识上存在缺陷，但在主流硬件领域的常识性问答中仍具备一定的实用性，能够为用户提供有价值的参考信息，尽管需要用户自行核实部分细节数据。

角色扮演能力：从沉浸感到逻辑断裂

视频首先测试了MiniCPM5 1B在角色扮演场景中的表现。当被要求扮演“Meabot 89”时，模型表现出了不错的沉浸感，它不仅接受了角色设定，还通过描述动作（如“调整发光帽”、“用合成声音说话”）来增强互动体验。然而，这种沉浸感在后续测试中出现了明显的逻辑断裂。当用户要求扮演“Steve the PC repair man”并提及一个虚构的“super tool”时，模型起初试图维持角色，但在对话中途突然跳出角色，承认自己只是在“演戏”，并询问用户是否需要真正的帮助。

"Leans in slightly with a knowing smile. Oh, I see. Got to take a mental break now. You're right. Cutting the act isn't quite what I'm here for today."

这一现象表明，1B参数量的模型在长对话的角色扮演中难以维持一致的人物设定，容易在复杂指令下出现“出戏”或逻辑混乱。尽管它能理解简单的角色指令，但在需要持续保持特定人设和上下文关联的场景中，其稳定性仍有待提高。测试者指出，这种前后回答风格的不一致让人怀疑其在复杂叙事或长期角色扮演任务中的可用性。

长文本理解与事实准确性测试

为了测试模型的上下文窗口和知识检索能力，测试者引入了《了不起的盖茨比》（The Great Gatsby）作为测试对象。起初，在未提供全文的情况下，模型虽然知道书名，但在人物关系上出现了错误，例如错误地描述了Nick Carraway的家人。随后，测试者将全书文本粘贴给模型，并要求修正之前的错误。此时，模型开始展现出一定的上下文处理能力，它正确识别了Jordan Baker是高尔夫球手，并提到了T.J. Eckleburg广告牌这一关键意象。

然而，事实准确性依然存在问题。模型虽然提取了部分正确信息，但仍混淆了人物关系，例如错误地声称James Gats是Myer Wolfshiem的父亲（书中并未如此描述）。测试者指出，仅使用了50%的上下文长度，模型的表现就出现了偏差。虽然它能关联到书中的关键元素（如黄色汽车、特定人物名字），但细节层面的事实错误表明，1B模型在处理需要高精度事实检索的长文本任务时，仍容易 hallucinate（幻觉）或混淆细节，无法完全替代人类对文本的精确理解。

代码生成与创意写作：意外的亮点

尽管在角色扮演和事实检索上表现平平，MiniCPM5 1B在代码生成任务中却给出了令人惊喜的结果。当被要求为“Steve's PC Repair”生成一个美观的网站代码（使用Tailwind CSS）时，模型生成了一段结构完整、包含功能组件（如联系表单、服务列表、客户评价）的HTML/CSS代码。测试者评价称，对于10亿参数量的模型来说，这一结果相当出色，甚至优于之前测试的其他网站生成结果。

生成的代码不仅包含基本的布局，还包含了悬停效果（hover effects）和看似合理的占位符内容（如“ISO 2701安全审计”、“John Doe 5年经验”）。随后，测试者要求美化界面并添加Steve的“疯狂起源故事”。模型成功修改了颜色方案（尽管测试者认为“Hunter Green”并不一定更美），并在“关于”部分生成了具体的起源故事，包括出生日期（1988年10月7日）和教育背景。这一表现证明，1B模型在结构化代码生成和基于上下文的创意写作方面具有超出预期的能力，能够生成具有实际可用性的前端代码片段，尽管其创意内容可能略显模板化。

测试环境：MiniCPM5 1B 在 Open Code 中的交互表现

本次测试的核心场景是将 MiniCPM5 1B 模型接入 Open Code 这一具备代码生成与执行能力的 AI 编程助手中，旨在验证其在实际开发工作流中的可用性。测试者首先尝试了一个相对简单的任务：生成一个关于 AI 主题的动画网站。在输入提示词 "Generate a cool animated website about AI" 后，模型迅速响应并生成了包含 "Arena of creation" 等元素的网页结构。测试者指出，虽然生成的网站在动画效果上较为有限，但成功实现了 标题文字的缩放效果 以及 悬停交互特效，并采用了基于渐变的配色方案，甚至包含了定义的页脚部分。

"Okay, I will accept this as animated because it does have a zoom in and out header text effect... It was somewhat animated in the movement of this as well as some of the hover effects and things like that as well as a very, very interesting gradientbased color scheme."

这一结果表明，对于 基础的前端设计提示，MiniCPM5 1B 能够产生具备视觉吸引力的输出。然而，当测试者试图将任务复杂度提升至构建一个完整的浏览器操作系统界面时，挑战随即出现。测试者将模型切换至 Open Code 的 "Plan Mode"（规划模式），意图让模型先理解需求再执行。在此阶段，模型表现出了合理的逻辑追问能力，要求澄清网站是模仿桌面应用界面还是包含特定功能，这显示了其在 上下文理解 方面的基本能力。

复杂任务挑战：构建 Windows 风格操作系统的尝试

随着测试深入，测试者要求模型构建一个类似 旧版 Windows 操作系统 的网站，包含图标和简单应用（如计算器）。在 Open Code 中，模型从只读模式切换到了可执行模式，这意味着它被赋予了创建文件、运行命令和使用工具的权限。测试者观察到，在更强大的模型中，通常会直接输出脚本，但 MiniCPM5 1B 在此过程中表现出了一定的 延迟与不确定性。测试者特意提到 "Bet you've never seen a 1B model in open code before"，强调了在如此复杂的代码生成环境中部署 10 亿参数规模模型的罕见性。

尽管模型在规划阶段提出了后续问题并尝试执行操作，但最终生成的 "Open Code 浏览器操作系统" 并未包含任何可供实时测试的实际功能。测试者认为，虽然结果未能达到完全可用的标准，但看到模型在规划模式下进行 后续提问 并尝试执行动作的过程本身是有趣的。这揭示了 1B 级别模型在处理 多步骤、长链条代码生成任务 时的局限性：它可能具备基本的语法知识和结构意识，但在 逻辑连贯性 和 功能完整性 上仍显不足，难以独立胜任复杂的工程构建任务。

总体评价：文档支持与生态潜力

尽管在具体的代码生成测试中未能实现完全可用的复杂应用，测试者对 MiniCPM5 1B 的整体发布持积极态度。特别值得肯定的是其 完善的文档支持。测试者指出，关于如何使用不同框架和后端运行该模型的文档非常详尽，这种 "proper documentation" 对于开发者社区至关重要，极大地降低了上手门槛。

此外，MiniCPM 系列还发布了包括 "desktop pet"（桌面宠物）在内的多种不同规模的模型，展示了其 多样化的应用场景。测试者还提到，官方正在提供一个新的数据集（尽管当时链接显示 404），如果未来能公开，将进一步增强模型的训练潜力。综上所述，MiniCPM5 1B 虽然在 复杂代码生成 方面尚显稚嫩，但其在 基础交互、文档生态 以及 轻量化部署 方面的表现，使其成为一个值得关注的轻量级模型选项，特别是在对资源敏感且任务复杂度较低的场景中。