模型概况与架构亮点
本次评测的主角是来自美国实验室Thinking Machines的开源模型 Inkling。该模型以 9750亿总参数 的规模亮相,属于混合专家(MoE)架构,其中 410亿为活跃参数。尽管标题常称其为“1T参数模型”,但实际活跃参数规模更接近410亿,这使得它在保持强大能力的同时,推理成本相对可控。值得注意的是,该模型原生支持 文本、图像和音频的多模态推理,并且其架构设计与DeepSeek V3相似,论文中可能有更多技术细节可供参考。
“This is called Inkling and it is by thinking machines. A lot of folks are familiar with this company because some of the leadership here was previously at OpenAI at least quite a while back at this point.”
除了主力大模型,Thinking Machines还预告了 Inkling Small 版本,预计拥有 120亿活跃参数。虽然总参数量预估在2000-3000亿之间,但经过量化后,有望在消费级高端显卡或如DGX Spark等设备上运行,这对本地AI爱好者极具吸引力。模型采用 Apache 2.0 许可证,无专有限制,且已在Hugging Face和Unsloth等平台提供动态量化版本(如1-bit量化),即便在极端压缩下仍保持相当高的可用性。
企业价值与基准测试对比
对于企业用户而言,Inkling的最大价值在于其 可定制性和数据隐私安全性。与GLM等闭源或受限模型不同,Inkling允许企业基于自有数据进行微调,满足美国公司对本土模型和数据合规的严格要求。
在基准测试方面,官方发布的雷达图展示了其综合性能。以下是关键模型在部分维度的对比数据(基于官方宣传及评测者观察):
| 模型名称 | 总参数量 (估算) | 活跃参数 | 代码能力表现 | 开源状态 |
|---|---|---|---|---|
| Inkling | ~975B | 41B | 显著优于Claude Opus | 开源 (Apache 2.0) |
| GLM-52 | ~750B | 信息不足 | 信息不足 | 开源 (Open Weights) |
| Claude Opus | 信息不足 | 信息不足 | 基准参考线 | 闭源 |
| Gemini 1.5 Pro | 信息不足 | 信息不足 | 信息不足 | 闭源 |
训练数据方面,Inkling使用了 45万亿token 的多样化内容进行预训练,并辅以强化学习以提升能力。评测者指出,虽然对于普通爱好者来说,GLM等模型可能在编码效率上表现更佳,但对于需要 私有化部署和特定任务微调 的企业场景,Inkling提供了不可替代的选项。
浏览器OS基准测试实操
为了验证Inkling的实际执行能力,评测者使用了经典的 Browser OS Benchmark v2.5 进行测试。该测试要求模型在浏览器环境中生成并运行一个完整的操作系统界面,包括时钟、背景、右键菜单、开始菜单及应用启动等功能。
测试结果显示,Inkling成功生成了一个名为 Chrome OS 的界面。具体表现如下:
| 测试项目 | 结果描述 | 评价 |
|---|---|---|
| 界面生成 | 成功生成包含时钟、Nebula风格背景、开始菜单的界面 | 符合预期,时钟显示本地正确时间 |
| 右键菜单 | 未生成右键菜单 | 评测者认为这体现了对提示词的严格遵循,但也可能被视为缺乏创造性 |
| 应用启动 | 成功启动GTA克隆游戏 | 首次运行即成功,功能正常 |
| 游戏运行 | GTA克隆版可自由驾驶 | 画面简单,但核心功能可用 |
“Quen 3.627B basically just destroyed this benchmark because it did such a good job compared to like even models like Fable or 56 Soul.”
尽管评测者认为Qwen 3.6 27B在该基准测试中表现更为出色,甚至超越了Fable和56 Soul等模型,但Inkling的表现仍被评价为 “可接受”。它成功完成了从界面布局到应用交互的复杂任务,证明了其在代码生成和逻辑执行方面的强大实力。此外,评测者还提到API定价目前有 50%的折扣,为期两天,这为后续更复杂的代理(Agentic)测试提供了成本优势。
基础系统交互与功能测试:文件、壁纸与语音
在初步的系统交互测试中,Inkling 展现了基础文件操作能力,但存在明显的局限性。测试者尝试使用 Notepad 保存文本,发现其仅保存至浏览器存储而非本地文件系统,且最小化功能失效,这要求用户必须避免最小化窗口以防止数据丢失。在文件管理器中,虽然能够正确打开链接文件并启动计算器应用(如计算 128 乘以 6 得到 768),但在壁纸设置上表现不佳。系统仅提供一个壁纸选项,且设置界面未能触发壁纸更换,尽管通过其他指令(如“Wallpaper next”)可以成功切换,显示出功能实现的不完整性和路径依赖。> "I've never seen that where it only has one wallpaper option, but it basically fakes changing them to other things."
此外,系统信息检测显示已安装 6 个应用和 2-3 个 3D 游戏,并特别强调了语音命令功能作为其特色。测试者尝试通过语音指令与系统交互,如输入“Hey, what's up?”,模型能够识别指令并响应。然而,语音交互缺乏反馈机制,模型不会说话,仅通过视觉元素(如屏幕右下角出现的绿色发光球体)来确认指令已被接收。这种设计虽然简洁,但交互反馈的缺失可能影响用户体验。在壁纸切换的后续测试中,通过直接指令而非设置菜单成功切换了壁纸,证实了壁纸功能的存在,但设置界面的集成度不足仍是主要缺陷。> "It doesn't seem to speak back to us, but that's okay. It doesn't need to."
游戏渲染能力评估:Nebula Tunnel 与 GTA 模拟
在游戏渲染能力的初步评估中,测试者运行了名为“Nebula Tunnel”的第二款游戏。结果显示,模型在游戏逻辑处理能力上存在局限,导致游戏失败。测试者指出,从渲染方式来看,模型可能缺乏赢得游戏所需的完整能力。尽管如此,游戏角色仍向前移动了一段距离,表明模型具备基本的游戏进程推进能力。这一结果暗示,虽然模型能处理简单的游戏交互,但在复杂游戏逻辑和胜利条件判定上仍有不足。> "I don't know if the capacity to win does exist with the way this game is being rendered."
随后,测试者尝试启动 GTA 游戏,模型成功识别指令并打开了游戏界面。虽然模型没有语音反馈,但其对游戏启动指令的响应速度和处理能力得到了肯定。测试者认为,这种视觉化的响应机制足以满足基本交互需求。在壁纸切换的进一步测试中,通过“Close all”和“Wallpaper next”指令,模型成功切换了壁纸,证明了其多任务处理和指令执行的稳定性。尽管设置界面存在缺陷,但通过直接指令绕过设置菜单仍能实现功能,显示出模型在指令解析和执行路径上的灵活性。> "Well, nonetheless, we can see our other wallpapers. Good."
3D 场景生成基准测试:地铁场景的详细构建与迭代
为了更准确地评估模型性能,测试者引入了熟悉的基准测试,首先是静态地铁场景的生成。在“Plan Mode”下,模型尝试生成一个高细节的 3D 地铁场景,但首次尝试因缺少 import map 和语法错误而失败。测试者将错误日志复制并发送给模型,模型成功识别并修复了错误,添加了缺失的 import map,使场景得以加载。这一过程展示了模型在代码调试和自我修正方面的能力。> "So, it's adding in the import map that was missing and it fixed everything."
加载后的地铁场景虽然细节有限且光线较暗,但整体结构完整,包含地铁车厢和轨道。测试者通过调整亮度和相机角度,发现场景移动流畅但细节不足。为了进一步优化,测试者采用了图像反馈机制,截取场景截图并发送给模型,要求评估并改进。模型在收到截图后,进行了多次迭代,包括调整光照和相机位置,最终使场景亮度提升且细节可见。这一过程展示了模型在视觉反馈驱动下的自我优化能力,尽管耗时较长,但效果显著。> "It made some changes and then started this and took a screenshot of it and then said I'm not happy."
C++ 滑板游戏生成:跨语言编译与手动干预
在跨语言测试中,测试者要求模型生成一个自包含的 C++ 滑板游戏,主题为“California Boardwalk”。模型首先检查系统环境,确认编译和运行条件,随后生成代码文件。然而,生成的代码在自动编译过程中出现错误,模型未能直接构建可执行文件,而是将代码保存在临时目录中。测试者指出,模型缺乏自动编译和部署的能力,需要用户手动干预进行编译。> "It didn't build it for us here. It was just working within the temp directory."
尽管存在编译障碍,模型在代码生成逻辑和结构完整性上表现尚可。测试者认为,虽然需要手动编译,但模型生成的代码基本符合 C++ 规范,具备运行潜力。这一测试揭示了模型在复杂语言环境下的局限性,特别是在系统集成和自动化部署方面仍需改进。测试者总结,模型在代码生成和基础调试上表现良好,但在全栈开发和自动化流程上仍需人工介入。> "It did get some errors. I don't know how many. We can click to expand to see."
综合性能对比与基准测试数据表
为了量化模型性能,测试者进行了多项基准测试,包括代码生成、图像处理和系统交互。以下是关键测试结果的详细数据对比:
| 测试项目 | 初始状态 | 迭代/修正后状态 | 关键指标/备注 |
|---|---|---|---|
| 地铁场景生成 | 缺少 import map,语法错误 | 修复错误,场景加载成功 | 细节有限,光线较暗,需手动调整 |
| 地铁场景优化 | 亮度低,细节不可见 | 亮度提升,细节可见 | 通过图像反馈迭代 3 次,耗时较长 |
| C++ 滑板游戏 | 代码生成成功,编译失败 | 需手动编译,代码结构完整 | 临时目录保存,缺乏自动部署能力 |
| 壁纸切换 | 设置界面无效 | 通过指令成功切换 | 设置界面集成度低,指令路径有效 |
| 语音交互 | 指令识别成功,无语音反馈 | 视觉反馈(绿色球体)确认 | 缺乏双向语音交流,交互简洁 |
这些数据表明,Inkling 在代码生成和基础调试方面表现强劲,但在系统集成、自动化部署和用户体验细节上仍有提升空间。模型通过图像反馈和自我迭代能够显著优化生成结果,但耗时和人工干预需求仍是主要瓶颈。
模型初步编译与前端设计测试
视频制作者首先对 Inkling 模型生成的代码进行了初步编译测试。虽然基础功能如“Space Works”存在渲染问题,但代码能够成功编译并运行,证明了模型具备基本的代码生成能力。鉴于渲染层面的复杂性,测试重点转向了前端设计审美与创意写作能力,同时记录了当前的 API 调用成本。截至目前,所有测试操作的累计费用为 $7.28。虽然对于开源权重模型而言这一成本不低,但考虑到其可部署性,该费用在可接受范围内。
随后,制作者要求模型为“Slapis Watch Company”创建一个高端手表网站的前端页面,要求包含3D 手表资产、平滑的镜头移动效果以及高端美学设计。模型生成的初始版本呈现出一种电影感的英雄区块(Hero Section),并实现了菜单项的悬停效果,但并未真正生成 3D 手表模型,而是以 2D 图像呈现。制作者指出,虽然提示词中未明确强调“3D”,但模型的处理方式显示出其与 Sakana Fugu 模型类似的设计选择倾向,即倾向于使用 cinematic 风格而非复杂的 3D 交互。
"It's a cinematic hero section with a good panning camera. It's not a 3D watch."
在细节方面,模型生成了两款手表:“Meridian”(售价 $24,800)和“Horizon”(售价 $18,200)。制作者特别注意到表盘设计并非完美的圆形,而是椭圆形(Oblong circle),并指出这在现实手表设计中是存在的,例如 Roto Dastar 手表。尽管字体在浏览器缩放后难以阅读,但整体布局完成了基本的视觉呈现。当制作者追加指令要求生成 3D 版本时,模型迅速调整,虽然仍未达到完全的全 3D 效果,但显著增强了立体感,展示了模型对特定指令的快速响应与修正能力。
角色扮演与创意写作深度测试
为了测试模型的创意写作与角色扮演(Roleplay)能力,制作者设定了一个具体的场景:扮演一位名叫 Steve 的社区 PC 维修技师。Steve 在自家车库经营店铺,经常处理蓝屏死机(BSOD)、风扇噪音如喷气机、以及因用户倾倒 Mountain Dew 饮料导致电源短路等常见问题。Steve 的形象被设定为接地气、经验丰富且略带幽默感的邻里技师。
剧情随即转折,制作者扮演房东 Mr. Henderson,依据租赁条款第 14B 条(禁止在住宅车库进行商业运营),要求 Steve 搬离。Steve 的反应展现了模型在情感表达与逻辑辩护上的深度。他承认了噪音(凌晨 2 点 GPU 压力测试的风扇声)和气味(助焊剂和导热膏的味道飘进 Mrs. Garcia 的洗衣房)的问题,并为上周因大批量收购翻新 RTX 显卡而堵塞车道的行为道歉。他恳求延期,承诺降低噪音、晚上 8 点后不使用喷灯,并请求一个“补丁”来挽救他的生计。
"I've read the fine print more times than EULA. Nobody actually reads."
制作者随后以“想要购买 Steve 囤积的复古电脑”为诱饵,试图与 Steve 进行谈判。Steve 敏锐地捕捉到了对话中的潜台词(Subtext),谨慎地询问这是否涉及非正式的交易安排,并强调自己只擅长焊接和导热膏,要求明确条款以避免“损坏协议”。这一互动展示了模型在多轮对话中保持角色一致性、理解隐含意图以及维持逻辑边界的能力,证明了其在复杂叙事场景下的智能水平。
测试结论与成本评估
通过对前端代码生成、3D 视觉呈现调整以及复杂角色扮演对话的测试,Inkling 模型展现了其在代码编译可行性、设计审美模仿以及叙事逻辑连贯性方面的综合表现。虽然在前端 3D 渲染上仍有局限,但其对指令的迭代响应速度值得肯定。在成本方面,$7.28 的测试费用为评估其作为开源模型的部署性价比提供了参考数据。模型在创意写作中表现出的情感细腻度和对潜台词的理解,超越了简单的文本生成,显示出其在处理复杂人类交互场景时的潜力。
创意写作与角色扮演测试
视频首先对Inkling模型进行了创意写作与角色扮演能力的测试,通过构建一个包含特定角色和情境的剧本片段来检验其理解力与叙事连贯性。测试中,模型被要求演绎一段关于“20周年纪念版Macintosh”与“TAM”计算机互动的场景。尽管模型在初始阶段对“Macintosh”这一专有名词的理解略显生硬,但在提示词更加清晰后,它成功捕捉到了场景中的幽默感与角色互动细节。例如,模型生动地描述了角色“手飞向胸口,仿佛被电压击中”的夸张反应,以及TAM计算机“轻轻拂去灰尘”的动作。这种对细微肢体语言和情绪反应的描绘,显示了模型在创意写作方面的潜力。然而,测试者也指出,当代码能力不足时,这类测试往往成为替代方案,但角色扮演依然是用户关注的重点。模型在对话中保留了角色的个性,如Mr. Henderson对TAM计算机的珍视,以及双方关于“车库租赁”与“免费维修办公室设备”的交易谈判,展现了较强的情境构建能力。
“The 20th anniversary Macintosh, the TAM, the one on the shelf, walks over and gently dust off the sleek bronze and black beauty.”
3D城市时间轴与引擎模型生成测试
接下来,测试转向了3D模型生成能力,首先是一个展示城市在不同年代(1945年至2055年)演变的3D时间轴测试。模型生成的结果在视觉风格上呈现出明显的时代特征,但也存在逻辑上的不一致。1945年的场景被描述为“老旧的棋盘格样式”,而1985年则呈现出“霓虹美学”和“光头”的人物形象。值得注意的是,模型在生成2005年及以后的场景时,人物全部变为光头,且2055年的建筑风格与1985年高度相似,仅增加了半透明材质。这表明模型在长期一致性和细节逻辑上仍有欠缺。随后,测试者要求模型生成一个用于RC车项目的V8发动机3D模型,需容纳280尺寸直流电机。模型在约1分40秒内生成了结果,但被评价为对提示词的“艺术化解读”,而非精确的工程参数化CAD文件。这反映出模型在精确工程建模方面尚不成熟,更倾向于生成具有视觉冲击力的概念模型。
| 测试项目 | 生成时间 | 主要特征 | 评价 |
|---|---|---|---|
| 1945年城市 | 实时 | 老旧棋盘格建筑 | 基础年代感 |
| 1985年城市 | 实时 | 霓虹美学、光头人物 | 风格鲜明 |
| 2005年城市 | 实时 | 商务装束、建筑增高 | 逻辑一致 |
| 2055年城市 | 实时 | 半透明建筑、类似1985风格 | 重复性高 |
| V8发动机模型 | ~1分40秒 | 艺术化设计 | 非精确工程文件 |
多模态网页设计与低多边形游戏生成
最后,测试涵盖了多模态编码能力,包括基于手绘线框图生成高端AI/ML求职作品集网站,以及生成一款名为“Street Yeet”的低多边形第三人称游戏。在手绘线框图测试中,模型生成了一个以棕色和金色为主色调的网站,而非预期的蓝紫色调。网站包含了“注意力机制”、“梯度下降”等真实的机器学习概念演示,并嵌入了动态的嵌入投影器和校准曲线。尽管UI风格独特,但模型将姓名错误地生成为“Levi Chen”而非提示中的“Stevie Slappice”,显示了多模态对齐上的小瑕疵。在游戏生成测试中,模型创建了一个可以击飞角色的简单游戏,虽然角色移动速度过快且场景控制存在缺陷,但核心玩法“击飞”功能得以实现。测试者指出,模型在处理此类创意编码任务时,往往倾向于使用特定的文本风格,且在交互逻辑的完整性上仍有提升空间。整体而言,Inkling在创意和视觉生成上表现活跃,但在精确控制和逻辑一致性上仍需优化。
"It has some functional machine learning examples right here like the attention mechanism. We have gradient descent as a simulation embedding projector..."
"The big problem is we can't actually properly move around the scene, which is quite frustrating, but if we just spam click, it seems like inevitably someone will run into our path and they will get yeed."
测试结论:非通用基准下的“平庸”表现
在针对该模型的初步测试中,评测结果并未达到令人惊艳的程度。评测者坦诚地表示,在频道常规运行的各类测试中,没有任何一项表现真正令人印象深刻。但这并不意味着模型本身质量低劣,而是说明该模型并非为应对此类特定评测场景而设计。对于习惯通过标准化基准测试来衡量模型能力的观众而言,Inkling的表现可能显得平淡无奇,但这恰恰反映了其定位的差异性。
"In the tests we ran, this was not impressive. Not one single thing here really impressed me in any way whatsoever."
这种“不惊艳”实际上揭示了当前开源模型评测体系的一个盲区:通用跑分高并不等于商业落地能力强。Inkling在常规逻辑、代码或创意写作测试中未能展现出统治级优势,但这可能只是因为它将算力资源倾斜向了其他更适合企业需求的特性上,而非单纯的智力竞赛。
核心定位:针对美国企业的成本与合规替代方案
Inkling的真正价值在于其精准切入美国本土企业的痛点。对于那些在OpenAI和Anthropic API上投入巨额资金的公司(如律师事务所),高昂的API调用成本正逐渐成为不可控的负担。Inkling由Thinking Machines推出,其核心卖点在于“美国本土化”与“成本效益”。对于许多企业决策者而言,他们并不关心模型是否开源,而是关心数据来源的安全性以及服务提供的可靠性。
"This is a model that there are likely going to be a ton of US-based businesses out there... spending a lot of money on OpenAI and anthropic API costs... This is very likely positioned properly for a business like a law firm."
这种定位使得Inkling成为传统闭源巨头的一个有力竞争者。企业可以将其视为一种更具性价比的替代方案,特别是在需要处理大量文档、合同审查等高频次、高成本的法律或金融场景中。通过提供美国本土的数据存储和处理服务,Inkling解决了跨国云服务在数据主权和合规性方面的顾虑,这是许多纯技术导向的开源模型所忽视的商业壁垒。
商业模式:定制化微调与企业级服务
与强调“开箱即用”的通用大模型不同,Inkling的商业模式更倾向于B2B的定制化服务。评测者指出,该公司很可能提供基于客户自有数据进行微调(Fine-tuning)的服务,然后将定制后的模型以特定价格出售给企业。这种模式对于律师事务所等垂直行业极具吸引力,因为他们需要模型理解特定的法律术语、案例风格及内部流程。
"We'll help you tune this model on your own data and then we'll sell it to you at this price and it's US-based."
尽管模型权重是开放的,但对于目标客户来说,开源属性并非核心卖点,核心在于“可控性”与“专属感”。许多企业缺乏自行部署和微调大型模型的技术团队,因此愿意付费购买这种“托管式定制”服务。相比之下,像GLM-52这样需要本地部署的开源模型,虽然技术先进,但在实际商业推广中往往面临巨大的落地门槛,而Inkling通过提供端到端的解决方案,降低了企业使用先进AI技术的难度。
多模态能力与未来展望
尽管在通用测试中表现平平,但Inkling在多模态输入处理方面展现出了一定的潜力。评测者特别提到,该模型能够处理音频输入和图像输入,这在简单的角色扮演测试中也体现出了一定的“机智”(cleverness)。这种多模态能力对于需要处理录音、图片证据的法律或咨询行业来说,是一个重要的加分项。
"It did have some cleverness to it in the simple roleplay test. And the fact that this is able to handle audio in, image in... that is good as well."
此外,评测者对即将推出的轻量版模型表示期待。虽然参数量可能降至2000亿至3000亿级别,但如果能保持现有的微调友好性和多模态能力,它将在边缘部署或成本敏感型场景中拥有更广阔的市场。总体而言,Inkling并非为了在评测榜单上争第一,而是为了在企业级AI落地的深水区中,提供一条合规、低成本且可定制的新路径。