I Ran Germany's New #1 Open Source AI Model... Kolibri 1 🇩🇪

Kolibri 1模型背景与基准测试表现

本期视频主要评测德国开源AI模型Kolibri 1，该模型由一家被加拿大公司收购但基地仍留在德国的公司开发。Kolibri 1是一个780亿参数的混合专家模型（MoE），支持德语和英语，采用Apache 2.0开源许可。在基准测试中，该模型与Qwen3、Nemotron 3等约30亿活跃参数的模型竞争。在英语综合测试中，Kolibri 1得分达到 75分，显著领先于其他处于60多分的竞品。在SWE（软件工程）基准测试中，其平均分高达 88.9，处于同级模型最高水平。尽管基准测试表现优异且推理速度快（得益于30亿活跃参数），但视频指出其在实际英语编程提示下的表现并不如预期般出色。

"So that's the highest in that level. So this is a 3 billion active parameter model."

数学推理能力与思维模式对比

在数学测试环节，Kolibri 1展现了显著的能力差异。对于一道复杂的数学提示词，在禁用思维模式（thinking disabled）下模型直接得出了正确答案。然而，面对一道来自国际数学奥林匹克（IMO）的题目，禁用思维模式时模型给出了错误答案。但当启用低强度思维模式（thinking low）后，模型生成了 12,000个令牌的推理过程并得出了正确答案（偶数）。这表明该模型在数学领域具备潜力，但需要一定的推理深度才能解决高难度问题。

"But, when I gave it thinking low... but it got the right answer."

编程知识盲区与逻辑测试表现

在软件工程领域，Kolibri 1的知识覆盖存在明显短板。模型正确回答了C++向量（vectors）和Swift相关的问题，但在WinRT技术栈上表现糟糕。模型错误地认为“订阅（subscription）”是WinRT的一部分，且即使开启高强度思维模式也无法纠正这一错误，这可能是因为相关数据未包含在训练集中。在逻辑测试中，模型正确解决了“8个橙子分给4个孩子”的问题（每人2个），避免了将刀作为分配对象的逻辑谬误。但在“洗车店距离50米”的测试中，禁用思维模式时错误建议步行；在“外科医生是男孩的父亲”这一经典逻辑题中，模型始终给出错误答案（认为是母亲），即使在高强度思维模式下生成了 2,600个令牌的推理也未纠正。此外，模型对“纳粹（Nazi）”一词缺乏认知，且在开启思维模式时出现循环生成问题。

随机性与流行文化认知的局限

在测试模型对“成功要素”的回答时，温度参数（Temperature） 显著影响了输出结果。尽管模型内部倾向于选择“47%”的答案，但随机数生成器在特定温度下选中了 12% 的版本。这种不确定性使得模型表现呈现出“十分靠运气，二十分靠技术”的特征。此外，该模型在流行文化知识上存在明显短板：它不知道 Craig David 的歌曲《Rewind》，也不了解英国 Grime 音乐场景。即便给予高思考预算（High Thinking），模型仍无法识别这些文化引用，甚至将其误判为游戏、电影或网络梗。更严重的是，在高思考模式下模型开始出现循环输出（Looping） 现象，用户必须通过调整温度参数才能勉强维持对话进行。

"So, the model is saying this, but the random number generator shifts it due to the temperature..."

"It doesn't know about Craig David and it doesn't know about rewinding, unfortunately."

编码基准测试中的性能优势

在 SWE（软件工程）基准测试中，Kolibri 1 展现出显著的竞争优势。其平均得分为 88.9，这一成绩不仅远超 GLM 4.7 Flash、Nematron 3 Nano 以及 Qwen 3.5/3.6/Qwen Next，甚至击败了 GLM 4.5 Air。在英语能力对比中，其表现与 GPT-OSS-120B 和 Mistral 的新模型处于同一梯队。尽管在流行文化上表现不佳，但其在逻辑推理和编码基准测试中的高分表明其核心能力扎实。这种性能优势使其在开源模型中占据领先地位，尤其是在处理复杂逻辑任务时表现稳定。

3D生成任务的速度与稳定性挑战

在实际编码测试中，模型在 Indie Box 硬件上实现了 61 tokens/秒 的生成速度，且未使用投机解码（Speculative Decoding），若加入该功能速度将进一步提升。在生成“免费太阳系”代码时，思考预算（Thinking Budget） 对结果影响巨大：低思考生成 4,000 tokens，中等思考优化至 3,500 tokens 并产出类似斯诺克球桌的可视化效果，而高思考则激增至 10,000 tokens。尽管速度极快（52,000 tokens 仅需约 900秒），但代码质量不稳定：Python/Plotly 版本运行成功，而 VPython、Pygame 及飞船第三人称视角代码均出现运行时错误（Runtime Error）。有趣的是，模型在生成 Python 代码时会自动切换为德语注释（如 "Al prepareri gravity"），暗示其训练数据中德国语料的影响，但这也导致了部分语法错误。

火山与人脸生成的随机性调优

在测试生成火山爆炸场景时，模型最初表现不佳。为了获得更合理的输出，创作者调整了生成参数，将温度（Temperature）设定为 0.5。这一设置旨在解决模型在零温度下容易陷入死循环的问题，通过引入少量随机性来激活生成过程。最终生成的画面被描述为更像SpaceX火箭发射而非火山，虽然基础但符合版本一（Version 1）的预期。在生成3D人脸时，模型同样需要0.5的温度和22,000个Token的支持。生成的面部特征被调侃为拥有鼻环和夸张发型，显示出模型在解剖学细节上的局限性。尽管存在循环问题，但通过参数微调，模型能够产出具有基本辨识度的内容。

"So, 22,000 tokens. We have temperature at 0.5... It seems to be just likes to loop with temperature zero, so you need to give it a little bit of randomness."

游戏复刻与3D模拟的成败对比

在尝试用代码复刻商业游戏时，模型表现参差不齐。生成《使命召唤》（Call of Duty）城市场景和3D卡丁车游戏时，即使调整温度至0.5并消耗大量Token（如20,000个），模型仍陷入循环或导致蓝屏死机。相比之下，生成《侠盗猎车手5》（GTA 5）和《荒野大镖客》（Red Dead Redemption）时，模型在7,000至4,500个Token内成功运行。其中，《荒野大镖客》的生成物甚至包含了语音旁白（Text to speech），被评价为“有点好”。然而，在生成3D平台游戏时，模型直接显示Game Over，印证了其在复杂逻辑编码上的短板。创作者指出，这些游戏类生成物大多“糟糕”，难以直接用于实际娱乐。

"It's kind of fun... It's doing something. It's having some fun here." "We got a blue screen... Kind of going back to the era of Windows when it like the blue screen all the time."

生产力工具复刻与模型前景展望

相较于游戏，Kolibri在商业逻辑应用方面表现更稳定。生成类似Microsoft Word的界面时，模型在4,000个Token内成功实现了字体修改和加粗功能。最成功的案例是复刻Photoshop，模型生成了一个包含笑脸图标和“龅牙生成”功能的界面，被创作者称为“赢得展示”。此外，3D飞行模拟器生成了精美的云层动画，而Blender复刻版虽然无法完全替代原软件，但成功实现了对立方体的颜色操控（如变为粉色）。创作者总结道，该模型在HTML网页代码、天气模拟及基础UI交互方面具有可用性。作为德国开源模型，Kolibri 1虽为初版且存在编码缺陷，但已被加拿大公司收购，有望在资源支持下推出更完善的版本二。

结论

Kolibri 1在基准测试中表现卓越，SWE得分88.9分且英语综合75分，显著领先同级竞品。然而实际表现存在严重割裂：数学需启用思维模式才能解题，逻辑题常出错且无法纠正。其核心短板在于流行文化认知缺失及高思考模式下的循环输出，导致游戏复刻常致蓝屏或逻辑错误。该模型仅在HTML UI、基础交互及特定3D模拟中具备可用性，且需精细调温。作为初版开源模型，其性能优势未完全转化为实际生产力稳定性。