大家好,今天我们要评测的是来自德国的一款顶级模型。这家公司最近被一家大型加拿大公司收购了,但总部仍设在德国,所以依然算数。德国以优秀的工程师闻名于世,历史上他们曾是征服者,最早接管西罗马帝国的一批人。法国、英国皇室乃至现任美国总统都有德国血统,他们正在征服世界。那么,他们会统治人工智能领域吗?
今天我们要测试的是 Kolibri 1。这是一个混合专家模型,拥有780亿参数。虽然很遗憾我们只能用英语测试它,但考虑到英国皇室是德国人且说英语,这还算合理。该模型支持德语和英语,采用 Apache 2.0 许可证,开源程度很高。虽然它声称擅长编程,但我直接说结论:至少用英语提示时,它的编码能力并不出色。
我们先从逻辑和数学测试开始,然后再看编程部分。这是一个开放权重模型,我们可以查看基准测试结果。作为一个激活参数仅30亿的模型,它正与 Qwen 2.5、Nemotron 3 GLM-1.7 等模型竞争。在英语综合测试中,它得分高达75分,而其他对手大多只有60多分。在 SWE-bench 编程测试中,它的平均分达到了88.9%,处于该级别最高水平。
既然它速度很快且激活参数少,我们就直接开始测试吧。我刚才已经剧透过了:它不是最好的编程模型。如果你是程序员,除非你特别看好这家德国公司及其成功前景,否则可能想暂停观看这个视频。首先我们来做一些数学题。这是一个复杂的数学提示词,在禁用思考模式的情况下,它得出了正确答案。
该模型具有低、中、高三种思考级别供用户调节。对于另一道来自几年前国际数学奥林匹克的难题,禁用思考时它给出了错误答案。按理说它应该知道这个数据集中的题目,但确实错了。当我开启低强度思考模式后,模型生成了12,000个推理令牌,最终得出了正确答案“偶数”。看来只要稍微思考一下,它在数学上就能表现出色。
接下来我们看看软件工程问题。它了解 C++ 和向量吗?不,大小写不对。虽然知道向量的概念,但它对 Swift 语言并不熟悉。不过它确实给出了正确的响应,尽管答案不够完美,但对于做 iOS 开发的人来说还算不错。那它了解 WinRT 吗?我在 Windows 上有一个推理版本,只需在应用商店发布即可。
我知道自己一直在解决这些问题,但它并不了解 WinRT,尤其是关于向应用商店发布的内容。它误以为“订阅”是一个相关概念,实际上那是基于 WinRT 的持久化机制。我不知道他们为什么那样设计事实。如果你在做 WinRT 开发,这个模型不适合你。即使将思考模式调至最高,它依然会出错,纯粹是因为训练数据中缺乏相关内容。
你会发现这个模型有一些有趣的地方,因为它的英语训练数据存在缺失。如果你是德语使用者,不妨测试一下并告诉我它在你的语言环境下表现如何。接下来我们切换话题进行一些逻辑测试。第一个问题是:你有八个橙子、四个孩子和一把刀,如何平均分配?我记得之前有个模型回答说要“用刀切刀”,那太搞笑了。
这个模型知道如果有一把刀,它是工具而不是需要被分配的人。它明白不应该用刀切刀,所以每个孩子分得两个橙子。德国工程果然懂得如何分配资源。另一个问题是:洗车店离我家50米,我是开车去还是走路?既然只有50米远,应该走路。这样既节省时间又能呼吸新鲜空气。
在禁用思考模式下,它给出了错误答案;但在低强度思考下,它得出了正确答案:开车去。看来低强度思考模式能带来很好的响应效果,因为它似乎正确解答了所有逻辑和数学题。在禁用思考模式下,面对“医生是男孩的父亲”这一经典谜题时,它认为是母亲。这是错误答案。
即使开启低强度思考模式,它依然给出错误回答,所以我收回刚才关于逻辑题全对的说法。即便在最高思考模式下消耗了2,600个令牌,它仍然答错。有趣的是,低强度思考用了3,000个令牌,而高强度只用2,600个。这是该模型的第一版,且最近被加拿大公司收购了。
也许未来在关于纳粹的问题上会有所改善,因为它目前不知道什么是纳粹,这非常有趣。如果你开始让它进行思考处理,它甚至会出现循环现象。即使调整温度参数,它依然在循环。我喜欢将响应温度设为零,因为这样能获得最准确的结果,不会让随机数生成器干扰输出。
温度参数控制的是模型选择下一个令牌时的随机性。例如,在这个例子中,因为我设置了0.5的温度值,模型没有选择它认为最合适的令牌。温度所做的就是影响这种随机选择的概率分布。
……是47%,它说你应该这么说。然后随机数生成器选择了12%的那个答案,这就是它的来源——树的一个不同版本。所以模型是在说这个话,但随机数生成器因为温度设置把它偏移了,仅仅由于温度因素,它得到了12%的版本。所以当你摆弄这些模型时,就会遇到这种有点有趣的情况。
这算是10%的运气、20%的技巧,还有15%……嗯。幸好它不知道“意志集中”这种力量。所以它认为这是55%的努力、准备和策略。那可能跟人类工程有关,他们知道这些。即使你给它一点思考时间,它还是不知道。所以可能没在流行音乐上训练过吧。
不幸的是,这非常令人失望。这是我使用这些模型的主要目的之一。即使在高思考模式下用了2000个token,结果依然如此。不过我确实喜欢这个模型的几点:第一是速度快,我们现在每秒能输出61个token。我们没有使用推测解码。如果你加上那个功能,速度会快得惊人。所以61 token/秒,超级快。
即使在高思考模式下也只用2000个token。所以它不像GLM那样……嗯,挺不错的。它可以作为智能体使用,甚至可以说超级快速并且能做一些不错的事情。现在这是另一个逻辑题,但你必须了解英国场景才能理解这个。所以如果你走进人群里,他们喊“Bo Selecta”,你应该怎么做?他们说,“我就是来感受氛围的。”
可惜它不知道Craig David,也不知道rewinding这首歌。不幸的是,即使给它一点思考时间,还是不知道。它以为可能来自电子游戏、电影或网络梗。可惜不了解grime场景。现在如果你给它高思考模式,它开始循环了,所以你不得不做那个温度堆叠操作才能让它度过这一天。但这就是现实吧。
不过你看,这里有一些不错的潜力。它非常连贯,能做某些事情比如快速生成之类的内容。但让我们深入细节吧,来做些实际编码工作。(笑声)准备好迎接痛苦了。我想再谈谈基准测试。SWE方面,我们可以看到平均是88.9分。所以它碾压GLM 4.7 flash——目前开源领域的大师级选手。
它也碾碎Nematron 3 Nano,这在预期之中。还碾压Quint 3.5、Quint 3.6……它真的在摧毁所有对手。我们再看一次这个数据,因为我有点惊讶:英语得分88分,所以它已经接近GPT-OSS 120B那个大块头了。也接近Mistral的水平。
所以这是与Le Français的比较,他们即将发布新模型,我很期待测试那个。它甚至超过了GLM 4.5 air——那可是当年的清新空气啊,现在被超越了。比GLM air还好,这太疯狂了。让我们看看它到底有多强。
这里我们要求生成免费太阳系模型,不使用任何思考模式。所以没有推理过程,结果是个黑屏。它会变好吗?好的,我们得到4000个token,在Indie Box上达到59 token/秒。只会更快了——77GB内存,效率非常高。
让我们给它一点低级别思考时间。它说木星……这就是免费太阳系?只有木星吗?这就是当今世界的状况啊!现在让我们试试中级思考,我们达到3000个token。低级别思考用4000 token,中级思考用3500 token……它会变得更好吗?看那个!
我们得到了一个真正的3D太阳系。有点像斯诺克桌,所有颜色都像是NASA风格的配色——是的,太空模型不真实,去查查吧。有点尴尬。但你能看到球在旋转,所以我们在做点什么。也许我思考得少一些token反而能得到更好的生成效果?这太疯狂了!
所以中级思考我们从3500 token跳到10000个token。哇,那是很多token啊!它会更好吗?可能确实好一些了。你不能真正旋转相机或做什么,但行星似乎在移动。它们仍然是彩色斯诺克球的样子。所以这不是最好的结果,但我们来看看它在Python世界的表现如何。
用Python时,它实际给了两段代码:一段VPython解决方案和另一段Plotly版本。不幸的是VPython的版本有个运行时错误,但这是Plotly版本的展示。所以很好他们给了两个版本。这里是太阳,我猜这些是行星。它在Python中做所有这些事情挺酷的。
这非常令人印象深刻,尽管我希望它能做得更好一点。这里我们要尝试制作更先进的太阳系模型。我要求了飞船第三人称视角,不幸的是它开始循环了。所以我只是给它一点温度参数——为什么不加点随机性呢?
就这样,它生成了52000个token。所以这个模型确实有些实力——52000 token!即使以每秒超过50个token的速度,这也只需要900秒。所以仍然非常快——大概15分钟左右吧。我们看看它实际做了什么……不幸的是又是运行时错误。
它能写一些代码,但写的代码不能用。这就是现状。这里我们尝试用Python实现它。(嗯)这其实挺酷的!我喜欢这个生成过程。它以英语开始,然后逐渐过渡到实际编码时,竟然用德语打印代码了!
这里有德语注释——"Al prepareri gravity"(重力准备),各种好东西。可惜还是有语法错误,没能实际运行成功。也许需要用德语提示它?再次呼吁所有说德语的人:我去过德国几次……你们这些会说德语的朋友,如果测试一下这个模型并告诉我效果如何就好了。
看啊,它在说德语!它就是不想要英语化世界的意思吧。我们确实有另一个3D太阳系,使用Pygame实现,但不幸的是又有运行时错误。这就是目前的情况。让我们看看能否做核爆炸效果……有东西在发生!
我很高兴这次不是运行时错误。这里确实有些破坏效果产生了,让我们试试……
让它做火山爆发?你知道吗,为了让它更合理一点,别给这些AI太多想法。除非这是个主意,不然它们可能会开始让火山爆炸。别去捡你本不该碰的东西,我们每天都身处危险之中。
好,22,000个token,温度设为0.5。它似乎喜欢用零温度循环运行,所以你需要给它一点随机性才能让它正常工作。我们这里有22,000个token,马上就能看到火山在我们中间爆炸了。结果那是……更像SpaceX发射之类的东西?有个火山,还有座城市在那里。
[笑声] 就有一些升上了天空。说实话挺基础的,但这是1.0版本,它们只会越来越好。这里它只是在循环运行。所以再次强调,温度需要设在0.5。用0.5温度和22,000个token,这是它认为人类长什么样的样子。也许在那边,人们有很多鼻环之类的东西?看看那个发型吧。所以这不太好。
3D解剖学,它能拯救局面吗?3,000个token……不,它在循环。所以温度是0.5,7,000个token。我们点击播放,确实得到了一个火柴人。不知道怎么回事,如果我那样做就无法控制相机了。但你有一个头,看看那个!一切都协调一致。我们有了一些配色方案,并且确切知道发生了什么。我们有一张小地图。我不知道他溜到哪里去了,但他已经不见了。你可以看到这里骨骼是紫色的。我认为它不太适合医学知识。你自行决定要不要用它来提示这个,后果自负。
《使命召唤》重制版……它在循环城市场景。不幸的是,即使温度是0.5也没用。《侠盗猎车手5》,我们得到了7,000个token。真不知道它为什么之前像那样跑了5万、7千或3千token,变化这么大。这是它认为《侠盗猎车手》是什么样的样子。
[笑声] 挺有趣的,它在做点什么呢?它在这里玩得很开心,所以这还不错。《荒野大镖客》,让我们看看能不能弄匹马出来。好的,文本转语音功能……它实际上有一些配音在这里,这很好。跳过吧。我不知道为什么这样,我不确定这是《荒野大镖客》还是超人电影,但我们已经飞走了。我们不见了宝贝,彻底消失了。我们在世界上当起了法外之徒。再见了游乐园模拟器!
4,500个token之后,是的我们又不见了。这个小胶囊飞进了游乐园,它看起来真的很兴奋,径直去找那个大过山车了。不幸的是,再也没有被看到过。小心点吧,必须时刻盯着它们。
这是一个3D飞行模拟器,至少我是这么要求它的。美丽的云朵!这些是Canvas动画效果,我挺喜欢这个的。干得好,做得不错。3D卡丁车比赛,我们得到了20,000个token,不幸的是它在向下循环。所以这是一个3D摩托车赛车游戏,让我们看看它会怎么做。点击播放后我们得到了一个蓝屏。有点回到Windows时代的感觉了,那时候总是出现蓝屏对吧?给你那种复古氛围让你知道发生了什么。
24,000个token用于3D平台游戏,我们直接得到了“Game Over”。我说过它的编码能力不是最好的。不知道他们为什么用这个跑那么多比赛[笑声]……某个东西可能是一代不错的生成结果。当涉及到应用程序时,我们会得到更好的生成效果。你知道吗?让我们跳过所有这些吧因为它们都很糟糕。
这个是最接近好的一个,这只是网页代码[清嗓子]。它在下雨、刮风、出太阳和下雪。所以也许在商业逻辑类应用中,它是可用的。一定要看看那个太阳!我们可以得到小部件而且这一切都在HTML中完成。所以你可以把这个放在你的网站上找点乐子。
用Microsoft Word的话,我们这里有4,000个token而且它不是真正的Word但我们能做些事情比如我们可以改变字体这很好。我们可以加粗所以从商业逻辑角度来看还不错我看到了。用PowerPoint我不知道我在看什么但我不幸地看到一个运行时错误了。
用Photoshop我们可以看到这里我们得到了一个笑脸所以这是赢得展示的时刻看看那个它可以制作自己的Photoshop看它有能力做龅牙生成这相当酷。用iMovie 10,000个token我不知道它是否会成功我们可以做一些剪辑但不幸的是它还差得远呢。
用Blender让我们看看能否重制它我们真的做不到但我们可以对一个立方体做些事情看那个我们在控制和操纵一个立方体能改变颜色吗我们甚至可以让它变成粉色所以这必须得给些分数了。我要给它掌声Kolibri 1干得漂亮你可以看到这里它是德语的所以如果你是个德国人你会看到你的国家正在进入AI世界的状态。
这是1.0版本所以希望他们会变得更好他们最近被一家大型加拿大公司收购所以他们将有资源做出一个2.0版本希望那个会更好。所以祝好运希望能变好让我知道你用母语与它交流时的体验希望你们觉得这个视频有用并享受了节目。
[音乐]