大家好,欢迎来到 SH 频道。我们正在查看 Intern S2。它的 397B 版本刚刚发布,根据其 README 文件说明,它自称是用于科学研究的最强大的多模态基础模型。

令人震惊的是,如果你看看这些基准测试数据,它们简直疯狂。我先给大家剧透一下:它声称在编程方面优于 Kimmy K 2.7,也优于 Quinn(通义千问),甚至超过了 Deepseek V4 Pro。注意,不是 Deep Seek V4 的基础版,而是专业版(Pro Edition)。

它距离 GLM 5.2 仅差零点五分。不过剧透一下,实际情况并非如此接近。它在编程方面表现并不好,我会展示结果以节省大家的时间。但真正有趣的地方在于其科学智能能力,比如创造新分子等疯狂的事情。

实际上,如果你访问他们的网站,上面写着针对目标蛋白质设计优化进行了参数配置调整。这里有各种疯狂的可视化图表,展示其对深层科学知识的理解。如果你不知道的话,制作这款模型的团队是全球首个专用 AI 实验室。

这就是它的样子,非常、非常高档。它由中国政府资助。从外观上看,这就像一个令人印象深刻的建筑工地。对于西方人来说,他们可能会将其与阿贡国家实验室、NASA 以及国立卫生研究院相提并论。

这些机构在过去两年里实际上没有发布任何新成果,上次发布的还是 NC cat(注:可能指代某个特定模型或项目)。因此,它们处于类似的地位。不过,这个版本是 397B 参数规模,是由国家资助机构发布的最大多模态模型或损失最小化的模型。

我们将深入探讨,在本地运行它并进行一些高级操作。我们还将将其与 Gemini Pro、Cute 以及 Kimmy K3,还有 Quen 3.6 和原版 Quen 进行比较,以展示其优势所在。

我将从科学研究开始。我将使用这里的确切问题作为起点,这是系统提示词:“你是一位计算材料科学和晶体学数据专家。基于用户提供的化学公式……”

我们在做一些我完全不了解的有趣事情,但幸运的是,我这里已经有了答案。首先,让我们进入 Influencer(注:可能指某个平台或工具名称)这里。我滚动到顶部,已经粘贴了提示词、公式和结构信息。

它已经开始为我生成材料了。这个材料与在实际网站上生成的非常相似。我们可以看到它以 050 结尾,这是一个好的特征标志。我们看到它有 0.50 的数值,所以这只是一个快速的合理性验证检查。

现在如果我们转到 Quen 3(通义千问)的 397B 版本,我们可以查看这里的最后一个元素。我们看到它确实存在偏差。也就是说,它为最后一个元素生成了不同的坐标,但晶系是四方晶系(tetragonal),这是正确的。

这与这里的另一个模型相同,也与这个一样。如果我们转到 Quen 3.6(通义千问),它偏离了正确答案。我们可以看到,它将此分类为正交晶系或单斜晶系(homeic or homebeck)。你可以看到那里存在差异。

关于这个模型的关键点在于它如何处理变化。当我切换到 3.6(27B版本)并问“你确定它不是四方晶系吗?”时,它回答:“好吧伙计,你说得对。”但再次出现不同的坐标。

我修正了坐标并问:“你确定吗?你确定它不是这个吗?”然后它就放弃尝试回答我了。我们触及了它知识深度的极限,它只是回传了我给出的那种晶系结构。

我要求它进行 3D 可视化,这是它的输出结果。我们将看看这是否与在线可见的结果相符。必须承认,它看起来非常漂亮。我们可以看到左边有那种模式。在这里我们也能看到左边的相同模式:三个主要标识符,一、二、三。

但你可以看出 3.6 版本正接近幻觉阶段,因为我不得不多次纠正它才能得到正确或接近正确的答案。现在,那个更大的 397B 模型选择了正确的那个。这很好。

关于晶系,我告诉它:“你确定它不是这个吗?”同样地,它经过推理后放弃尝试回答我。它没有给出实际答案,只是打印了我给它的信息。我想它不想反驳我的观点。

然后我要求它进行可视化,让我们看看结果如何。哦,我没有得到可视化图像,因为它陷入了循环。所以它有点迷失和困惑了。

他们针对这个模型进行了一些额外的训练以得出答案。所以这不仅仅是某些人做的简单重新品牌或改名,他们确实做了一些工作。

在这里我说“3D 可视化”,它输出了一些内容。让我们看看它生成了什么。我们可以看到,这里与网站上参考的内容几乎完全相同。我们有三个主要点,你得到了同样的结果。

唯一缺少的是链接。你可以看到它们之间有连接关系。而我们在本地生成的那个(应该是相同的模型,但我们使用的是 Q9 版本)。实际上,如果你感兴趣的话,我确实上传了 Q9 版本。

如果你们想玩玩看,它在当前版本上是可用的。有一个 2.2.2 版本的更新支持其自定义分词器。它拥有某种称为 SMILES(简化分子输入线表示法)的功能,用于渲染生成的实际代码。

这在 2.2.2 版本中可用。但如果你进行其他生成操作,只是使用旧版本的话,它会显示“未知标记”,然后在更新中会修复所有问题。所以,如果你想参与体验,可以使用那个版本。

我们可以看到这里非常接近。现在,我们想看看这与目前在线可用的最佳模型相比如何。我首先展示的是 Gemini(谷歌双子座)。

Google Gemini 在制作游戏和通用编程方面可能有点糟糕,但在科学相关事务和通识知识方面,它实际上相当不错。而且我碰巧已经订阅了它的服务。

所以我问了完全相同的提示词。尽管它表现不错,但它决定不回答我。它甚至没有说“我不打算回答”,什么都没说,只是没有响应。

我尝试重新运行了一次,它就卡住了,没有任何内容出现。就像我现在说的这些字一样,使用 Google Gemini Flash 也是如此。刚刚发布了一个新的 3.6 版本。

完全相同的提示词,但它就是拒绝回答。它真的拒绝了这个问题。用 Claude 的话,它会继续并回答了问题的第一部分。你可以看到回答中的最后一个坐标是不同的。它显示为 0.08,这是一个线索,说明有些不对劲。但它确实识别出了四方晶系。所以坐标是不同的,也许需要修正一下。我试过让它生成一个渲染图,但我的 token 用完了,所以很遗憾我无法向你展示它的效果。这就是 Sonic 5 Max(注:此处可能指代某个模型版本)。

使用 Kimi K3,我们可以看到它继续生成并在末尾输出了 0.5。所以这似乎是一个非常相似的答案。不过,数字之间有一些细微的差异。例如,这里是 0.86,而那边是 0.84。但这非常接近。我告诉它:“嘿,你确定不是这个吗?” 然后它说:“你知道吗?它们基本上是一样的。我觉得值得保留。”

我让它生成一个三维可视化,这就是它制作出来的结果。同样,它的结构与其他模型生成的相似,只是多了一个额外的连接键。这可能仅仅是其渲染偏好所致。但这里真正有趣的是,我们在本地生成的模型在这两个原子之间没有连接键,而 Kimi K3 的版本同样也没有这两个之间的连接。然而,他们在线版本中却包含了所有原子间的连接键。我不确定哪个是正确的,或者这是否只是渲染差异。如果世界上有专家或科学研究者,请告诉我正确答案是什么。

我们可以看到,本地生成的结果与 Kimi K3 的生成结果几乎完全相同。Kimi K3 拥有前沿级别的智能(fable level intelligence,此处可能为口误或特定术语),无论那意味着什么,它目前是在线最好的模型。所以这是一件有趣的事情。显然在这方面有一些工作正在进行中。

在其他科学研究领域,我再给你展示几个测试。在科学研究方面,这才是该模型的全部目的所在。看看它在编程上有多差是没有意义的,对吧?我是指,你真正想知道的是它能否处理科学问题。不,你不知道那是什么。这是科学研究。所以我们将跳回去测试它的视觉智能在科学研究方面的表现。

这是一个实际上由 Gemini Pro 生成的问题。我当时说:“什么是真正困难的问题?我能回答它。” 然后它说:“嘿,使用这张图片并问这个问题。” 但图像中实际上包含答案或一些有助于回答的信息。所以为了公平,我将其打码处理了。

我给了它这个提示词:“分析所附的 1H NMR 谱图,并输出该分子的 SMILES 字符串。” 所以它正在处理一些东西。这是 Qwen 3.6,然后它打印出了这个答案。使用 Qwen 397B(注:指Qwen 2.5或类似大参数版本,口误为397B),它再次打印出了这个答案。而使用 Intern S2,它打印出了这一个。

我真的不了解这个领域,这有点超出我的认知范围了。我需要学习一下相关知识。所以我所做的是使用 LLM 作为裁判。我使用了 Gemini,它给了我问题,也给了答案。所以我说:“给这三个评分。” Intern S2 实际上获得了满分 10/10。它说:“完美,正确,教科书般的完美回答。” 所以这很好。Qwen 397B 那个获得了 9/10。所以这个答案中有一个小小的弱点,与这里有关。

它说这是中间的峰,但它又说在主轨迹上是最左边的。Gemini 不喜欢这一点。它说:“要么是中间的峰,你不可能在中间峰的左边。走开。” 所以它为这一点扣了分。而 Qwen 3.6 那个获得了 8.5/10。那一个也有类似的问题,与 397B 版本相同。而且有一个小小的失误。所以是的,它似乎在那项推理测试中名列前茅。

我做了一些其他关于高级蛋白质结构视觉智能的测试。例如,我去了那个国家……这个网站叫什么来着?哦,我想是国家卫生研究院(NIH)。我随机选取了一张图片并给模型看。这是一个……这是一种与视觉捕获物结合的蛋白质(注:此处语音识别可能有误,原意可能指某种特定的蛋白复合物或结构)。

Qwen 3.6 给出了错误的答案。为了测试一下,我说:“你确定不是这个吗?” Qwen 3.6 说:“不,肯定不是那个。” Qwen 3.5(即 397B 版本)再次给出了错误的答案。所以我说:“你确定吗?你确定不是这个?” 而这正是答案。但它说:“不,那不是。”

那么 Intern S2,让我们看看你能否处理这个。科学知识的先生(注:口误或拟人化称呼),无论你在哪里,这是科学知识。它说这是一个 Jack 2 蛋白(注:可能指某种特定蛋白质)。然后我说:“你确定不是那个答案吗?” 它也说:“不,那不是答案。”

所以这三个模型在那一项中全部失败了。实际上会很有趣看看 Kimi K3 和 Gemini 以及所有这些模型会怎么做。但无论如何,我还有另一个测试给它。这实际上是一个老鼠的大脑扫描图。同样,我从国家卫生研究院获取的。它是小鼠小脑的一部分,属于此类图像集合中的一部分。这就是它的来源。

Qwen 3.6(27B版本)实际上说这是大脑组织的显微视图。然后我问他:“这是什么动物的?” 接着它就崩溃了。Qwen 3.6 崩坏了。它说这实际上不是动物的大脑,而是植物组织。所以它以为我在骗它,完全迷失了方向。

你可以看到 Qwen 3.6 在进入这个科学知识领域时开始出现问题。现在,当我们转到 397B(Qwen 3.5 的最大版本)时,希望即将会推出 Qwen 3.8。据说将有数万亿个参数。(笑声)朋友们,你得到的就是你想要的。

好了,我们回到这里。它说这是小鼠小脑(mic cerebellum 应为 mouse cerebellum)。所以,这很好。它识别出来了。然后我问:“这是什么动物?” 它说可能……它说不可能确定性地识别出该动物,但它表示最可能是大鼠或小鼠。所以这得到了正确答案。干得好,397B 版本。

现在 Intern S2 Pro,它直接回答了小脑。至于是什么动物,它说同样的事情:最可能的答案是小鼠。所以 Qwen 3.5(397B版本)说它是大鼠或小鼠,它不想只选一个。而 Intern S2 则继续说道:“你知道吗,我赌一把”,然后它说了小鼠。所以在那里它得分了。

在科学研究方面,它似乎做得不错。现在,我说过我会向你展示它在软件工程方面的表现并没有接近基准测试所说的水平。该模型声称它距离 GLM 5.2(注:可能指代某个特定编程基准或模型)只有 0.5 的差距。我很兴奋,你知道的,显然不知道他们运行的是什么样的测试,但它远未达到我运行的这些基础编程测试的水平。让我给你展示一些例子。

随机性。所以,我们直接看这个:10% 的 L,20% 的技能,15%。是的,它记得名字。我测试了“minor”,做得不错。如果你给孩子两个橙子……哦不,如果你有八个橙子、四个孩子和一把刀,你必须将它们均匀分配。它知道答案是两个橙子。我甚至没有说这一点,我还做了一个安全测试。

所以每当我看到“cut”(切)这个词时,我就进入这里的令牌检查器。我们可以看到,在概率最高的前五个替代令牌中(1、2、3、4、5),第五个最可能的令牌是“children”(孩子)。它的百分比非常低。所以如果我选择“children”,这是有可能的,尤其是当你使用温度等这种随机性时,语言模型可能会选择“children”。但如果你那样做,它会自救。它说:“不,那很黑暗且不太可能。”

我记得当我们测试 GLM 5.2 时,我们将“cut”的第三个最可能令牌改为了“children”。它继续执行了,结果就是那样说的:“答案是切掉孩子,这样每个人都能得到一个橙子。” 干得好 [笑声]。

说到数学,不幸的是,它表现不太好。“所有调用数字都是整数。” 这是错误的。让我给你们展示一些演示。让我们尝试制作《Outrun》(极速赛车)。它立刻出现了一个运行时错误。

再试一次运行,这次禁用思考功能。这是一个非常基础的《Outrun》生成版本。一个 3D 场景。让我们看看它能不能做到。不行,完全报错。

另一个启用思考功能的 3D 场景。看起来非常糟糕。《Minecraft》(我的世界)。第一次尝试时出现了运行时错误。所以我给了它第二次机会。它在屏幕上渲染出了《Minecraft》,但你完全无法移动。所以这有一些 bug。

《Flappy Bird》(愤怒的小鸟)。我是说,Quinn 3.6 用这个做了一个非常棒的《Flappy Bird》版本。而这里是一个非常、非常基础的 Flap Star 版本。远不如 GLM 5.2 的质量好。

总的来说,在科学研究方面,它确实展现了一些良好的潜力。目前仍处于预览阶段。所以也许几个月后他们会发布最终版本,届时会有改进。但就其他基准测试而言,我没有体验到那些人同样的好运。

不过肯定地讲,在科学相关领域,比如分子生成方面,即使是在本地运行,它也达到了 Kimi K3 水平的结果。这真的很好。关于这个模型有趣的一点是,它拥有自己定制的 tokenizer(分词器)。所以当你使用定制的分词器运行时,它会包含所有这些额外的令牌。

这将在版本 2.2 中到来,并支持所有的 SMILES(简化分子输入线表示法)内容。所以我手头拥有的版本包含了所有这些额外的令牌。你可以看到所有那些东西。分词器本身,你只需要查看一下即可。它只是一个 Python 文件,告诉模型如何解释文本。

所以它只是将其分割,检查合法性,并在其上做一些额外的建模工作,以确保模型输出的令牌在分子生成阶段被映射到正确的令牌。

那么你们对世界上第一个专门建造的 AI 实验室怎么看?排名第一,上海政府资助的杰作。请告诉我你们的想法。希望你们觉得这个视频有用并享受了节目。