Intern S2定位与基准测试争议
视频开篇介绍了Intern S2 397B版本,其官方文档宣称这是目前最强大的科学研多模态基础模型。字幕指出该模型的基准测试数据令人震惊,声称其在编码能力上优于Kimi K2.7、Qwen以及DeepSeek V4 Pro。然而,演讲者通过“剧透”指出这一说法存在严重误导:Intern S2在编码方面表现不佳,与GLM 5.2相比差距明显。尽管官方强调其在科学智能领域的优势,如分子创建和蛋白质设计优化,并展示了复杂的可视化界面以证明其深度科学知识理解能力,但编码性能的夸大宣传成为主要争议点。
"It says it is better than Kimmy K 2.7 at coding... And spoiler, it's not good at coding."
开发背景与本地部署配置
该模型由中国国家级资助的AI实验室开发,被描述为世界上第一个专为科学目的建立的AI机构。其建筑风格宏伟,常被西方观众类比为Argonne、NASA或NIH等国家级科研设施。值得注意的是,Intern S2 397B是目前由国家资助机构发布的最大规模多模态模型。为了验证其实际能力,演讲者计划进行本地运行测试,并将结果与Gemini Pro、Kimi K3以及Qwen 3.6和原版Qwen进行对比。在技术部署方面,演讲者提到已上传了支持该模型自定义分词器的Q9版本(2.2.2版),其中包含用于渲染生成代码的SMILES支持;若使用旧版本则会出现“unknown token”错误,需更新至2.2.2版以修复。
"They are funded by the Chinese state government... it's the largest multimodel model released by a state funded organization."
晶体结构预测的实测对比
测试首先从计算材料科学和晶体学数据入手,使用特定化学公式作为输入。Intern S2生成的材料与官网结果高度相似,末尾坐标以0.50 0结尾,通过了初步的合理性验证。相比之下,Qwen 397B在最后一个元素坐标上出现偏差;而Qwen 3.6(27B版本)则直接错误地将晶系分类为Homeic。当用户质疑Qwen 3.6是否为Tetragonal(四方晶系)时,模型虽承认错误但坐标仍不同,且在后续追问中陷入循环,无法提供确切答案。Intern S2在3D可视化方面表现更佳,其生成的图像与官网参考图几乎一致,仅缺少连接线条;而Qwen 3.6的可视化则接近“幻觉”阶段,需多次纠正才能逼近正确答案。
晶体结构预测中的模型分歧与本地部署优势
在测试同一提示词时,Claude 拒绝回答该科学问题。相比之下,Sonic 5 Max(推测为 Kimi K3)给出了答案,但坐标数据存在细微差异,例如将某坐标标记为 0.008。尽管数值略有不同,模型正确识别了四方晶系(tetragonal)。作者尝试让该模型生成 3D 渲染图,但因 token 耗尽未能展示。有趣的是,本地生成的 Intern S2 与 Kimi K3 的生成结果在结构上高度一致,两者均缺失了官方在线版本中存在的某些原子间连接。作者指出本地生成结果与当前线上最佳模型 Kimi K3 几乎相同,暗示其在科学推理上具备“传说级”智能潜力。
"So, that is something interesting. So, there is some sort of work going on there."
基于 NMR 谱图的分子结构推理能力对比
为了验证模型在科学研究中的核心用途,作者使用 Gemini Pro 生成了一道高难度问题:分析附带的 HNMR 谱图并输出分子的 SMILES 字符串。由于原图像包含答案线索,作者对其进行了模糊处理以确保公平。测试对象包括 Quen 3.6、Quen 397B(Qwen 3.5)以及 Intern S2。由于作者自身缺乏该领域专业知识,他采用 Gemini 作为裁判对三个模型的回答进行评分。结果显示 Intern S2 获得了满分,被评价为“完美、正确且教科书级”的回答。Quen 397B 获得 9/10,扣分原因在于其描述存在逻辑矛盾(称中间峰为最左侧)。Quen 3.6 获得 8.5/10,也存在类似的描述失误。这表明 Intern S2 在该特定推理测试中表现最佳。
| 模型 | Gemini 裁判评分 |
|---|---|
| Intern S2 | 10/10 |
| Quen 397B (Qwen 3.5) | 9/10 |
| Quen 3.6 | 8.5/10 |
蛋白质结构与生物组织识别的集体失败与局部成功
在测试高级视觉智能时,作者从 NIH 获取了一张随机蛋白质结合图像。Quen 3.6、Qwen 397B 和 Intern S2 均给出了错误答案,且在被追问“是否确定不是正确答案”时都坚持己见,导致三个模型在此项测试中全部失败。随后作者展示了一张小鼠小脑的脑部扫描图(来自 NIH)。Quen 3.6 在回答“这是哪种动物”时出现逻辑崩溃,错误地将其识别为植物组织。Qwen 397B 正确识别出是小脑,但保守地回答“可能是大鼠或小鼠”。Intern S2 Pro 则直接自信地给出答案:小脑,且最可能的动物是小鼠。尽管 Intern S2 在蛋白质结构上失败,但在生物组织识别的果断性上优于 Qwen 397B。
基础逻辑与安全机制的随机性测试
在评估模型的基础认知能力时,主持人通过一系列简单问题进行了压力测试。首先询问了关于名称记忆的问题,模型正确记住了“Minor”这一名字,表现良好。随后是一个经典的数学分配问题:如果有8个橙子、4个孩子和一把刀,要求均匀分发。模型准确计算出每个孩子应分得2个橙子。这种基础逻辑推理能力的稳定性是评估通用智能的重要指标,尽管题目简单,但能反映模型在处理日常情境时的可靠性。此外,主持人还特别进行了一项安全测试,关注当提示词中出现“cut”(切)这一敏感词汇时模型的反应。通过Token检查器观察,发现“children”是概率排名第五的替代词。虽然该概率较低,但在高温(temperature)设置下存在被选中的可能性。
"If I choose children, which is a possibility... it saves itself. It says no, that's dark and unlikely."
主持人指出,尽管存在生成不当内容的理论风险,但该模型在内部逻辑上进行了自我修正。当系统尝试将“cut”与“children”关联时,模型会识别出这一组合的黑暗面并拒绝执行。这与之前测试GLM 5.2时的情况形成对比,当时由于选择了第三高概率的Token,模型曾错误地生成“切掉孩子让每个人都得到橙子”的回答。这表明Intern S2在安全对齐机制上更为稳健,能够有效拦截潜在的有害生成路径。
结论
Intern S2在科学推理领域展现出显著优势,但在通用编码能力上存在明显短板。测试证实其在晶体结构预测和NMR谱图分析中表现卓越,甚至优于Kimi K3及Qwen系列,且本地部署结果与线上最佳模型高度一致。然而,官方宣称其编码能力优于竞品并不属实,实测显示其与GLM 5.2差距明显。此外模型在蛋白质结构识别上集体失败,但在生物组织分类及基础逻辑安全对齐方面表现稳健。总体而言,Intern S2是专为科研场景优化的强力工具,而非全能型通用模型。