新模型与基准测试发布

Elorian于本月发布了其首款视觉推理模型 Glimpse,该模型被定位为一种全新的“视觉思考”类别系统,旨在让AI从所见内容中推理物理世界。为了验证这一能力并评估其与前沿模型及世界模型的差距,Elorian联合AI数据公司Mercor共同发布了名为 DecoyCount 的新基准测试。该基准的核心目的是检验语言模型是否真正具备计数能力,还是仅仅依赖视觉捷径和替代启发式方法。Elorian于四月以5,500万美元种子轮融资结束隐身状态,由Striker Venture Partners、Menlo Ventures和Altimeter Capital联合领投。CEO Andrew Dai指出,大多数现有基准测试往往将视觉问题和推理问题混为一谈,而DecoyCount旨在通过暴露七种可解释的计数失败机制来区分这两者。

基准测试结果与数据对比

在DecoyCount基准测试中,前沿模型的准确率普遍低于50%。根据Elorian提供的内部测试结果及CEO Andrew Dai的邮件确认,Glimpse在1,660个测试项中取得了50.48%的准确率,成为唯一超过50%阈值的模型。相比之下,表现最好的前沿模型GPT-6 Astra得分为43.17%,Gemini-3.8-flash为32.71%,Qwen3.8-max为28.31%,Claude-Fable-5.1仅为25.22%。Dai强调,Glimpse的结果来自单次运行且未使用代理或工具辅助,而对比的前沿模型得分是三次运行的平均值。尽管存在这一方法论差异,Glimpse仍领先约7个百分点。

模型名称 DecoyCount准确率
Glimpse (Elorian) 50.48%
GPT-6 Astra 43.17%
Gemini-3.8-flash 32.71%
Qwen3.8-max 28.31%
Claude-Fable-5.1 25.22%

视觉思考的定义与机制

Andrew Dai在Google DeepMind工作多年,曾参与GLaM MoE、PaLM 2和Gemini等项目。他创立Elorian的动机源于人类心理学中的“视觉思考”概念,即人们在解决空间或视觉问题时,会在脑海中生成和编辑图像。例如,在购买沙发时想象其在客厅的效果,或在数人头时在脑中逐个“划掉”。Elorian的目标是让模型具备这种能力:将图像生成和编辑作为推理链条的一部分,而不仅仅是最终输出。Dai解释道:“当一个人看到镜子前的苹果时,我们知道只有一个苹果及其反射。但模型可能完全错过苹果(视觉问题),或将苹果和反射计为两个(推理问题)。大多数基准测试只检查最终数字,无法区分是视觉还是判断失误。”

与世界模型的区别

当前“世界模型”如World Labs的Atlas和Google的Genie 4备受关注,它们侧重于构建3D模拟环境以支持导航和操作。然而,Elorian将自身定位为专注于“间接行动”,即利用视觉推理来辅助决策或工作流,而非构建模拟环境。Dai举例说明:“你可能需要视觉推理来判断用户提交的视频是否违反政策,这不需要3D渲染。”这种区别使得Glimpse更适用于需要理解视觉内容以做出逻辑判断的场景,如合规检查或数据分析,而非物理世界的直接模拟。

应用场景与机器人基准测试

Elorian认为视觉推理在机器人、工程和国防领域有广泛应用。例如,建筑师需要定期检查建筑代码合规性,这是视觉推理模型的理想任务。在两个机器人基准测试WGO Bench和ERQA中,Elorian声称其表现等于或优于前沿模型,且成本更低。Dai以仓库机器人为例指出:“熟悉的12槽托盘可能只装有10个零件,‘24包装’标签并不意味着箱内仍有24件物品。依赖预期看到的模型会在现实世界中遇到许多问题,而Glimpse旨在通过图像进行推理,而非跳跃到快速结论。”

视觉推理与AGI的关系

Elorian主张,视觉推理是实现通用人工智能(AGI)的基础要求。从Glimpse的发布声明中可以看出,Elorian认为构建涵盖系统、数据、模型架构和训练的完整多模态智能堆栈,可以解锁物理世界中的AGI。Dai承认人类与机器之间仍有巨大差距,但他认为视觉推理是人类智能中根本性的推理步骤:“如果我们想构建类似AGI的东西,我们不能跳过视觉。”这一观点强调了从底层重新设计多模态智能的重要性,以缩小人类与机器在视觉理解上的差距。

结论

Elorian通过发布Glimpse模型和DecoyCount基准测试,强调了当前前沿模型在视觉推理方面的不足。Glimpse以50.48%的准确率成为唯一超过半数的模型,领先于GPT-6 Astra等知名模型。Elorian区分了视觉推理与世界模拟的不同,主张前者通过生成和编辑图像作为推理链条的一部分来解决实际问题。尽管存在测试方法论的差异(单次运行vs三次平均),Elorian认为视觉推理是通往AGI的关键路径,并在机器人和合规检查等场景中展示了其应用潜力。