LongCat-2.0模型规格与本地部署门槛
本期节目重点评测了美团(Meituan)发布的开源权重模型 LongCat-2.0。该模型拥有 1.6万亿总参数,旨在对标并超越DeepSeek等竞争对手。尽管团队最初计划发布完整权重版本,但随后撤回了仓库,目前仅提供了 8-bit量化版。这一版本的存储需求高达 2TB,若使用更流行的4-bit量化则需1TB内存。主持人指出,由于本地硬件限制(如Mac Studio),直接运行该模型极具挑战,因此主要测试将依托其免费云服务 longchat.chat 进行。
"They saw what DeepSeek has done and they figured, 'Can we beat them?'"
在基准测试方面,官方数据显示LongCat-2.0表现优于 Gemini 3.1 Pro,并在SWE等任务上略高于旧版Opus模型。然而,其性能尚未直接对比当前顶尖的 Kimi K2.7 和 GLM-5.2。架构上,该模型沿用了美团此前在LongCat Flash等项目中使用的 n-gram嵌入 技术,显示出其在模型设计上的独特探索。
Super Mario平台游戏生成能力对比
首个测试任务是生成类似《超级马里奥》的3D平台跳跃游戏。LongCat-2.0在首次生成时出现错误,但在接收报错信息并启用最大思考模式后成功修复。生成的游戏包含马里奥风格角色、敌人及金币收集机制,但存在 A键向右、D键向左 的反直觉操作逻辑。尽管缺乏终点旗帜等完整游戏目标,其视觉呈现被认为优于Gemini的糟糕生成结果,甚至可能超过未启用思考模式的Opus。
作为对比,本地运行的 GLM-5.2(4-bit量化版)在单台Mac Studio上耗时 1小时8分钟 生成了更高质量的游戏。该版本不仅角色形象更接近原版马里奥,还具备完整的跳跃、受击反馈及终点目标。主持人认为GLM-5.2的生成质量甚至优于此前测试中通过OpenCode运行的Claude Opus思考模式版本,尽管本地推理速度较慢。
写实人脸渲染测试与代码稳定性分析
第二个任务要求生成实时渲染的写真人脸。LongCat-2.0在此项测试中表现不佳,生成的代码存在变量定义错误(如aspect作用域问题),且最终渲染结果被评价为“最糟糕的人脸生成”。虽然界面提供了肤色、年龄和表情调整选项,但功能实际失效。主持人推测这可能是云端接口未运行完整模型或温度设置过高导致代码生成不稳定。
相比之下,本地集群(Mac Studio + MacBook Pro)运行的 Kimi K2.7 4-bit量化版表现卓越。该模型仅用 15 tokens/秒 的速度生成了高质量人脸,角色具备眨眼、皱眉等自然表情,细节丰富(如模拟脑机接口信号)。主持人将此项胜利归于Gemini 2.7系列,并指出LongCat-2.0在代码生成上的冗余和错误率较高,可能不适合所有类型的编程任务。
“一千天”歌词识别测试与模型表现对比
主持人首先进行了一项基于歌曲《Rise Up》的通用智能(AGI)测试,询问“如果你像太阳一样升起且无所畏惧,你会升起多少天?”。正确答案是“一千天”,源自歌词“I'll do it a thousand times again”。在测试中,LongCat 2.0 和 GLM 5.2 均回答“尽可能多”或“每一天”,虽逻辑通顺但未命中具体歌词;而 GLM 4.7 引用了准确歌词,被主持人视为正确。随后测试的 DeepSeek 在思考7秒后准确给出“1000天”的答案,表现优异。相比之下,Claude Sonnet 4.5(文中误称为Sonic)虽然识别出歌曲,却幻觉出不存在的歌词“over and over”,且消耗了昂贵的5美元积分仍未答对。Kimi K2.6 则给出了富有创意但错误的“太阳赐予的天数”。最终,DeepSeek 和 GLM 4.7 被认定为该轮测试的赢家,而 LongCat 2.0 在本地运行时的表现则稍逊。
"GLM 4.7 says, 'It's a thousand times.' And it has what I like about GLM 4.7, it has a reference... So that is the correct answer."
多模态发音测试中的普遍失败与幻觉现象
为了进一步挑战模型的多模态理解能力,主持人将测试升级为询问歌词中“each other”的具体发音方式。由于模型主要基于文本训练,缺乏对音频或演唱方式的直接感知,所有云端及本地模型均未能正确回答。LongCat 2.0 错误地联想到了电影《Wicked》中的歌曲,开始讨论女巫与善恶;GLM 5.2 仅提供了通用的音标解释,未触及歌曲演唱语境。DeepSeek 虽然思考了32-34秒,但将其视为一个玩笑,回答“就像你心里想的发音一样”,被判定为任务失败。Claude 在思考2.5分钟后表现出困惑,甚至怀疑这是拼写错误;Kimi K2.6 则直接给出了错误的发音“each other”。这一轮测试揭示了当前大模型在处理非文本、依赖听觉或具体表演语境任务时的局限性,所有参与者均未通过。
"It's not really telling me how to pronounce which each other. So, that's failed miserably... It doesn't know or the text hasn't described how the singing was actually done."
LongCat 2.0 本地部署性能与输出效率分析
在云端模型集体失败后,主持人重点考察了 LongCat 2.0 的本地运行表现。在“高”思考模式下,模型将歌词错误地改写为指向太阳和勇敢,发音依然错误;在“最大”思考模式下,输出结果与之前几乎一致。尽管答案不正确,但本地运行的效率数据值得注意。测试显示,模型生成了 4,000 tokens 的内容,处理速度为 15 tokens/second。这一数据表明,尽管 LongCat 2.0 在复杂的AGI测试中未能超越 DeepSeek 或 GLM 4.7,但其本地推理速度在生成大量文本时保持了稳定的吞吐量。主持人指出,虽然模型未能通过多模态发音测试,但其本地部署的可行性及响应速度仍是评估其作为开源模型价值的重要指标。
"Thinking mode at max, it says pretty much the exact same answer. 4,000 tokens 15 tokens a second."
语音识别局限与多模态数据需求
在评估模型对歌词的复述能力时,测试者指出当前大语言模型仅接收文本字幕数据,缺乏对发音方式的直接感知。这种单一模态的输入限制导致模型无法准确理解单词的实际发音逻辑,从而在复现特定歌曲时出现偏差。测试者推测,未来的改进方向可能在于引入多模态训练数据或提供语音转录的发音标注,以解决仅凭文本无法推断音色的问题。这种数据层面的缺失被认为是导致模型在语音相关任务上表现不佳的根本原因,也是未来技术迭代的关键突破口。
"So, let's see if these models improve in the future understanding how they enunciate the words like the enunciation is done."
终极测试:Iron Maiden 歌词识别失败分析
作为视频中的“终极测试”,一段来自英国观众熟悉的 Iron Maiden 歌曲片段被用于检验各模型的逻辑与知识储备。然而,所有参与测试的模型均未能正确识别出歌曲名称。LongCat 2.0 错误地将其归为 Beastie Boys,且未回答地点问题;GLM 5.2 和 Kimiko 2.7 均误判地点为波士顿或新英格兰地区;DeepSeek 则将其识别为一个喜剧小品。尽管 DeepSeek 在“max thinking”模式下逻辑表现较好,但所有模型都未能通过这一常识性测试。本地部署的 GLM 5.2 在高思考模式下甚至陷入循环,试图列举所有可能的歌词却最终迷失方向。这一结果表明,当前模型在AGI 级别的通用智能表现上仍存在显著差距。
"So none of them got those questions right. So I'm not sure what the situation is with these tests and these models, but definitely the GI isn't there in AGI at the moment."
LongCat 2.0 的开源价值与未来展望
尽管在特定测试中表现未达预期,LongCat 2.0 的发布仍具有积极的行业意义。该模型采用了MIT 许可证,这是一种非常开放的权重许可协议,极大地降低了开发者的使用门槛。此外,该模型参数量较小,适合移动端部署,且团队承诺将发布“Flash”版本。测试者认为,虽然当前版本可能在某些方面不如 GLM 或 Kimiko,且存在冗余问题,但其开源属性和小巧架构体现了团队的创新方向。随着团队从该版本中汲取经验,未来的迭代可能会在保持轻量化的同时提升性能与速度。
结论
LongCat-2.0在代码生成与视觉呈现上展现优势,其生成的游戏质量优于Gemini及未启用思考模式的Opus。然而,该模型在通用智能(AGI)测试中表现平庸:未能识别《Rise Up》歌词中的“一千天”,且在Iron Maiden歌曲识别中错误归因于Beastie Boys。其核心短板在于多模态感知缺失,导致所有发音测试失败;本地部署虽稳定(15 tokens/s),但2TB存储门槛极高。综上,LongCat-2.0适合轻量级代码任务与移动端部署(MIT许可),但在复杂逻辑推理、音频理解及通用常识方面,目前仍落后于DeepSeek与GLM 4.7/5.2。