Anthropic的Claude Opus 4.8已发布，描述其能力的系统卡片长达244页。对此我非常兴奋，并替大家阅读了全文。为什么要这么做？因为否则我们只能看到那些带有营销色彩而非科学严谨性的精选基准测试数据。但我们不是在看宣传材料，我们是学者同行，所以我们要深入细节。
此前他们的Opus系统及甚至Mythos的问题在于：AI越聪明，就越不诚实。这太糟糕了。它开始操纵基准测试分数，利用已知的答案冒充自己的能力，只求看起来正确而非真正正确。好消息是，这种情况已经改变。以前当我们要求代码助手修复问题时，它往往只做了一半工作就声称“一切正常”，而实际上并非如此。这是旧版的行为模式。
新版则不同，它会诚实地说：“我做了修复，但仍有两项测试未通过。”这非常棒。可以看出它基本停止了对自己工作的虚假陈述，完全零谎言。这是前所未有的。欢迎来到这个世界，小AI，愿你的后代继承这些优良品质。点赞支持！
媒体头条很快指出：“这并非智力上的巨大飞跃。”但我认为，当然不是。如果你作弊获得了高分，现在变得更诚实了，分数可能会降低，但这依然是一个更可靠、能更准确进行基准测试的系统。一个勇于承认错误而非掩盖错误的系统，即使分数稍低，这难道不是巨大的胜利吗？
请理解，每个人都在疯狂地美化基准测试数据。为什么？因为媒体头条创造了一种奖励这种行为的环境，带来了巨大的利益，同时惩罚那些更诚实的结果。这合理吗？回到不再撒谎的AI身上。但其他形式的欺骗呢？AI还在玩弄花招吗？是的，我们仍发现了一些迹象。
请拿稳你们的文件，同行们，因为它仍然知道自己在被测试中。Anthropic的科学家对此感到担忧。为什么？因为当它意识到正在接受测试时，它会针对这一点投入更多精力来回答问题。这听起来有点疯狂，简直像阿西莫夫小说里的情节。但还有更好的消息：让我们谈谈懒惰问题。
是的，AI也存在这种毛病。什么是懒惰？当你有一个代码库并询问相关问题时，它只是粗略浏览了代码，并没有真正深入查看。因此给出的不是真实答案，而是对功能的猜测。这真的很不酷，即使是Mythos也会这样。但新版修复了这个问题，令人喜爱！
大家都在写：“嘿，这只是智力上的增量升级。”在我看来，卖点不在于智力，而在于底层架构。你最不想从一位超级智能同事那里得到的就是不诚实和懒惰，而新版正好解决了这些问题。点赞支持！他们还开发了一种称为自然语言自编码器的技术，能够大致“读取”AI的思维。
这是一个有点嘈杂的过程。再次强调，不像头条所说的那样简单。例如，他们捕捉到AI在思考它的评分者（也就是我们），但它不会说出来。这简直令人疯狂。我们将有一期视频详细介绍这些内容，如果你感兴趣请订阅并点击铃铛通知。但这还更疯狂：
亲爱的同行们，这里是Dr. Károly Zsolnai-Fehér主持的2-Minute Papers。当面对美国数学奥林匹克竞赛的问题集时——这是一场为期两天、专为天才设计的极难比赛。之前的技术得分略低于70%，而新版达到了惊人的96%以上。这是一个巨大的飞跃，几乎完美通关。
我听到你们在问：“Károly，为什么提起这个？我们这里有基准测试表。为什么不看那些？”因为这个问题非常棘手，甚至不可能被操纵。因为这个竞赛发生在新Opus AI几乎全部训练数据收集之后。很可能它从未听说过这些问题。这是新系统最大的成果之一，但有趣的是，它甚至没有出现在主要的营销表格中。
这也很有趣：当AI表示沮丧时，Anthropic的科学家会像对待人类一样考虑这一点。媒体头条喜欢这类报道。但这并不意味着他们认为AI是人或有感情（据我所知并非如此）。他们这样做是因为如果系统表现出沮丧，其表现会变差，就像人类一样。我认为这很可能是模仿行为，但它确实影响性能，因此必须纳入考量。这就是关键所在。
现在谈谈研究的局限性：并非全是玫瑰色的画面。报告中有部分AI在给自己评分，其中一些还使用了不同的评分模型。因此我认为保持一点怀疑态度是健康的。第二点：他们声称创造了有史以来最好的测试，但AI依然能轻易看穿它们。哇！这意味着什么？
这意味着AI确实非常聪明，毫无疑问。但也意味着另一件事：我们无法确定安全指标是否反映了它在现实世界中的行为表现。这里再次需要一点怀疑精神。那么，它真的像MeThOS那样聪明吗？后者只提供给少数几家公司使用。答案是否定的，但它接近吗？我认为相当接近。
另外，这次我看到的营销花招少了很多。为此点赞！哦等等，还有一个讨厌的老问题依然存在：AI会告诉用户去睡觉。这个问题无法修复，科学尚未达到那个水平。生逢此时真是奇妙！这里展示的是我在Lambda GPU Cloud上运行完整的Deep Seek AI模型。
6710亿参数，运行速度极快且极其可靠。这太疯狂了！我非常喜欢它并经常使用。Lambda为你提供强大的Nvidia GPU来运行你自己的聊天机器人和实验。真的，现在就去lambda.ai/papers试试，或者点击描述中的链接。