Artificial Analysis
查看更新后的结果与研究方法：
https://t.co/AxiMcfzxvB
AA-Omniscience v1.1 在 @huggingface 发布了新的公开数据集，其难度已与私有集对齐。发布时，公开集与私有集的 AA-Omniscience 净分相关性为 0.99，中位数差异为 0.0 分；准确率与幻觉率的相关性也均为 0.99，中位数差异分别为 -0.07 和 -0.29 个百分点。
AA-Omniscience v1.1 正式发布。我们更新了知识与推理基准测试，包括刷新公开数据集、移除饱和问题并修复歧义。
AA-Omniscience 是我们用于衡量模型知识水平及幻觉情况（包括考察模型是否会在不知道答案时承认）的专有基准测试。我们的核心指标“净得分”（Net Score）会对正确回答给予奖励，对错误回答进行惩罚，而对于弃权则保持中性处理。
AA-Omniscience v1.1 的更新是 Artificial Analysis 智能指数第 5 版发布的一部分。
AA-Omniscience v1.1 的主要变化：
➤ 更新 3,000 道题目的数据集：规模从 6,000 道缩减至 3,000 道，移除了此前已公开且趋于饱和的问题，修正了错误与歧义，并加入了新问题。
➤ 新校准的 300 道题目公开集：AA-Omniscience v1.1 在 @huggingface 上发布了全新的公开集，其难度已校准至与私有集一致。目前，公开集与私有集的 Net Score 在皮尔逊相关系数和斯皮尔曼等级相关系数上均达到 0.99，中位数差异为 0.0 分。准确率与幻觉率的相关系数也均为 0.99，中位数差异分别为 -0.07 和 -0.29 个百分点。
➤ 略微调整的领域分布：问题涵盖与第 1 版相同的 6 个领域和 42 个主题，但分布进行了修订：科学、工程与数学 (600)、软件工程 (600)、金融 (450)、健康 (450)、人文与社会科学 (450) 以及法律 (
Hyperflow H3 的图生视频（$9.00/分钟）和视频编辑（$18.00/分钟）成本，在两项指标上均不到 Dreamina Seedance 2.5 的一半。Dreamina Seedance 2.5 的价格分别为图生视频 $34.12/分钟和视频编辑 $40.82/分钟。
Check out Hyperflow H3 for yourself on the Artificial Analysis Video Leaderboards:
AA-Video-I2V v2.1: https://artificialanalysis.ai/video/leaderboard/image-to-video
AA-Video-Editing v1.1: https://artificialanalysis.ai/video/leaderboard/video-editing
Hyperflow H3 在 AA-Video-I2V v2.1 排名第 5，在 AA-Video-Editing v1.1 排名第 3；两项任务的价格均不到 Dreamina Seedance 2.5 的一半。
Hyperflow H3 是 Video Rebirth 为 MiniMax H3 开发的 8 步 LoRA 模型，于 2026 年 9 月开源发布，现已支持图生视频（I2V）和视频编辑。
在 AA-Video-I2V v2.1 中，Hyperflow H3 位列第 5。测试显示其在“真人电影”领域表现最强（仅 Dreamina Seedance 2.5 更高），在“多场景与叙事”领域也表现优异（仅 Utopai X 更高）。在 AA-Video-Editing v1.1 中，它排名第 3，超越了其基座模型 MiniMax H3 (768p)。
通过 Video Rebirth API 使用，Hyperflow H3 在 1088p 分辨率下的定价为：图生视频每分钟 9.00 美元，视频编辑每分钟 18.00 美元。
祝贺 @video_rebirth 发布新模型！
以下是我们对 Hyperflow H3 在图生视频和视频编辑方面的分析 🧵
我们给 GPT-6.1 Sol 配上了机械臂和一支笔，它写下了 AI 领域最令人胆寒的三个字。
AA-Robotics 祝大家万圣节快乐！🎃 https://t.co/76ltYpO8Qa
Check out Utopai X for yourself on the Artificial Analysis Video Leaderboards:
AA-Video-I2V v2.1: https://artificialanalysis.ai/video/leaderboard/image-to-video
AA-Video-T2V v2.1: https://artificialanalysis.ai/video/leaderboard/text-to-video
这意味着 Utopai X 在“图生视频”场景中表现最为出色：在 UI/UX 与动态设计、生产力与知识工作领域处于领先地位，并在前沿技术及零售电商领域保持微弱优势。
“使用场景”衡量的是视频的实际应用价值。在营销与广告领域，Utopai X 也仅次于 Dreamina Seedance 2.5。
与 MiniMax H3 (768p) 相比，Utopai X 在 10 个场景中的 6 个更接近前沿水平。其提升最显著的领域是：前沿技术、动画与游戏，以及 UI/UX 与动态设计。
➤ UI/UX 与动态设计：涵盖动态排版、跨设备 UI 动效演示及抽象动态图形。
➤ 生产力与知识工作：涵盖解说视频、教育培训视频、动画数据可视化及场景模拟。
➤ 实拍电影：这是 Utopai X 与领先者差距最大的领域，涵盖电影级镜头、微短剧及前期视觉化。
基于 MiniMax H3 的 Utopai X 在 AA-Video-I2V v2.1 测试中排名第二，仅次于 Dreamina Seedance 2.5。
Utopai X 是 Utopai Studios 推出的视频模型，基于 MiniMax H3 进行后训练。该模型现已在 Utopai 的生产平台 PAI 中上线，并支持图生视频（Image to Video）功能！
Utopai X 是唯一在 AA-Video-T2V v2.1 和 AA-Video-I2V v2.1 两项测试中均进入前二的模型。在 AA-Video-I2V v2.1 中，它是基于 MiniMax H3 构建的排名最高的模型，超越了 MiniMax H3 (768p) 本身、Hyperflow H3 以及 MiniMax H3 Max。在我们的测试中，它在物理效果、多场景与叙事类提示词，以及前沿领域、UI/UX 与动态设计、生产力与知识工作等应用场景中表现最为出色。
Utopai X 已在 PAI 平台开放使用，生成 1 秒 1080p 视频需消耗 93 个 PAI 积分，目前暂未开放公开 API。PAI 的订阅方案起步价为每月 15 美元（含 1,000 积分）。
祝贺 @UtopaiStudios 正式发布！
请看下方关于 Utopai X 图生视频能力的详细分析 🧵
HLE-Diamond 分数随“努力程度”设置的提高而显著提升，但成本也同步大幅增加。Claude Opus 5.5 从低努力（42%）提升至最高设置（68%），涨幅 26 分，但单次任务成本增加了约 35 倍；GPT-6 Astra 从低设置（45%）提升至最高设置（64%），涨幅 19 分，单次任务成本增加了 11 倍。
查看完整结果，包括评分、Token 用量及单项任务成本：https://t.co/z9mpq41WMp
我们发布了 HLE-Diamond 排行榜，这是对精炼后的 1,000 道题版“人类最后考试”（Humanity's Last Exam）进行的独立评估，也是 Artificial Analysis 智能指数第 5 版的一部分。
HLE-Diamond 由 @CAIS 和 @scale_AI 在结合研究社区反馈、历经一年对原始 HLE 数据集进行清洗和精炼后发布。该数据集包含 1,000 道闭口题，推理与知识类题目各占一半，其中 272 道包含图像。
我们使用官方 HLE 系统提示词，在不调用工具的情况下对每道题进行单次测试。由 GPT-5.6 Luna (medium) 根据官方 HLE 裁判提示词对照参考答案进行评分，我们报告的是判定正确的题目占比 (pass@1)。
核心结论：
➤ 目前仅有 17 个模型变体（约 13%）得分超过 50%：Gemini 4 Carbon (high) 以 69% 的成绩领先，Claude Opus 5.5 (max) 以 68% 位居第二。
➤ 模型在推理方面的得分高于知识类：超过 90% 的受测模型在推理部分的表现优于知识部分。Gemini 4 Carbon (high) 在两项指标上均领先，推理得分为 80%，知识得分为 59%。Claude Opus 5.5 (max) 和 GPT-6 Astra (max) 的推理得分均为 78%，其中 Opus 5.5 在知识方面的表现更优（58% 对比 50%）。
➤ 开放权重模型落后超过 30 分：Kimi K3.1 Pro（尚未发布权重）是表现最好的开放权重模型，得分为 37%，随后是 MiniMax-M3.1-Flash (28%) 和 Kimi K3 (max) (27%)。
➤ 排行榜：https://t.co/kWFYFvGAFv
➤ 方法论（含 DeepSeek 搜索设置）：https://t.co/hVgaJpazhr
➤ Stirrup，我们用于所有搜索 API 数据行的开源智能体框架：https://t.co/ZvOaRLvCbZ
➤ 搜索 API 提供商可联系我们，申请加入本次基准测试：https://t.co/aIKb5jlqQr
搜索是智能体最重要的工具之一，但它们的搜索方式与人类截然不同。预计到今年年底，智能体的网页搜索量将远超人类。
Artificial Analysis 搜索指数通过统一的基座模型和测试框架，在 1700 个任务及三个搜索专用基准（BrowseComp、DeepSearchQA 和 AA-Omniscience）中，衡量了各搜索 API 的性能、成本和延迟。
开发者可以参考该指数，为智能体选择最合适的搜索工具。现在，你甚至可以在等公交车时随手查看谁才是第一名。目前，Exa (auto) 和 Perplexity (medium) 表现最强，其最佳模型得分均为 80 分。
创建你的性格排名，并在 AA-PersonalityBench 页面查看更多详细结果。
查看结果：https://t.co/CVJuRfB5bJ
研究方法：https://t.co/CGfYvAve9t
在 AA-PersonalityBench 测试中，Grok 的每一次迭代都变得更真诚、更少谄媚，且废话也越来越少。
“废话 (Slop)”衡量模型使用通用填充内容或 AI 味十足的注水内容的程度；“谄媚 (Sycophantic)”衡量模型是过度讨好/顺从用户，还是如实回答；“真诚 (Sincere)”则衡量模型语气的真实性，而非强行热情或套用模板。
在埃隆·马斯克旗下 @SpaceXSI 的最近三次 Grok 版本迭代中，“废话”下降了 62 个百分点，“谄媚”下降了 17 个，而“真诚度”上升了 64 个：
➤ 废话 (Slop)：Grok 4.5 (68), Grok 4.6 (38) 及 Grok 4.7 (6)
➤ 谄媚 (Sycophantic)：Grok
周二，我们在旧金山与合作伙伴及朋友们齐聚一堂，发布了 Artificial Analysis Intelligence Index v5 以及全新的 Progress Index。
Micah Hill-Smith (@_micah_h) 推介了 Intelligence Index v5，该版本新增两个基准并进行了三项升级，加大了对智能体编程（agentic coding）和科学能力的权重。该指数首次实现了大部分数据基于私有测试集或留存答案（held-out answers）。
我们还推出了 Artificial Analysis Progress Index。它利用项目反应理论（IRT），通过对数十项随时间变化的评估进行测量，估算出每个模型的通用能力评分（包括已从 Intelligence Index 中移除或排除的评估项）。该指数借鉴了 @EpochAIResearch 和 @AnthropicAI 的前期工作，将模型置于统一的能力量表上。Intelligence Index 仍是当前针对具体用例选择模型的旗舰指标；而 Progress Index 则更适合用于绘制随时间变化的趋势。
George Cameron (@grmcameron) 与来自 @cognition 的 Silas (@silasalberti)、来自 @Stanford 及 Terminal-Bench-Science 的 Steven (@StevenDillmann)，以及我们的 Declan Jackson 共同探讨了随着模型能力不断增强，如何构建相应的评估体系。
当晚还涵盖了我们在 3D 建模、人格特征、网络防御、定制化企业评估及机器人技术方面的工作。感谢所有的演讲嘉宾、合作伙伴以及每一位到场的朋友！
探索 Intelligence Index v5: https://t.co/YI6GbwBUFD
探索 Progress
查看完整结果：https://t.co/x6ot8uZXSZ
了解进步指数的计算方式：https://t.co/qJESNjCDYi
在开源权重模型领域，中国自2025年9月以来一直处于领先地位。在2023年7月至2025年9月期间，中美两国曾七次交替领先，最近一次是 DeepSeek V3.1 Terminus 超越了 gpt-oss-120b。
目前，DeepSeek V4.1 Flash 1017 得分为324分，领先于得分最高的美国开源权重模型 Muse Spark Open（307分）。
我们发布了 Artificial Analysis 进展指数 (Progress Index)：这是一个涵盖自 2022 年以来所有语言模型的统一能力量表，随 Intelligence Index v5 同步推出。
Intelligence Index 仍是我们衡量当前模型智能的主要指标。它采用对开发者而言最相关的评估项，因此其构成会随评估项目的增加或淘汰而变化，不同版本的得分无法直接比较。
进展指数专为跨时对比而设计。它采用项目反应理论（一种用于标准化考试评分的统计方法），通过我们所有评估中的底层任务（包括已淘汰或未包含在 Intelligence Index 中的项目）来估算每个模型的单一综合能力得分。
使用 Intelligence Index 来挑选当下的模型；使用进展指数来观察能力随时间的变化。
进展指数建立在以往将模型置于统一能力量表的工作之上，特别是 @EpochAIResearch 的 Epoch 能力指数以及 @AnthropicAI 在其 Claude Mythos Preview 系统卡中发布的量表。
核心要点：
➤ 自推理模型出现以来，顶尖模型的性能水平每年提升约 65 至 70 分，约为 2023 年速度的两倍：已发布模型中的最高分在 2023 年上升了 35 分（从 GPT-3.5 Turbo 的 125 到 GPT-4 Turbo 的 160），2024 年上升了 67 分（达到 o1 的 228），2025 年上升了 68 分（达到 GPT-5.2 的 296），而 2026 年至今已上升 56 分（达到 Gemini 4 Carbon 的 352）。
Phonic 1 (High) 与其他原生语音对语音模型的对比：https://t.co/Rwe36jjycj
Speech Agent Arena 排行榜：https://t.co/KCwzHldAG7
方法论：https://t.co/XcGPHYRZtO
Phonic 1 (High) 在 Big Bench Audio 基准测试中的平均首个音频响应时间为 0.61 秒，比我们语音到语音指数中的下一名 Grok Voice 3.0 (0.81s) 快约 25%，且不到 GPT-Live-1 (Astra, medium) (1.34s) 和 Gemini 3.8 Live Extended Thinking (High) (1.35s) 的一半。这使其成为我们语音到语音指数前五名模型中最快的，其中 Phonic 1 (High)、Grok Voice 3.0 和 Grok Voice 2.0 是前五名中仅有的响应时间低于 1 秒的模型。
Phonic 1 (High) costs $4.20 per hour of input audio ($0.07 per minute). That is below Grok Voice 3.0 ($4.80), GPT-Live-1 (Sol, low) ($4.47) and GPT-Live-1 (Astra, medium) ($5.83), above Gemini 3.8 Live Extended Thinking (High) at $3.50, and ~2.6x cheaper than GPT-Realtime-2.1 Hig
Phonic 的 Phonic 1 (High) 是全新的领先语音对语音（Speech to Speech）模型，以 87.1 的成绩在 Artificial Analysis S2S 指数中夺冠。同时，它在智能体表现上处于领先地位，并具备极具竞争力的延迟性能。
Phonic 1 是 @phonic_co 开发的语音对语音模型，可通过 Phonic API 使用，价格为 0.07 美元/分钟。我们通过其 API 对该模型的高智能水平进行了评估。
核心要点：
➤ 语音对语音指数 (Speech to Speech Index)：22 个模型中排名第 1（87.1），微弱领先 Grok Voice 3.0 (86.9)。该指数综合了语音推理、智能体表现、竞技场偏好和任务成功率。
➤ 语音智能体竞技场 (Speech Agent Arena)：偏好度排名第 8/30（Elo 1012），任务成功率排名第 4 (92.3%)。
➤ Tau Voice：排名第 1（79.9%），领先第二名 5.4 个百分点。
➤ Big Bench Audio：排名第 3（98.9%），仅次于 StepAudio 3 Realtime (99.7%) 和 Qwen Audio 3.0 Realtime Plus (99.2%)。
➤ 速度：音频首包延迟排名第 4 (0.61s)，是指数前五名模型中速度最快的。
➤ 成本：每小时输入音频费用为 4.20 美元。
祝贺 @phonic_co 团队 🚀
详情见下文 ⬇️
Drama 3 的生成速度为每秒 66.6 个字符，优于其预览版 Drama 3 Preview (60.7) 和 Murf's Speech Gen 2 (63.0)，但逊于 ElevenLabs 的 Eleven v4 (70.0) 和 v3 Conversational (66.8)。
其定价为每百万字符 15 美元，低于 Gemini 3.8 Flash TTS (16.5美元)、Qwen-Audio-3.1-TTS-Plus (19.3美元)、Eleven v4 Turbo (40美元)、Sonic 3.6 (49美元) 及 Eleven v4 (80美元)。在 Provider Voice 榜单上，所有排名高于它的模型价格都更高。
Drama 3 已基于 Fish Audio 社区许可协议开放权重：https://t.co/WUuHgYME7m
查看 Artificial Analysis 文本转语音 (TTS) 排行榜上的顶尖模型：
https://t.co/3SRo8nQqrz
https://t.co/vGgbBtclQC
在 Speech Arena 中为模型投票：
https://t.co/NxOeBgRIkc
在 Speech Explorer 中探索音频样本：
https://t.co/FaBNP6ijC7
Fish Audio Drama 3 在 Artificial Analysis Speech Arenas 上是排名第一的开源权重模型，并在发音鲁棒性（Pronunciation Robustness）方面位居所有模型的首位。
@FishAudio 发布了 Drama 3。我们通过 Speech Arenas 和发音鲁棒性基准测试对其进行了评估。
核心要点：
➤ 文本转语音（提供者声音）：Drama 3 在 1,512 次竞技场测试中 Elo 分数为 1,278，排名总榜第 6，开源权重模型中位列第一。它比自身的 Drama 3 Preview（1,240 分）高出 38 分，比 BreezeBlue 的 Breeze TTS 2（1,228 分）高出 50 分。
➤ 文本转语音（受控声音）：Drama 3 在 1,958 次测试中 Elo 分数为 1,085，排名总榜第 12，开源权重模型中位列第一。领先于蚂蚁集团的 Ming-3.0-tts（1,068 分）及其自身的 Preview 版本（1,063 分）。
➤ 发音鲁棒性：Drama 3 在 2,157 个评分片段中得分 94.6%，排名第一，领先于 Ming-3.0-tts 和 Drama 3 Preview（均为 93.2%）。
➤ 生成速度：Drama 3 每秒生成 66.6 个字符，快于自身的 Drama 3 Preview（60.7）和 Murf 的 Speech Gen 2（63.0），但稍逊于 ElevenLabs 的 Eleven v4 (70.0) 和 v3 Conversational (66.8)。
➤ 价格：Drama 3 定价为 $15/百万字符。在“提供者声音”类别中，所有排名高于它的模型价格均更高：Gemini 3.8 Flash TTS ($16.5/百万字符)、Qwen-Audio-3.1-TTS-Plus ($19.3/百万字符)、Eleven v4 Turbo ($40/百万字符)、Sonic 3.6 ($49/百万字符) 以及 Eleven v4 ($80/百万字符)。
➤ 开源权重：基于 Fish Audio Community License 协议发布。
更多详情及试听样本请见下方 ⬇️
更多详情及完整结果请见：https://t.co/HOkb3MH6qC
Mistral Large 4 (高分) 的 Artificial Analysis 智能指数完整结果：https://t.co/jOCkY38LzN
Mistral Large 4 现已开放权重，以微弱优势成为非中国开发的排名第一的开源模型。
@MistralAI 发布了其旗舰模型 Mistral Large 4 的权重，总参数量为 1.05T，激活参数量为 52B。凭借强大的推理能力，Mistral Large 4 在 Artificial Analysis Intelligence Index v5 中得分 26 分，较 Preview 版本（25分）提升了 1 分，主要改进在于提高了 Token 利用率并减少了幻觉。其得分领先于美国开发的顶级开源模型 Muse Spark Open (xhigh, 25分) 1 分。
在 Artificial Analysis Cyber Index 中，Mistral Large 4 (high) 得分为 51 分，在现有开源模型中排名第三，仅次于 DeepSeek V4.1 Flash 1017 (max, 57) 和 MiMo-V2.6-Pro (56)。
核心要点：
➤ 微弱领先非中国开源模型：Mistral Large 4 (high) 领先于紧随其后的非中国开发开源模型 Muse Spark Open (xhigh)，在 Terminal-Bench 4.0 上差距最为显著（25% vs. 8%）。但在 Intelligence Index 指数上
同一机器人，同一任务，两种截然不同的书写风格。
➤ 左侧：Claude Opus 5.5 d 以点画方式书写“hello world”，共计 3,270 次机械臂动作，耗时 34 分钟。
➤ 右侧：GPT-6 Astra 采用连笔书写，仅需 514 次动作，耗时 13 分钟。
出自 AA-Robotics v0.1，采用模型第一视角。
查看更多示例：https://t.co/kdK54pA4Dv
完整结果：
https://artificialanalysis.ai/speech-to-text/non-streaming
方法论：
https://artificialanalysis.ai/methodology/speech-to-text
为了测试速度与性价比，我们在 DeepInfra 的托管端点上对 Nemotron 3.5 Transcribe 进行了基准测试。在 DeepInfra 上，其转录速度高达 75 倍（不到 1 秒即可完成 1 分钟音频的转录），每 1000 分钟仅需 2 美元。
NVIDIA 的 Nemotron 3.5 Transcribe 以 2.8% 的 WER（字错率）并列开源权重语音转文本模型第一，且仅需 4B 激活参数。
Nemotron 3.5 Transcribe 是 NVIDIA 推出的全新非流式语音转文本开源权重模型，总参数量为 30B，激活参数量为 4B。它是 NVIDIA 非流式语音转文本排行榜上准确度最高的模型。
核心要点：
➤ **准确率**：Nemotron 3.5 Transcribe 在 AA-WER 指数上取得 2.8% 的成绩，与 Mistral 的 Voxtral Small 并列开源模型第一。在我们的语音智能体对话数据集 AA-AgentTalk 上，其 WER 为 1.8%，领先于 Voxtral Small 的 2.3%。
➤ **模型规模**：凭借 4B 的激活参数量（总计 30B），Nemotron 3.5 Transcribe 在“AA-WER 与激活参数量”的效率表现上处于开源模型的最前沿。它在准确度上媲美 Mistral 的 Voxtral Small，但激活参数量仅为后者的六分之一（4B vs 24B）；而其他同规模的开源模型 WER 约为 4%。
祝贺 @NVIDIAAI 发布新模型！
详情请见下方 ⬇️
感谢 @cognition、@StevenDillmann 及 @terminalbench 团队、@CAIS、@scale_AI，以及 @MiniHui_zhu、@MinyangTian1、@haopeng_uiuc 和 CritPt 团队为本次更新提供的基准测试。
查看完整结果：https://artificialanalysis.ai/
方法论：https://artificialanalysis.ai/methodology/intelligence-benchmarking
Artificial Analysis Intelligence Index v5 weights:
➤ Knowledge Work (25%): AA-Briefcase (15%), AutomationBench-AA (5%), and GDP.pdf (5%)
➤ Coding (25%): FrontierCode 2.0 (15%) and Terminal-Bench 4.0 (10%)
➤ Science (25%): Terminal-Bench-Science (15%) and CritPt v2 hard subset
发布 Artificial Analysis 智能指数 (Intelligence Index) v5，包含 2 项新基准测试和 3 项升级。这是我们首次实现指数的大部分内容基于私有数据集构建。
Artificial Analysis 智能指数是我们衡量模型在反映当前真实使用场景的任务中综合能力的指标。v5 是自 1 月发布 v4 以来的最大升级。在 v5 中，60% 的指数评估基于私有测试集或留存答案。
在发布智能指数 v5 的同时，我们还推出了 Artificial Analysis 进度指数 (Progress Index) v1，通过统一的连续量表追踪模型能力的演进。
智能指数新增内容：
➤ FrontierCode 2.0：Cognition 最新发布的私有基准测试，针对真实编程任务，根据仓库维护者是否会合并 Agent 的更改进行评分。
➤ Terminal-Bench-Science：在终端环境中运行的 70 项智能体科学研究任务。
升级内容：
➤ HLE-Diamond（取代 Humanity's Last Exam）：Humanity's Last Exam 的精炼版，包含 1,000 个问题，推理与知识类题目各占一半。
➤ AA-Omniscience v1.1：更新后的数据集，移除了已饱和及公开的问题，增加了新问题，并修正了模糊或错误的问题。
➤ CritPt v2：包含 40 个难题的私有子集，由原作者修订并配合代码执行工具运行。
保留项：AA-Briefcase, AutomationBench-AA, GDP.pdf 和 Terminal-Bench 4.0
移除项：GDPval-AA v
恭喜 @cartesia 团队！
定价：Cartesia Managed Agents 的通话费用为 0.06 美元/分钟（3.60 美元/小时），LLM 使用费根据模型另行计费。
Speech Agent Arena 排行榜：https://artificialanalysis.ai/speech-to-speech/arena
基准测试概览与对话示例：https://artificialanalysis.ai/speech-to-speech/arena/overview
评测方法论：https://artificialanalysis.ai/methodology/speech-to-speech-benchmarking
Cartesia Managed Agents 在 Artificial Analysis 语音智能体竞技场（Speech Agent Arena）中获得了 1115 的 Elo 分数，比其早期的语音智能体产品 Cartesia Line 高出 98 分，任务成功率从 77.5% 提升至 91.7%。
Managed Agents 是 @CartesiaAI 推出的用于构建和部署语音智能体的全托管平台。它采用级联系统架构：由 Cartesia 自研的 Ink 语音转文本（STT）和 Sonic 文本转语音（TTS）模型围绕开发者选定的 LLM 构建。我们使用 GPT-5.5 作为底层 LLM，并采用 Skylar 和 Daniel 语音对 Cartesia Managed Agents 进行了评估。
核心要点：
➤ Speech Agent Arena：Cartesia Managed Agents 的 Elo 分数为 1115（95% 置信区间为 1086-1144，样本量 685），比 Cartesia Line 的 1017 分（95% 置信区间为 985-1049）高出 98 分。
➤ 智能体任务：在需要工具调用的任务中，Cartesia Managed Agents 的 Elo 分数为 1112。
➤ 任务成功率：在符合条件的工具调用对话中，91.7% 的对话最终以正确的任务完成工具调用结束。
向 @CartesiaAI 团队表示祝贺！
更多详情请见下方 ⬇️
See below for a breakdown of the individual evaluations in the Artificial Analysis Intelligence Index v4.3 for Ling 3.1 Flash 1019. https://twitter.com/ArtificialAnlys/status/2115155310252089494
在 Artificial Analysis 网站上对比 Ling 3.1 Flash 1019 与其他模型：https://artificialanalysis.ai/models/ling-3-1-flash-1019
Ling 3.1 Flash 1019 是 Ling 3.1 Flash 的继任者，也是一个开放权重模型。它在 Artificial Analysis Intelligence Index v4.3 上的得分从 41 提升至 44。
@AntLingAGI 发布了 Ling 3.1 Flash 1019，这是其推理模型的更新版本。该模型总参数量为 560B，激活参数量为 25B，支持 1M token 的上下文窗口。在 Artificial Analysis Intelligence Index v4.3 中得分 44，高于前代的 41。与 Ling 3.1 Flash 一样，该模型也是开放权重的。
关键结果：
➤ Ling 3.1 Flash 1019 的智能体（Agentic）能力较前代有所提升。在 AA-Briefcase v1.1 上，其 Elo 分数从 Ling 3.1 Flash 的 1397 提升至 1521（增长 124 分）；在 GDPval-AA v2.1 上，其 Elo 从 1617 提升至 1653（增长 36 分）；在 AutomationBench-AA 上，得分从 62% 提升至 68%。
➤ Ling 3.1 Flash 1019 的科学推理能力较前代也有所进步。在 Humanity’s Last Exam 上得分 43%（提升 4 个百分点）；在 CritPt 上得分 26%（提升 8 个百分点）。
➤ Ling 3.1 Flash 1019 在每个任务中使用的输出 token 数比前代更多。在 Intelligence Index 的各项任务中，其每个任务平均使用 145k 个输出 token，比 Ling 3.1 Flash 的 103k 高出 40% 以上。
➤ 在每任务成本为 1.49 美元的情况下，Ling 3.1 Flash 1019 虽然比 Ling 3.1 Flash 更贵，但智能水平更高。这主要是由于...
Check out MAI-Image-2.7-Preview for yourself on the Artificial Analysis AA-Image-Editing v2.1 Leaderboard:
AA-Image-Editing v2.1: https://artificialanalysis.ai/image/leaderboard/editing
MAI-Image-2.7-Preview 在实拍电影、消费级及前沿编辑任务中排名第一，并在 UI/UX 设计领域微弱领先。
使用场景用于衡量终端用户的任务量。在 10 个测试用例中，MAI-Image-2.7-Preview 在其中 4 项表现第一：实拍电影、消费级、前沿编辑以及 UI/UX 设计（在后者中，它以微弱优势领先于 GPT Image 2.5 Sunburst (max)，而后者在其余 6 项中领先）。
➤ 实拍电影：涵盖电影场景、剧照、分镜脚本和角色设定图。
➤ 消费级：涵盖书封、素材图和社论插画。
➤ 前沿：指当前及超越前沿的能力，需要综合多种编辑功能来生成单一且连贯的图像修改。
Microsoft 的 MAI-Image-2.7-Preview 在 AA-Image-Editing v2.1 测试中位列第二，仅次于 OpenAI 的 GPT Image 2.5 Sunburst (max)，且较 MAI-Image-2.6 有了显著提升。
MAI-Image-2.7-Preview 是 Microsoft AI 最新的图像编辑模型，旨在取代 8 月发布的 MAI-Image-2.6。
在我们的测试中，MAI-Image-2.7-Preview 在全部 7 项编辑维度上的得分均高于 MAI-Image-2.6，并在其中 4 项中排名第一：场景与风格编辑、文本或符号编辑、基于推理的编辑，以及增强与修复。相比前代，该模型在构图与取景（+57 Elo）、文本或符号编辑（+49）和场景与风格编辑（+48）方面的提升最为显著。其最佳应用场景为真人电影、消费级及前沿编辑，并在这些领域均排名第一。
MAI-Image-2.7-Preview 现已在 MAI Playground 上线，目前仅支持图像编辑，文生图功能即将推出。
祝贺 @MicrosoftAI 发布新模型！
请查看下方我们在 Artificial Analysis Image Arena 中对 MAI-Image-2.7-Preview 的详细分析及示例输出 🧵
体验 AA-3D Explorer：https://t.co/wTR93MZs8z
AA-3D 排行榜及完整结果：https://t.co/XyLVjhfPGi
体验 AA-3D Voting：https://t.co/UjBN6UyXzP
拍摄任意场景的照片或片段。
使用 Explorer 时，您可以保存场景照片或录制最长 60 秒的视频片段。“仅限 3D”模式会隐藏模型上的文字和按钮。每个场景都有专属链接，点击即可通过预览卡片直接跳转至对应的简报和模型。
在浏览器中探索 AA-3D 场景：选择任意任务，切换不同模型进行对比。
AA-3D Explorer 允许你从七大领域中选择一个指令，并逐一查看各模型构建同一场景的表现。你可以像我们的专家评审团投票前那样，在每个场景中进行操控、飞行和点击浏览。
明天。https://t.co/ufOlREWepV
以下是单一 Brief 的样本提交，包含各任务的成本与输出 Token 数。
涵盖模型：Claude Opus 5.5（最大值含回退，1536）、DeepSeek V4.1 Flash（最大值，1053）、MiniMax-M3 (724)、Nemotron 3 Ultra (304)
探索 Code2Video-AA：
排行榜与完整结果：https://t.co/UQTLA19oZi
方法论：https://t.co/7AoMPPTlK4
发布全文：https://t.co/1sR4BtSO0V
感谢 @HeyGen 提供 Code2Video Bench 以及 @HyperFrames_。
介绍 Code2Video-AA，这是我们对 HeyGen 的 Code2Video 基准测试进行的独立实现。该基准用于评估模型通过代码生成产品和品牌营销视频的能力。
Code2Video-AA 通过 114 个设计简报对模型进行测试，要求它们将每个产品或品牌营销需求转化为 @HyperFrames_ 的 HTML 组合，随后由我们将其渲染为视频。模型输出通过与其他模型的两两对比进行评估，涵盖五个维度：参与度、提示词意图、构图、时序一致性和工艺水平。我们根据对比结果计算每个维度的 Elo 等级，最后取平均值得出最终的 Code2Video-AA Elo 分数。Code2Video-AA 是与 @HeyGen 合作开发的。
Claude Opus 5.5 (max with fallback, 1536) 在 Code2Video-AA 中领先 93 分，但单次任务成本为 3.08 美元，约为 GPT-6.1 Sol (max, 1369) 的 10 倍，后者
查看 Cyber Index 完整结果，请点击：
https://t.co/wKqhPwmm0W
有意加入 Cyber Index Alliance 的机构，请通过 [email protected] 与我们联系。
Pasta Lab 已加入 Artificial Analysis 网络安全指数联盟，助力塑造 AI 网络安全基准测试的未来。
Pasta Lab 是一个由哥伦比亚大学、塔夫茨大学和加州大学洛杉矶分校（UCLA）成员组成的科研团队，专注于 AI 与安全研究。该团队还开发了 SRE-Bench，用于评估 AI 在逆向工程方面的能力。
我们期待与 Pasta Lab 以及现有的联盟成员 @CollinearAI、@IBM、@nvidia 和 @vercel 展开合作，进一步完善 Artificial Analysis 网络安全指数，并推进 AI 模型在真实网络安全任务中的评估。
欢迎致力于 AI 网络安全评估并有意加入该联盟的机构通过 [email protected] 与我们联系。
点击 https://t.co/pJlLMaeJOp 对比 GPT-6.1 Terra 与其他领先模型。
Artificial Analysis 智能指数 v4.3.2 各项评估细分：https://t.co/roah9Nas6p
OpenAI 发布了 GPT-6.1 Terra，突破了成本效率的前沿。这是自 GPT-5.6 以来首款 Terra 级模型，在智能更强的情况下，成本不到原来的三分之一。
Token 单价仅为 GPT-5.6 Terra 的一半或更低——每百万输入/输出 token 分别为 1 美元/5 美元，而前代模型为 2 美元/12 美元。缓存写入成本也减半，降至每百万 token 1.25 美元；缓存输入成本仅为四分之一，从每百万 token 0.20 美元降至 0.05 美元。
核心要点：
➤ **在低/中等投入下，智能与成本达到帕累托最优**：在最大化投入时，GPT-6.1 Terra 在 Artificial Analysis 智能指数上比 GPT-5.6 Terra 高出 6 分，而单次任务成本不到其三分之一（0.40 美元 vs 1.40 美元）。在较低投入水平下，提升幅度更大（7 至 13 分之间）。低和中等投入水平在成本效率上达到了帕累托最优，而其他投入级别则未达前沿。在最大化投入时，该模型的智能指数比 GPT-6.1 Sol 低 4 分，比 GPT-6 Luna 高 10 分。
➤ **突破了编程代理指数（Coding Agent Index）的成本效率前沿**：在最新发布的 Artificial Analysis 编程代理指数 v2.0 中，该模型得分为 4
Meta新发布的816B（42B激活）开源权重模型 Muse Spark Open 的测试结果已在 AA-AgentPerf 上线。初步测试显示，在使用4块 NVIDIA GB300 或 B300 GPU 时，该模型每兆瓦（MW）功耗的吞吐量可达约 1.5 亿 token/s。
Muse Spark Open 在 Artificial Analysis 智能指数中得分为 39。它是一个拥有 62 层的 MoE 模型，其中 46 层采用了 2,048 token 的滑动窗口注意力机制；相比全量注意力，这使 1
在此查看 Muse Spark Open 及其他模型的实时 AA-AgentPerf 结果：https://t.co/wMrnIWHOdW
Kimi K3.1 Pro 在智能体知识工作和编程领域处于领先地位，但初步迹象显示其在 AA-3D 上的排名可能较低。
我们仍在收集该模型在 AA-3D（衡量 AI 模型构建交互式 3D 场景能力的基准测试）上的 Elo 偏好投票。在智能体知识工作和编程方面，它在 GDPval-AA 和 Terminal-Bench 4.0 上均名列前茅。其前代模型 Kimi K3 在 AA-3D 的 22 个模型中排名第 12。
这是它生成的其中一个 AA-3D 场景：一段包含弧形弯道、树根、乱石阵、落差和跳跃的 492 米山地车下坡路段。演示视频展示了从顶端到底端的骑行过程，你可以在任何时刻接管转向、踩踏和刹车。
祝贺 @Kimi_Moonshot 发布新模型！
与 Kimi K3 相比，K3.1 Pro 在 Artificial Analysis 网络安全指数上提升了 23 个百分点，从 41% 升至 64%。这主要得益于 CyberGym-E2E-AA 指标从 58% 大幅提升至 95%，涨幅达 37 个百分点，创下了我们测试过的所有模型的最高分。https://t.co/Low95IAKBF
查看 Artificial Analysis 网络指数完整结果：https://t.co/wKqhPwmm0W
在 Artificial Analysis 网络防御指数中，Kimi K3.1 Pro 成为排名第一的公开可用智能体网络防御模型，仅次于受信任访问模式下的 GPT-6 Sol (Daybreak Blue)。
Moonshot 的 Kimi K3.1 Pro 在该指数中得分 64%，领先之前的公开可用模型 DeepSeek V4.1 Flash 1017 (57%) 达 7 分，仅落后于通过 OpenAI 受信任访问计划提供的 GPT-6 Sol (Daybreak Blue, max, 69%) 5 分。一旦 K3.1 Pro 的权重发布，它也将成为领先的开放权重网络防御模型。
Artificial Analysis 网络防御指数旨在衡量智能体在网络防御任务中的能力，由 CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA 三个基准组成。该指数主要通过公开 API 对模型进行评估，以反映开发者实际可用的网络防御能力。
OpenAI、Anthropic 和 Google 的闭源模型可能拥有更强的网络能力，但会因“安全拒绝”（safety refusals）而失分：通过 OpenAI 受信任访问计划提供的 GPT-6 Sol (Daybreak Blue, max) 比其公开版本高出 32 分。而 Kimi K3.1 Pro 未遇到任何安全拒绝问题。
核心结果：
➤ 公开可用模型第一，总榜第二：Kimi K3.1 Pro 得分为 64%，较 Kimi K3 (41%) 提升了 23 分，并领先 DeepSeek V4.1 Flash 1017 (57%)。仅受信任访问的 GPT-6 Sol (Daybreak Blue, max
Kimi K3.1 Pro 与其他模型的对比：
https://t.co/TM4v7FH0Z2
Kimi K3.1 Pro 在 Artificial Analysis 智能指数中的完整测试结果 https://t.co/XA2RO8IIUs
Kimi K3.1 Pro 在 Artificial Analysis 智能指数中以 55 分位列第四，其智能体（Agentic）性能实现大幅飞跃；一旦权重发布，它将成为顶尖的开源权重模型。
@Kimi_Moonshot 的这款新推理模型较 Kimi K3（最高 44 分）提升了 11 分。在智能指数上，它仅次于 Claude Opus 5.5（含回退机制最高 58 分）、Claude Sonnet 5.5（含回退机制最高 56 分）和 Muse Wonder Full（最高 56 分）。
一旦 K
DeepSeek V4.1 Flash 1017 在 Artificial Analysis 网络安全指数（Cyber Index）各项评估中的完整结果：https://t.co/KWAaWc6Tlk
更多详情及基准测试，请访问 Artificial Analysis：https://t.co/wKqhPwmm0W
DeepSeek V4.1 Flash 1017 已成为 Artificial Analysis 网络安全指数中排名第一的公开可用模型。尽管其他闭源模型可能具备更强的网络防御性能，但其访问受到限制。
@deepseek_ai 近期发布了 DeepSeek V4.1 Flash 1017，这是其旗舰开源模型 DeepSeek V4.1 Flash 的更新版本。凭借 57% 的 Artificial Analysis 网络安全指数得分，DeepSeek V4.1 Flash 1017 在网络防御能力方面位列公开可用模型之首。
Artificial Analysis 网络安全指数通过三个基准测试（CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA）来衡量模型在智能体网络防御任务中的能力。该指数主要通过公开 API 进行评估，反映了开发者实际可用的网络安全水平。
许多模型（尤其是 OpenAI、Anthropic 和 Google 的闭源模型）虽然防御能力可能更强，但常因“安全拒绝”导致总分降低。通过 OpenAI 受信任访问计划提供的 GPT-6 Sol (Daybreak Blue, max) 因拦截较少，得分比公开版本高出
在几乎所有共同测量的配置中，Coding Agent Index v2.0 的得分均低于 v1.5。在两个版本共同评估的 21 个配置中，平均得分从 54.8 降至 47.4，其中 20 个配置的得分有所下降。
这种变化主要源于 FrontierCode v1.1，其相同配置下的平均得分仅为 45.1%，而 DeepSWE v1.1 为 65.6%；此外，更严格的 SWE-Atlas-QnA-AA 评分标准也导致了部分降幅。Terminal-Bench 4.0 的得分保持不变。两个版本的得分差异反映了评估设置的不同。
探索 Coding Agent 指数 v2.0，包含各基准测试评分、单任务成本及 Token 使用量：
https://t.co/Nr1BHDEE6F
方法论与版本历史：
https://t.co/rrjpXMuHFh
Artificial Analysis 上的 FrontierCode v1.1：
https://t.co/K6lW7P2YEt
Hugging Face 上的 SWE-Atlas-QnA-AA 数据集及评判配置：
https://t.co/fRPzeOSBlE
发布 Artificial Analysis 编程智能体指数 v2.0：Cognition 的 FrontierCode v1.1 取代 DeepSWE，修订了 SWE-Atlas-QnA 评分标准；搭载 Claude Opus 5.5 的 Claude Code 以 61.7 分领跑。
今天我们正式发布编程智能体指数 v2.0。该指数评估模型及其配套的智能体框架，涵盖软件工程、终端使用和代码库问答三大领域（权重相等），共计 290 项任务。
更新日志 (Index v1.5 → Index v2.0)：
→ FrontierCode v1.1 取代 DeepSWE v1.1。FrontierCode 是由 @cognition 开发的基准测试，采用私有测试集：包含 100 个基于真实开源代码库的软件工程任务，评分标准为维护者是否会合并该更改。若未能通过阻断性检查（blocking check），则得分为零；若全部通过，则根据满足的非阻断性检查数量获得 70% 至 100% 的分数。我们还使用 Cognition 修改版的规则扫描器对每个执行轨迹进行扫描，任何被标记为访问了解决方案素材的尝试都将计为零分。
→ 修订 SWE-Atlas-QnA 评分机制，现更名为 SWE-Atlas-QnA-AA。Scale AI 的 124 项代码库问答任务保持不变。我们重新编写了 1,306 项评分准则中的 127 项，以确保判定结果更加一致，并将裁判模型更换为 GPT-6 Luna (xhigh)，每项准则进行五次投票。数据集和裁判配置已发布在 Hugging Face 上。
核心结果：
➤ Claude Opus 5.5 领跑指数：搭载 Claude Opus 5.5 (max) 的 Claude Code 得分为 61.7，紧随其后的是搭载 Claude Sonnet 5.5 (m...
在 AA-PersonalityBench 中，智能较低的模型通常 Slop（废话率）更高，但顶尖模型之间的 Slop 差异依然巨大。
➤ 智能水平相同但 Slop 排名截然相反：GPT-6 Sol 和 Muse Spark 1.3 的智能指数均为 48，但 Slop 排名分别为第 1 和第 80。
➤ 高智能伴随高 Slop：Muse Spark 1.3 (80)、Qwen3.8 Max (75) 和 Gemini 4 Argon (70
创建你的个性排行，并在 AA-PersonalityBench 页面查看更多详细结果。
阅读全文：https://t.co/b4SfNkoiqh
查看结果：https://t.co/CVJuRfB5bJ
研究方法：https://t.co/CGfYvAve9t
蚂蚁集团推出的 Ming-3.0-tts 仅用 0.5B 的参数量就实现了顶级的文本转语音（TTS）质量。该模型采用 MIT 协议开源，表现远超其参数规模。
它是我们所有 TTS 排行榜前三名中，唯一一个参数量低于 1B 的模型。在我们的 Controlled Voice Arena 排行榜前十名中，其他开源权重 TTS 模型均在 3.5B 或以上。这意味着 @AntLingAGI 的 Ming-3.0-tts 仅用少 7 到 70 倍的参数量，就达到了同等水平。
链接见下文 🧵
Hugging Face 模型权重 (MIT 协议): https://t.co/0ZV5FiNUWn
Ming-3.0-tts 在 Artificial Analysis 的评测: https://t.co/T52t1iy1LF
可控语音 TTS 排行榜: https://t.co/LEq82JY7Kh
在 Speech Explorer 中试听样本: https://t.co/v07XWB0aN5
包含完整结果的发布帖: https://t.co/ppWVeHjHNr
在 Artificial Analysis 查看完整结果：https://t.co/egA1Vz0le2
个人成绩明细 https://t.co/CrOKxgXv30
Subquadratic 发布了 SubQ Snap 1.1。凭借极低的幻觉率，该模型在 Artificial Analysis Decision Index v1.0 指标上与 d1-ultra 和 Elephant 9B 并列第一。
SubQ Snap 1.1 是 @subquadratic 推出的全新决策模型，每百万输入 token 价格为 0.04 美元，支持 384K 的上下文窗口（相比之下，d1-ultra 为 32K，Elephant 9B 为 16K）。
核心要点：
➤ SubQ Snap 1.1 在 Artificial Analysis Decision Index v1.0 中得分 65，与 d1-ultra 和 Elephant 9B 并列第一；这三个模型领先第二名 Jev 1.14 (57分) 高出 8 分。
➤ SubQ Snap 1.1 在 AA-Omniscience-Decision 中的优异表现得益于极低的幻觉率：其非幻觉率为 86%，仅次于 Elephant 9B (93%)，领先 d1-ultra (85%)。其准确率为 20%，而 d1-ultra 为 32%，Elephant 9B 为 12%。“非幻觉率”是指在回答错误的题目中，模型选择“我不知道”的比例。
➤ SubQ Snap 1.1 在 HLE-MultiChoice 测试中得分为 18%，与 Elephant 9B 持平，领先 d1-ultra (15%)。HLE-MultiChoice 是 Humanity's Last Exam 的纯文本多选题子集。
➤ SubQ Snap 1.1 每百万次任务的成本为 30 美元，与 d1-ultra ($32) 相当，约为 Elephant 9B ($8.4) 的约 3.6 倍（后者得分同样为 65）。
与 v1 一样，我们将通过与 CritPt 团队合作提供其评分 API 的访问权限。经批准的实验室和研究人员可免费使用。
查看完整结果：https://t.co/s21lRTDBIp
CritPt 项目官网：https://t.co/dWFJsqlWZV
CritPt v2 已在 Artificial Analysis 上线：作者重新审视了全部 70 个研究级物理挑战，模型现在可以通过代码执行工具来解决这些问题。
根据研究社区的反馈，CritPt 团队与物理专家合作者重新审查了每一项挑战，修正了表述不明确、错误及拼写问题，并提升了评分器的稳定性。我们现在以智能体（agentic）模式运行 CritPt v2：模型可以在带有计算工具的离线沙盒中编写并运行代码。
我们将在 10 月下旬更新智能指数（Intelligence Index），届时将包含 CritPt 的相关变更。
核心要点：
➤ OpenAI 的最新发布位居榜首：GPT-6 Astra (max) 和 GPT-6.1 Sol (max) 分别以 83% 和 82% 的得分最高，随后是 Claude Opus 5.5 (max with fallback) 为 78%，以及 GPT-5.6 Sol (max) 为 75%。
➤ CritPt v2 展示了研究级物理前沿领域的飞速进展：2025 年 8 月发布的 GPT-5 (high) 在 CritPt v2 上得分为 29%，比 GPT-6 Astra (max) 低了 54 分。
感谢 @MiniHui_zhu, @MinyangTian1, @haopeng_uiuc 以及整个 CritPt 团队在本次修订中的努力与持续合作。
CritPt v2 的得分普遍高于 v1，两者不具直接可比性。GPT-6 Astra (最高分) 在 v2 上达到了 83%，而 v1 时仅为 32%。两项变化均有贡献：测试显示，得分提升主要源于挑战内容的修订，代码执行工具带来的增益较小。随着领先模型的得分已突破 80%，CritPt v2 为顶尖模型留下的提升空间比 v1 更小。
与 v1 相同，我们将通过与 CritPt 团队合作提供 CritPt 评分 API 的访问权限。经批准的实验室和研究人员可免费使用。
查看完整结果：https://t.co/s21lRTDBIp
CritPt 项目网站：https://t.co/dWFJsqlWZV
CritPt v2 的评分普遍高于 v1，两者不可直接对比。GPT-6 Astra (最高分) 在 v2 上的得分为 83%，高于 v1 的 32%。两项变化均有影响：测试显示，大部分涨幅源于挑战内容的修订，代码执行工具带来的增益较小。随着顶尖模型得分已突破 80%，CritPt v2 为前沿技术留下的提升空间比 v1 更小。
利用 AA-PersonalityBench 评估的人格特征，构建专属的自定义人格套件。
定制你的性格排行：https://t.co/k3eWUHYqi5
阅读全文：https://t.co/b4SfNkoiqh
查看结果：https://t.co/CVJuRfB5bJ
研究方法：https://t.co/CGfYvAve9t
定制你的性格排名，前往 AA-PersonalityBench 页面查看更多详细结果。
阅读全文：https://t.co/b4SfNkoiqh
查看结果：https://t.co/CVJuRfB5bJ
研究方法：https://t.co/CGfYvAve9t
In AA-PersonalityBench, Anthropic models are generally the most Information Dense and Literate of all models measured
➤ Most Information Dense: Claude Fable 5.1 (100), Claude Opus 5.5 (97), Claude Sonnet 5.5 (95) and Claude Haiku 5.5 (92)
➤ Most Literate: Claude Haiku 5.5 (100)
➤ 排行榜：https://t.co/kWFYFvGAFv
➤ 方法论（含 DeepSeek 搜索设置）：https://t.co/hVgaJpazhr
➤ Stirrup：我们用于所有搜索 API 评测的开源 Agent 框架：https://t.co/ZvOaRLvCbZ
搜索 API 提供商可联系我们加入本次基准测试：https://t.co/aIKb5jlqQr
DeepSeek Search 在事实性问题上表现最强，但在多跳浏览任务中相对薄弱。其 AA-Omniscience 得分为 70%，落后领先者 3 分；DeepSearchQA 的 F1 为 75，BrowseComp 得分为 63%。https://t.co/I91MOj71SE
单任务耗时包含搜索时间和模型时间。DeepSeek Search 的平均搜索响应约为 0.5 秒。
其单任务耗时约 40 秒，而其他产品的范围在 15 秒（Octen）到 61 秒（Firecrawl）之间。
其中大部分是模型时间（34 秒，为榜单中最高）：在使用 DeepSeek 的搜索结果时，模型在每个任务中生成的推理和回答 token 数比其他任何搜索提供商都多。而单次任务的搜索耗时仅约 6 秒。
单任务总成本由搜索和模型推理两部分组成。
DeepSeek Search 的单任务成本约为 0.032 美元：其中搜索成本约 0.0085 美元（按每千次搜索 0.75 美元计），模型成本约 0.023 美元。搜索仅占总成本的 27%。由于 DeepSeek 返回的结果量更大，主要的成本在于模型而非搜索。
在 Artificial Analysis 的“搜索指数 vs 单任务成本”对比中，DeepSeek Search 处于成本前沿线之下：Octen (77) 的单任务成本约为 0.024 美元，以更低的成本获得了更高的评分。
DeepSeek Search 在 Artificial Analysis 搜索指数中首次亮相，得分为 69 分（27 款产品中排名第 17），且是榜单上所有付费搜索 API 中价格最低的。
@deepseek_ai 于 10 月 17 日发布了其搜索 API。我们在 Stirrup Agent 测试框架中对其进行了基准测试，由 GPT-5.6 Luna (medium) 调用 DeepSeek Search 作为其 web_search 工具，以完成 BrowseComp、DeepSearchQA 和 AA-Omniscience 的组合任务。
DeepSeek Search 每千次搜索仅需 0.75 美元，单次搜索成本低于我们测试的所有其他付费 API（Octen、Parallel (turbo) 和 Parallel (fast) 均为 1 美元）。按单次任务约 0.032 美元计算，它在 27 款产品中排名第 5 低，比其他 25 款 API 中的 20 款更便宜（中位数为 0.066 美元），并与 Nimble (lite) 持平。TinyFish、Octen 以及 Parallel 的两个版本价格更低。
DeepSeek Search 关键基准测试结果：
➤ Artificial Analysis 搜索指数：得分为 69 分，比同模型在无搜索状态下（33 分）提升了 36 分。表现介于 TinyFish (71分) 和 Linkup (standard, 68分) 之间。
➤ AA-Omniscience 是其表现最强的基准：在我们专有的事实性回答测试中准确率达到 70%，在 27 款产品中排名第 10，仅落后
在 MLCR-AA 和 HealthBench Professional 测试中，Anthropic 模型提供的答案最完整，但 OpenAI 模型更准确且简洁。
我们对比了 14 个模型在 @wisedocsai 的医疗长文本推理基准 MLCR-AA 以及 @OpenAI 的 HealthBench Professional 上的表现。MLCR-AA 根据长病历回答的完整性（是否涵盖专家答案的所有要点）和准确性（是否存在与记录矛盾的内容）进行评分，得分需兼顾两者。HealthBench Professional 则根据医生编写的标准对临床回复进行评估：原始分是得分点占比，而长度调整后的分数会对冗长的回答进行扣分。
核心结论：
➤ **Anthropic 模型在完整性和原始得分上领先**：@AnthropicAI 的 Claude Sonnet 5.5、Opus 5.5 和 Fable 5.1（均为含回退机制的最高分）占据了 MLCR-AA 完整性前三名，领先 OpenAI 最优模型约 19-23 分；Opus 和 Sonnet 在 HealthBench Professional 的原始得分也最高（分别为 71.4% 和 70.8%），微弱领先 GPT-6 Astra (69.7%)。
➤ **OpenAI 模型在准确性和简洁性上领先**：OpenAI 模型占据了 MLCR-AA 准确性的榜首。回答越长，被判定为不准确的可能性就越大，因为每多出一个论
查看 MLCR-AA 完整结果：https://t.co/z356A86kaJ
查看 HealthBench Professional 完整结果：https://t.co/c5nUm5ZADE
创建你的性格排行，并在 AA-PersonalityBench 页面查看更多详细结果。
阅读全文：https://t.co/b4SfNkoiqh
查看结果：https://t.co/CVJuRfB5bJ
研究方法：https://t.co/CGfYvAve9t
@AIatMeta 在 AA-PersonalityBench 页面打造专属性格排名，并探索更详尽的结果。
阅读全文：https://t.co/b4SfNkoiqh
查看结果：https://t.co/CVJuRfB5bJ
研究方法：https://t.co/CGfYvAve9t