如果你曾观察过大型语言模型（LM）如何通过 MCP 等工具与软件交互，或者仅仅看过它返回一个需要代码解析的答案，你总会遇到结尾处那略显尴尬的时刻。LM 以文本思考并生成文本，但另一端的系统并不真正想要文本，它需要一个决策。如果解析失败，我们该怎么办？是反复输入“请只返回批准或拒绝”，别无他物，还是乞求一个动态系统始终如一地生成特定内容？这意味着我们现在面临两个极端：一端是可靠但僵化的确定性系统；另一端则是灵活智能、却具有概率性且随时准备生成任何它认为合适的字符串的 LM，只要宇宙允许。

几周前，一个名为 Jev 的新 AI 模型因其与现有 LM 截然不同的特性而迅速走红。显然，这可能是真正连接 LLM 和软件的关键缺失环节。但在深入探讨之前，就像 Jev（注：原文此处误拼为 Jeff）是单语言模型一样，许多当前的文本转语音（TTS）模型也是单语言的。如果你想围绕它构建应用，有时你必须为不同语言管理单独的模型，仅为了原型设计就要启动基础设施。如果使用付费版本，你要么需要预先付款、处理有限的试用，要么付费以获取 API 访问权限。

这正是今天赞助商 Fish Audio 的用武之地。Fish Audio 是一个专为创作者和开发者构建的专业 AI 音频平台。他们最近推出了 S2.1 Pro，这是一个免费的文本转语音 API，在公平使用原则下直到 11 月底没有硬性用量限制。它在一个模型中支持 83 种语言，无按语言定价的费用，并且具备语音克隆、通过 API 进行文本转语音、通过 SDK 进行的实时流式传输以及对智能体工作流的 MCP 支持。

这对于你的语音智能体、语音驱动应用、有声书工具，甚至是语音克隆原型设计来说都完美适用。无需预先承诺预算或运行自己的 GPU 设置即可实现上述功能。此外，你可以添加自然语言内联标签，就像你在指导配音演员一样。例如疲惫的语气、兴奋的 laughter [笑声]、清嗓子 [clears throat] 或悲伤的叙述。[音乐] 这些标签会影响语音的输出效果，因此你可以构建听起来更具表现力的角色、旁白者、智能体或应用体验。

如果你正在构建智能体管道，他们的 MCP 支持可以将 Fish Audio 接入“LM + 语音”堆栈，让你轻松构建实时虚拟形象、语音助手或 AI 伴侣应用。因此，如果你想尝试使用表现力丰富的 AI 声音进行构建，请通过描述中的链接查看 Fish Audio 的 API 和 MCP。感谢 Fish Audio 对本视频的赞助。

无论如何，这个名为 Jev（注：原文后段混用 Jeff）的新 AI 模型由 Typesafe AI 发布，该公司由 Diego Almeida 创立，他是最终导致 ChatGPT 诞生的指令跟随工作背后的研究人员之一。老实说，他们的宣传非常惊人。他们表示基本上在走与每个试图让模型生成更多内容的 AI 实验室相反的道路。相反，他们设计 Jev 完全放弃自由形式的生成，几乎专注于让软件可以直接消费的决策，从而创造出他们所谓的“系统一”模型。

这里的“系统一”基本上是指心理学中关于快速且近乎本能决策的术语，而“系统二”则描述需要更多努力、更慢但更慎重的推理。因此，Jev 并不试图表现得像一个逐步思考并生成答案的模型；它更接近于一个学习决策函数，快速选择有效结果并返回软件可直接使用的内容。

因此，与其给 Jev 一个提示并要求它生成答案，不如给它一些非结构化状态，定义你想要做出的决策，并预先指定可能的输出。例如，假设你有一个客户支持工单，显示某人被收取了两次费用。使用正常的 LLM 时，你可能会询问哪个部门应该处理此事，然后希望它以软件期望的确切格式返回类似“账单”的内容。

但 Jev 根本不需要首先将单词“billing”生成为文本。你可以定义可能的选择为账单、欺诈或技术支持，它直接返回这些选择的概率分布。这是 Jev 可以返回的三种决策类型之一，称为“选择”。就像前面的例子一样，你只需给 Jev 一组可能的答案（最多 255 个），它不是将其生成为文本，而是对所有选项进行评分，并返回最可能的选择以及概率分布。

但有时你从模型中想要的并不是一个类别。也许你想了解这个客户支持响应有多好。为此，Jev 有另一种输出类型称为“评分”，你不是给它相关选项，而是定义一个有序量表。Jev 然后在这些级别之间返回分布并将它们组合成一个分数。因此，如果大部分概率位于“好”和“优秀”之间，结果实际上可以落在两者之间的某个位置，而不是被迫落入一个离散的桶中。

第三种类型称为“新”，即让 Jev 回答真或假。但除此之外，它还直接给你 yes 和 no 的概率。因此，对于“这笔交易是否欺诈”这样的问题，你可以得到 0.87，这意味着 Jev 认为有 87% 的概率是欺诈。虽然与生成文本相比，这种区别听起来很小，但在计算上它实际上产生了巨大的差异。

正常的自回归 LM 必须一次生成一个 token 的输出。它预测第一个 token，将其附加到序列中，再次运行模型以预测下一个 token，并不断重复此过程直到响应完成。因此，即使你只想要一个微小的决策，你也必须经历整个自回归生成过程，以便将结果转换回你的程序可以理解的内容。

Jev 基本上抛弃了整个过程。你仍然可以给它上下文，但如果你的程序只允许三个可能的动作，它在处理上下文后只需返回这三个选项的概率分布。这种简单性赋予了 Jev 在端到端延迟方面约为 70 到 500 毫秒的操作能力。在他们自己的工作流基准测试中，他们声称在这些决策任务上比前沿生成模型快约 194 倍且便宜 445 倍，但

仅针对决策任务，因为它无法生成文字。话说回来，定价可能是最让人惊讶的地方。Jev 每百万输入 token 仅需 4.2 美分，而输出实际上是免费的，因为便宜到甚至不值得计量。因此，如果任务只是查看某些上下文并做出决策，Jev 有可能以调用完整生成式大语言模型的一小部分成本来完成。

但更有趣的是，它还可以位于智能体或框架内大语言模型之后，将模型的混乱动态输出转换为刚性的软件状态，供系统其余部分安全地执行操作，而不是依赖同一个生成模型既进行推理又完美格式化其下一个动作。此外，Type Safe 还试图让该决策的置信度真正被软件所利用。

他们有一种称为 RLCD 的训练方法，即用于校准决策的强化学习（Reinforcement Learning for Calibrated Decisions）。其理念是，Jev 不应仅选择最可能的选项并在旁边抛出一个任意的置信度分数。如果模型表示它有 90% 的把握，Type Safe 希望这个数字表现得像一个真实的概率：在约 90% 置信度下做出的决策，实际上应在大约 90% 的时间内是正确的。

这使得输出比普通的分类器分数有用得多，因为概率本身可以成为软件逻辑的一部分。例如，如果 Jev 极度自信，框架可自动执行操作；如果不确定，则请求人工批准；如果置信度降至某个阈值以下，则将问题交还给更大的推理模型。

这是一个绝妙的功能，因为通过校准的概率，框架可以将其转化为实际的策略控制。因此，Jev 开始看起来不仅仅是一个分类器。在 X（原 Twitter）上，有许多示例展示了 Jev 2 的一些复杂用例，如使用 GT6 Astro 和 Jev 击败《我的世界》、帮你交易金钱让你损失 31,000，以及听你唠叨以治愈你的衣橱选择困难症。

因此，根据 Type Safe 创始人的说法，他基本上暗示 Jev 可能是将超人级聊天模型转化为通用人工智能（AGI）的关键。那么，如果这个想法重要到足以成为 AGI 答案的一部分，为什么我们直到现在才看到它？

我脑海中浮现的第一个问题是：它是如何以这种架构发挥作用的，尤其是价格极其低廉。开发过程中的一些痕迹可以为我们提供一些关于 Jev 内部工作原理的线索。因此，虽然没有详细的技术报告向我们展示确切的架构，甚至没有说明 Jev 实际上有多少来自现有模型家族，但我们基本上必须反向工作，根据其功能找到其最近的亲属。

其中最明显的一个是 Gleaner 2 和 Gleeguard，均由 Fastino AI 公司于 2025 年 7 月和 2026 年 5 月开源。Gleaner 2 采用相同的总体思路，将模式本身作为输入的一部分。因此，不是围绕固定的分类头训练一个模型，而是给它不同的任务定义、不同的标签甚至同时处理多个任务，然后在单次前向传递中一起评估它们。

然后是 Gleeguard，它有着非常相似的动机：当前的模型护栏模型正在将本质上是一个分类问题的东西不必要地重新表述为自回归文本生成。在底层，Gleaner 2 和 Gleeguard 都使用类似 BERT 的双向编码器。因此，与只能在生成下一个 token 时从左到右注意的自回归语言模型不同，双向编码器允许每个 token 同时关注整个输入。

因此，他们一起输入文本、任务定义和所有可能的标签，然后直接对这些标签进行评分而不生成任何响应。每个任务和每个可能的标签都在输入中用特殊 token 标记。因此，在 Transformer 处理完所有内容后，每个标签都获得了自己的上下文表示，该表示已经了解了完整文本、它所属的任务以及周围的其它标签。

之后，一个小型共享的多层感知机（MLP）将这些表示转换为标量逻辑值。当只允许一个答案时，Softmax 将它们转换为概率分布；而当多个标签可以同时为真时，Sigmoid 则处理这种情况。因此，与其让上下文生成“这是不安全的”，你会得到类似“上下文加上安全和不安全的选项”的结果，并为标签分配概率，所有这些标签都在同一个非自回归的前向路径中一起评估。

因此，它速度很快，且相对于输入而言输出成本相对较低。Gleeguard 甚至报告称，其吞吐量比它所比较的规模大得多的自回归护栏模型高出多达 16 倍，延迟低 17 倍。但当然，这仍然不是 Jev。虽然它们已经包含了 Jev 背后的大多数架构思想，但它们仍然是作为专门的模式条件 NLP 模型进行训练的。

这意味着尽管你可以动态更改模式和标签，但它所理解的问题类型仍然受限于其训练过的任务家族。而 Jev 可能只是当你采用相同的总体思路，大规模扩大训练分布并专门针对任意决策和校准进行训练时所发生的情况。这样模型可以从自然语言理解新的决策问题，并在运行时接受完全不同的有效答案集，且 resulting 概率足够可靠以直接控制软件。

然而，复制像 Jev 这样的东西有多难呢？因为如果 Jev 极其便宜，那么模型相对较小且更容易制作的可能性很大。因此，有一个名为 LIA 的项目由 Con AI Innovations 在 Jev 发布仅两天后公布，这是一个开源的系统一模型，基本上创建了与 Jev 相同的公共接口。

与仍然围绕信息提取和分类框定的 Gleaner 2 不同，Laia 明确表现得像一个通用决策引擎。其架构也完全透明。主要的 Laia 检查点使用一个拥有 3.95 亿参数的现代 BERT Large 双向编码器。然后在顶部添加一个小型决策头，包含两个 Transformer 层、一个选项标记评分器和一个升级头，使整体参数达到约 4.21 亿。在包含 2,000 个决策的类型化决策基准测试中，基础的 Laia 检查点获得了大约……

而经过基准测试微调的版本达到了76.6%。但Jev在没有进行任何微调的情况下获得了约72%的成绩。在延迟方面，Lia约为16毫秒，而通过API调用时Jev的延迟约为117毫秒。在一些其他基准测试中，如Banking 77，Lia仍然落后于Jev。此外，在类型决策基准测试中匹配完整概率分布时，Lia的表现最差，即使其首选准确率更高。因此，Jev在处理大型动态动作空间并保留有用的概率分布方面似乎表现得更好。

另一方面，还有一篇名为Vaugh的开源出版物。Vaughn基本上试图直接构建Jev的理念。它暴露了类似的System One接口，无需自回归生成即可评估任意选择，并且甚至设计为与Jev的API格式兼容。在架构上，它看起来同样普通。Vaughn也使用了一个3.95亿参数的双向现代BERT编码器，以及一种选项标记器风格架构，其中候选选择表示在输入中，并通过一次前向传播直接进行评分。

与Lia的一个区别在于，Vaughn明确关注Jev heavily强调的部分，即校准概率。除了训练使正确选项得分最高外，Vaughn还将标准交叉熵与先验评分损失相结合。当概率分布本身校准不佳时，该模型也会受到惩罚。训练后，它在保留数据上应用温度缩放以进一步校准这些概率。因此，当你得到正确答案且模型给出约80%的置信度时，实际上意味着该模型在大约80%的情况下应该是正确的。

Vaughn还附带了更好的基准测试，其模型在GPU或Apple Silicon上本地运行的延迟为18毫秒，仅次于Lia的16毫秒。但在性能方面，Vaughn是所有开源替代品中最好的。与Jev相比，它在大多数任务上仍然落后，唯一表现更好的是在玩Doom时。然而，这仅仅表明我们现在有了多个独立的实现收敛于基本相同的配方。

诚然，这里重要的部分不是Lia或Vaughn在某些基准测试中是否胜过Jev。而是某种极其类似Jev的东西已经可以在如此短的时间内，从一个相对较小的现代BERT编码器中以轻量级的决策方式构建出来。不仅如此，由于它非常小，你很可能在自己的电脑上免费运行它。而且该领域发展也非常迅速。

Jeb发布后一周多，Fino AI发布了Cleaner 2.5 Decide，这是一个更大的3.4亿参数BERT编码器模型，似乎以巨大优势超越了Lia和其他开源决策模型。然后在9月29日的OpenAI开发者日上，他们也预告了自己的Jeb版本，即决策API。同一天，Liquid AI也发布了他们自己的多语言决策模型D1，这是Jeb所缺乏的。

由于这种类型的模型还很新，可能还有大量替代方法可以探索，因为有些人已经尝试将现有的自回归LLM转换为像这些决策模型一样工作。也许让现有LM这样做会有更好的性能，因为它们是在更多数据上训练的。然而，这种转换出奇地简单。一个名为System One的开源项目使用完全正常的Qwen模型实现了这一点，而不是让模型生成像“选项三是最佳选择”这样的陈述。

它格式化提示词，使模型接下来应该生成的只是一个选择索引，然后你直接读取允许选择的对数概率。如果选项是0、1、2和3，它会查看LM已经分配给每个令牌的概率多少，将它们归一化并停止。因此不会生成任何句子。如果有关于同一状态多个问题，你可以缓存共享上下文一次，然后并行评估所有不同的问题后缀。

在他们的Doom演示中，使用Qwen 3AB和System One设置，作者报告动作之间的延迟约为172毫秒，而使用相同模型和提示词进行普通工具调用时则约为600毫秒。而且这个项目并不是唯一一个探索基本相同技巧的项目，尽管它们提取决策的方式并不完全相同。另一个名为Open Jeb的项目在实现上走得更远，它重新利用了多种不同的模型，包括Qwen 3.54B。

与仅对每个选项评分单个下一个令牌不同，它对整个候选答案字符串进行评分。简单解释一下，它读取上下文一次并缓存该上下文，然后尝试将每个可能的答案作为不同的结尾，并对相同的上下文进行评分。因此，当你的选择是简单标签时，第一种方法极其廉价；而当可能的动作是全工具调用、更长命令或结构化候选响应时，第二种方法更灵活。

但这与Jeb仍然非常不同。这是一种重新利用旨在预测文本的自回归LM，然后使用其对数概率作为决策分数。因此它们的概率不一定针对决策进行校准。只是通过移除生成并直接评分候选项，许多行为已经可以重现。归根结底，我认为Jeb的影响不在于一种完全新的架构彻底改变AI景观，而在于认识到需要一个专门的决策模型来桥接灵活的LM推理和确定性软件。

特别是在概率推理必须成为确切决策的那个点上。但你怎么看？请在评论中告诉我。如果今天的架构分解让你想更深入地了解OM，我的平台intuitive.academy可能正是你开始学习的地方。该平台专注于帮助你建立对LM背后关键概念的直观理解，从基础一直到高级主题如混合专家模型和模型优化。

而不是用令人望而生畏的数学轰炸你，我们要确保你先完全理解更高层的逻辑，这样当你接触到技术细节时它们才说得通。除此之外，我们最近添加了一个新的测验系统，在每个章节后测试你的理解能力，并设有每周排行榜以增加学习的竞争性。我们还刚刚发布了一个新的……

本章旨在直观地拆解线性注意力机制，这是当前前沿概念之一，也是 Kimik3 和 Quinn 模型的基础。因此，如果你在工作中使用大型语言模型（LLMs），正打算转型进入该领域，或者希望投身于大模型研究，不妨通过描述栏中的链接查看相关内容。请使用我们的限时优惠码“Back to School”，享受年度会员五折优惠。

感谢大家的观看。特别鸣谢 Spam Match、Chris Loo、Degan、Robert Zaviasa、Poof 以及 Enu DX Research Group，还有 Alex Leo Halawani 等众多通过 Patreon 或 YouTube 支持我的朋友们。如果你还没有关注我在 Twitter（现 X）上的账号，请记得关注我，我们下期再见。