我想谈谈Jev模型。Jev是初创公司TypeSafe推出的一款新型AI模型，它有些与众不同，因为它并不生成任何文本。相反，它是通过从列表中选择一个答案并给出每个选项的概率来回答问题。TypeSafe因此创造了一种新型AI模型，称为“系统一”（System 1）模型。这一名称借用于丹尼尔·卡尼曼在其著作《思考，快与慢》中提出的概念。
卡尼曼描述了两种人类思维模式：第一种被称为“系统一”思维，它是快速且自动的。例如，“2乘以2等于多少？”你会立刻知道答案是4，无需在大脑中费力计算。这就是系统一思维。另一种思维模式被归类为“系统二”（System 2）思维，它是缓慢且刻意的。如果我问你17乘以24是多少？你可能需要一步步计算才能得出结果，或者查看你的提词器上的答案——也就是408。
目前我们使用的许多AI模型都是用来生成文本的，聊天机器人通过前向传播过程一次一个标记地输出答案。而推理模型则更进一步，它会写出其思维链（Chain of Thought），让我们能看到它的思考过程。这基本上就是AI所能达到的最接近“系统二”模型的状态。然而，软件内部的大量决策其实并不属于系统二的范畴，它们更像是快速的判断性决定。
让我举一个例子来说明这一点。假设我们收到一封来自客户支持团队的邮件，内容是：“我本月被扣了两次款，请修复。”那么我们要如何回复这封邮件呢？处理该邮件的软件可能需要回答三个类型的问题。第一个问题是：这是退款请求吗（是或否）？第二个问题可能是：哪个团队需要处理这封邮件，也许是账单团队、技术支持团队或销售团队？第三个问题是：这个请求有多紧急？我们需要多快做出回应。
一个人快速浏览这封邮件时，会立刻知道这是退款请求（即“是”）。这种工作属于系统一的范畴。而Jev正是为这类任务设计的。如今，使用大型语言模型（LLM）自动化处理此类支持邮件的常见方式是将邮件发送给LLM，并要求以结构化格式返回答案。通常我们会让大语言模型输出标记（tokens），这些标记可能代表JSON等格式。
这种方法大部分情况下有效，但它无法提供模型对答案确定性的可靠感知。大型语言模型有多确信自己答对了这些问题？我们可以询问模型，但它给出的回答未必能真实反映其实际概率。因为LLM在生成答案时并不提供置信度分数，而Jev则会给出概率。因此，如果我们向Jev发送这些问题，我们将得到截然不同的响应结果。
Jev接收两个输入：一是被称为“状态”（State）的数据，即决策所依据的信息。这可能包括我们的支持邮件以及最近的客户扣款记录等所有输入Jev模型的数据；二是将每个问题作为输入传入。这三个问题实际上是三种不同类型的问题：退款是一个是非题（Yes/No）；TypeSafe称之为“空团队”问题，即选择属于哪个团队的决策（从列表中选择一个选项）；以及紧急程度评分，范围从低到危急。
所有这三个问题都在单个请求中提交。与LLM一次一个标记地输出JSON答案不同，Jev不生成任何文本，因此所有三个答案会同时返回。这也是为什么在这些类型的问题上，Jev比LLM快得多且成本更低的原因。既然我们提供问题作为输入，而Jev不给你文本输出，那么返回的是什么？它返回的是概率。
对于退款问题，它将返回一个单一数字。例如，可能返回0.9，意味着有90%的可能性这是退款请求（即“是”）。对于团队问题，它将返回每个选项的概率。例如，“账单”这一选择（三个选项之一）可能得分为0.85。顺便说一句，答案只能是我们要给出的选项。因此，“团队”始终会是账单、技术或销售中的一个。
对于紧急程度，如果我们将其放在从“相当高”到“危急”的尺度上，模型会给出相应的评分。当然，模型仍可能选错选项或错误评估这些问题中的任何一个，但概率告诉我们出错的可能性有多大。那么，如何训练模型给出如此准确的概率呢？
让我先回顾一下传统LLM的训练过程。大多数语言模型首先经历一个称为预训练（Pre-training）的阶段。这意味着模型阅读海量文本并学习预测下一个标记。这创造了一个知识渊博但尚不擅长对话的模型。如果我们想将其用作聊天机器人，则需要进入第二阶段，称为后训练（Post-training）。
许多后训练技术使用一种名为强化学习的方法。模型生成答案，某种机制对该评分进行打分，从而引导模型趋向于高分回答。那么是谁在评分呢？一种方法是通过RLHF（基于人类反馈的强化学习）。由人工评估者对模型的两个响应进行比较，并选择他们更喜欢的那个。这些选择用于训练奖励模型（Reward Model），随后聊天机器人将被训练以生成被该奖励模型高分评价的回答。
人们往往喜欢听起来自信的答案，因此RLHF的一个不幸副作用是：模型可能学会表现得非常确定，即使它是错的。但这只是强化学习的一种形式。另一种是RLVR（基于可验证奖励的强化学习）。这里的评分是自动化的：模型是否解决了数学题？它编写的代码是否通过了单元测试？这类事情就是RLVR的应用场景，这也是为什么……
如今的推理模型在数学和编程方面已经非常出色。但这里的奖励机制仅检查最终答案是否正确，并不会因为模型清楚自己应有的把握程度而给予奖励。此外，这些模型在得出答案前需要花费一段时间进行思维链推导，这可能导致它们运行速度较慢且成本较高。现在，Jev 采用了一种不同的强化学习形式进行训练，称为 RLCD（校准决策的强化学习）。
由于 TypeSafe 尚未发布太多关于 Jev 架构的信息，我仅依据他们已公开的内容进行说明。我们知道 Jev 会为每个选项提供概率，当这些概率准确时模型会获得奖励，“C”代表的正是这一点：即模型的校准性。一个经过良好校准的模型大致呈现如下形态：横轴映射概率，纵轴映射模型的准确性。
一个校准良好的模型会呈现出一条对角线。这意味着当我们说有 80% 的概率时，该判断在约 80% 的情况下是正确的，这就是校准。回到之前的退款问题，这是我们对 Jev 提出的关于那封支持邮件的三个问题中的第一个。如果我们拥有概率数据，就可以利用阈值来指导代码逻辑：1 代表确定，0 代表完全不确定。
如果概率分数高于例如 0.9（假设我们的得分落在此处），我们可以将此支持邮件视为合法的退款请求，并直接将其发送至退款队列进行处理。然而，如果得分落在 0.1 到该阈值之间的某个区域，则存在一定不确定性。接收此类数值的代码会知道需要引入人工介入进行检查，因为我们无法确定其准确性。
如果得分低于 0.1，我们可以断定这不是退款请求，保持冷静并继续处理其他事务即可。由于数字是经过校准的，阈值还告诉我们要自动路径出错的大致频率。因此，错误代价越高，我们设置的阈值就应越高。当然，这不仅适用于支持邮件；Jev 还可以作为护栏用于各种场景，例如监控聊天机器人的消息往来以检测越狱尝试等。
但 Jev 也有局限性。截至目前，它仅接受文本输入，在数学甚至计数方面表现不佳，因此这类任务仍需交由其他模型处理。像任何 AI 模型一样，它也可能被数据中隐藏的指令所欺骗。那么，我们是否应该抛弃大型语言模型并用系统一（System 1）模型完全取代它们？并非如此，两者可以协同工作。
设想一个工作流程：Jev 可以在流程中做出快速判断，例如对客户支持邮件进行分类以确定是否为退款请求。随后在流程中调用大型语言模型进行较慢的工作，如回复客户。之后再次使用 Jev 对客户发回的响应进行分类。这几乎符合丹尼尔·卡尼曼的观点：我们的大多数工作都运行于快速的自动系统一过程之上。
这就是上述两个阶段，以及仅在需要真正思考时才启动的缓慢且谨慎的系统二（System 2），在此案例中即为大型语言模型。另外，我想分享一下 Jev 名称的由来。Jev 以威廉·斯坦利·杰文斯命名，这位经济学家在 1865 年指出，随着蒸汽机效率的提高，英国实际上使用了更多的煤炭。这被称为“杰文斯悖论”。
因此，系统一模型或许也会发生类似情况。当判断既超级快速又极其廉价时（如 Jev 所做的那样），它可以进入大型语言模型目前因速度过慢或成本过高而无法涉足的领域，例如数据库的每一行日志文件的每一行。谁知道呢？以上就是关于 Jev 的介绍。系统一模型将如何融入您工作的软件中？请在评论区告诉我。