传统LLM在系统集成中的尴尬困境

在使用大语言模型（LM）与软件交互时，无论是通过MCP协议还是简单的代码解析返回结果，开发者常面临一个略显尴尬的时刻。大语言模型以文本为思维载体并生成文本，但下游系统往往不需要冗长的自然语言回答，而是需要一个确定的决策或结构化数据。如果模型输出格式不符合预期，系统只能反复尝试让动态生成的内容保持一致性。这导致了两种极端的对立：一端是可靠但僵化的确定性系统，另一端则是灵活智能却具有概率性的大语言模型。后者在宇宙允许的范围内，可能会生成任何它认为合适的字符串，这种不确定性使得将LLM直接嵌入需要精确输入的软件流程中变得困难重重。

Jev模型：反向设计的“系统一”决策引擎

近期由Typesafe AI发布的Jev模型，提出了一种截然不同的AI架构思路。该公司创始人Diego Almeida曾是推动ChatGPT指令跟随研究的关键研究人员之一，其团队反其道而行之，几乎完全放弃了自由形式的文本生成。Jev被设计为一个“系统一”模型，借用心理学概念，“系统二”代表缓慢且需努力的深思熟虑推理，而“系统一”则指快速、近乎本能的决策。Jev不试图像传统模型那样一步步思考并生成答案，而是作为一个学习到的决策函数，快速选择有效结果并返回软件可直接使用的数据。用户不再向Jev提供提示词要求生成回答，而是输入非结构化状态、定义所需决策及预定义的输出选项。例如在处理“被重复扣款”的客户支持工单时，传统LLM需生成如"billing"这样的文本供代码解析，而Jev根本不需要生成该单词的文本形式。用户只需定义选项（如billing, fraud, technical support），Jev便直接返回这些选项的概率分布。

三种核心决策类型与性能优势

Jev支持三种特定的输出类型以适配不同场景。第一种是Choice（选择），用户最多提供255个选项，模型对所有选项打分并返回最可能的选择及其概率分布。第二种是Score（评分），用于评估如客户回复质量等连续指标，用户定义有序等级，Jev返回分布并可能得出介于两个离散层级之间的综合分数。第三种是New（真伪判断），用于回答是非题并直接提供Yes/No的概率值，例如在检测欺诈交易时返回0.87表示87%的欺诈概率。这种设计摒弃了自回归模型逐token生成的繁琐过程，即使只需微小决策也无需经历完整的生成流程。这种简化带来了显著的性能提升：Jev的端到端延迟约为70至500毫秒。在其工作流基准测试中，声称在决策任务上比前沿生成式模型快约194倍且便宜445倍。这种从“生成文本”到“输出概率分布”的转变，虽然看似计算差异微小，实则对软件集成效率产生了巨大影响。

极低成本与非生成式决策架构

Type Safe公司推出的Jeff模型在定价上令人震惊，其输入成本仅为每百万token 4.2美分，而输出费用几乎为零。这种极低的成本结构使得Jeff在处理仅需“查看上下文并做出决策”的任务时，比调用完整的生成式大语言模型（LLM）便宜得多。Jeff的核心价值在于它能嵌入在智能体或系统中，位于生成式LLM之后，将模型混乱的动态输出转换为刚性的软件状态。这种架构避免了让同一个生成式模型同时负责推理和格式化输出，从而提高了系统的稳定性和安全性。Jeff不仅仅是一个分类器，更是一个能够直接控制软件行为的决策引擎。

校准概率与可控的软件逻辑

Jeff采用的训练方法称为RLCD（用于校准决策的强化学习），其核心理念是让模型的置信度具备真实的概率意义。如果Jeff声称有90%的把握，那么在实际操作中它确实应该在约90%的情况下做出正确决策。这种校准后的概率输出使得置信度本身可以成为软件逻辑的一部分，从而形成一种“控制策略”。例如，当Jeff极度自信时系统可自动执行动作；当其不确定时可请求人工批准；若置信度低于阈值，则将问题交还给更大的推理模型。这种机制让Jeff的输出比普通的分类分数更具实用性，使其能够直接驱动软件流程。

复杂应用案例与AGI潜力暗示

Jeff在多个复杂场景中展示了其能力，包括使用GT6 Astro和Jeff击败《我的世界》、帮助交易员亏损31,000美元以测试系统，甚至解决用户的衣橱选择困难症。Type Safe的创始人暗示，Jeff可能是将超级人类聊天模型转化为AGI（通用人工智能）的关键。尽管目前我们看到的只是其冰山一角，但这些案例表明Jeff在处理非文本生成的决策任务上具有独特优势。它不再局限于传统的自然语言处理，而是通过非自回归的方式直接评估标签概率，为软件系统提供了更可靠的决策依据。这种从“生成文本”到“做出决定”的转变，被视为通往AGI的重要一步。

架构溯源：从Gleaner到Jeff的演进

为了理解Jeff的工作原理，我们需要回顾其技术前身。Fastino AI在2025年和2026年开源的Gleaner 2和Glguard模型提供了重要线索。这些模型采用双向编码器架构，允许每个token同时关注整个输入上下文，而非像自回归LLM那样只能从左到右生成。它们将任务定义、标签和文本一起输入，通过共享的MLP层转化为标量逻辑值，再用Softmax或Sigmoid转换为概率分布。这种非自回归的前向传播路径使得评估速度极快，Glguard甚至报告吞吐量比大型自回归模型高16倍。然而，这些早期模型仍受限于训练时的任务家族。

LIA开源项目与参数规模对比

Jeff发布两天后，Con AI Innovations推出了开源系统LIA模型，其公开接口与Jeff相似但架构完全透明。LIA基于一个3.95亿参数的Modern BERT大型双向编码器，并添加了包含两个Transformer层的小型决策头、选项标记评分器和升级头，总参数量约为4.21亿参数。在包含2,000个决策点的Type Decision基准测试中，基础LIA检查点取得了特定成绩。与Gleaner 2不同，LIA明确表现为一个通用决策引擎，而非仅限于信息提取。这表明Jeff可能是在类似架构基础上，通过扩大训练分布并专门针对任意决策和校准进行训练而实现的。这种小型化、高透明度的架构使得复制Jeff这样的模型成为可能，同时也揭示了其低成本背后的技术逻辑。

基准测试中的性能与延迟对比

在针对特定基准的评估中，未经微调的版本得分仅为36%，而经过基准微调后的版本提升至76.6%。Jeff模型在无需任何微调的情况下取得了约72%的成绩，展现了其强大的零样本能力。延迟方面，Lia模型表现出极快的响应速度，约为16毫秒，相比之下Jeff通过API调用时的延迟高达约117毫秒。尽管在银行等特定任务（如banking 77）上Lia落后于Jeff，且在类型决策基准中匹配完整概率分布的表现最差（即使其最高选择准确率更高），但Jeff在处理大规模动态输入空间及保持有用分布方面明显更优。Vaughn作为另一个开源项目，试图直接复现Jeff的理念，它暴露了相同的系统一接口，能够在不进行自回归生成的情况下评估任意选择。Vaughn架构上使用了3.95亿参数的双向Modern BERT编码器，采用选项标记风格，将候选选择嵌入输入中并在单次前向传播中进行评分。与Lia不同，Vaughn特别强调校准概率（calibrated probabilities）的重要性。

Vaughn的概率校准与开源生态进展

Vaughn的训练策略结合了标准交叉熵损失与前缀评分损失（prior score loss），不仅惩罚错误选项得分低的情况，还在概率分布校准不佳时进行惩罚。训练后，它在保留数据上应用温度缩放（temperature scaling）以进一步校准概率。这意味着当模型给出80%的置信度时，它实际上意味着该答案正确的概率约为80%。在性能基准上，Vaughn在GPU或Apple Silicon上的本地延迟为18毫秒，仅次于Lia的16毫秒。虽然Vaughn在大多数任务上仍落后于Jeff，仅在玩Doom游戏时表现更好，但它证明了仅用小型Modern BERT编码器即可构建出轻量级决策模型。Jeff发布一周后，Fino AI推出了Cleaner 2.5 Decide（3.4亿参数BERT编码器），大幅超越Lia及其他开源决策模型。OpenAI在9月29日的开发者日上也预告了其Decision API，Liquid AI则发布了多语言的D1模型。这些进展表明该领域发展迅速，且已有多个独立实现正收敛于相同的解决方案。>

利用现有LLM模拟决策模型的开源尝试

由于该类型模型较新，许多研究者开始探索将现有自回归大语言模型（LLM）转换为决策模式。开源项目System One展示了这一过程的惊人简单性。它使用标准的Qwen模型，通过格式化提示词让模型直接输出选项索引（如0, 1, 2, 3），然后提取允许选择的对数概率（logits）并进行归一化，随即停止生成。这种方法避免了文本生成的开销。在Doom演示中，使用Qwen 3B的System One方案动作间延迟约为172毫秒，而使用普通工具调用的相同模型和提示词则需约600毫秒。这一方法的核心在于通过移除生成步骤并直接评分候选项来复现类似行为。其他项目如Open Jeff则更进一步，它重用包括Qwen 3.54B在内的多种模型，不仅评分单个下一个token，而是对整个候选答案字符串进行评分。这种方法在选项为简单标签时成本极低，而在需要完整工具调用或结构化响应时更具灵活性。>

架构本质与行业影响总结

尽管这些开源项目通过利用现有LLM的对数概率作为决策分数取得了显著效果，但它们与Jeff仍有本质区别：现有LLM的概率并未经过专门针对决策的校准。System One项目作者指出，只需读取上下文一次并保持缓存，即可并行评估不同的问题后缀。Open Jeff的方案虽然更灵活，能处理复杂的候选答案字符串，但其概率并非必然为决策任务校准。Jeff的真正影响不在于彻底革命化的新架构，而在于它识别了专用决策模型的需求——即在概率推理必须转化为确切决策的关键节点，搭建起灵活LLM推理与确定性软件之间的桥梁。这种从概率思维到确定行动的转化机制，才是当前技术演进的核心方向。

线性注意力机制的直观拆解与前沿应用

本章节深入探讨了线性注意力（Linear Attention）这一最新的前沿概念，旨在通过直观的视角将其核心原理拆解开来。这种机制是当前 Kimi 和 Quinn 等先进大模型所依赖的技术基石之一，对于理解现代语言模型的架构演进至关重要。通过深入剖析线性注意力如何工作，读者可以建立起对高效序列建模的直观认知，从而更好地理解当前大模型在推理速度和资源消耗上的优化逻辑。

面向从业者与研究者的学习路径建议

对于正在工作中使用大型语言模型（LLMs）的从业人员、希望转型进入该领域的初学者，以及渴望投身于 LLM 研究的学者而言，掌握线性注意力等底层原理是提升专业竞争力的关键。视频作者特别推荐了相关的深度解析内容，并提供了获取途径。利用专属优惠代码可以大幅降低学习成本，这为希望系统性地补充理论知识的人群提供了极具性价比的选择。这种从理论到实践的连接，有助于读者将抽象的数学概念转化为实际工作中的洞察力。

社区支持与内容创作致谢

内容的持续产出离不开Patreon 和 YouTube 支持者群体的慷慨资助。作者特别感谢了 Spam Match、Chris Loo、Degan 等核心支持者，以及 Enu DX Research Group、Alex Leo Halawani 等多个研究团体和个人。这些支持不仅为创作者提供了经济保障，更构建了一个共同探索技术前沿的社区生态。通过关注作者的 Twitter 账号，观众可以保持与最新研究动态和观点更新的同步连接。

结论

Jev模型通过摒弃自回归文本生成，采用非自回归的双向编码器架构直接输出校准后的概率分布，在决策任务中实现了显著的性能与成本优势。基准测试显示其端到端延迟低至70-500毫秒，比前沿生成式模型快约194倍且便宜445倍；在Type Decision基准中，无需微调即取得约72%的成绩。其核心创新在于RLCD训练带来的概率校准，使置信度可直接驱动软件逻辑。

尽管开源项目如LIA、Vaughn及System One展示了类似架构的可行性，但Jev在处理大规模动态输入空间、保持有用概率分布及零样本能力上仍具领先性。现有LLM模拟方案虽能降低延迟，但缺乏针对决策的专门校准。该架构填补了灵活推理与确定性软件间的桥梁，但在复杂长文本生成等场景并非万能替代。