背景:从对话专家到“闭嘴”的模型
大家好,这里是最佳拍档。我是大飞,一个当年让ChatGPT学会听人话、会聊天的核心研究员。但现在,我却做出了一个“会闭嘴”的模型。这到底是怎么一回事呢?故事要从迪奥戈·阿尔梅达(Diogo Almeida)说起。他曾经在OpenAI参与构建让语言模型遵循指令、与人对话的核心方法,也是2022年InstructGPT论文的共同作者之一。OpenAI在GPT-4的贡献者名单里,也把他列入了RLHF与InstructGPT的奠基工作一栏。说白了,今天ChatGPT能听懂人话、会和人聊天的模型训练路线,他是早期的参与者之一。
但是离开OpenAI之后,他开始反过来追问这套范式。他的问题其实就一句话:语言模型聊天能力超越人类好几年了,可是真正的业务自动化到底卡在哪里呢?在热潮退去后他意识到,基于聊天的模型少了一块极其关键的拼图。经过两年隐身研发,他创立的TypeSafe AI在9月15日正式发布了一款全新模型,取名叫Jev。2024年公司创立时已经拿了4000万美元种子轮融资,由DCVC领投,估值大约2亿美元。而Jev本身,被他归入一类全新的模型类别:System One模型。
核心差异:放弃文本生成的结构化决策
这个模型最反直觉的一点是,它放弃了文本生成。不写文章、不写代码、不聊天、不做任何自由文本输出。它做的事情是直接给出软件能消费的结构化判断,而且每个判断都带着概率和置信度。TypeSafe用一句话概括它的接口就是:非结构化状态进去,带类型的概率决策出来。这个设计思路跟传统的大模型完全不同。所以我们有必要把两者的关键差异拆开来看一看。
先说训练方法。传统大模型普遍采用RLHF或者RLVR。RLHF的核心是让人类评价多个答案,然后训练模型生成更受人喜欢的结果,这条路线让语言模型学会了遵循指令和聊天。RLVR则是针对能自动验证的问题,用程序判断对错来训练。而Jev采用了一种全新的训练方法叫校准决策强化学习(RLCD),专门为校准决策设计。它不再优化模型生成的回答是否讨人喜欢,而是训练模型在做结构化决策时给出尽可能可靠的概率。说白了,模型说自己有多大把握最好就真的有多可靠。再说输入输出:传统大模型偏重连续对话消息,输出的是自由字符串;Jev偏重结构化的程序状态输入,输出的是强类型结构化数值。所有可能的结果和结构都提前定义好,模型永远不会出现类型错误。每个答案自带校准过的概率和置信度。
采样与性能:并行处理带来的速度与成本优势
采样方式的差异更加关键。传统大模型是自回归生成,一个Token接着一个Token往外蹦,每一个Token都依赖前面的Token。而Jev采用并行采样,单次查询直接返回所有输出,不需要逐字生成。这个差异直接决定了后面的速度和成本差距。
在成本方面,传统大模型输入每百万Token价格在0.2美元到10美元之间,输出通常比输入贵5倍。而Jev输入每百万Token仅需0.042美元,折合每十亿Token只要42美元。而输出完全免费,便宜到不需要计量。
在速度方面,前沿大模型端到端响应时间在3秒到329秒之间。对人机交互勉强够用,但是嵌入代码就是巨大瓶颈。Jev的端到端响应在70毫秒到500毫秒。同等智能水平下快了40到200倍。
还有一点容易被忽略、但是特别重要的点就是置信度。传统大模型即使被要求估计置信度也倾向于过度自信且飘忽不定。如果模型能搞定一个任务95%的情况,但是它不说自己什么时候在剩下的5%里翻车,你就不敢把这个任务自动化。而Jev的每次输出都附带置信度,而且严格校准。置信度越高准确率越高,相似输入返回相似结果。
验证证据:并排演示与工作流评估
那么问题来了,这些数字好得令人难以置信,证据在哪呢?TypeSafe自己也说:非凡的主张需要非凡的证据。所以他们公布了多项对比验证。
第一个是并排演示。Jev接收输入后会瞬间并行返回所有概率,而对照的GPT-5.6 Terra还在逐字的推理输出。团队选了默认推理模式的GPT-5.6 Terra做对照,因为它的平均智能水平与Jev最接近。在实际运行中两边唯一的判断分歧在用户流失概率等级上,而那段文本本身确实存在歧义。不过团队也坦言,这项演示经过了高度简化:输入短、信息密度高、问题也被整理成适合结构化判断的形式。这些条件都会放大Jev的优势。
第二个是工作流评估。TypeSafe设计了一套全新的评测方法来衡量AI在代码内部的实际运行效果。不测公认的标准答案,而是给所有模型套入相同的生产级业务工作流代码。拿GPT-6 Astra和Fable 5.1两个最强模型的平均判断做参考基准,再衡量各模型与这个参考值有多接近。在4个实际业务工作流测试中,Jev占据了帕累托最优前沿,准确率达到约68%。成本比主流大模型便宜了100到1000倍。
“官方宣传的提速193.6倍、降本444.6倍就来自这组测试。”
当然,TypeSafe也给这些数字留了余地。193.6倍和444.6倍属于他们预计在现实场景中偏高端的收益。4个工作流由内部模型能力团队制作,可能存在一定的选择偏差;参考标准采用了OpenAI和Anthropic的模型均值,可能低估了DeepSeek等模型以及Jev的相对表现;对照组的大模型还都要通过TypeSafe开源的System One适配层输出完整的概率,这也会增加一些延迟和成本。因此,这套评测更适合说明Jev可以在结构化决策任务中以更低成本做到与前沿大模型相近的判断,但不足以证明Jev已经拥有了与这些模型相同的通用能力。
硬性数据:零错误率与真实场景Demo
还有一个比较硬的数据。现有大模型在OpenRouter上的统计显示,结构化输出错误率在0.58%到45.5%之间,工具调用错误率在0.7%到17.2%之间。Jev在这两项指标上的错误率全为0%。
不过这个0%并不是跑了大量测试后统计出来的经验数据,而是因为Schema匹配本身就是被数学保证的。所以他们直接把这一数字记为0%。换句话说,如果程序只允许投诉、退款和咨询三个答案,Jev就只能从这三个里选,不会临时创造第四个。它能保证不输出超出预设结构的值。但是并不意味着它的判断永远正确,在允许的选项里它依然可能选错。
在实际应用层面TypeSafe展示了两个Demo。第一个是经典射击游戏《毁灭战士》。Jev每秒调用10次判断,每小时成本约7美元。不过需要说明的是,模型读取的是已经转换成文本的游戏状态数据并非直接处理画面。公司也承认一个传统专用游戏Bot完全可以打得更好,他们想展示的重点是模型可以每秒连续接受多次查询在实时软件中反复做判断。
第二个是维基百科竞速游戏。规则是从一个词条出发,只靠点击页面内链接跳到目标词条。Jev最高支持255个候选选项,面对极多链接时会采用两阶段处理:先独立打分再做明确选择。对比中Jev的跳跃步数明显更少。外部实测的结果也相当不错:Every的评测负责人迈克·泰勒(Mike Taylor)拿Jev检查了37篇文档,一口气完成了777次独立判断总耗时不到0.7秒。其中一个写作质量判断任务,Jev用时约0.35秒,Fable 5.1需要8.83秒,快了约25倍,成本低了约580倍。有获得早期访问权限的开发者测试运行了大约5000个请求仅花了大约2美元,覆盖了分类、模型路由、意图判断等多种任务。
命名寓意与常见疑问回应
说到这里,你可能想问System One和Jev这两个名字到底什么意思? System One取自丹尼尔·卡尼曼(Daniel Kahneman)的《思考,快与慢》,指代人类快速直觉反应的系统1。Jev则取自经济学家威廉·斯坦利·杰文斯的杰文斯悖论(Jevons Paradox),指的是当时蒸汽机效率提升没有减少煤炭消耗反而引爆了总需求。这个命名寓意很明确:算力成本每降一个数量级,就会激活成倍的自动化需求。
几个常见的疑问TypeSafe也在博文中做了回应。为什么要开发全新的训练算法?因为RLHF优化的是让人类给文本点赞,适合聊天但不适合严密的自动化;RLVR只能解决容易用代码判分的问题。真实世界的大量判断不具备这种特性。训练目标决定模型形态,所以团队研发了RLCD。那Jev算是一个更小的大语言模型吗?不是,它既不是小模型也不属于大语言模型是完全不同的结构。为什么不刷公开跑分榜呢?团队坚决不公布公开基准测试成绩,认为公认跑分容易导致针对榜单刷分甚至让模型能力失真。建议开发者在自己的真实场景下建立评估集。
质疑与反思:泡沫还是新范式?
不过,Jev的爆火也引来了一些值得认真对待的质疑。Hugging Face的研究员尼尔斯·罗格(Niels Rogge)就评论说:一个JSON分类器竟然有1200万次浏览,我们正处于泡沫中。这话说得也不是完全没道理。扒开System One模型、RLCD、零幻觉这些新名词,Jev实际上做的很多事情大家并不陌生。分类、打分、路由、结构化输出本来就是大模型工作流里最常见的任务。
发布不到一天,开发者哈沙·贡达拉(Harsha Gundala)就用Qwen2.5-1B做出了一个相似版本。同样可以让JSON中的多个字段并行完成判断,并且直接从预设候选中计算概率不需要任何新的训练。他说:“他们隐身开发了两年,我隐身开发了两个小时。”
零幻觉的说法也颇有玩文字游戏的意味。TypeSafe所说的幻觉指的是模型生成了程序根本没有定义、也无法处理的输出,而不是我们通常理解的模型编造不存在的人名或事实。两者不是一回事。
最后剩下的就是TypeSafe一直在强调的校准,这也是最难验证的地方。截至目前RLCD的具体训练方法、奖励函数以及更系统的概率校准指标都还没有完整公开。看不到完整的期望校准误差(ECE)、Brier分数(Brier Score)和可靠性图表(reliability diagram),也没有系统展示模型在领域变化、输入分布偏移之后置信度是否仍然可靠。
“但这些质疑并没有真正动摇Jev所指向的问题,恰恰相反它们甚至从另一个方向证明了这条路线的价值。”
如果一个开发者真的可以花两个小时在一个1B参数的小模型上做出类似的结构化并行判断,那首先说明的未必是Jev没有技术含量。它同时意味着这类能力可能根本不需要一个昂贵、复杂、无所不能的大模型才能实现。这正是Jev一开始想讨论的问题:过去几年我们已经习惯了把越来越多任务交给通用大模型,但对有的任务来说这有点杀鸡用牛刀。Jev恰恰是把那些最普通、数量最大、也最容易被忽略的判断单独拿出来,不追求回答所有问题甚至主动放弃了聊天、写作和自由生成。只留下几个自动化真正需要的东西。
结论
有开发者提出了一个很有意思的方向:Agent可以继续使用通用大模型思考和规划,但真正进入生产系统的大规模自动化可能需要另一类更快、更便宜、更受约束的决策模型。大模型负责想,Jev负责在软件里每秒做成千上万个决定。AI的下一次效率跃迁也许不是比谁生成得更快,而是不再生成。从这个角度看,Jev最值得关注的指标最终可能不是快多少倍而是它能覆盖多少原本必须交给前沿大模型的判断。
如果只能处理几个高度结构化的工作流,它更接近一个高效的专用模型平台;如果能够跨行业、跨数据分布保持接近前沿模型的判断能力和概率校准,那么TypeSafe才真正证明了一类新的软件原生AI接口具有存在价值。目前Jev已经开放早期预览申请,团队也表示还有大量研发项目正在推进。应该说,Jev走的是一条不太一样的路:它不追求展示AI能做到多惊人的事情,而是紧贴真实工作流里那些数量庞大、重复发生、又对延迟和成本敏感的问题,把等待时间和Token都省下来。证明一个模型足够强是一种吸引人的方式;证明一个模型解决了人们每天都会遇到的问题并且能力恰好够用,可能是另一种。当所有人都在比谁的模型更大、更全、更能聊的时候,有人选择做减法把模型的能力压到刚好够用的程度。这件事本身就值得思考:未来的AI系统是不是真的需要每一步都调用最昂贵的前沿大模型呢?还是说,在那些埋在代码深处的判断节点上,一个不说话但足够快、足够准、足够便宜的模型反而是更合适的选择呢?