测试动机与数据集筛选逻辑

上期视频体验了Jev模型后，博主小木头面临三个核心疑问：它到底准不准？给的概率能不能信？以及换用便宜模型是否效果相近？为了回答这些问题，博主决定执行真实的基准测试，寻找有标准答案的数据集来评估Jev的决策正确率。在Kaggle上筛选数据集的过程比跑分更耗时，但借助AI辅助实现了智能化。Jev的核心功能是基于状态提问并返回概率，因此数据集必须能改写为“输入+标准答案选择”的形式，排除需要生成文字或长篇推理的场景。标签必须有人工标注这一标准直接筛掉了大量客服工单数据集，例如某包含8469条工单的数据集因描述含占位符且标签均匀分布疑似随机生成，被判定为无效数据。

最终选定的两个数据集需满足三个条件：有公开测评成绩作为参照、输入长度适中（短句/推文）、许可允许公开使用。第一个数据集是SMS Spam Collection，包含5,574条人工标记的英文短信，经典模型准确率可达97%以上，作为冒烟测试基准。第二个数据集是Banking77，由PolyAI发布，包含13,000条真人银行应用提问及77个意图标签。选择Banking77是为了测试Jev在多选项（77选一）场景下的能力边界，因为此前测试仅涉及4个选项。该数据集微调BERT-Large准确率为93.7%，GPT-4零样本约为80%-85%。

“数据集必须能够改写成一条输入加一个有标准答案的选择……标签必须要有人工标注，这一条把Kaggle上一大半客服工单数据集呢给筛掉了。”

实验设计与执行细节

博主将两个数据集转化为Jev支持的三种类型：NouL（是非判断）、Choice（多选）和Score（打分）。在SMS场景中，问题简化为“这条短信是不是垃圾”，返回0到1之间的概率值；在Banking77场景中，输入用户提问及77个意图选项及其说明，返回每个意图的概率。抽样采用分层方法：Banking77测试集每类取6条，共462条；SMS场景按比例抽取200条（含27条垃圾短信）。固定随机种子确保每次运行结果一致，总调用次数为662次。

测试通过OpenRouter提供的Jev模型进行，使用6线程并发处理462次Banking77调用耗时36秒，无限流现象。对照组选用Claude Haiku 4.5模型，同样输入662条数据及相同问题，要求按JSON Schema输出答案和自报的confidence值。Haiku模拟置信度响应，Temperature设为0。这种设计旨在对比Jev原生概率输出与通用大模型自报置信度的差异，以及两者在准确率上的表现。

“抽样是分层的……随机种子固定谁跑呢都是这么662条。测试的时候我用的是OpenRouter所提供的Jev模型……通过6个线程并发来做的测试。”

准确率对比与错误分析

在SMS垃圾短信检测中，Jev对200条数据中的193条判断正确，准确率达96.5%，AUC为0.993。其中27条垃圾短信命中24条，误报4条；Haiku准确率为93.5%，命中25条但误报高达11条。在更复杂的Banking77场景中，Jev命中377/462条，准确率81.6%；Haiku命中370/462条，准确率为80.1%。两者均显著低于微调模型（93%）和社区报告的GPT-4零样本表现，但Jev略优于Haiku。这表明Jev大致与便宜通用模型持平或略高，但离专业微调模型仍有十几个点的差距。

分析85个错误样本发现，高频混淆多发生在相邻意图间，如“实体卡怎么拿”与“改PIN”发生6次混淆，“订一张实体卡”与“卡什么时候到”也常搞混。值得注意的是，Haiku错的92条中，有72条与Jev错在同一条数据上，说明难点在于数据集本身而非模型能力。此外，部分错误源于标注噪音，如Jev对“能帮我转账到一个账户吗”给出1.0概率却选错，而标注为“收款人不被允许”，这提示错误率中有一部分是数据集自身的噪音，任何模型都无法消除。这也强调了正确标注数据集的重要性。

“Haiku错了92条，其中有72条和Jev错在的是同一条上。看起来难点其实在于数据上，而不是在于模型的能力。”

概率可信度与置信度阈值分析

针对“概率能否信”的问题，博主通过校准性测试发现：Jev在50%-85%概率区间内表现相对可信。例如，声称55%把握的样本实际准确率约55%，85%把握的实际为74%。但在高概率区间存在过度自信现象：330条最高概率>0.9的样本，平均报值0.99，实际准确率仅0.91；45条直接给到1.0的样本，实际准确率为97.6%（即每40条错1条）。相比之下，Haiku自报的confidence更乐观且偏差更大：声称75%把握实际仅57%，85%把握对应67%。这证明让语言模型自报信心值并不靠谱，而Jev的原生概率在中等区间更具参考价值。

在短信场景中，Jeb的概率分布干净：超过一半消息垃圾概率<0.05且无误报，>0.9的17条全为垃圾。漏掉的3条概率分别为0.24、0.44和0.46，未出现明确低概率误放。基于此，博主验证了置信度阈值（Confidence Threshold）的实用性。在Banking77中，仅采用最高50%置信度答案准确率高达97%，前3/4为90.8%。若设定阈值≥0.95，可覆盖63%请求且准确率达95.5%；放宽至0.8则覆盖79%请求，准确率降至89.9%。低置信度（<0.5）的17条仅对3条，证实低confidence确实对应高错误率。因此，阈值机制比单纯看概率更有效，能合理分配自动处理与人工介入。

“它报50%到85%的时候，实际上差不多就是那个数字了可以信。那报90%以上特别是报100%的时候，要打个折按照97%来算。”

性能、成本与一致性评估

在延迟方面，Jev表现显著优于Haiku。海外网络端到端测试显示，Jev中位数延迟432毫秒（95分位658ms），最快306毫秒；而Haiku中位数1.4秒（95分位2.1秒），Jev快3倍以上。成本差异更为惊人：Banking77每次请求约1,900输入token，Jev跑完462次花费不到4美分（折合每千次8美分），Haiku则需1.14美元（每千次2.47美元），差距近30倍。在短输入场景（SMS）中，Jev每千次成本仅1.3美分。这种性价比优势使其适合高频、低成本的决策场景。

博主还测试了Jev的一致性稳定性。对50条数据各跑三次，49次选择结果一致，概率最大偏差仅0.09。这表明Jev虽非完全确定性输出，但结果相当稳定。结合准确率、延迟和成本数据，Jev并非在智能程度上超越微调模型，而是通过更快的速度和更低的费用提供具有竞争力的服务。对于需要每秒多次处理短句决策的场景，Jev提供了极具吸引力的替代方案。

“准确率持平的前提下我们来看看另外两个维度……Jev的中位数是432毫秒，Haiku的中位数呢是1.4秒。另一个是费用……差距还是蛮大的有将近30倍。”

结论

Jev模型在准确率上大致与便宜通用模型（如Haiku）持平或略高，但显著低于专业微调模型，差距约十几个百分点。其核心价值不在于提升分类精度，而在于提供更快的响应速度和更低的调用成本。在概率可信度方面，Jev给出的50%-85%区间概率较为可靠，但在90%以上尤其是1.0时存在过度自信（实际约97.6%），代码中不应将其视为绝对真理。最关键的是，置信度阈值机制非常有效且重要：设定0.95的阈值可自动处理63%以上请求并保持95.5%的高准确率，剩余低置信度样本转人工或大模型处理。因此，Jev最适合路由过滤、打分及高频短句决策场景，而不适合对准确率要求极高且需媲美微调模型的任务。博主已开源脚本与数据，供社区进一步验证。

“合适的场景还是上一期介绍那几个路由过滤打分尤其是那种每秒要做好几次每次就一两句话的决策。不适合的场景也同样的需要它比微调模型更准的恐怕它是做不到的。”