参考
Jev 第三方评测：证据与方法
核验日期 2026 年 11 月 10 日。
使用下表核对每个来源实际测量的版本、样本、指标与作者声明的限制，再决定是否借鉴某一标题。
结果必须带版本和实验条件
| 来源 | 模型与范围 | 报告结果 | 条件与限制 |
|---|---|---|---|
| Deußer等，arXiv 2609.37647v2，2026-10-29修订 | jev-1.13.0，37个数据集，346,009次唯一且已回答请求 | 主实验$9.15，客户端平均延迟0.36s | 32并发，最高1100请求/分钟，含网络；不是1.14或本站测试 |
| Sardine，2026-11-02 | 一次事件29笔已知欺诈交易，未指明Jev版本 | Jev标出27/29，规则26/29，Sonnet18/29；每次Jev约100ms | 输入不足1000 token；已知正例集不能推出误报率 |
| Encima，2026-10-08 | 首批240例加120例荷兰语样本 | 首批91.7%对88.3%；荷兰语108/120对106/120 | 对照Decisions API，混合任务，版本与基础设施未完整披露 |
| Liquid AI，2026-10-15 | 厂商对比d1-ultra、d1与Jev 1.14，共112项评估 | Liquid声称准确率和校准改善 | 厂商自报，不是本站独立复测 |
arXiv 论文具体测了什么
论文 v2 全文固定 Jev 1.13.0，每个数据集一个冻结模板，运行完整评估 split。模板先在 20 个训练或验证样本上试用。部分数据集没有公开测试标签，改用验证集。
分类、路由、审核、证据支持和量表评分使用不同指标，主要结果报告 95% bootstrap 区间，校准使用 15 箱 ECE 与 Brier 分数。
Choice 校准优于部分 Noul 设置。UNFAIR-ToS 的 micro-F1 从 0.5 阈值下的 0.499 提升到独立 1000 例样本调阈值后的 0.748，支持针对应用验证阈值，不是通用推荐。
论文报告低资源语言、噪声标签、法律判断、量表评分与连续动作方面的弱点，未测重复运行方差。主实验成本 $9.15，含试运行与附加分析为 $9.40，范围不同而非矛盾报价。
论文：arXiv v2 全文。
Encima 延迟与成本的含义
Encima 报告 Jev 平均 0.41s、Decisions API 平均 0.52s，以及每 1000 次类似请求约 $0.0187 与 $0.0230。本地 GLiNER 报告 0.17s 且无逐次 API 费，但硬件仍有成本。
这些数字只描述其任务组合，不能证明 Jev 始终更快、本地零成本，或本站能复现同样延迟。
来源：Encima 测试报告。
示意预算计算，不是评测
本站价格页列出输入 $0.175–$0.42/M，本平台计量下输出免费。假设每次 Jev 请求实际计费 1000 输入 token，按 $0.42/M 计算： Pricing.
| 调用次数 | 假设输入 token | 计算成本 |
|---|---|---|
| 100,000 | 1 亿 | $42 |
| 1,000,000 | 10 亿 | $420 |
| 10,000,000 | 100 亿 | $4,200 |
公式：调用次数×每次计费输入 token÷1,000,000×单价。算术估算，不是账单。d1-ultra 多问题计费见 Jev 与 d1-ultra 对比。 Jev vs d1-ultra.
自建评估的待执行方案
以下是计划，不是本站已完成的实验。运行保留测试集前冻结标签数据与模板。记录模型版本、服务渠道、请求形状、问题数、图片尺寸、客户端地区、并发、超时、重试策略与错误，并记录返回 usage。
评估适合任务的质量、校准、人工复核覆盖率与端到端 p50/p95。报告样本量与不确定性，分开调参数据，区分 API 费用与硬件、工程成本。
结合判断与代码组合方法与本站 API 契约设计策略，不让评测标题代替业务规则。
来源
本站是独立第三方托管服务，与 TypeSafe AI 无隶属关系。已发表成绩归原作者，本页不声称 jevtypesafe.org 独立实测。
来源参考: