约 4 分钟阅读

Jev AI 模型解析:价格、官方 Benchmark 与第三方测评

Jev AI 模型解析:价格、官方 Benchmark 与第三方测评

TL;DR

Jev 是 TypeSafe 的 System One 决策模型,返回选择、分数和概率。官方输入价格为每百万 token 0.042 美元;Every 的小样本检查显示它速度快,但仍会漏检。适合评估分类、路由与重复检查任务,不能把类型安全等同于判断永远正确。

Jev 最值得关注的地方,是把 AI 从“写出一个答案”变成“给程序一个可判断的结果”。如果你做过客服分流、内容检查或 Agent 路由,就知道这件事很实际:很多调用最终只需要一个类别、一个分数,或者某件事成立的概率。

TypeSafe 将这类模型称为 System One。本文结合官方文档、官方工作流评测和 Every 的第三方体验,回答三个问题:Jev 能做什么、便宜到什么程度,以及现有测试能证明什么。**本文没有自行调用 Jev API,第三方结果不等同于 Mengbi 实测。**资料核验日期为 2026 年 9 月 18 日;标注 9 月 14 日,不能写成今天才首次发布。

Jev 是什么?先看它返回什么

根据 ,Jev 接收待判断的状态与结构化问题,直接返回程序可用的结果。它不负责替你写文章、解释长篇推理或生成应用代码。更合适的任务是:给一条工单分类、判断回答是否遗漏要求,或者给候选资料排序。

问题类型返回内容示例任务
Choice选项、各选项概率、confidence工单交给哪个部门
Score量表位置、概率分布、confidence问题严重程度处于哪一级
Noul命题为真的概率,范围 0–1用户是否明确要求退款

这里最容易误读的是 Noul:0.5 表示模型对“是”和“否”的判断接近,不表示“中等严重”。如果要评估严重程度,应先定义 Score 的等级。问题之间需要依赖时,也不能期待同批问题自动串联推理。明确要求把这种依赖放进代码编排。

以内容审核为例,“这篇文章是否值得发布”太宽泛。更可操作的拆法是:数据是否标注来源、结论是否超出证据、标题是否与正文一致。程序可以分别处理这些检查项,而不用从一段评语中猜测模型的意思。这是本文建议的任务设计,不是已经验证的审核效果。

Jev API 价格:每百万输入 token 0.042 美元

公布的输入价格是每十亿 token 42 美元,换算为每百万输入 token 0.042 美元;发布说明称输出不单独计费。价格截至本文核验日期,后续应以官方账单与文档为准。

用一个纯预算示例理解:假设每次请求的全部计费输入为 2,000 token,100 万次请求就是 20 亿输入 token,模型输入成本为 84 美元。公式是 1,000,000 × 2,000 ÷ 1,000,000 × 0.042。这不包含重试、存储、外部工具或后续调用其他模型的费用,也不是官方承诺的业务报价。

低价真正改变的是检查频率。过去只在最终结果出来后检查一次的流程,现在可以考虑在多个中间步骤加检查。不过,只有在误报不会打断工作、漏报不会造成不可接受后果时,频繁检查才有价值。便宜的错误仍然是错误。

官方 Benchmark:速度优势不能直接当准确率优势

官方发布材料给出 70–500 毫秒的端到端响应区间,并用特定工作流比较得出 193.6 倍速度、444.6 倍成本优势。这些是厂商测试结果,不能当成任意请求的 SLA 或固定省钱比例。

TypeSafe 官方四工作流准确率与成本对照图,横轴为对数成本,Jev 位于低成本一侧

图源:。保留原始模型标签;横轴为对数尺度,菱形与圆点代表不同运行方式。

的四工作流汇总显示,Jev 的指标为 67.8%,每工作流成本约 0.0004 美元,耗时约 0.4 秒。这里的百分比必须结合方法看:官方以 GPT-6 Astra 与 Fable 5.1 的平均预测作为参考,而不是独立人工真值。它反映的是该评测定义下与参考判断的吻合程度,不能改写为“现实业务准确率 67.8%”。

官方也承认,工作流由内部团队编写,对照 LLM 使用其结构化包装方法,这会影响延迟与成本。因此,选型时应比较同样的输入、输出要求与错误容忍度,不能拿 Jev 的分类请求去对比另一个模型的长篇推理回复。

第三方测评:777 次判断很快,小样本仍会漏检

使用 27 篇文章和 10 篇刻意带有 AI 写作风格的对应文本,每篇检查 21 个问题,共 37 × 21 = 777 次判断,耗时不到 0.7 秒,估算成本约 0.0025 美元。这展示了并行检查的可行性,不构成可靠的 AI 作者鉴定。

Every Parallel Judgment Lab 写作检查 UI,展示同一批文章的多问题概率结果

截图来自 Every 文章链接的,由 Mengbi 于 9 月 18 日截取。页面重放的是保存的记录,并非本次实时 API 测试;页面标注的测量日期为 8 月 28 日,与文章发布日期不同。此保存记录显示 612 毫秒、0.0026 美元;上文保留 Every 正文的近似费用口径。

Every 还报告了一个更直接的对照:12 段合成文本、4 项写作检查,包含 7 个预设缺陷。

指标JevFable 5.1(high effort)
单篇中位耗时0.35 秒8.83 秒
预设缺陷检出数6 / 77 / 7
成本比较Every 估算约便宜 580 倍同一测试的对照

这组结果的价值在于同时展示收益与代价:更快,但确实漏掉一个问题。7 个缺陷的分母太小,不适合包装成通用准确率排行榜。对中文、混合语言、专业术语或长文的效果,也不能从这组样本直接推出。

“不会幻觉”为什么不等于不会判断错?

把输出限制在预设选项中,能消除“程序需要 A/B/C,模型却返回一段无法解析的文字”这类问题。但当正确答案是 B 时,模型仍可能选择 A。类型有效与事实正确,是两种不同的验收条件。

还有一个接入细节值得单独看:说明,Choice 和 Score 的 confidence 是由概率分布计算得到的统计值;Noul 没有单独的 confidence 字段。因此不能把 confidence = 0.9 直接解释成这条业务决策有 90% 的正确率。

如果你用 Jev 给 Agent 加检查,建议同时记录“模型给了多高的分数”和“后来人工确认是否正确”。只有把两者对照,才能决定哪些结果可以自动继续,哪些应该交给更强模型或人工。阈值应该来自自己的样本,不该照抄演示代码。

如何试用 Jev:从一个可复核的小任务开始

截至核验时,官方仍以 early access 和候补名单方式开放。获准访问后,可从 进入 Playground,或使用 POST /v1/systemone(API host:api.typesafe.ai),模型名为 jev-latest。它有自己的请求结构,不能仅凭“提供 API”就假定兼容 Chat Completions。

第一次试用可以选“文章是否缺少来源链接”这样的单一检查,保留人工结果作对照。下面是建议的本地验收方式,不是已经跑出的 Jev 成绩:

  1. 收集正常、明显错误与模糊边界三类样本,并加入实际使用的语言。
  2. 先写清楚判定标准,再由人标注;把“无法判断”作为有效情况处理。
  3. 使用相同样本比较 Jev、当前方案和人工结论,记录误报、漏报及延迟分布。
  4. 先以旁路记录方式运行,不让它直接触发高影响操作;确认收益后再逐步自动化。

对客服团队,可以从分流开始;对内容团队,可以从发布前的单项检查开始;对 Agent 开发者,可以从候选结果筛选开始。如果你的任务需要生成代码、写解释或跨多步推理,仍应让通用模型承担主任务。可继续阅读 Mengbi 的 ,理解“执行工作”和“检查工作”各自需要什么能力。

FAQ

Jev 可以替代 ChatGPT 或 Claude 吗?

它更适合输出预定义的选择、分数和概率。聊天、长文写作和代码生成仍需要相应的生成模型;可以评估让 Jev 承担其中的局部检查。

Jev 真的没有幻觉吗?

不要把官方对类型安全的表述理解成零判断错误。Every 的小样本测试已经出现漏检;在实际流程中仍要检查误报、漏报和阈值效果。

Jev 现在值得接入吗?

如果你有大量重复、边界明确、结果可复核的判断任务,值得申请试用。若只是偶尔聊天或需要开放式推理,现有证据不足以说明它能替代你的主模型。先从 确认访问方式与任务形式,再用自己的数据判断是否值得接入。

MENGBI

在做 AI 产品?欢迎聊聊。

想把产品收录到 Mengbi,或者通过一个 API 接入主流 AI 模型,享受更有竞争力的价格?欢迎联系我们。