本文へスキップ
Jev | typesafeAPI & Playground
…

Use Cases / content-moderation

Jev コンテンツモデレーション

UGC とチャットは大量の allow / review / block が必要。キーワードリストは脆く、LLM 判定は高く schema 化しにくい。

Try a related template free on this host — 5 anonymous real-API runs with no signup — then ship the same schema with a prepaid jv_live_ key. See is Jev free? and playground.

Try live demoGet API keyAPI docs

Why Jev

Choice のアクションに加えカテゴリ用 Noul/Score を聞く。自由文をパースせず信頼度で閾値処理。例：「フォロワー格安購入！！！」→ action=block、スパム寄りのカテゴリフラグと信頼度でレビューキューへ。

How to define the decision

state = ユーザーテキスト（任意でチャンネル等の文脈）。Choice アクション：allow / review / block。ポリシーが既に名付ける spam、ハラスメント、詐欺カテゴリに Noul または Score —— オープンな自由テキストカテゴリを発明しない。

When to use Jev

  • 投稿・コメントの公開前ゲート
  • 明示ラベル付きのチャット虐待 / スパムフィルタ
  • ヒューマンインザループのレビューキュー

When not to use Jev

  • モデレート済みリライト文の生成
  • 長文の深い法務レビュー
  • 本番の画像モデレーション —— ここはテキストのみ；実験は beta の Image / Box 用例を参照

Sample input and output

From the live tool template. Run it in the playground for a real API response — sample labels below are illustrative until you click Run.

Input

text: You're an idiot and I'll find where you live.

Sample display fields

  • action: block · 96%
  • toxicity: yes · 94%
  • harassment: yes · 91%
  • spam: no · 12%
  • confidence: 96%

高信頼の allow のみ自動許可。review/block と中信頼パスは人キューへ。確率は校正シグナルであり違法性の証明ではない —— 異議申立とポリシー文書と併用。

Failure modes and human fallback

  • Upstream or network errors: retry with backoff; do not invent a decision.
  • Low confidence: route to a human queue or safer default — never auto-act on money/destructive tools.
  • Schema drift: keep a golden fixture set in CI so label changes fail the build before production.
  • 本ランディングはテキストのみ。実験的な画像入力 / Box は /use-cases/image-object-box/ および関連 beta ページ —— 本番不可。
  • 単一の Noul を法的判定として扱わない。
  • エッジケースと異議申立の逆転は人レビューを残す。

API example

Same prepaid jv_live_ balance as tools. Output tokens are free on this host's metering model.

curl
curl https://jevtypesafe.org/api/v1/decide \
  -H "Authorization: Bearer jv_live_YOUR_KEY_HERE" \
  -H "Content-Type: application/json" \
  -d '{"state":"User content to moderate:\nYou're an idiot and I'll find where you live.","questions":{"action":{"type":"choice","instructions":"Should this content be allowed, sent to human review, or blocked?","criteria":{"allow":"safe to publish","review":"borderline, needs a human","block":"clearly violates policy"}},"toxicity":{"type":"noul","instructions":"Does this contain toxic or abusive language?"},"harassment":{"type":"noul","instructions":"Does this harass or threaten a person?"},"spam":{"type":"noul","instructions":"Is this spam or unsolicited promotion?"},"violence":{"type":"noul","instructions":"Does this threaten violence?"},"sexual":{"type":"noul","instructions":"Does this contain unwanted sexual content?"}}}'

FAQ

完全なトラスト＆セーフティスイートですか？
テキスト分類の意思決定 API です。ポリシー文書、異議申立フロー、人レビューと組み合わせてください。
モデレーション呼び出しを再現するには？
playground で Content Moderate を開きサンプルを実行し、同じ state + questions を jv_live_ キーで POST /api/v1/decide に再利用します。

Related use cases

Ready to build?

Free anonymous tool runs, then prepaid packs and a jv_live_ key — independent host, not affiliated with TypeSafe AI.

See pricingRun a demo
Jev コンテンツモデレーション | 許可・レビュー・ブロック