Use Cases / llm-routing
Jev モデルルーティング
毎リクエストをフロンティアモデルに送るのは無駄。手ルールはニュアンスを逃し、別 LLM ルーターは遅延とコストを増やす。
Try a related template free on this host — 5 anonymous real-API runs with no signup — then ship the same schema with a prepaid jv_live_ key. See is Jev free? and playground.
Why Jev
安価な型付き複雑度/Choice 決定で、高価な呼び出し前にモデル階層を選べる —— Jev の本領。ゲートウェイが選んだプロバイダを呼び、Jev は生成呼び出しをプロキシしない。
When to use Jev
- マルチモデルゲートウェイ
- コスト意識のエージェントプランナー
- 単純 vs 複雑チケットの分割
When not to use Jev
- カスタム ML が必要なときのルーター自作訓練
- 常にフロンティアが必要なタスク
- テキスト state のない非テキストモダリティ
Sample input and output
From the live tool template. Run it in the playground for a real API response — sample labels below are illustrative until you click Run.
Input
prompt: Summarize this 2-sentence email in one line. models: fast-mini, balanced, frontier
Sample display fields
- recommended_tier: fast · 80%
- complexity: simple · 78%
Failure modes and human fallback
- Upstream or network errors: retry with backoff; do not invent a decision.
- Low confidence: route to a human queue or safer default — never auto-act on money/destructive tools.
- Schema drift: keep a golden fixture set in CI so label changes fail the build before production.
API example
Same prepaid jv_live_ balance as tools. Output tokens are free on this host's metering model.
curl https://jevtypesafe.org/api/v1/decide \
-H "Authorization: Bearer jv_live_YOUR_KEY_HERE" \
-H "Content-Type: application/json" \
-d '{"state":"Model routing\nPrompt:\nSummarize this 2-sentence email in one line.\nCandidates: fast-mini, balanced, frontier","questions":{"recommended_tier":{"type":"choice","instructions":"Which model tier should handle this prompt?","criteria":{"fast":"short / simple — cheapest tier","balanced":"typical reasoning","frontier":"hard reasoning or long context"}},"complexity":{"type":"choice","instructions":"How complex is the prompt?","criteria":{"simple":"trivial","moderate":"standard","hard":"difficult"}}}}'FAQ
- OpenAI を代わりに呼んでくれますか?
- いいえ。Jev はルーティング決定だけ返す。ゲートウェイが選んだプロバイダを呼び出します。
- ルーティング信頼度が低い場合は?
- より安全な(通常より強い)階層にデフォルトするか、高リスクなら人に聞く。route + 信頼度をログしオフライン調整。
Related use cases
Ready to build?
Free anonymous tool runs, then prepaid packs and a jv_live_ key — independent host, not affiliated with TypeSafe AI.