Use Cases / llm-routing
Jev Model yönlendirme
Her isteği frontier modele göndermek israftır. Elle kurallar nüansı kaçırır; başka bir LLM yönlendirici gecikme ve maliyet ekler.
Try a related template free on this host — 5 anonymous real-API runs with no signup — then ship the same schema with a prepaid jv_live_ key. See is Jev free? and playground.
Why Jev
Ucuz tipli karmaşıklık/Choice kararı pahalı çağrıdan önce model katmanını seçebilir — Jev’in amaçlanan şeridi. Gateway seçilen sağlayıcıyı çağırır; Jev üretken çağrıyı asla proxy’lemez.
When to use Jev
- Çok modellı gateway’ler
- Maliyet farkında ajan planlayıcıları
- Basit vs karmaşık ticket ayırıcıları
When not to use Jev
- Özel ML gerektiğinde yönlendiriciyi sıfırdan eğitmek
- Her zaman frontier model gerektiren görevler
- Metin state’i olmayan metin dışı kipler
Sample input and output
From the live tool template. Run it in the playground for a real API response — sample labels below are illustrative until you click Run.
Input
prompt: Summarize this 2-sentence email in one line. models: fast-mini, balanced, frontier
Sample display fields
- recommended_tier: fast · 80%
- complexity: simple · 78%
Failure modes and human fallback
- Upstream or network errors: retry with backoff; do not invent a decision.
- Low confidence: route to a human queue or safer default — never auto-act on money/destructive tools.
- Schema drift: keep a golden fixture set in CI so label changes fail the build before production.
API example
Same prepaid jv_live_ balance as tools. Output tokens are free on this host's metering model.
curl https://jevtypesafe.org/api/v1/decide \
-H "Authorization: Bearer jv_live_YOUR_KEY_HERE" \
-H "Content-Type: application/json" \
-d '{"state":"Model routing\nPrompt:\nSummarize this 2-sentence email in one line.\nCandidates: fast-mini, balanced, frontier","questions":{"recommended_tier":{"type":"choice","instructions":"Which model tier should handle this prompt?","criteria":{"fast":"short / simple — cheapest tier","balanced":"typical reasoning","frontier":"hard reasoning or long context"}},"complexity":{"type":"choice","instructions":"How complex is the prompt?","criteria":{"simple":"trivial","moderate":"standard","hard":"difficult"}}}}'FAQ
- Benim için OpenAI’yi çağırır mı?
- Hayır. Jev yalnızca yönlendirme kararını döner. Gateway ardından seçilen sağlayıcıyı çağırır.
- Yönlendirme güveni düşükse?
- Daha güvenli (genelde daha yetenekli) katmana varsayılan veya karar yüksek riskliyse insana sorun. Offline ayar için route + güveni loglayın.
Related use cases
Ready to build?
Free anonymous tool runs, then prepaid packs and a jv_live_ key — independent host, not affiliated with TypeSafe AI.