Use Cases / llm-routing
Jev: маршрутизация моделей
Отправлять каждый запрос на frontier-модель расточительно. Ручные правила теряют нюансы; ещё один LLM-роутер добавляет латентность и стоимость.
Try a related template free on this host — 5 anonymous real-API runs with no signup — then ship the same schema with a prepaid jv_live_ key. See is Jev free? and playground.
Why Jev
Дешёвое типизированное решение сложности/Choice может выбрать tier модели до дорогого вызова — штатная полоса Jev. Gateway вызывает выбранного провайдера; Jev никогда не проксирует генеративный вызов.
When to use Jev
- Мультимодельные gateway
- Планировщики агентов с учётом стоимости
- Разделители простых vs сложных тикетов
When not to use Jev
- Обучение собственного роутера с нуля, когда нужен custom ML
- Задачи, которым всегда нужен frontier
- Нетекстовые модальности без текстового state
Sample input and output
From the live tool template. Run it in the playground for a real API response — sample labels below are illustrative until you click Run.
Input
prompt: Summarize this 2-sentence email in one line. models: fast-mini, balanced, frontier
Sample display fields
- recommended_tier: fast · 80%
- complexity: simple · 78%
Failure modes and human fallback
- Upstream or network errors: retry with backoff; do not invent a decision.
- Low confidence: route to a human queue or safer default — never auto-act on money/destructive tools.
- Schema drift: keep a golden fixture set in CI so label changes fail the build before production.
API example
Same prepaid jv_live_ balance as tools. Output tokens are free on this host's metering model.
curl https://jevtypesafe.org/api/v1/decide \
-H "Authorization: Bearer jv_live_YOUR_KEY_HERE" \
-H "Content-Type: application/json" \
-d '{"state":"Model routing\nPrompt:\nSummarize this 2-sentence email in one line.\nCandidates: fast-mini, balanced, frontier","questions":{"recommended_tier":{"type":"choice","instructions":"Which model tier should handle this prompt?","criteria":{"fast":"short / simple — cheapest tier","balanced":"typical reasoning","frontier":"hard reasoning or long context"}},"complexity":{"type":"choice","instructions":"How complex is the prompt?","criteria":{"simple":"trivial","moderate":"standard","hard":"difficult"}}}}'FAQ
- Вызывает ли это OpenAI за меня?
- Нет. Jev только возвращает решение маршрутизации. Gateway затем вызывает выбранного провайдера.
- Что если уверенность маршрутизации низкая?
- По умолчанию более безопасный (обычно более сильный) tier или спросите человека при высоком риске. Логируйте route + уверенность для offline-тюнинга.
Related use cases
Ready to build?
Free anonymous tool runs, then prepaid packs and a jv_live_ key — independent host, not affiliated with TypeSafe AI.