Use Cases / llm-routing
Jev Roteamento de modelos
Enviar cada pedido ao modelo frontier é desperdício. Regras manuais perdem nuance; outro router LLM adiciona latência e custo.
Try a related template free on this host — 5 anonymous real-API runs with no signup — then ship the same schema with a prepaid jv_live_ key. See is Jev free? and playground.
Why Jev
Uma decisão tipada barata de complexidade/Choice pode escolher o tier do modelo antes da chamada cara — a faixa pretendida do Jev. Seu gateway chama o provedor escolhido; Jev nunca faz proxy da chamada generativa.
When to use Jev
- Gateways multi-modelo
- Planejadores de agentes conscientes de custo
- Divisores de tickets simples vs complexos
When not to use Jev
- Treinar seu próprio router do zero quando precisa de ML customizado
- Tarefas que sempre precisam do modelo frontier
- Modalidades não texto sem um state de texto
Sample input and output
From the live tool template. Run it in the playground for a real API response — sample labels below are illustrative until you click Run.
Input
prompt: Summarize this 2-sentence email in one line. models: fast-mini, balanced, frontier
Sample display fields
- recommended_tier: fast · 80%
- complexity: simple · 78%
Failure modes and human fallback
- Upstream or network errors: retry with backoff; do not invent a decision.
- Low confidence: route to a human queue or safer default — never auto-act on money/destructive tools.
- Schema drift: keep a golden fixture set in CI so label changes fail the build before production.
API example
Same prepaid jv_live_ balance as tools. Output tokens are free on this host's metering model.
curl https://jevtypesafe.org/api/v1/decide \
-H "Authorization: Bearer jv_live_YOUR_KEY_HERE" \
-H "Content-Type: application/json" \
-d '{"state":"Model routing\nPrompt:\nSummarize this 2-sentence email in one line.\nCandidates: fast-mini, balanced, frontier","questions":{"recommended_tier":{"type":"choice","instructions":"Which model tier should handle this prompt?","criteria":{"fast":"short / simple — cheapest tier","balanced":"typical reasoning","frontier":"hard reasoning or long context"}},"complexity":{"type":"choice","instructions":"How complex is the prompt?","criteria":{"simple":"trivial","moderate":"standard","hard":"difficult"}}}}'FAQ
- Isso chama a OpenAI por mim?
- Não. Jev só devolve a decisão de roteamento. Seu gateway então invoca o provedor escolhido.
- E se a confiança do roteamento estiver baixa?
- Default para um tier mais seguro (em geral mais capaz) ou pergunte a um humano quando a decisão for de alto risco. Registre route + confiança para tuning offline.
Related use cases
Ready to build?
Free anonymous tool runs, then prepaid packs and a jv_live_ key — independent host, not affiliated with TypeSafe AI.