Pular para o conteúdo
Jev | typesafeAPI & Playground
…

Use Cases / llm-routing

Jev Roteamento de modelos

Enviar cada pedido ao modelo frontier é desperdício. Regras manuais perdem nuance; outro router LLM adiciona latência e custo.

Try a related template free on this host — 5 anonymous real-API runs with no signup — then ship the same schema with a prepaid jv_live_ key. See is Jev free? and playground.

Why Jev

Uma decisão tipada barata de complexidade/Choice pode escolher o tier do modelo antes da chamada cara — a faixa pretendida do Jev. Seu gateway chama o provedor escolhido; Jev nunca faz proxy da chamada generativa.

When to use Jev

  • Gateways multi-modelo
  • Planejadores de agentes conscientes de custo
  • Divisores de tickets simples vs complexos

When not to use Jev

  • Treinar seu próprio router do zero quando precisa de ML customizado
  • Tarefas que sempre precisam do modelo frontier
  • Modalidades não texto sem um state de texto

Sample input and output

From the live tool template. Run it in the playground for a real API response — sample labels below are illustrative until you click Run.

Input

prompt: Summarize this 2-sentence email in one line.

models: fast-mini, balanced, frontier

Sample display fields

  • recommended_tier: fast · 80%
  • complexity: simple · 78%

Failure modes and human fallback

  • Upstream or network errors: retry with backoff; do not invent a decision.
  • Low confidence: route to a human queue or safer default — never auto-act on money/destructive tools.
  • Schema drift: keep a golden fixture set in CI so label changes fail the build before production.

API example

Same prepaid jv_live_ balance as tools. Output tokens are free on this host's metering model.

curl
curl https://jevtypesafe.org/api/v1/decide \
  -H "Authorization: Bearer jv_live_YOUR_KEY_HERE" \
  -H "Content-Type: application/json" \
  -d '{"state":"Model routing\nPrompt:\nSummarize this 2-sentence email in one line.\nCandidates: fast-mini, balanced, frontier","questions":{"recommended_tier":{"type":"choice","instructions":"Which model tier should handle this prompt?","criteria":{"fast":"short / simple — cheapest tier","balanced":"typical reasoning","frontier":"hard reasoning or long context"}},"complexity":{"type":"choice","instructions":"How complex is the prompt?","criteria":{"simple":"trivial","moderate":"standard","hard":"difficult"}}}}'

FAQ

Isso chama a OpenAI por mim?
Não. Jev só devolve a decisão de roteamento. Seu gateway então invoca o provedor escolhido.
E se a confiança do roteamento estiver baixa?
Default para um tier mais seguro (em geral mais capaz) ou pergunte a um humano quando a decisão for de alto risco. Registre route + confiança para tuning offline.

Related use cases

Ready to build?

Free anonymous tool runs, then prepaid packs and a jv_live_ key — independent host, not affiliated with TypeSafe AI.

Jev Roteamento de modelos | Escolha o modelo mais barato capaz