Use Cases / content-moderation
Jev Moderação de conteúdo
UGC e chat precisam de allow / review / block em volume. Listas de keywords são frágeis; juízes LLM são caros e difíceis de esquemaizar.
Try a related template free on this host — 5 anonymous real-API runs with no signup — then ship the same schema with a prepaid jv_live_ key. See is Jev free? and playground.
Why Jev
Peça uma ação Choice mais campos Noul/Score de categoria. Seu pipeline limiariza por confiança em vez de parsear texto livre. Exemplo: “Compre seguidores barato!!!” → action=block, flags próximos de spam com confiança para a fila de revisão.
How to define the decision
state = texto do usuário (e contexto opcional como canal). Ação Choice: allow / review / block. Adicione Noul ou Score para spam, assédio ou golpe que sua política já nomeia — não invente categorias abertas de texto livre.
When to use Jev
- Gates pré-publicação para posts e comentários
- Filtros de abuso / spam em chat com rótulos explícitos
- Filas de revisão human-in-the-loop
When not to use Jev
- Gerar reescritas moderadas
- Revisão jurídica profunda de documentos longos
- Moderação de imagem em produção — aqui só texto; veja casos beta Image / Box para experimentos
Sample input and output
From the live tool template. Run it in the playground for a real API response — sample labels below are illustrative until you click Run.
Input
text: You're an idiot and I'll find where you live.
Sample display fields
- action: block · 96%
- toxicity: yes · 94%
- harassment: yes · 91%
- spam: no · 12%
- confidence: 96%
Auto-permita só em allow de alta confiança. Envie review/block e confiança média para filas humanas. Probabilidade é sinal calibrado, não prova de ilegalidade — combine com recursos e docs de política.
Failure modes and human fallback
- Upstream or network errors: retry with backoff; do not invent a decision.
- Low confidence: route to a human queue or safer default — never auto-act on money/destructive tools.
- Schema drift: keep a golden fixture set in CI so label changes fail the build before production.
- Este landing é só texto. Entradas de imagem / Box experimentais em /use-cases/image-object-box/ e páginas beta relacionadas — não para produção.
- Nunca trate um único Noul como determinação legal.
- Mantenha revisão humana para casos-limite e reversões de recurso.
API example
Same prepaid jv_live_ balance as tools. Output tokens are free on this host's metering model.
curl https://jevtypesafe.org/api/v1/decide \
-H "Authorization: Bearer jv_live_YOUR_KEY_HERE" \
-H "Content-Type: application/json" \
-d '{"state":"User content to moderate:\nYou're an idiot and I'll find where you live.","questions":{"action":{"type":"choice","instructions":"Should this content be allowed, sent to human review, or blocked?","criteria":{"allow":"safe to publish","review":"borderline, needs a human","block":"clearly violates policy"}},"toxicity":{"type":"noul","instructions":"Does this contain toxic or abusive language?"},"harassment":{"type":"noul","instructions":"Does this harass or threaten a person?"},"spam":{"type":"noul","instructions":"Is this spam or unsolicited promotion?"},"violence":{"type":"noul","instructions":"Does this threaten violence?"},"sexual":{"type":"noul","instructions":"Does this contain unwanted sexual content?"}}}'FAQ
- É um suite completo de trust & safety?
- É uma API de decisão para classificação de texto. Combine com docs de política, fluxo de recursos e revisão humana.
- Como reproduzir a chamada de moderação?
- Abra Content Moderate no playground, rode o sample e reutilize o mesmo state + questions em POST /api/v1/decide com uma chave jv_live_.
Related use cases
Ready to build?
Free anonymous tool runs, then prepaid packs and a jv_live_ key — independent host, not affiliated with TypeSafe AI.