Use Cases / content-moderation
Jev İçerik moderasyonu
UGC ve sohbet hacimde allow / review / block ister. Anahtar kelime listeleri kırılgan; LLM yargıçları pahalı ve schema’ya zor.
Try a related template free on this host — 5 anonymous real-API runs with no signup — then ship the same schema with a prepaid jv_live_ key. See is Jev free? and playground.
Why Jev
Choice eylemi artı kategori noul/score alanları isteyin. Pipeline serbest metin parse etmek yerine güvene eşiğe bağlanır. Örnek: “Ucuz takipçi satın!!!” → action=block, inceleme kuyruğu için spam-yakın kategori bayrakları ve güven.
How to define the decision
state = kullanıcı metni (isteğe bağlı kanal gibi bağlam). Choice eylemi: allow / review / block. Politikanızın zaten adlandırdığı spam, taciz veya dolandırıcılık için Noul veya Score ekleyin — açık uçlu serbest metin kategorileri uydurmayın.
When to use Jev
- Gönderi ve yorumlar için yayın öncesi kapılar
- Açık etiketli sohbet istismarı / spam filtreleri
- Human-in-the-loop inceleme kuyrukları
When not to use Jev
- Modere edilmiş yeniden yazımlar üretmek
- Uzun belgelerin derin hukuki incelemesi
- Üretim görüntü moderasyonu — burada yalnızca metin; deneyler için beta Image / Box kullanım örneklerine bakın
Sample input and output
From the live tool template. Run it in the playground for a real API response — sample labels below are illustrative until you click Run.
Input
text: You're an idiot and I'll find where you live.
Sample display fields
- action: block · 96%
- toxicity: yes · 94%
- harassment: yes · 91%
- spam: no · 12%
- confidence: 96%
Yalnızca yüksek güvenli allow’da otomatik izin verin. review/block ve orta güven yollarını insan kuyruklarına gönderin. Olasılık kalibre bir sinyaldir, yasa dışılık kanıtı değil — itirazlar ve politika dokümanlarıyla eşleştirin.
Failure modes and human fallback
- Upstream or network errors: retry with backoff; do not invent a decision.
- Low confidence: route to a human queue or safer default — never auto-act on money/destructive tools.
- Schema drift: keep a golden fixture set in CI so label changes fail the build before production.
- Bu landing yalnızca metindir. Deneysel görüntü girdileri / Box /use-cases/image-object-box/ ve ilgili beta sayfalarında — üretim için değil.
- Tek bir Noul’u asla hukuki hüküm saymayın.
- Kenar durumlar ve itiraz geri alımları için insan incelemesini koruyun.
API example
Same prepaid jv_live_ balance as tools. Output tokens are free on this host's metering model.
curl https://jevtypesafe.org/api/v1/decide \
-H "Authorization: Bearer jv_live_YOUR_KEY_HERE" \
-H "Content-Type: application/json" \
-d '{"state":"User content to moderate:\nYou're an idiot and I'll find where you live.","questions":{"action":{"type":"choice","instructions":"Should this content be allowed, sent to human review, or blocked?","criteria":{"allow":"safe to publish","review":"borderline, needs a human","block":"clearly violates policy"}},"toxicity":{"type":"noul","instructions":"Does this contain toxic or abusive language?"},"harassment":{"type":"noul","instructions":"Does this harass or threaten a person?"},"spam":{"type":"noul","instructions":"Is this spam or unsolicited promotion?"},"violence":{"type":"noul","instructions":"Does this threaten violence?"},"sexual":{"type":"noul","instructions":"Does this contain unwanted sexual content?"}}}'FAQ
- Bu tam bir trust & safety paketi mi?
- Metin sınıflandırması için bir karar API’sidir. Politika dokümanları, itiraz akışı ve insan incelemesiyle eşleştirin.
- Moderasyon çağrısını nasıl yeniden üretirim?
- Playground’da Content Moderate’i açın, örneği çalıştırın, aynı state + questions’ı jv_live_ anahtarıyla POST /api/v1/decide’a yeniden kullanın.
Related use cases
Ready to build?
Free anonymous tool runs, then prepaid packs and a jv_live_ key — independent host, not affiliated with TypeSafe AI.