Use Cases / content-moderation
Jev: модерация контента
UGC и чат требуют allow / review / block на объёме. Списки ключевых слов хрупки; LLM-судьи дороги и плохо схематизируются.
Try a related template free on this host — 5 anonymous real-API runs with no signup — then ship the same schema with a prepaid jv_live_ key. See is Jev free? and playground.
Why Jev
Запросите Choice-действие плюс поля Noul/Score категорий. Пайплайн порогует по уверенности, а не парсит свободный текст. Пример: «Купи подписчиков дёшево!!!» → action=block, спам-смежные флаги с уверенностью для очереди ревью.
How to define the decision
state = текст пользователя (и опционально контекст канала). Choice-действие: allow / review / block. Добавьте Noul или Score для spam, harassment или scam, уже названных политикой — не изобретайте открытые свободные категории.
When to use Jev
- Гейты перед публикацией постов и комментариев
- Фильтры абьюза / спама в чате с явными метками
- Очереди ревью human-in-the-loop
When not to use Jev
- Генерация модерированных переписываний
- Глубокий юридический разбор длинных документов
- Продакшен-модерация изображений — здесь только текст; для экспериментов см. beta Image / Box
Sample input and output
From the live tool template. Run it in the playground for a real API response — sample labels below are illustrative until you click Run.
Input
text: You're an idiot and I'll find where you live.
Sample display fields
- action: block · 96%
- toxicity: yes · 94%
- harassment: yes · 91%
- spam: no · 12%
- confidence: 96%
Авто-разрешайте только allow с высокой уверенностью. review/block и среднюю уверенность — в человеческие очереди. Вероятность — калиброванный сигнал, не доказательство незаконности — сочетайте с апелляциями и документами политики.
Failure modes and human fallback
- Upstream or network errors: retry with backoff; do not invent a decision.
- Low confidence: route to a human queue or safer default — never auto-act on money/destructive tools.
- Schema drift: keep a golden fixture set in CI so label changes fail the build before production.
- Этот лендинг только текст. Экспериментальные image inputs / Box — на /use-cases/image-object-box/ и связанных beta-страницах — не для продакшена.
- Никогда не трактуйте один Noul как юридическое определение.
- Оставляйте человеческое ревью для краевых случаев и отмены апелляций.
API example
Same prepaid jv_live_ balance as tools. Output tokens are free on this host's metering model.
curl https://jevtypesafe.org/api/v1/decide \
-H "Authorization: Bearer jv_live_YOUR_KEY_HERE" \
-H "Content-Type: application/json" \
-d '{"state":"User content to moderate:\nYou're an idiot and I'll find where you live.","questions":{"action":{"type":"choice","instructions":"Should this content be allowed, sent to human review, or blocked?","criteria":{"allow":"safe to publish","review":"borderline, needs a human","block":"clearly violates policy"}},"toxicity":{"type":"noul","instructions":"Does this contain toxic or abusive language?"},"harassment":{"type":"noul","instructions":"Does this harass or threaten a person?"},"spam":{"type":"noul","instructions":"Is this spam or unsolicited promotion?"},"violence":{"type":"noul","instructions":"Does this threaten violence?"},"sexual":{"type":"noul","instructions":"Does this contain unwanted sexual content?"}}}'FAQ
- Это полный trust & safety suite?
- Это decision API для классификации текста. Сочетайте с политикой, апелляциями и человеческим ревью.
- Как воспроизвести вызов модерации?
- Откройте Content Moderate в playground, прогоните sample, затем повторно используйте тот же state + questions против POST /api/v1/decide с ключом jv_live_.
Related use cases
Ready to build?
Free anonymous tool runs, then prepaid packs and a jv_live_ key — independent host, not affiliated with TypeSafe AI.