Use Cases / screenshot-ui-box
Jev Screenshot UI Box（beta）
画像入力と Box 質問は beta かつ dreamer-ready で本番非推奨。それでもプロダクト/QA エージェントは「主ボタンはどこ？」の型付き信号を求める。
Try a related template free on this host — 5 anonymous real-API runs with no signup — then ship the same schema with a prepaid jv_live_ key. See is Jev free? and playground.
Why Jev
スクリーンショットを画像 asset として渡し、UI 領域に box 質問。オーバーレイがハイライトできる単一ボックス —— デモと評価ハーネス向けで、単独の本番クリック目標にはしない。
How to define the decision
assets.screenshot = { type: "image", format: "png", data_base64: "…" }。questions.cta = { type: "box", instructions: "Find the primary CTA button in screenshot" }。指示は具体的に。
When to use Jev
- エージェント UI grounding プロトタイプ
- スクリーンショット注釈デモ
- Jev box と専用 UI 検出器の比較
When not to use Jev
- box だけで本番 UI を自動クリック
- アクセシビリティ準拠認証
- 多要素レイアウト解析
Failure modes and human fallback
- Upstream or network errors: retry with backoff; do not invent a decision.
- Low confidence: route to a human queue or safer default — never auto-act on money/destructive tools.
- Schema drift: keep a golden fixture set in CI so label changes fail the build before production.
- 公式：画像入力と Box 質問は beta かつ dreamer-ready、本番非推奨。
- スクリーンショットに PII が含まれる場合あり —— assets 送信前にシークレットを除去。
- 本ホストはまだスクリーンショットアップロード playground を提供しない —— API かホームページローカルプレビューを使用。
API example
Same prepaid jv_live_ balance as tools. Output tokens are free on this host's metering model.
curl https://jevtypesafe.org/api/v1/decide \
-H "Authorization: Bearer jv_live_YOUR_KEY_HERE" \
-H "Content-Type: application/json" \
-d '{"state":"Customer: I've been waiting five days for my refund.","questions":{"action":{"type":"choice","instructions":"Decide the next step","criteria":{"allow":"safe","review":"unsure","block":"unsafe"}}}}'FAQ
- アプリの自動クリックに使えますか？
- 本番では不可。画像入力と Box 質問は beta かつ dreamer-ready で、本番非推奨です。
- API 形状のドキュメントはどこ？
- /docs/api/ の assets と box（beta）を参照。公式免責も含みます。
Related use cases
Ready to build?
Free anonymous tool runs, then prepaid packs and a jv_live_ key — independent host, not affiliated with TypeSafe AI.