StellarBase
Dokumentace StellarGate Human-in-the-Loop
StellarGate

Human-in-the-Loop

Schvalte sanitovaný payload *předtím*, než dorazí do externího LLM. Každé rozhodnutí logované. Pro workloady, kde „většinou anonymizováno" není dost dobré.

Kdy HITL použít

HITL je add-on pro workflows s nejvyššími sázkami — typicky právní, zdravotnické a regulační kontexty, kde je cena náhodného úniku katastrofická. Příklady:

  • Litigation support advokátní kanceláře vyžaduje, aby partner odsouhlasil každý odchozí payload během přípravy na soud
  • Klinický decision-support agent v nemocnici musí mít potvrzení od seniorního lékaře pro každý case-specific dotaz na LLM
  • Regulátor auditující příjemce EU fondů vyžaduje schválení supervisora předtím, než jakákoli anonymizovaná data příjemce vstoupí do univerzálního LLM

Pro rutinní workloady HITL přidává latenci a kognitivní zátěž bez úměrného přínosu. Používejte ho tam, kde sázky odůvodňují.

Jak to funguje

Request dorazí do StellarGate. Místo okamžitého přeposlání jde do fronty.

  1. StellarGate anonymizuje prompt jako obvykle
  2. Request se přidá do fronty schvalování pro určeného revieweru
  3. Reviewer vidí původní prompt vedle anonymizované verze
  4. Reviewer klikne na Approve, Modify nebo Reject
  5. Při schválení payload jde do LLM; při zamítnutí volající dostane chybu; při úpravě se pošle upravený payload a zaloguje se
  6. Odpověď (pokud nějaká) se de-anonymizuje jako obvykle a vrátí volajícímu

Trigger pravidla

HITL lze vyžadovat bezpodmínečně nebo na základě pravidel, která nakonfigurujete. Pravidla mohou reagovat na jakoukoli kombinaci detekovaných entit, prahů částek, cílového LLM, žádajícího uživatele a pravděpodobnostních spot-checků pro quality assurance — a skládají se, takže pravidlo jako „externí LLM AND částka > 100 tis. € AND junior analytik” je jeden výraz.

Zkušenost revieweru

Revieweři vidí schvalovací frontu s:

  • Původním promptem (s entitami zvýrazněnými podle kategorie)
  • Anonymizovanou verzí (s tokeny zvýrazněnými)
  • Detekovaným mapováním (klikem ověříte jakoukoli detekci)
  • Metadaty — žádající uživatel, timestamp, cílový LLM, pravidlo, které spustilo HITL

Tři akce:

  • Approve — poslat tak, jak je
  • Modify — upravit sanitovaný prompt, pak poslat. Úpravy jsou logované.
  • Reject — zablokovat request. Volající dostane chybu. Důvod zamítnutí se zachytí.

Očekávaná latence

HITL přidává lidskou latenci do cesty requestu. Pro interaktivní use cases volající čeká — to je obvykle v pořádku, protože uživatelé očekávají pauzu u regulovaného workflow. Pro batch workloady se requesty hromadí ve frontě.

Možnosti snížení latence:

  • Standing approvals — předem schválit třídy requestů na časové okno (např. následující 4 hodiny)
  • Multi-reviewer — jakýkoli reviewer v poolu může schválit, routing na prvního dostupného
  • Asynchronní mód — volající poskytne callback URL, dostane odpověď, až bude schválené

Eskalace a multi-signature

🛠 Připravené v Q4 2026. Multi-reviewer prahy a routování podle denní doby budou připravené v Q4 2026. Schvalování jedním reviewerem je k dispozici dnes.

Nakonfigurujte prahy vyžadující víc revieweru:

  • Částka > 1M € → vyžaduje 2 schvalovatele
  • Pacientský záznam v onkologii → vyžaduje onkologa + compliance officera
  • Emergency override → vyžaduje jednoho jmenovaného exekutivu

Eskalační pravidla mohou routovat automaticky podle denní doby, dostupnosti revieweru nebo severity.

Audit stopa

Každé HITL rozhodnutí je nezměnitelně logované:

  • Kdo revidoval
  • Kdy
  • Co viděl (originál + anonymizováno)
  • Co rozhodl
  • Jaké úpravy provedl
  • Důvod zamítnutí, pokud existuje

Exportovatelné pro compliance audit, etickou komisi nebo soudní podání. Viz Audit log.

SLA dashboardy

🛠 Připravené v Q4 2026. Metriky doby schválení, míry zamítnutí a vytíženosti revieweru budou připravené v Q4 2026. Audit log zachycuje podkladová rozhodnutí dnes.

Sledujte výkon vašeho review procesu:

  • Průměrná doba schválení
  • Míra zamítnutí
  • Míra úprav (vysoká hodnota naznačuje, že detekční pravidla potřebují ladit)
  • Distribuce zátěže mezi reviewery
  • Vzorce podle denní doby

Cena

€0,05 za schválení nebo €15 na revieweru měsíčně za neomezené schvalování. Viz API pricing.

Související