Představujeme StellarGate: Použijte jakýkoli LLM bez vystavení dat

Problém

Každá enterprise chce používat nejlepší dostupné AI modely. GPT-4 pro analýzu, Claude pro long-context uvažování, Gemini pro multimodal úlohy. Schopnosti jsou nepopiratelné. Ale je tu zádrhel, který většinu firem zastaví hned u dveří.

Pro použití těchto modelů musíte poslat svoje data třetí straně. Každý prompt, každý dokument, každá otázka — vše opouští vaši infrastrukturu a putuje na servery, které neřídíte. Pro mnoho organizací je to no-go.

Healthcare firmy nemohou posílat pacientské záznamy do OpenAI. Advokátní kanceláře nemohou posílat důvěrnou komunikaci přes externí API. Finanční instituce čelí přísným požadavkům na datovou rezidenci, které zakazují přeshraniční přenosy dat. I firmy bez tvrdých regulatorních omezení mají často interní politiky bránící citlivým datům dostat se do třetí strany.

Výsledek? Týmy se buď komerčním LLM úplně vyhýbají — spokojí se se slabšími lokálními modely — nebo si vytvoří ruční workaroundy, kde zaměstnanci ručně redigují citlivé informace před promptem. Oba přístupy jsou pomalé, náchylné k chybám a neškálují.

Jak StellarGate funguje

StellarGate sedí mezi vaší aplikací a jakýmkoli LLM providerem. Automaticky detekuje a nahrazuje citlivé entity ve vašich promptech, než opustí vaši infrastrukturu, a v odpovědi je obnovuje. LLM nikdy nevidí vaše skutečná data.

Proces sleduje čtyřkrokovou pipelinu:

Input: "Send payment of $14,500 to John Smith at john@acme.com"

Step 1 — Detect:   [John Smith] → PERSON, [$14,500] → AMOUNT, [john@acme.com] → EMAIL
Step 2 — Tokenize:  "Send payment of [AMT_1] to [PER_1] at [EMAIL_1]"
Step 3 — Send:      LLM receives sanitized prompt, generates response
Step 4 — Resolve:   Replace tokens back → original values in final output

Krok 1: Detekce

StellarGate spouští lokální Named Entity Recognition (NER) pipelinu nad každým příchozím promptem. Tohle není regex matcher — je to účelově postavený model, který rozumí kontextu. Ví, že „Apple” v „Apple Inc. reported earnings” je organizace, zatímco „apple” v „I ate an apple” není.

Krok 2: Tokenizace

Každá detekovaná entita se nahradí deterministickým placeholderovým tokenem. Stejná entita vždycky mapuje na stejný token v rámci session, takže LLM pořád může uvažovat o vztazích. Pokud se „John Smith” objeví v dokumentu pětkrát, všech pět instancí se stane stejným tokenem.

Krok 3: Odeslání

Sanitovaný prompt se přepošle cílovému LLM. Z pohledu modelu je to jen normální zpracování requestu — nemá tušení, že tokeny reprezentují redigované hodnoty. Model uvažuje o struktuře a sémantice úplně stejně efektivně.

Krok 4: Rozkódování

Když se odpověď vrátí, StellarGate nahradí všechny tokeny jejich původními hodnotami. Vaše aplikace dostane čistou, plně rozkódovanou odpověď, jako by se anonymizace nikdy nestala.

Co se anonymizuje

NER pipelina StellarGate rozpoznává komplexní sadu typů entit out of the box:

• Jména osob — plná jména, křestní/příjmení, tituly
• E-mailové adresy — osobní i firemní adresy
• Telefonní čísla — mezinárodní formáty, klapky
• Peněžní částky — měny, rozsahy, slovně vypsané částky
• Fyzické adresy — uliční adresy, města, PSČ
• Národní ID — rodná čísla, daňová ID, čísla pasů
• Čísla účtů — bankovní účty, kreditní karty, IBAN
• Data narození — různé formáty dat svázaných s jednotlivci
• Názvy organizací — společnosti, instituce, oddělení

Každý typ entity lze nezávisle zapnout nebo vypnout, takže můžete jemně doladit, co se anonymizuje, podle konkrétních compliance požadavků.

Integrace

StellarGate jsme navrhli tak, aby vyžadoval co nejmenší změnu existujícího kódu. Pokud už používáte OpenAI SDK, změníte jednu řádku — base URL:

// Before
const client = new OpenAI({
	baseURL: 'https://api.openai.com/v1'
});

// After — one line change
const client = new OpenAI({
	baseURL: 'https://gate.stellarbase.ai/v1'
});

Totéž platí pro Anthropic SDK:

import Anthropic from '@anthropic-ai/sdk';

const client = new Anthropic({
	baseURL: 'https://gate.stellarbase.ai/anthropic'
});

const message = await client.messages.create({
	model: 'claude-sonnet-4-20250514',
	max_tokens: 1024,
	messages: [{ role: 'user', content: 'Summarize this contract...' }]
});

StellarGate je plně kompatibilní s jakýmkoli OpenAI-compatible API klientem. To zahrnuje LangChain, LlamaIndex, Vercel AI SDK a vlastní HTTP klienty. Pokud to umí ukázat na URL, funguje to s StellarGate.

Žádné SDK k instalaci. Žádné wrapper funkce. Žádný refactoring kódu. Stačí prohodit URL a vaše prompty jsou automaticky chráněné.

Výkon

Soukromí by nemělo přijít za cenu rychlosti. StellarGate přidává méně než 5 milisekund latence ke každému requestu. Tady je, proč je tak rychlý:

• Lokální NER modely — rozpoznávání entit běží zcela na vaší infrastruktuře, žádné externí API volání pro anonymizační krok
• Podpora streamování — StellarGate řeší streamované odpovědi nativně, rozkódovává tokeny za běhu, jak chunky přicházejí
• Cachování na úrovni session — mapování entit jsou cachovaná per session, takže opakované entity se rozkódovávají okamžitě
• Async pipelina — detekce a tokenizace se dějí souběžně s přípravou requestu

V našich benchmarcích napříč 10 000 prompty různé složitosti byla mediánová režie 3,2 ms. 99. percentil byl 4,8 ms. Pro srovnání, typické LLM API volání trvá 500 ms až 3 sekundy — anonymizační režie je neviditelná.

Co dál

StellarGate je dnes dostupný jako součást StellarBase platformy. Tady je, co stavíme dál:

• Vlastní typy entit — definujte vlastní entity patterns pro doménově specifická data (medicínské kódy, interní názvy projektů, proprietární termíny)
• Per-field politiky — různá pravidla anonymizace pro různé části promptu (např. system prompt vs. user message)
• Audit logy — plná dohledatelnost každé anonymizační události, exportovatelné pro compliance reporting
• Multi-jazyčný NER — rozšířené rozpoznávání entit pro češtinu, němčinu, francouzštinu a španělštinu
• Šablony politik — předpřipravené anonymizační profily pro GDPR, HIPAA a SOC 2 compliance

Pokud jste enterprise, která chce používat nejlepší AI modely bez kompromisů v ochraně dat, StellarGate je postavený pro vás. Začněte na stellarbase.ai/gate nebo se ozvěte našemu týmu pro demo.