Proč na self-hosted AI záleží víc než kdy dřív

Regulatorní krajina

Regulatorní prostředí kolem dat a AI se dramaticky posunulo. Tři hlavní rámce teď utvářejí, jak evropské enterprise zacházejí s AI workloady, a všechny tlačí stejným směrem: víc kontroly, víc odpovědnosti, víc suverenity.

GDPR (General Data Protection Regulation)

GDPR je v platnosti od roku 2018, ale vymáhání kolem AI use cases se zintenzivnilo. Jádro problému: když posíláte data zaměstnanců, zákazníků nebo jakákoli osobní data externí AI službě, provádíte přenos dat, který potřebuje právní základ. Pokud ta služba běží mimo EU, musíte splnit i omezení přenosů z Kapitoly V.

Nedávné vymáhací akce jasně ukázaly, že „používáme US-based AI providera” už není obhajitelné bez komplexních smluv o zpracování dat, transfer impact assessmentů a technických opatření. Self-hosting otázku přenosu eliminuje úplně.

DORA (Digital Operational Resilience Act)

DORA nabyl plné účinnosti v lednu 2025 a platí pro všechny finanční subjekty v EU — banky, pojišťovny, investiční firmy a jejich kritické ICT providery. DORA vyžaduje:

• Řízení ICT rizik — každá služba třetí strany musí být risk-assessed, včetně AI providerů
• Limity koncentračního rizika — nemůžete kriticky záviset na jediném providerovi
• Exit strategie — musíte mít zdokumentovaný plán migrace pryč od jakéhokoli kritického providera
• Hlášení incidentů — AI incidenty musí být hlášeny regulátorům v krátkých termínech

Pro finanční instituce používající cloud AI služby na cokoli za rámec experimentování DORA compliance v zásadě vyžaduje buď self-hosting, nebo práci s EU-based providerem splňujícím DORA požadavky.

NIS2 (Network and Information Security Directive)

NIS2 rozšířil rozsah EU kybernetických požadavků na mnohem širší sadu „essential” a „important” subjektů — včetně healthcare, energetiky, dopravy, vodárenství, digitální infrastruktury a veřejné správy. Směrnice vyžaduje, aby tyto organizace implementovaly bezpečnostní opatření zahrnující řízení rizik dodavatelského řetězce.

Použití externí AI služby vytváří závislost v dodavatelském řetězci. Pod NIS2 musí být tahle závislost posouzena, zdokumentována, monitorována a obsahovat smluvní bezpečnostní záruky. Self-hosted AI tuhle závislost odstraňuje z vašeho rizikového profilu dodavatelského řetězce.

Rizika cloud-only AI

Mimo regulatorní compliance nese cloud-only AI provozní rizika, která mnoho organizací podceňuje:

• Vystavení dat — každý prompt, který pošlete, obsahuje informaci. V čase agregát vašich promptů kreslí detailní obraz vašich obchodních operací, strategií a zranitelností
• Deprecace modelů — cloud provideři pravidelně deprekují modely. Model, na kterém vaše workflows dnes závisí, nemusí za půl roku existovat
• Změny cen — máte nulovou kontrolu nad cenami. 50% zvýšení ceny vašeho primárního modelu může přes noc rozbít váš AI rozpočet
• Závislost na výpadcích — když OpenAI spadne, vaše AI features spadnou. Dědíte cizí problémy se spolehlivostí
• Obavy o trénovací data — někteří provideři mohou používat vaše data k trénování budoucích modelů, pokud se neodhlásíte (a neověříte, že je odhlášení účinné)

Žádné z těchto rizik není teoretické. Všechna se za posledních 12 měsíců stala skutečným firmám.

Co self-hosted v praxi znamená

Self-hosted AI neznamená provozovat všechno na jednom serveru ve vašem sklepě. Znamená provozovat AI infrastrukturu uvnitř vašeho kontrolního perimetru — ať už je to vlastní datové centrum, private cloud VPC, nebo dedikovaný cluster v managed Kubernetes prostředí.

Kompletní self-hosted AI stack zahrnuje:

• Jazykové modely — open-source modely jako Llama 3.3, Mistral nebo Mixtral běžící na vašich GPU
• Správu znalostí — zpracování dokumentů, indexování a retrieval (tohle dělá StellarBase)
• Vektorové úložiště — embeddings uložené lokálně pro sémantické vyhledávání
• Orchestraci — agent frameworky, workflow enginy a routing logiku
• Monitoring — sledování využití, alokace nákladů, metriky kvality a audit logy

Dobrá zpráva: open-source ekosystém dospěl do bodu, kdy je self-hosted AI skutečně použitelná pro produkční workloady. Llama 3.3 70B konkuruje GPT-4 na mnoha benchmarcích. vLLM dělá inference rychlou. A platformy jako StellarBase řeší znalostní vrstvu, takže ji nemusíte stavět od nuly.

Cloud vs. self-hosted: porovnání

┌─────────────────────┬──────────────────┬──────────────────┐
│                     │   Cloud-Only AI  │  Self-Hosted AI  │
├─────────────────────┼──────────────────┼──────────────────┤
│ Data residency      │ Provider's DC    │ Your DC / VPC    │
│ Data access         │ Provider + you   │ Only you         │
│ Regulatory control  │ Limited          │ Full             │
│ Model selection     │ Provider's list  │ Any model        │
│ Latency             │ Variable         │ Predictable      │
│ Uptime dependency   │ Provider's SLA   │ Your SLA         │
│ Cost at scale       │ Per-token fees   │ Fixed infra cost │
│ Customization       │ API parameters   │ Full fine-tuning │
│ Audit trail         │ Provider's logs  │ Your logs        │
│ Vendor lock-in      │ High             │ None             │
└─────────────────────┴──────────────────┴──────────────────┘

Trade-off je jasný: cloud-only AI je jednodušší pro start, ale dává vám menší kontrolu. Self-hosted AI vyžaduje víc upfront investice, ale dává vám plnou suverenitu nad vašimi daty, modely a náklady.

Pro většinu enterprise je správná odpověď hybridní přístup — používejte cloud modely pro necitlivé workloady (marketingové texty, obecný výzkum) a self-hosted modely pro cokoli zahrnujícího proprietární nebo regulovaná data. StellarBase podporuje oba módy přes StellarCloud (cloud) a přímé nasazení (self-hosted).

Přístup StellarBase

StellarBase byl od prvního dne navržený pro provoz na vaší infrastruktuře. Celá platforma se dodává jako Docker image, který nasadíte, kde potřebujete.

Docker nasazení

# Pull the StellarBase image
docker pull ghcr.io/stellarbase/stellarbase:latest

# Run with local storage and a local LLM
docker run -d 
  --name stellarbase 
  -p 8080:8080 
  -v /data/stellarbase:/app/data 
  -e LLM_PROVIDER=local 
  -e LLM_MODEL=llama-3.3-70b 
  ghcr.io/stellarbase/stellarbase:latest

Kubernetes / Helm

# Add the StellarBase Helm repository
helm repo add stellarbase https://charts.stellarbase.ai

# Install with default configuration
helm install stellarbase stellarbase/stellarbase 
  --namespace stellarbase 
  --create-namespace 
  --set persistence.size=100Gi 
  --set llm.provider=local 
  --set llm.model=llama-3.3-70b

Obě metody nasazení vám dávají plnou StellarBase platformu — DSM engine, znalostní graf, agent framework a API — běžící zcela uvnitř vaší infrastruktury. Žádná externí volání, žádná telemetrie, žádný phone-home.

V kombinaci s lokálním LLM (Llama, Mistral nebo váš vlastní fine-tunovaný model) dostanete kompletně air-gapped AI znalostní platformu. Žádná data nikdy neopustí váš perimetr. Pokud potřebujete přístup ke komerčním modelům pro konkrétní úlohy, StellarGate zajistí anonymizaci vašich dat dřív, než překročí hranici.

Kdo by měl self-hostovat

Self-hosted AI dává největší smysl pro organizace splňující jedno nebo víc těchto kritérií:

• Regulované obory — finance, healthcare, právo, státní správa, obrana. Pokud podléháte GDPR, DORA, NIS2, HIPAA nebo podobným rámcům
• Citlivá data — firmy zacházející s obchodními tajemstvími, M&A dokumenty, personálními soubory nebo důvěrnými klientskými informacemi
• Vysoký objem — pokud utrácíte víc než 5 000 $/měsíc za AI API, self-hosting se typicky vyplatí během 3-6 měsíců
• Předvídatelné workloady — pokud umíte forecastovat vaše AI využití, fixní infrastrukturní náklady přebijí variabilní per-token ceny
• Existující infrastruktura — pokud už máte GPU kapacitu nebo Kubernetes clustery, marginální náklad na přidání AI workloadů je nízký

Pokud zkoumáte self-hosted AI pro vaši organizaci, rádi vám pomůžeme. Navštivte stellarbase.ai/platform pro vyzkoušení self-hosted nasazení nebo se ozvěte našemu týmu pro vedený walkthrough.