Docker & Kubernetes
Self-hosted nasazení dodáváme jako standardní cloud-native primitiva. Helm charty a Compose soubory, GPU-aware, s operační plochou, kterou platforma očekává.
Dostupnost: Self-hosted (Docker / Kubernetes) nasazení nabízíme zákazníkům Business & Enterprise (přes obchod). Managed EU cloud je self-serve cesta; dostupnost funkcí se řídí roadmapou platformy.
Možnosti nasazení
| Možnost | Kdy použít |
|---|---|
| Docker Compose | Single-node piloty, vývojová prostředí, malé týmy |
| Helm na Kubernetes | Produkce, multi-node, auto-scaling |
| Operator (K8s) | Pokročilé — lifecycle management přes CRD |
| Bare binary + systemd | Prostředí s minimem závislostí |
Co nasazujete
StellarBase se dodává jako sada bezstavových aplikačních služeb plus malý počet stavových závislostí. Bezstavové služby škálují horizontálně, stavové komponenty jsou industry-standard a jsou buď bundlované, nebo zaměnitelné za managed nabídky.
Architektura je záměrně nudná: cloud-native primitiva, Helm umbrella chart, žádný exotický runtime. Pokud váš tým provozuje Kubernetes, už ví, jak provozovat StellarBase.
Stavové závislosti
| Komponenta | Role |
|---|---|
| PostgreSQL 14+ | Metadata, konfigurace, audit log |
| Redis 7+ | Fronty, rate limity, efemérní stav |
| Object storage (S3-compatible) | Dokumenty, váhy modelů, zálohy |
| Vector index | Sémantické vyhledávání |
Všechny čtyři jsou nahraditelné managed nabídkami (RDS, ElastiCache, managed MinIO atd.) nebo vaší stávající interní infrastrukturou. Sizing závisí na workloadu — referenční hodnoty per úroveň poskytujeme v Helm chartu.
Požadavky Kubernetes
- Kubernetes 1.27+
- Ingress controller (NGINX, Traefik, Istio — vaše volba)
- StorageClass pro persistent volumes (doporučené SSD)
- NVIDIA GPU Operator pro GPU workloady
- cert-manager pro TLS (nebo vlastní cert pipeline)
- Metrics-server pro HPA
Struktura Helm chartu
Jeden umbrella chart se sub-charty per služba. Values soubor je primární konfigurační plocha. Běžné úpravy:
- Počet replik a resource requests / limits
- GPU selector pro inference pody
- Storage class a velikosti
- Zdroj secrets (K8s secrets, Vault, AWS Secrets Manager)
- Ingress hostname a TLS
- Volba modelů (které LLM nainstalovat)
Dodáváme opinionated defaults pro tři úrovně (pilot, oddělení, enterprise). Cokoli můžete přepsat.
GPU scheduling
Inference pody deklarují GPU požadavky. Kubernetes GPU Operator je naplánuje na odpovídající nody. Multi-GPU inference se řeší automaticky — vy nasizujete pool, my řešíme placement.
Pro multi-tenant izolaci použijte GPU time-slicing (MIG na H100 / H200) k přidělení řezů různým tenantům.
Politiky škálování
- Horizontal Pod Autoscaler — bezstavové služby škálují podle CPU + vlastních metrik (hloubka fronty, request rate).
- Vertical Pod Autoscaler — doporučené pro zjištění správného sizingu zdrojů. Začněte v recommendation módu, nasaďte po týdnu.
- Cluster autoscaler — pro cloudové K8s (EKS, GKE, AKS), škáluje nody nahoru / dolů podle zátěže.
Sítě
Service mesh
Doporučené Istio nebo Linkerd pro mTLS mezi službami. Dodáváme manifesty PeerAuthentication a AuthorizationPolicy.
Ingress
Jeden ingress per prostředí. TLS přes cert-manager nebo vlastní certifikáty. WAF volitelné (doporučené pro nasazení vystavená do internetu).
Egress
Default: blokovat veškerý egress, explicitní allowlist pro povolené cíle (LLM provideři, cíle konektorů). Pro air-gapped: blokovat vše.
Observability
- Prometheus metriky na každé službě
- OpenTelemetry traces pro request-level debugging
- Strukturované JSON logy, posílatelné do Loki / Elasticsearch / vašeho SIEM
- Grafana dashboardy bundlované v Helm chartu
Záloha a obnova
Postgres: kontinuální záloha do object storage s point-in-time recovery, testované čtvrtletně.
Object storage: zapnuté verzování. Cross-region replikace volitelně.
Konfigurace: IaC ve vašem Gitu. Helm chart + values.yaml je zdroj pravdy.
Upgrady
Rolling updates přes helm upgrade. Blue-green varianta pro zero-downtime v produkci. Migrace databáze běží automaticky při startu.
Vždy upgradujte nejdřív v nižších prostředích. Čtěte release notes — minor verze občas vyžadují krátké read-only okno pro některé migrace.
Debugging
- Health endpointy — každá služba exponuje
/healthza/readyz - Correlation IDs — sledování jednoho requestu napříč službami přes
X-Correlation-Id - Audit log — operační akce viditelné v admin UI
Docker Compose (pro piloty)
Jednodušší pro malá nasazení:
- Single-host, služby jako kontejnery
- Stejné image jako K8s
- Production-grade, ale omezené na vertikální škálování na jednom stroji
- Dobré pro piloty do ~50 uživatelů
