StellarBase
Dokumentace Nasazení Docker a Kubernetes
Nasazení

Docker & Kubernetes

Self-hosted nasazení dodáváme jako standardní cloud-native primitiva. Helm charty a Compose soubory, GPU-aware, s operační plochou, kterou platforma očekává.

Dostupnost: Self-hosted (Docker / Kubernetes) nasazení nabízíme zákazníkům Business & Enterprise (přes obchod). Managed EU cloud je self-serve cesta; dostupnost funkcí se řídí roadmapou platformy.

Možnosti nasazení

MožnostKdy použít
Docker ComposeSingle-node piloty, vývojová prostředí, malé týmy
Helm na KubernetesProdukce, multi-node, auto-scaling
Operator (K8s)Pokročilé — lifecycle management přes CRD
Bare binary + systemdProstředí s minimem závislostí

Co nasazujete

StellarBase se dodává jako sada bezstavových aplikačních služeb plus malý počet stavových závislostí. Bezstavové služby škálují horizontálně, stavové komponenty jsou industry-standard a jsou buď bundlované, nebo zaměnitelné za managed nabídky.

Architektura je záměrně nudná: cloud-native primitiva, Helm umbrella chart, žádný exotický runtime. Pokud váš tým provozuje Kubernetes, už ví, jak provozovat StellarBase.

Stavové závislosti

KomponentaRole
PostgreSQL 14+Metadata, konfigurace, audit log
Redis 7+Fronty, rate limity, efemérní stav
Object storage (S3-compatible)Dokumenty, váhy modelů, zálohy
Vector indexSémantické vyhledávání

Všechny čtyři jsou nahraditelné managed nabídkami (RDS, ElastiCache, managed MinIO atd.) nebo vaší stávající interní infrastrukturou. Sizing závisí na workloadu — referenční hodnoty per úroveň poskytujeme v Helm chartu.

Požadavky Kubernetes

  • Kubernetes 1.27+
  • Ingress controller (NGINX, Traefik, Istio — vaše volba)
  • StorageClass pro persistent volumes (doporučené SSD)
  • NVIDIA GPU Operator pro GPU workloady
  • cert-manager pro TLS (nebo vlastní cert pipeline)
  • Metrics-server pro HPA

Struktura Helm chartu

Jeden umbrella chart se sub-charty per služba. Values soubor je primární konfigurační plocha. Běžné úpravy:

  • Počet replik a resource requests / limits
  • GPU selector pro inference pody
  • Storage class a velikosti
  • Zdroj secrets (K8s secrets, Vault, AWS Secrets Manager)
  • Ingress hostname a TLS
  • Volba modelů (které LLM nainstalovat)

Dodáváme opinionated defaults pro tři úrovně (pilot, oddělení, enterprise). Cokoli můžete přepsat.

GPU scheduling

Inference pody deklarují GPU požadavky. Kubernetes GPU Operator je naplánuje na odpovídající nody. Multi-GPU inference se řeší automaticky — vy nasizujete pool, my řešíme placement.

Pro multi-tenant izolaci použijte GPU time-slicing (MIG na H100 / H200) k přidělení řezů různým tenantům.

Politiky škálování

  • Horizontal Pod Autoscaler — bezstavové služby škálují podle CPU + vlastních metrik (hloubka fronty, request rate).
  • Vertical Pod Autoscaler — doporučené pro zjištění správného sizingu zdrojů. Začněte v recommendation módu, nasaďte po týdnu.
  • Cluster autoscaler — pro cloudové K8s (EKS, GKE, AKS), škáluje nody nahoru / dolů podle zátěže.

Sítě

Service mesh

Doporučené Istio nebo Linkerd pro mTLS mezi službami. Dodáváme manifesty PeerAuthentication a AuthorizationPolicy.

Ingress

Jeden ingress per prostředí. TLS přes cert-manager nebo vlastní certifikáty. WAF volitelné (doporučené pro nasazení vystavená do internetu).

Egress

Default: blokovat veškerý egress, explicitní allowlist pro povolené cíle (LLM provideři, cíle konektorů). Pro air-gapped: blokovat vše.

Observability

  • Prometheus metriky na každé službě
  • OpenTelemetry traces pro request-level debugging
  • Strukturované JSON logy, posílatelné do Loki / Elasticsearch / vašeho SIEM
  • Grafana dashboardy bundlované v Helm chartu

Záloha a obnova

Postgres: kontinuální záloha do object storage s point-in-time recovery, testované čtvrtletně.

Object storage: zapnuté verzování. Cross-region replikace volitelně.

Konfigurace: IaC ve vašem Gitu. Helm chart + values.yaml je zdroj pravdy.

Upgrady

Rolling updates přes helm upgrade. Blue-green varianta pro zero-downtime v produkci. Migrace databáze běží automaticky při startu.

Vždy upgradujte nejdřív v nižších prostředích. Čtěte release notes — minor verze občas vyžadují krátké read-only okno pro některé migrace.

Debugging

  • Health endpointy — každá služba exponuje /healthz a /readyz
  • Correlation IDs — sledování jednoho requestu napříč službami přes X-Correlation-Id
  • Audit log — operační akce viditelné v admin UI

Docker Compose (pro piloty)

Jednodušší pro malá nasazení:

  • Single-host, služby jako kontejnery
  • Stejné image jako K8s
  • Production-grade, ale omezené na vertikální škálování na jednom stroji
  • Dobré pro piloty do ~50 uživatelů

Související