Smart Routing
Vyberte nejlevnější / nejrychlejší / nejkvalitnější model splňující vaše omezení, automaticky. Vy popíšete, na čem vám záleží; my vybereme.
Proč smart routing
StellarCloud nabízí několik LLM s různými trade-offs cena-kvalita-latence. Hardcoding konkrétního modelu v každém agentovi vás uzamkne:
- Náklady jdou nahoru, protože over-provisionujete pro jednoduché úlohy
- Kvalita trpí, protože používáte malý model pro těžké dotazy
- Musíte přepisovat desítky configů, když se objeví lepší model
Smart routing tohle řeší výběrem per-request na základě vámi deklarovaných preferencí.
Jak to funguje
Místo hardcodingu konkrétního modelu specifikujete routing politiku ("model": "@route:cheap-first"). Router se podívá na váš request, zváží ho proti omezením vaší politiky, vybere model, který je nejlépe splňuje, a vrátí completion plus metadata o tom, co bylo použito.
Vestavěné politiky
| Politika | Chování |
|---|---|
@route:cheap-first | Vyber nejlevnější model, který může věrohodně úlohu zvládnout. Eskalace jen při selhání kvality výstupu. |
@route:fast-first | Vyber model s nejnižší latencí. Mění kvalitu za rychlost. |
@route:best | Vždy vyber nejkvalitnější model. Použijte, když cena je sekundární. |
@route:balanced | Defaultní politika. Rozumná střední volba, pokud request nepotřebuje frontier uvažování, dlouhý kontext nebo silné vícejazyčné zpracování. |
@route:code | Optimalizováno pro generování kódu a tool-calling. |
@route:long-context | Vyber model s největším kontextovým oknem. |
Vlastní politiky
Definujte si vlastní routing pravidla. Dimenze, které můžete omezit:
- Budget — maximální cena na request, max denní / měsíční výdaj
- Latence — P50 / P95 cíl
- Minimum kvality — minimální benchmark skóre (z interní eval sady)
- Velikost kontextu — routing podle očekávané délky promptu
- Jazyk — směrovat určité jazyky na konkrétní modely
- Model allowlist — omezit na podmnožinu modelů
- Fallback řetěz — pokud primární selže nebo přesáhne SLO, zkusit další
Fallbacky
Každé routing rozhodnutí má implicitní fallback řetěz. Pokud zvolený model spadne, je rate-limitovaný nebo vrátí chybu, router zkusí další způsobilý model. Vždycky dostanete odpověď (nebo definitivní chybu) — nikdy nevidíte přechodné výpadky provideru.
Observability
Metadata odpovědi vám říkají:
- Který model byl zvolen
- Proč (politika + které omezení dominovalo)
- Zvažované alternativy
- Odhadovaná cena vs. skutečná
Dashboardy ukazují distribuci využití modelů v čase — užitečné pro optimalizaci nákladů a pro odhalení případů, kde politika under-routuje nebo over-routuje.
Kdy smart routing nepoužít
- Regulační fixace — pokud compliance vyžaduje konkrétní model z auditních důvodů, hardcodujte ho
- Reprodukovatelnost — pro workflows, kde přesný model je součástí „receptu” (např. reprodukovatelná výzkumná pipelina), vybírejte explicitně
- Fine-grained benchmarking — při A/B testování modelu pro konkrétní úlohu vybírejte explicitně
Evaluace modelů
Pro vaše vlastní workloady poskytujeme eval harness:
- Postavte testovací sadu z reálných dotazů
- Spusťte všechny kandidátní modely proti ní
- Skórujte metrikou dle vaší volby (exact match, LLM-as-judge, human labels)
- Uvidíte, který model vítězí na vašem konkrétním workloadu
Použijte výsledky pro ladění routing politiky — nebo k odůvodnění hardcodingu.