StellarBase
Dokumentation StellarCloud Große Sprachmodelle
StellarCloud

Große Sprachmodelle

Open-Weights-Generativmodelle, bereitgestellt aus EU-GPUs. Unterschiedliche Größen, unterschiedliche Stärken — wählen Sie eines explizit aus oder lassen Sie Smart Routing entscheiden.

Verfügbare Modelle

Die Preise pro Token finden Sie auf der StellarCloud-Preisseite.

GPT-OSS 120B

Open-Weights-LLM, veröffentlicht von OpenAI. Breite universelle Fähigkeit, instruction-tuned, zuverlässig für die meisten Workloads. Apache-2.0-Lizenz. 128K Kontext.

  • Am besten geeignet für: allgemeine Fragenbeantwortung, Zusammenfassung, die meisten Agent-Workflows, Entwürfe
  • Latenz: hängt von der Ausgabelänge ab; das schnellste der drei bei kurzen Antworten

Devstral 2

Mistrals auf Programmierung fokussiertes Modell. Stark bei Software-Engineering-Aufgaben, Tool Use, agentischen Workflows mit mehrstufigem Reasoning. Apache 2.0. 128K Kontext.

  • Am besten geeignet für: Codegenerierung + Review, technisches Schreiben, Workflows, die viele Tools aufrufen, strukturierte Ausgabe
  • Latenz: mittel. Starke Tool-Calling-Konformität reduziert den Retry-Overhead.

Qwen 3.5 397B A17B

Open-Weights-Modell auf Frontier-Niveau. Mehrsprachiges Reasoning, langer Kontext, Spitzenqualität. 256K Kontext.

  • Am besten geeignet für: komplexes Reasoning, mehrsprachige Workloads, Long-Context-Analyse (vollständige Verträge, lange Papers), überall dort, wo Sie GPT-4 einsetzen würden
  • Latenz: am höchsten. Das Modell ist das größte; Antworten dauern am längsten.

Die Wahl zwischen ihnen

Worauf Sie Wert legen…Wählen Sie
Günstigste InferenzGPT-OSS 120B
Schnellste Antwort bei kurzen PromptsGPT-OSS 120B
Beste Coding-/Tool-Calling-QualitätDevstral 2
Long-Context (> 128K Tokens)Qwen 3.5 397B
Bestes Multilingual (EU-Sprachen)Qwen 3.5 397B
Bestes Reasoning bei schweren ProblemenQwen 3.5 397B
Budget-ausgewogener StandardSmart Routing

Kontextfenster

Ein „Kontextfenster“ ist die maximale kombinierte Größe von Eingabe + Ausgabe. Größer ist nicht immer besser — längere Kontexte kosten mehr und sind langsamer. Typische Empfehlung:

  • Kurze Interaktionen (Chat, Q&A): jedes Modell in seinem Standardkontext ist ausreichend
  • Dokumentenanalyse (ein Vertrag, ein Paper): 128K reicht für 300+ Seiten
  • Korpusanalyse (mehrere Dokumente, lange Konversationen): 256K (Qwen 3.5) oder Retrieval-Augmented

Da StellarBase-Agenten standardmäßig Retrieval-Augmented Generation durchführen, müssen Sie selten einen riesigen Kontext übergeben — die Wissensdatenbank liefert die relevanten Passagen und das Modell arbeitet auf einer kuratierten Teilmenge. Long-Context-Modelle sind dennoch für bestimmte Workflows nützlich (Zusammenfassung einer vollständigen Verordnung, Analyse einer 500-seitigen Monografie).

Strukturierte Ausgabe

Alle drei Modelle unterstützen strukturierte Ausgabe (JSON Schema oder Pydantic-ähnliche Definitionen). Devstral 2 hat die stärkste Schema-Konformität — wir empfehlen es für Workflows, die strikte Ausgaben produzieren müssen (CSV-Zeilen, Datenbank-Inserts, Felder für externe Systeme).

Streaming

Token-für-Token-Streaming wird von allen drei Modellen unterstützt. Standard für chatähnliche Workloads, optional für Agent-Workflows, bei denen Sie die vollständige Antwort vor dem Handeln möchten.

Tool Use / Function Calling

Alle drei unterstützen OpenAI-kompatibles Tool Calling. Devstral 2 zeigt das zuverlässigste Tool-Calling-Verhalten über komplexe mehrstufige Workflows hinweg.

Fine-Tuning

Wird für diese Modelle nicht als Managed Service angeboten. Für die Anpassung verwenden Sie:

  • System-Prompts — für die Verhaltensanpassung
  • Retrieval — für die Wissensanpassung (fast immer die richtige Antwort)
  • On-Premise-Bereitstellung — wenn Sie volle Kontrolle über die Gewichte benötigen, hosten Sie das Modell selbst in Ihrer Infrastruktur und führen Sie das Fine-Tuning dort durch

Kommerzielle LLMs (GPT-4, Claude, Gemini)

Werden nicht auf StellarCloud gehostet — sie sind proprietär und werden von ihren Anbietern gehostet. Sie können sie dennoch aus StellarBase über StellarGate verwenden, das Ihre Prompts anonymisiert, bevor sie an den Anbieter weitergeleitet werden.

Verwandtes