Inferenzkosten
Inferenzkosten sind die laufenden Kosten pro Anfrage, wenn ein fertig trainiertes KI-Modell im Betrieb Antworten erzeugt. Zwei Grundmodelle prägen sie: Abrechnung pro Token über eine Managed-API oder eigene GPU-Kosten beim Self-Hosting. Welcher Weg günstiger ist, hängt von Volumen, Latenz und Betriebsaufwand ab.
Inferenz bezeichnet die Anwendung eines fertig trainierten Modells zur Erzeugung einer Antwort - im Gegensatz zum Training, bei dem das Modell überhaupt erst entsteht. Inferenzkosten sind entsprechend die laufenden Kosten, die jede einzelne Anfrage im Betrieb verursacht. Während Trainingskosten einmalig anfallen, wiederholen sich Inferenzkosten mit jeder Nutzung und dominieren daher über die Lebensdauer einer LLM-Anwendung meist die Gesamtrechnung.
Zwei Grundmodelle
- API / Managed: Die Abrechnung erfolgt pro Token. Es ist keine eigene Infrastruktur nötig, dafür entstehen Stückkosten für jede Anfrage - je mehr Verkehr, desto höher die laufende Rechnung.
- Self-Hosting: Das Modell läuft auf eigener oder gemieteter GPU-/Compute-Infrastruktur. Die Kosten entstehen für die Hardware-Laufzeit, nicht pro Token. Bei hohem, gleichmäßigem Volumen können die Kosten pro Anfrage dadurch niedriger ausfallen als bei der API.
Hebel bei Self-Hosting
Wer selbst betreibt, senkt die Inferenzkosten vor allem über eine hohe GPU-Auslastung statt teurem Leerlauf. Konkrete Hebel:
- Batching / Continuous Batching: Mehrere Anfragen werden gebündelt und gemeinsam durch die GPU geschickt, statt jede einzeln zu verarbeiten.
- Quantisierung: Kleinere Zahlenformate (INT8, INT4) reduzieren Speicherbedarf und Rechenaufwand pro Anfrage.
- KV-Cache-Nutzung: Bereits berechnete Schlüssel-Wert-Paare werden wiederverwendet, statt sie neu zu berechnen.
- Auslastung: Hohe, gleichmäßige GPU-Auslastung senkt die Kosten pro Anfrage - Leerlauf ist die teuerste Betriebsart.
- Spot-Instanzen: Günstigere, unterbrechbare Cloud-Kapazität für Last, die Verzögerungen verkraftet.
API oder Self-Hosting - eine TCO-Frage
Die Entscheidung zwischen Managed-API und Eigenbetrieb ist eine Frage der Gesamtbetriebskosten (Total Cost of Ownership) und hängt von drei Größen ab: dem Anfragevolumen, der geforderten Latenz und dem Betriebsaufwand für Wartung, Skalierung und Bereitschaft. Erst ab einem bestimmten, gleichmäßigen Volumen lohnt sich der Eigenbetrieb - bei schwankender oder geringer Last bleibt die API meist günstiger, weil keine Hardware im Leerlauf mitbezahlt wird. Inferenzkosten sind ein zentraler Baustein der LLM-Kostenoptimierung; ergänzend verteilt Model Routing Anfragen auf unterschiedlich teure Modelle. Wie wir Inferenzkosten im Gesamtbild senken, zeigen wir auf unserer Leistungsseite KI-Kosten-Optimierung.
Weiterführende Ressourcen
- Glossar: LLM-Kostenoptimierung, Token-Kosten, Model Routing
- Leistung: KI-Kosten-Optimierung
Weitere Glossarbegriffe
Künstliche Intelligenz (KI)
Teilgebiet der Informatik, das sich mit der Automatisierung intelligenten Verhaltens und dem maschinellen Lernen befasst.
Prompt Caching - LLM-Kosten für wiederkehrende Kontexte senken
Prompt Caching speichert gleichbleibende Teile eines Prompts - langer System-Prompt, stabiler Kontext, Dokumente - zwischen und verwendet sie über viele Anfragen wieder. Gecachte Token sind bei den Anbietern deutlich günstiger als neu verarbeitete - ein wirksamer Hebel gegen hohe LLM-Kosten.
Model Routing - je Anfrage das passende KI-Modell wählen
Model Routing verteilt jede Anfrage dynamisch an das am besten passende - und oft günstigste ausreichende - Modell, statt pauschal immer dasselbe teure Modell zu nutzen. So sinken die Kosten, ohne dass die Qualität leidet. Voraussetzung ist eine Routing-Logik samt Qualitätsmessung.