Token-Kosten

Token-Kosten sind der zentrale Abrechnungsfaktor bei der Nutzung von Sprachmodellen. Ein Token ist die kleinste Verarbeitungseinheit von Text, mit der ein Modell arbeitet - grob ein Wortteil, manchmal ein ganzes kurzes Wort, ein Satzzeichen oder eine Silbe. Bevor ein Modell einen Text verarbeitet, zerlegt es ihn in solche Token; jeder davon geht in die Berechnung ein.

Anbieter von Sprachmodellen rechnen pro Token ab, meist getrennt nach zwei Arten: Input-Token (der gesamte Prompt inklusive Kontext, den das Modell liest) und Output-Token (die Antwort, die das Modell erzeugt). Output-Token sind bei vielen Modellen deutlich teurer als Input-Token, weil die Generierung aufwendiger ist als das Einlesen.

Token-Overhead: warum es fast nie bei der Nutzereingabe bleibt

Ein häufiges Missverständnis ist, dass nur der sichtbare Text der Nutzerfrage bezahlt wird. Tatsächlich erzeugen KI-Agenten und lange Kontexte ein Vielfaches an Token gegenüber der reinen Eingabe - und jedes einzelne wird abgerechnet. Zu diesem Token-Overhead gehören:

• System-Prompts: feste Anweisungen, die dem Modell bei jeder Anfrage erneut mitgegeben werden.
• Tool-Definitionen: Beschreibungen der Werkzeuge, die ein Agent aufrufen darf, oft mehrere hundert Token pro Werkzeug.
• Zwischenschritte: Agenten arbeiten iterativ - jeder Denk- und Aufrufschritt liest den bisherigen Verlauf erneut ein.
• Gesprächshistorie: frühere Nachrichten wandern in jeden neuen Aufruf mit, damit der Zusammenhang erhalten bleibt.

Wie viel davon möglich ist, begrenzt das Context Window - der maximale Umfang an Token, den ein Modell pro Anfrage verarbeiten kann. Je voller dieses Fenster genutzt wird, desto höher fallen die Input-Token-Kosten aus.

Hebel zur Senkung der Token-Kosten

• Kontext kompakt halten: nur wirklich benötigte Dokumente und Verlaufsteile mitgeben, statt den gesamten Verlauf zu wiederholen; lange Historien zusammenfassen statt vollständig einzuspeisen.
• Kürzere System-Prompts: Anweisungen prägnant formulieren - was bei jeder Anfrage mitläuft, zahlt sich vielfach aus.
• Output begrenzen: über einen Parameter wie max_tokens die Länge der Antwort deckeln, damit teure Ausgabe-Token nicht unnötig anfallen.
• Wiederkehrende Teile per Prompt Caching wiederverwenden: stabile Blöcke wie System-Prompt oder Wissensbasis werden zwischengespeichert und beim nächsten Aufruf günstiger verrechnet.

Einordnung in die Kostenoptimierung

Token-Kosten sind der Baustein, über den fast jede andere Kostengröße definiert ist. Sie sind ein Kernthema der LLM-Kostenoptimierung, die Prompt-Aufbau, Modellwahl und Caching zusammen betrachtet. Die tatsächlichen Betriebskosten pro Anfrage fasst der Begriff Inferenzkosten - dort schlagen Token-Kosten unmittelbar durch. Wer sie strukturiert reduzieren will, findet auf unserer Leistungsseite KI-Kosten-Optimierung das passende Vorgehen.

Weiterführende Ressourcen

• Glossar: LLM-Kostenoptimierung, Prompt Caching, Context Window, Inferenzkosten
• Leistung: KI-Kosten-Optimierung