GPU-Inferenz - warum lokale Sprachmodelle Grafikprozessoren brauchen

GPU-Inferenz bezeichnet das Ausführen eines trainierten Sprachmodells - also die Antwortgenerierung, die sogenannte Inferenz - auf Grafikprozessoren (GPUs) statt auf normalen Hauptprozessoren (CPUs). Für den Betrieb eines On-Premise LLM ist sie in aller Regel der entscheidende Baustein: Ohne GPU antworten moderne Modelle so langsam, dass ein interaktiver Einsatz kaum möglich ist.

Warum LLM-Inferenz GPUs braucht

Ein Sprachmodell erzeugt seine Antwort Token für Token, und jeder einzelne Schritt erfordert sehr viele Matrixmultiplikationen über die Modellgewichte. Genau diese Art von Rechenoperation lässt sich massiv parallelisieren - und darauf sind GPUs mit ihren Tausenden Rechenkernen ausgelegt. Eine CPU arbeitet solche Berechnungen vergleichsweise nacheinander ab und wird dadurch zum Flaschenhals. Neben der reinen Rechenleistung ist der GPU-Speicher (VRAM) oft der begrenzende Faktor: Die Modellgewichte müssen hineinpassen, sonst läuft die Inferenz gar nicht oder nur stark ausgebremst.

Sizing: die richtige GPU zum Modell

Beim Sizing geht es darum, Hardware und Modell aufeinander abzustimmen. Die zentrale Frage ist, wie viel Speicher die Gewichte belegen und ob sie zusammen mit dem Arbeitskontext in den VRAM einer oder mehrerer GPUs passen. Ein größeres Modell braucht mehr Speicher; passt es nicht auf eine Karte, muss es auf mehrere verteilt werden. Zum Sizing gehört auch die erwartete Last: Wie viele gleichzeitige Anfragen sollen bedient werden und wie schnell soll die Antwort erscheinen?

Auslastung und Batching

Eine einzelne Anfrage lastet eine GPU meist nicht aus. Deshalb werden mehrere Anfragen zu einem Stapel zusammengefasst und gemeinsam verarbeitet - das nennt man Batching. So teilen sich viele Anfragen dieselbe Rechenarbeit an den Modellgewichten, der Durchsatz steigt und die anteiligen Kosten pro Anfrage sinken. Der Zielkonflikt: Größere Stapel erhöhen den Durchsatz, können aber die Antwortzeit der einzelnen Anfrage verlängern. Eine gute Auslastung bedeutet, die GPU möglichst gleichmäßig zu beschäftigen, ohne dass Anfragen zu lange warten.

Quantisierung: Modelle kleiner und schneller machen

Quantisierung reduziert die Genauigkeit, mit der die Modellgewichte gespeichert werden - etwa von hochauflösenden Fließkommazahlen auf kompaktere Ganzzahl-Formate. Das Modell belegt dadurch deutlich weniger Speicher und rechnet schneller, während die Antwortqualität bei moderater Quantisierung meist nur wenig nachlässt. Für den Eigenbetrieb ist das ein wichtiger Hebel: Quantisierung macht es möglich, leistungsfähige Modelle auch auf Hardware mit begrenztem VRAM laufen zu lassen. Häufig werden dafür Open-Source-Modelle in quantisierter Form eingesetzt.

Kostenaspekt: Eigenbetrieb vs. API

GPU-Inferenz im eigenen Haus verursacht andere Kosten als die Nutzung einer fremden API. Beim Eigenbetrieb fallen Anschaffung oder Miete der GPUs sowie Strom und Betrieb an - diese Kosten sind weitgehend fix und amortisieren sich umso besser, je höher und gleichmäßiger die Auslastung ist. Bei einer API zahlt man pro Anfrage, ohne eigene Hardware. Welcher Weg günstiger ist, hängt vom Volumen ab: Bei hohem, stetigem Bedarf kann der Eigenbetrieb die anteiligen Kosten senken, bei geringem oder schwankendem Bedarf ist die API oft wirtschaftlicher. Wie sich diese Rechnung im Detail zusammensetzt, behandeln wir im Glossar unter Inferenzkosten.

GPU-Inferenz bei Elasticbrains

Bei Elasticbrains dimensionieren wir die Hardware passend zum Modell und zur erwarteten Last - von der GPU-Auswahl über Quantisierung bis zum Batching für einen effizienten Betrieb. Wie wir daraus eine lokale KI-Lösung aufbauen, zeigen wir auf unserer Leistungsseite On-Premise-KI betreiben lassen.