LoRA & QLoRA - ressourcenschonendes Fine-Tuning

LoRA und QLoRA sind ressourcenschonende Fine-Tuning-Methoden. Statt alle Gewichte anzupassen, trainieren sie nur kleine Zusatzmatrizen - günstig und schnell.

Kategorie:KI & Machine Learning

LoRA (Low-Rank Adaptation) ist eine Methode, um ein vortrainiertes Sprachmodell effizient auf eigene Daten anzupassen. Beim klassischen Fine-Tuning werden alle Gewichte des Modells verändert - bei großen Modellen ein enormer Rechen- und Speicheraufwand. LoRA verfolgt einen anderen Weg: Die ursprünglichen Gewichte bleiben eingefroren, und es werden lediglich kleine zusätzliche Matrizen trainiert, die die Anpassung tragen. Statt Milliarden Parameter zu bewegen, genügt so ein Bruchteil.

Die Grundidee von Low-Rank Adaptation

Der Kerngedanke: Die Anpassung eines Modells an eine neue Aufgabe lässt sich meist durch eine kompakte, niedrigdimensionale Veränderung ("low rank") ausdrücken. LoRA lernt genau diese kleine Veränderung und legt sie als Zusatz über das eingefrorene Grundmodell.

  • Grundmodell bleibt unangetastet: Die großen Original-Gewichte werden nicht verändert, sondern nur ergänzt.
  • Kleine Adapter: Trainiert werden nur wenige zusätzliche Matrizen - entsprechend gering sind Speicher- und Rechenbedarf.
  • Austauschbar: Für verschiedene Aufgaben lassen sich mehrere Adapter vorhalten und je nach Bedarf auf dasselbe Grundmodell setzen.

QLoRA - noch sparsamer durch Quantisierung

QLoRA kombiniert LoRA mit Quantisierung: Das eingefrorene Grundmodell wird in ein kleineres Zahlenformat überführt, sodass es weniger Speicher belegt, während die LoRA-Adapter darüber trainiert werden. Dadurch lässt sich selbst ein großes Modell auf vergleichsweise bescheidener GPU-Hardware anpassen - ein wesentlicher Grund, warum das Anpassen eigener Modelle heute breiter zugänglich ist als früher.

Wann sich LoRA lohnt

LoRA und QLoRA sind die richtige Wahl, wenn ein Modell auf einen bestimmten Stil, ein Fachvokabular oder ein wiederkehrendes Aufgabenformat getrimmt werden soll und dafür kein vollständiges, teures Fine-Tuning nötig ist. Sie ersetzen aber nicht jede Anpassung: Geht es primär darum, aktuelles Faktenwissen bereitzustellen, ist oft RAG der bessere Weg, weil sich Wissen dort ohne erneutes Training aktualisieren lässt.

LoRA bei Elasticbrains

Wir wählen die passende Anpassungsmethode - von LoRA und QLoRA bis zum vollen Fine-Tuning - anhand Ihres Ziels, Ihrer Datenlage und der verfügbaren Hardware. Wie daraus ein Modell wird, das Ihre Sprache spricht, zeigen wir auf unserer Leistungsseite KI-Modelle anpassen.

Häufige Fragen

Was ist LoRA?
LoRA (Low-Rank Adaptation) ist eine Methode, um ein vortrainiertes Sprachmodell effizient anzupassen. Die ursprünglichen Gewichte bleiben eingefroren, und es werden nur kleine zusätzliche Matrizen trainiert, die die Anpassung tragen - statt alle Milliarden Parameter zu verändern.
Was ist der Unterschied zwischen LoRA und QLoRA?
QLoRA kombiniert LoRA mit Quantisierung: Das eingefrorene Grundmodell wird in ein kleineres Zahlenformat überführt und belegt so weniger Speicher, während die LoRA-Adapter darüber trainiert werden. Dadurch lässt sich selbst ein großes Modell auf bescheidener GPU-Hardware anpassen.
Was ist der Vorteil von LoRA gegenüber vollem Fine-Tuning?
Beim vollen Fine-Tuning werden alle Gewichte verändert, was bei großen Modellen enormen Rechen- und Speicheraufwand bedeutet. LoRA trainiert nur wenige zusätzliche Matrizen - der Bedarf ist deutlich geringer, und die Adapter lassen sich je nach Aufgabe austauschen.
Wann sollte man LoRA statt RAG einsetzen?
LoRA lohnt sich, wenn ein Modell auf einen bestimmten Stil, ein Fachvokabular oder ein Aufgabenformat getrimmt werden soll. Geht es dagegen primär darum, aktuelles Faktenwissen bereitzustellen, ist oft RAG besser, weil sich Wissen dort ohne erneutes Training aktualisieren lässt.

Verwandte Themen

Weitere Glossarbegriffe

Reasoning-Modelle - KI, die vor der Antwort nachdenkt

Reasoning-Modelle denken vor der Antwort in Zwischenschritten (Test-Time-Compute). 2026 die dominante Modellkategorie - stärker bei Logik, aber teurer.

KI-Halluzination - wenn ein Sprachmodell Fakten erfindet

Eine KI-Halluzination ist eine plausibel klingende, aber falsche Ausgabe eines Sprachmodells. Warum das passiert - und wie RAG und Guardrails gegensteuern.

Knowledge Distillation - Wissen ins kleine Modell überführen

Knowledge Distillation überführt das Können eines großen Lehrer-Modells in ein kleines Schüler-Modell. Das senkt Inferenzkosten bei ähnlicher Qualität.

Zurück zum Glossar

Bereit, das in die Praxis zu bringen?

Lassen Sie uns in einem kostenlosen Erstgespräch über Ihr Vorhaben sprechen - unverbindlich und konkret.