LoRA (Low-Rank Adaptation) ist eine Methode, um ein vortrainiertes Sprachmodell effizient auf eigene Daten anzupassen. Beim klassischen Fine-Tuning werden alle Gewichte des Modells verändert - bei großen Modellen ein enormer Rechen- und Speicheraufwand. LoRA verfolgt einen anderen Weg: Die ursprünglichen Gewichte bleiben eingefroren, und es werden lediglich kleine zusätzliche Matrizen trainiert, die die Anpassung tragen. Statt Milliarden Parameter zu bewegen, genügt so ein Bruchteil.
Die Grundidee von Low-Rank Adaptation
Der Kerngedanke: Die Anpassung eines Modells an eine neue Aufgabe lässt sich meist durch eine kompakte, niedrigdimensionale Veränderung ("low rank") ausdrücken. LoRA lernt genau diese kleine Veränderung und legt sie als Zusatz über das eingefrorene Grundmodell.
- Grundmodell bleibt unangetastet: Die großen Original-Gewichte werden nicht verändert, sondern nur ergänzt.
- Kleine Adapter: Trainiert werden nur wenige zusätzliche Matrizen - entsprechend gering sind Speicher- und Rechenbedarf.
- Austauschbar: Für verschiedene Aufgaben lassen sich mehrere Adapter vorhalten und je nach Bedarf auf dasselbe Grundmodell setzen.
QLoRA - noch sparsamer durch Quantisierung
QLoRA kombiniert LoRA mit Quantisierung: Das eingefrorene Grundmodell wird in ein kleineres Zahlenformat überführt, sodass es weniger Speicher belegt, während die LoRA-Adapter darüber trainiert werden. Dadurch lässt sich selbst ein großes Modell auf vergleichsweise bescheidener GPU-Hardware anpassen - ein wesentlicher Grund, warum das Anpassen eigener Modelle heute breiter zugänglich ist als früher.
Wann sich LoRA lohnt
LoRA und QLoRA sind die richtige Wahl, wenn ein Modell auf einen bestimmten Stil, ein Fachvokabular oder ein wiederkehrendes Aufgabenformat getrimmt werden soll und dafür kein vollständiges, teures Fine-Tuning nötig ist. Sie ersetzen aber nicht jede Anpassung: Geht es primär darum, aktuelles Faktenwissen bereitzustellen, ist oft RAG der bessere Weg, weil sich Wissen dort ohne erneutes Training aktualisieren lässt.
LoRA bei Elasticbrains
Wir wählen die passende Anpassungsmethode - von LoRA und QLoRA bis zum vollen Fine-Tuning - anhand Ihres Ziels, Ihrer Datenlage und der verfügbaren Hardware. Wie daraus ein Modell wird, das Ihre Sprache spricht, zeigen wir auf unserer Leistungsseite KI-Modelle anpassen.