Knowledge Distillation - Wissen ins kleine Modell überführen

Knowledge Distillation überführt das Können eines großen Lehrer-Modells in ein kleines Schüler-Modell. Das senkt Inferenzkosten bei ähnlicher Qualität.

Kategorie:KI & Machine Learning

Knowledge Distillation - auf Deutsch Modell-Destillation oder Wissensdestillation - ist ein Verfahren, mit dem das Können eines großen, leistungsfähigen Modells in ein deutlich kleineres überführt wird. Das große Modell übernimmt dabei die Rolle des Lehrers, das kleine die des Schülers. Der Schüler lernt nicht nur aus den richtigen Endantworten, sondern imitiert das Verhalten des Lehrers - und erreicht so auf seiner geringen Größe eine Qualität, die ein gleich kleines, allein trainiertes Modell selten erreicht.

Lehrer und Schüler

Der Ablauf folgt einer klaren Logik:

  • Lehrer-Modell: Ein großes, oft teures Modell, das die Aufgabe bereits gut beherrscht, aber im Betrieb entsprechend viel kostet.
  • Schüler-Modell: Ein kompaktes Modell, das lernt, die Ausgaben des Lehrers nachzubilden - nicht nur die finale Antwort, sondern auch dessen abgestufte Einschätzungen.
  • Ergebnis: Ein kleines Modell, das für den konkreten Aufgabenbereich nahe an den Lehrer heranreicht, aber sparsamer läuft.

Warum destilliert wird: Kosten senken

Der Hauptgrund ist Wirtschaftlichkeit. Ein kleineres Modell verursacht geringere Inferenzkosten je Anfrage, antwortet schneller und lässt sich leichter im Eigenbetrieb hosten. Damit ist Knowledge Distillation ein Baustein der LLM-Kostenoptimierung: Man nutzt ein großes Modell einmalig, um einen günstigen Spezialisten zu erzeugen, statt im Dauerbetrieb für jede Anfrage das teure Modell zu bezahlen.

Abgrenzung zu Quantisierung

Distillation wird gern mit Quantisierung verwechselt, verfolgt aber einen anderen Weg. Quantisierung verkleinert ein bestehendes Modell, indem sie die Zahlengenauigkeit seiner Gewichte reduziert - das Modell bleibt dasselbe, nur kompakter gespeichert. Distillation dagegen erzeugt ein neues, eigenständiges Modell, das vom großen lernt. Beide Verfahren lassen sich kombinieren: erst destillieren, dann das Ergebnis quantisieren, um die Kosten weiter zu drücken.

Knowledge Distillation bei Elasticbrains

Wir prüfen, ob sich ein teures Modell für Ihren Anwendungsfall in einen günstigen Spezialisten destillieren lässt, und wägen es gegen Alternativen wie Quantisierung oder Model Routing ab. Wie daraus eine spürbar niedrigere KI-Rechnung wird, zeigen wir auf unserer Leistungsseite KI-Kosten-Optimierung.

Häufige Fragen

Was ist Knowledge Distillation?
Knowledge Distillation - auch Modell-Destillation - überführt das Können eines großen Lehrer-Modells in ein deutlich kleineres Schüler-Modell. Der Schüler imitiert das Verhalten des Lehrers und erreicht so auf geringer Größe eine Qualität, die ein allein trainiertes kleines Modell selten erreicht.
Wozu dient Knowledge Distillation?
Vor allem zur Kostensenkung. Ein kleineres Modell verursacht geringere Inferenzkosten je Anfrage, antwortet schneller und lässt sich leichter selbst hosten. Man nutzt ein großes Modell einmalig, um einen günstigen Spezialisten zu erzeugen, statt dauerhaft für jede Anfrage das teure Modell zu bezahlen.
Was ist der Unterschied zwischen Distillation und Quantisierung?
Quantisierung verkleinert ein bestehendes Modell, indem sie die Zahlengenauigkeit seiner Gewichte reduziert - das Modell bleibt dasselbe, nur kompakter gespeichert. Distillation erzeugt dagegen ein neues, eigenständiges Modell, das vom großen lernt. Beide lassen sich kombinieren.
Was sind Lehrer- und Schüler-Modell?
Das Lehrer-Modell ist ein großes, leistungsfähiges Modell, das die Aufgabe bereits gut beherrscht, aber im Betrieb teuer ist. Das Schüler-Modell ist kompakt und lernt, die Ausgaben des Lehrers nachzubilden - inklusive dessen abgestufter Einschätzungen, nicht nur der finalen Antwort.

Verwandte Themen

Weitere Glossarbegriffe

LLM-Observability

LLM-Observability überwacht LLM-Systeme: Kosten, Token-Verbrauch, Latenz, Qualität und Tracing. Kern ist die Kostenattribution - was treibt das Budget?

Künstliche Intelligenz (KI)

Teilgebiet der Informatik, das sich mit der Automatisierung intelligenten Verhaltens und dem maschinellen Lernen befasst.

RAG (Retrieval Augmented Generation) - Wissen statt Halluzination

RAG verbindet ein Sprachmodell mit einer Wissensquelle: passende Dokumente werden als Kontext mitgegeben - gegen Halluzinationen und veraltetes Wissen.

Zurück zum Glossar

Bereit, das in die Praxis zu bringen?

Lassen Sie uns in einem kostenlosen Erstgespräch über Ihr Vorhaben sprechen - unverbindlich und konkret.