Transformer - die Architektur hinter modernen LLMs

Der Transformer ist die neuronale Netzarchitektur, auf der praktisch alle modernen Sprachmodelle aufbauen. Er wurde 2017 vorgestellt und hat ältere Ansätze wie rückgekoppelte Netze (RNN/LSTM) für die Sprachverarbeitung weitgehend abgelöst. Das "GPT" in vielen Modellnamen steht für "Generative Pretrained Transformer" - der Transformer ist also der Kern hinter dem Kürzel. Wer verstehen will, warum ein LLM überhaupt funktioniert, kommt an dieser Architektur nicht vorbei.

Das Problem vor dem Transformer

Frühere Architekturen lasen Text Wort für Wort in fester Reihenfolge. Das machte sie langsam und schwach darin, Bezüge über lange Distanzen zu halten - der Anfang eines Absatzes war am Ende oft schon "vergessen". Der Transformer verarbeitet die Wörter eines Abschnitts dagegen parallel und kann jeden Teil des Textes direkt mit jedem anderen in Beziehung setzen.

Der Attention-Mechanismus

Das Herzstück ist die sogenannte Self-Attention. Für jedes Wort gewichtet das Modell, wie stark alle anderen Wörter im Kontext für dessen Bedeutung zählen. Im Satz "Die Bank am Fluss" erkennt Attention über das Wort "Fluss", dass "Bank" das Ufer meint, nicht das Geldinstitut. Genau diese Fähigkeit, Bezüge im ganzen Kontextfenster zu gewichten, macht Sprachmodelle so leistungsfähig.

• Tokens statt Wörter: Der Text wird zunächst durch Tokenisierung in kleine Einheiten zerlegt, die das Modell verarbeitet.
• Embeddings: Jedes Token wird in einen Vektor übersetzt - siehe Embeddings -, der seine Bedeutung als Zahlenfolge trägt.
• Attention-Schichten: Mehrere Lagen gewichten und kombinieren diese Vektoren immer wieder neu, bis das Modell den Kontext erfasst hat.

Warum das LLMs möglich macht

Weil der Transformer parallel rechnet, lässt er sich auf sehr großen Textmengen und mit sehr vielen Parametern trainieren - das war mit älteren Architekturen praktisch nicht machbar. Diese Skalierbarkeit ist der Grund, warum aus der Architektur die heutigen großen Sprachmodelle entstehen konnten. Auf einem trainierten Transformer setzen dann weitere Schritte auf: Fine-Tuning passt ihn an eigene Daten an, und im Betrieb erzeugt er bei jeder Anfrage per Inferenz die Antwort.

Transformer bei Elasticbrains

Für die Praxis muss man den Transformer nicht selbst bauen - entscheidend ist, die richtige Modellarchitektur auszuwählen und sinnvoll in eine Anwendung einzubetten. Genau das übernehmen wir: von der Modellauswahl über die Anbindung bis zur produktiven Anwendung. Mehr dazu auf unserer Leistungsseite KI-Anwendung entwickeln lassen.