RAG (Retrieval Augmented Generation) - Wissen statt Halluzination

RAG steht für Retrieval Augmented Generation - "abrufgestützte Generierung". Es ist ein Architekturmuster, das ein Sprachmodell mit einer externen Wissensquelle verbindet. Statt eine Antwort allein aus dem antrainierten Gedächtnis zu erzeugen, holt das System zunächst die relevanten Dokumente heran und lässt das Modell auf dieser Grundlage antworten.

Damit löst RAG zwei zentrale Schwächen reiner Sprachmodelle: die Neigung zu überzeugend klingenden, aber falschen Aussagen (Halluzination) und den festen Wissensabschnitt (Knowledge-Cutoff), ab dem ein Modell nichts Neues mehr kennt.

Der RAG-Loop Schritt für Schritt

1. Frage zu Vektor: Die Nutzerfrage wird in ein Embedding umgewandelt.
2. Retrieval: In einer Vektordatenbank werden per Nächste-Nachbarn-Suche die inhaltlich passendsten Textstücke gefunden.
3. Kontext: Diese Textstücke werden zusammen mit der Frage als Kontext an das Sprachmodell übergeben.
4. Antwort: Das Modell formuliert eine Antwort, die sich auf die bereitgestellten Belege stützt - idealerweise mit Quellenangabe.

Abgrenzung zu Fine-Tuning

RAG und Fine-Tuning lösen unterschiedliche Probleme und schließen sich nicht aus:

• RAG gibt dem Modell zur Laufzeit Wissen, ohne es zu verändern. Ideal, wenn sich Inhalte häufig ändern oder wenn Belegbarkeit und Aktualität zählen. Neue Dokumente sind sofort verfügbar, ohne Training.
• Fine-Tuning verändert die Gewichte des Modells und prägt Verhalten, Stil oder feine Unterscheidung dauerhaft ein. Ideal, wenn das Modell eine Aufgabe wirklich können soll.

Faustregel: RAG für Wissen, Fine-Tuning für Fähigkeit. Oft ist die Kombination am stärksten.

Was RAG behebt

• Halluzinationen: Weil das Modell auf konkrete Textstellen verweist, sinkt das Risiko frei erfundener Aussagen deutlich.
• Wissensabschnitt: Aktuelle oder unternehmensinterne Inhalte werden über die Wissensquelle eingespeist, unabhängig vom Trainingsdatum.
• Nachvollziehbarkeit: Antworten lassen sich auf Quellen zurückführen - wichtig für Fachanwendungen und Compliance.

Qualität steht und fällt mit dem Retrieval

Eine RAG-Antwort ist nur so gut wie die zuvor gefundenen Dokumente. Entscheidend sind daher gute Embeddings, ein sauberer Zuschnitt der Texte in Abschnitte und ein schnelles, treffsicheres Retrieval. Gemessen wird die Retrieval-Güte über Kennzahlen wie Recall@k - wie oft der passende Beleg unter den ersten Treffern liegt.

Datenschutz und Betrieb

RAG lässt sich vollständig on premise betreiben: Wissensquelle, Vektordatenbank und - je nach Wahl - auch das Sprachmodell bleiben im eigenen EU-Stack, sodass sensible Dokumente die eigene Infrastruktur nicht verlassen.

RAG bei Elasticbrains

Bei Elasticbrains bauen wir RAG-Systeme, die Unternehmenswissen durchsuchbar und belegbar machen - mit angepassten Embeddings und schlankem Betrieb. Wie wir die zugrundeliegenden Modelle auf Ihre Daten trainieren, zeigen wir auf unserer Leistungsseite KI-Modelle anpassen.