Chunking - Dokumente für RAG richtig zerlegen

Chunking bezeichnet das Zerlegen langer Dokumente in kleinere, in sich geschlossene Textabschnitte - die sogenannten Chunks. Es ist der erste und oft unterschätzte Schritt beim Aufbau einer RAG-Wissensdatenbank. Erst diese Abschnitte werden in Embeddings umgewandelt und in einer Vektordatenbank abgelegt, wo sie später durchsucht werden.

Der Grund ist einfach: Ein Sprachmodell kann nur eine begrenzte Menge Text als Kontext verarbeiten, und ein Embedding, das ein ganzes Handbuch in einen einzigen Vektor presst, verwischt jede inhaltliche Feinheit. Kleinere Abschnitte lassen sich präziser einbetten und gezielter abrufen.

Warum Dokumente überhaupt zerlegt werden

• Gezieltes Retrieval: Die Suche soll genau den Absatz finden, der eine Frage beantwortet - nicht das ganze Dokument, in dem er irgendwo steht.
• Sauberere Embeddings: Ein Vektor über einen thematisch geschlossenen Abschnitt trägt eine klare Bedeutung. Über ein ganzes Dokument gemittelt geht diese Schärfe verloren.
• Kontextgrenze des Modells: Nur eine begrenzte Zahl passender Abschnitte kann als Beleg an das Sprachmodell übergeben werden - kompakte Chunks nutzen diesen Platz effizient.

Chunk-Größe und Overlap

Die zwei wichtigsten Stellschrauben sind Größe und Überlappung:

• Chunk-Größe: Zu große Abschnitte mischen mehrere Themen und verwässern das Embedding. Zu kleine reißen Zusammenhänge auseinander, sodass einem Abschnitt der Kontext fehlt, um verständlich zu sein. Die passende Größe hängt von der Art der Dokumente ab - ein Vertrag wird anders geschnitten als ein Chat-Protokoll.
• Overlap (Überlappung): Damit ein Gedanke nicht ausgerechnet an der Schnittkante zerrissen wird, teilen sich benachbarte Chunks einen kleinen gemeinsamen Textbereich. So bleibt an den Rändern genug Kontext erhalten, und ein Satz, der über eine Grenze läuft, geht nicht verloren.

Festes vs. semantisches Chunking

1. Festes Chunking: Der Text wird nach einer festen Länge geschnitten - etwa alle paar hundert Zeichen oder nach einer bestimmten Zahl von Tokens. Einfach umzusetzen, aber blind gegenüber dem Inhalt: Ein Schnitt kann mitten im Satz oder mitten im Argument liegen.
2. Strukturbasiertes Chunking: Der Schnitt folgt der natürlichen Gliederung - Überschriften, Absätze, Listen, Tabellen. So bleiben inhaltliche Einheiten zusammen.
3. Semantisches Chunking: Die Grenzen werden dort gezogen, wo sich das Thema tatsächlich ändert. Dazu wird die inhaltliche Ähnlichkeit aufeinanderfolgender Passagen ausgewertet und dort getrennt, wo die Bedeutung deutlich springt. Aufwändiger, liefert aber thematisch geschlossene Abschnitte.

Auswirkung auf die Retrieval-Qualität

Chunking entscheidet mit darüber, ob eine RAG-Antwort belastbar ist. Schlecht geschnittene Abschnitte führen dazu, dass die semantische Suche den falschen oder einen unvollständigen Beleg findet - das Modell antwortet dann auf dünner Grundlage. Gut geschnittene Chunks dagegen erhöhen die Trefferwahrscheinlichkeit und geben dem Modell einen sauberen, vollständigen Kontext. Deshalb ist Chunking kein technisches Detail, sondern eine inhaltliche Weichenstellung, die man an den konkreten Dokumenten ausrichtet und iterativ nachschärft. In Kombination mit Hybrid Search und Reranking lässt sich die Trefferqualität weiter absichern.

Chunking bei Elasticbrains

Bei Elasticbrains stimmen wir die Zerlegung auf Ihre Dokumentenarten ab - von der Chunk-Größe über den Overlap bis zur Frage, ob feste, strukturbasierte oder semantische Grenzen die beste Retrieval-Qualität liefern. Wie daraus eine belegbare Wissensbasis entsteht, zeigen wir auf unserer Leistungsseite interne KI-Assistenten / RAG-Wissensdatenbank.