Hybrid Search - semantische und Stichwortsuche kombiniert

Hybrid Search bezeichnet die Kombination zweier Suchverfahren, die unterschiedlich funktionieren und sich gegenseitig ergänzen: der semantischen Suche auf Basis von Embeddings und der klassischen Stichwort- beziehungsweise Keyword-Suche. Statt sich für einen der beiden Wege zu entscheiden, führt Hybrid Search die Ergebnisse beider zusammen. Das ist besonders im Retrieval-Schritt einer RAG-Wissensdatenbank entscheidend, denn die Antwortqualität hängt daran, ob die passenden Belege gefunden werden.

Die zwei Bausteine

• Semantische Suche (dense): Frage und Dokumente werden als Vektoren dargestellt. Gefunden wird, was inhaltlich ähnlich ist - auch wenn kein einziges Wort übereinstimmt. Stark bei Umschreibungen, Synonymen und Fragen in natürlicher Sprache. Schwach, wenn es auf ein exaktes Wort ankommt.
• Stichwortsuche (sparse, BM25): Der klassische Volltext-Abgleich, meist über das bewährte Ranking-Verfahren BM25. Es bewertet, wie oft und wie unterscheidend ein Suchbegriff in einem Dokument vorkommt. Stark bei exakten Begriffen - Produktnummern, Eigennamen, Fehlercodes, Fachvokabular. Schwach, wenn der Nutzer andere Worte verwendet als das Dokument.

Warum die Kombination bessere Treffer liefert

Die Stärken der beiden Verfahren liegen genau in den Lücken des jeweils anderen:

1. Exakte Begriffe: Die Vektorsuche kann eine seltene Artikelnummer oder einen Eigennamen "verwaschen", weil solche Token wenig semantischen Gehalt tragen. BM25 trifft sie punktgenau.
2. Bedeutung statt Wortlaut: Formuliert jemand eine Frage anders als das Dokument, findet die Stichwortsuche nichts - die semantische Suche versteht die Absicht trotzdem.
3. Robustheit: Fällt bei einer Anfrage ein Verfahren aus, fängt das andere den Treffer auf. Das reduziert die Zahl der Fälle, in denen gar kein passender Beleg gefunden wird.

Wie die Ergebnisse zusammengeführt werden

Beide Verfahren liefern zunächst eigene Trefferlisten. Diese werden zu einem gemeinsamen Ranking verschmolzen - ein gängiger Weg ist, die Positionen aus beiden Listen zu verrechnen, sodass Dokumente, die in beiden weit oben stehen, nach vorne rücken. Das Verfahren gewichtet also nicht rohe Scores, sondern die Rangplätze, was die unterschiedlichen Wertebereiche der beiden Suchen ausgleicht.

Reranking als zweite Stufe

Hybrid Search wird häufig mit einem Reranking kombiniert. Dabei liefert die schnelle Hybridsuche zunächst eine überschaubare Menge Kandidaten. Ein spezialisiertes Reranker-Modell prüft anschließend jeden Kandidaten direkt gegen die Frage und sortiert die Liste neu, sodass die wirklich relevantesten Abschnitte ganz oben landen. Diese zwei Stufen - breit und schnell suchen, dann präzise nachsortieren - liefern in der Praxis die stabilste Retrieval-Qualität. Wie gut die Kandidaten überhaupt sind, hängt zusätzlich vom sauberen Chunking der Dokumente ab.

Hybrid Search bei Elasticbrains

Bei Elasticbrains kombinieren wir Vektor- und Stichwortsuche samt Reranking so, dass Ihre Wissensdatenbank sowohl exakte Fachbegriffe als auch frei formulierte Fragen zuverlässig beantwortet. Wie daraus ein belegbarer interner Assistent entsteht, zeigen wir auf unserer Leistungsseite interne KI-Assistenten / RAG-Wissensdatenbank.