Als Halluzination bezeichnet man eine Ausgabe eines Sprachmodells, die flüssig und überzeugend formuliert ist, inhaltlich aber falsch, erfunden oder frei erfunden belegt. Das Modell "lügt" dabei nicht im menschlichen Sinne - es hat schlicht kein Konzept von Wahrheit. Es erzeugt Wort für Wort die statistisch wahrscheinlichste Fortsetzung. Wenn die passendste Formulierung faktisch daneben liegt, entsteht eine Halluzination, die genauso selbstsicher klingt wie eine korrekte Antwort. Das macht sie für Nutzer besonders trügerisch.
Warum Modelle halluzinieren
- Statistische Vorhersage statt Wissen: Ein LLM speichert kein Faktenregister, sondern Muster. Fehlt zu einer Frage belastbares Muster, "füllt" das Modell die Lücke mit dem, was plausibel klingt.
- Fehlender oder veralteter Kontext: Ohne aktuelle, belegte Fakten im Prompt greift das Modell auf sein Trainingswissen zurück - das lückenhaft oder überholt sein kann.
- Druck zur Antwort: Modelle sind darauf trainiert, hilfreich zu antworten. Ein "das weiß ich nicht" ist seltener als eine erfundene, aber gefällige Antwort.
- Mehrdeutige Fragen: Unklare oder suggestive Prompts erhöhen die Wahrscheinlichkeit, dass das Modell eine falsche Annahme übernimmt und darauf aufbaut.
Gegenmittel
- Grounding über RAG: Mit Retrieval Augmented Generation bekommt das Modell die relevanten Fakten aus einer geprüften Wissensbasis direkt in den Kontext - es antwortet dann auf Basis belegter Quellen statt aus dem Gedächtnis.
- Guardrails: KI-Leitplanken gleichen Ausgaben gegen Quellen ab und markieren oder unterdrücken unbelegte Behauptungen.
- Quellenangaben: Antworten mit nachvollziehbaren Belegen erlauben es dem Nutzer, die Aussage zu prüfen, statt ihr blind zu vertrauen.
- Systematisches Messen: Über AI-Evals lässt sich die Halluzinationsrate einer Anwendung quantifizieren und über die Zeit beobachten - im Betrieb ergänzt durch AgentOps.
Halluzination in Agenten-Systemen
Besonders heikel werden Halluzinationen, wenn ein KI-Agent auf einer erfundenen Aussage aufbaut und daraus über Tool-Calling eine echte Aktion ableitet - dann wird aus einem Textfehler eine falsche Handlung. Deshalb gehören Grounding, Guardrails und Freigabeschritte für heikle Aktionen fest zusammen. Halluzinationen lassen sich nach heutigem Stand stark reduzieren, aber nicht vollständig ausschließen - ein belastbares System rechnet damit und fängt sie strukturell ab.
Halluzinationen eindämmen bei Elasticbrains
Wir bauen KI-Anwendungen, die ihre Antworten auf geprüfte Quellen stützen, Aussagen belegen und über Guardrails absichern - damit aus plausibel nicht ungeprüft wird. Wie wir festlegen, auf welche Daten und Quellen ein KI-System zugreift, zeigt die Seite Datenschutz bei KI-Projekten.