AI Evals (KI-Evaluierung) - KI-Anwendungen systematisch testen

AI Evals (kurz für "AI Evaluations", auf Deutsch KI-Evaluierung) bezeichnen das systematische Testen von KI- und LLM-Anwendungen gegen ein vorab definiertes Testset mit klaren Bewertungskriterien. Statt eine KI-Ausgabe nur "gut" oder "schlecht" nach Bauchgefühl zu beurteilen, wird jede Antwort an messbaren Kriterien geprüft - reproduzierbar und wiederholbar.

Der Grund ist die Natur generativer Modelle: Sie sind nicht deterministisch. Dieselbe Eingabe kann unterschiedliche Antworten hervorbringen, und eine kleine Änderung am Prompt oder ein Modell-Update kann das Verhalten an Stellen verschieben, die man nicht im Blick hatte. Ohne strukturierte Evaluierung merkt man das erst, wenn Nutzer es melden.

Warum "ausprobieren" nicht reicht

• Stichprobe täuscht: Ein paar manuelle Testfragen decken nur einen winzigen Ausschnitt des möglichen Eingaberaums ab. Was bei fünf Beispielen funktioniert, kann bei den nächsten fünfzig scheitern.
• Nicht-Determinismus: Weil dieselbe Eingabe verschiedene Ausgaben erzeugen kann, ist ein einmaliges "hat funktioniert" kein Beleg für verlässliches Verhalten.
• Stille Regression: Nach einem Prompt- oder Modellwechsel kann sich die Qualität an unerwarteter Stelle verschlechtern. Ohne Testset bleibt das unbemerkt, bis es teuer wird.

Bausteine eines Eval-Setups

1. Testset: Eine kuratierte Sammlung von Eingaben, idealerweise mit erwartetem Ergebnis oder Referenzantwort. Es sollte typische Fälle und bekannte Problemfälle enthalten.
2. Bewertungskriterien: Klar definierte Metriken - etwa Korrektheit, Vollständigkeit, Einhaltung eines Formats oder das Ausbleiben unerwünschter Aussagen.
3. Bewertungsmethode: Automatisch per Regel und Vergleich, per LLM-as-a-Judge oder durch menschliche Prüfung - je nach Kriterium und Aufwand.
4. Wiederholung: Der Durchlauf wird bei jeder Änderung erneut gefahren, sodass sich Verbesserungen und Verschlechterungen als Zahlen zeigen.

Offline- vs. Online-Evals

• Offline-Evals laufen vor dem Release gegen ein festes Testset - vergleichbar mit automatisierten Tests in der Entwicklung. Sie beantworten die Frage: Ist die neue Version mindestens so gut wie die alte?
• Online-Evals messen das Verhalten im Live-Betrieb an echten Nutzeranfragen, oft anhand von Signalen wie Nutzerfeedback oder nachgelagerten Erfolgskennzahlen. Sie zeigen, wie sich das System unter realen Bedingungen schlägt, und sind eng mit LLM Observability verbunden.

Abgrenzung zum klassischen Softwaretest

Ein klassischer Softwaretest prüft deterministisches Verhalten: Bei gleicher Eingabe wird exakt dieselbe Ausgabe erwartet, und die Prüfung fällt binär aus - bestanden oder nicht. AI Evals bewegen sich auf einem Spektrum. Antworten sind selten wortgleich, sondern mehr oder weniger passend, und die Bewertung braucht oft eine Beurteilung des Sinngehalts statt eines Zeichenvergleichs. Deshalb ergänzt eine Eval-Suite den klassischen Test, ersetzt ihn aber nicht: deterministische Programmteile werden weiter klassisch getestet, die generativen Teile über Evals.

Von der Einzelantwort zum Agenten

AI Evals bewerten zunächst einzelne Modellantworten. Sobald mehrere Schritte, Werkzeuge und Entscheidungen zusammenkommen, reicht das nicht mehr - dann geht es um die Agent Evaluation, die auch den Ablauf und die Werkzeugnutzung eines KI-Agenten prüft. Beide gehören in einen sauberen Betrieb, wie ihn AgentOps beschreibt.

AI Evals bei Elasticbrains

Bei Elasticbrains bauen wir Eval-Suites, die zu Ihrer Anwendung passen - vom Testset über die Bewertungskriterien bis zur Frage, welche Prüfung automatisch und welche menschlich erfolgt. Wie wir das in den laufenden Betrieb einbetten, zeigen wir auf unserer Leistungsseite KI-Agenten testen & betreiben.