Agent Evaluation - KI-Agenten mit mehrstufigen Abläufen bewerten

Agent Evaluation (auf Deutsch: KI-Agenten evaluieren) bezeichnet die systematische Bewertung von KI-Agenten - also von Systemen, die nicht nur eine einzelne Antwort erzeugen, sondern über mehrere Schritte hinweg planen, Werkzeuge aufrufen und Zwischenergebnisse verarbeiten, um ein Ziel zu erreichen. Sie ist die für Agenten zugeschnittene Ausprägung von AI Evals.

Der Unterschied zur Bewertung eines einzelnen LLM-Aufrufs ist grundlegend: Bei einem einzelnen Aufruf zählt allein die Qualität der Antwort. Bei einem Agenten führt der Weg über viele Zwischenschritte, und selbst ein am Ende richtiges Ergebnis kann über einen fragilen, teuren oder riskanten Pfad zustande gekommen sein. Umgekehrt kann ein falsches Endergebnis auf einen einzelnen fehlerhaften Schritt zurückgehen, den man ohne Blick in den Ablauf nie findet.

Was über die reine Antwort hinaus geprüft wird

• Ablauf (Trajectory): Die Abfolge der Schritte - hat der Agent einen sinnvollen Weg gewählt, oder ist er in Umwegen und Wiederholungen hängengeblieben?
• Tool-Nutzung: Wurden die richtigen Werkzeuge zum richtigen Zeitpunkt mit den richtigen Parametern aufgerufen? Ein agentischer Workflow steht und fällt mit korrekten Tool-Aufrufen.
• Zielerreichung: Wurde die eigentliche Aufgabe gelöst - und nicht nur eine plausibel klingende Antwort erzeugt?
• Effizienz: Wie viele Schritte, wie viele Token und welche Kosten waren nötig? Ein Agent, der das Ziel auf teurem Umweg erreicht, ist im Betrieb ein Problem.

Endzustand vs. Ablauf bewerten

1. Endzustands-Bewertung: Nur das Ergebnis zählt - wurde das Ziel erreicht? Einfach zu prüfen, sagt aber nichts über das Zustandekommen.
2. Ablauf-Bewertung: Der gesamte Pfad wird betrachtet, oft gegen einen erwarteten oder als gut markierten Referenzablauf. Das deckt auf, wo ein Agent unnötige, riskante oder falsche Schritte macht, selbst wenn das Endergebnis stimmt.

In der Praxis braucht es beides: Der Endzustand zeigt, ob es funktioniert, der Ablauf zeigt, warum. Für die Bewertung schwer prüfbarer Zwischenschritte kommt häufig LLM-as-a-Judge zum Einsatz.

Regressionstests bei Modell- und Prompt-Updates

Agenten sind besonders empfindlich gegenüber Änderungen. Ein neues Modell, ein umformulierter Prompt oder ein geändertes Werkzeug kann den Ablauf an einer Stelle verschieben, die man nicht getestet hat - mit Folgen, die sich durch die gesamte Kette ziehen. Ein Regressions-Testset mit typischen Aufgaben und bekannten Problemfällen wird deshalb bei jeder Änderung erneut durchlaufen. So zeigt sich als Zahl, ob ein Update den Agenten verbessert oder an anderer Stelle verschlechtert hat, bevor es Nutzer treffen. Bei Multi-Agenten-Systemen wächst dieser Bedarf zusätzlich, weil sich Fehler zwischen den Agenten fortpflanzen können - siehe Multi-Agenten-System.

Vom Test zum Betrieb

Agent Evaluation liefert die Testseite; der laufende Betrieb wird über LLM Observability und den umfassenderen Ansatz AgentOps abgesichert, der Qualität, Kosten und Latenz im Live-Betrieb überwacht. Test und Betrieb greifen ineinander: Auffälligkeiten aus dem Betrieb werden zu neuen Fällen im Testset.

Agent Evaluation bei Elasticbrains

Bei Elasticbrains bewerten wir Agenten entlang von Ablauf, Tool-Nutzung und Zielerreichung und bauen Regressions-Testsets, die Modell- und Prompt-Updates absichern. Wie das mit dem laufenden Betrieb zusammengeht, zeigen wir auf unserer Leistungsseite KI-Agenten testen & betreiben.