Zum Inhalt springen
Menü

KI-Agenten testen, bevor sie live gehen

Wir prüfen KI-Agenten an Fällen aus Ihrem Alltag, bevor sie live gehen, und messen weiter, während sie arbeiten. Sie sehen in Zahlen, wo der Agent zuverlässig ist und wo er noch Fehler macht.

Einstieg
Machbarkeits-Sprint, Festpreis ab 4.999 €
Wir prüfen
Antworten, Werkzeug-Nutzung, Rechte, Kosten und Antwortzeit
Auch für
Agenten, die andere gebaut haben
Betrieb
selbst, über einen Partner oder Übergabe an Ihre IT

Stand: September 2026

Ein KI-Agent, der in der Vorführung läuft, ist noch nicht fertig. Im Alltag bekommt er unklare Eingaben, es fehlen Daten, und Angaben widersprechen sich. Dazu kommt: Ein neues Modell oder eine geänderte Anweisung kann seine Antworten verschlechtern, ohne dass es jemand merkt, bis sich Kunden oder Mitarbeitende beschweren.

Deshalb messen wir, bevor ein Agent live geht. Gemeinsam legen wir Testfälle aus Ihrem Alltag fest, auch die schwierigen, und prüfen den Agenten daran. Jede neue Version muss dieselben Tests bestehen. Im Betrieb schauen wir weiter auf Qualität, Kosten und Antwortzeit und melden, wenn etwas abweicht.

So wird aus "der Agent ist gut" eine Aussage mit Zahlen, auf die Sie eine Freigabe stützen können.

Woran messen Sie, ob unser Agent gut arbeitet?

Mit Evals, also festen Testfällen, an denen wir jede Version des Agenten messen. Wir bauen sie in drei Schritten auf.

  1. Testfälle sammeln

    Echte Fälle aus Ihrem Alltag, dazu die schwierigen: unklare Anfragen, fehlende Daten, Widersprüche, Anfragen außerhalb seiner Aufgabe.

  2. Festlegen, was gut ist

    Für jeden Fall legen wir gemeinsam fest, woran eine gute Antwort oder eine richtige Aktion zu erkennen ist. Bei einem Agenten zählt dazu, ob er das richtige Werkzeug wählt und die richtigen Daten einträgt.

  3. Bewerten

    Viele Fälle bewertet ein zweites Sprachmodell nach festen Kriterien (LLM as a Judge). An heiklen Stellen bewertet ein Mensch aus Ihrem Fachbereich. Weil ein Sprachmodell auf dieselbe Frage nicht immer gleich antwortet, lassen wir die Tests mehrfach laufen.

Ändert sich das Modell, eine Anweisung oder eine Datenquelle, laufen dieselben Tests noch einmal, bevor die Änderung live geht. Das ist ein Regressionstest: Er zeigt, ob etwas, das vorher funktioniert hat, jetzt schlechter läuft.

Lässt sich unser Agent austricksen?

Das prüfen wir gezielt. Beim Red Teaming greifen wir den Agenten an, wie es ein Angreifer oder ein unachtsamer Nutzer tun würde: mit versteckten Anweisungen in Mails, Dokumenten oder Webseiten (Prompt Injection), mit Anfragen nach Daten, die er nicht herausgeben darf, und mit Aufgaben, die er nicht erledigen soll. Dazu testen wir, ob er Aussagen erfindet, wenn ihm Informationen fehlen.

Wo der Agent nachgibt, bessern wir nach, an seinen Anweisungen und an seinen Rechten:

  • Eigene Rechte

    Der Agent bekommt eigene, möglichst knappe Rechte je Werkzeug, statt mit dem Zugang eines Mitarbeiters zu arbeiten.

  • Freigabe durch Menschen

    Schreiben, Zahlen oder Löschen gibt vorher ein Mensch frei, wo Sie das festlegen.

  • Fremde Eingaben

    Inhalte von außen, etwa Mails, Tickets oder Webseiten, behandelt der Agent als Daten, nicht als Anweisung.

Einen Penetrationstest Ihrer gesamten IT ersetzt das nicht. Wir prüfen den Agenten und die Werkzeuge, die er nutzt.

Wie bleibt der Agent im Betrieb zuverlässig?

Nach dem Start messen wir weiter. Das nennt man AgentOps: den Betrieb von KI-Agenten so zu führen, dass Fehler auffallen, bevor sie sich häufen.

  • Qualität

    Laufende Stichproben aus echten Anfragen, bewertet nach denselben Kriterien wie vor dem Start.

  • Kosten und Antwortzeit

    Wir schreiben mit, wie viele Tokens und wie viel Zeit jede Anfrage braucht, je Aufgabe. Weicht etwas ab, melden wir es.

  • Protokoll

    Auf Wunsch protokollieren wir jede Aktion des Agenten, damit Sie nachlesen können, was er getan hat und warum.

Wird der Agent zu teuer, ist das ein eigenes Thema: Dann prüfen wir Modellwahl und Aufbau an denselben Testfällen.

Wie gehen wir gemeinsam vor?

  1. Agent und Risiken verstehen

    Sie zeigen uns, was der Agent tut, welche Systeme er nutzt und welche Fehler für Sie teuer wären. Dabei ist egal, wer ihn gebaut hat.

  2. Testfälle festlegen

    Gemeinsam sammeln wir Fälle aus Ihrem Alltag und legen fest, woran eine gute Antwort zu erkennen ist.

  3. Messen und angreifen

    Wir lassen den Agenten gegen die Testfälle laufen, prüfen ihn auf Prompt Injection und erfundene Aussagen und schreiben auf, wo er scheitert.

  4. Ihre Entscheidung

    Mit den Messwerten entscheiden Sie: Agent live stellen, erst nachbessern lassen oder die Aufgabe neu zuschneiden. Auf Wunsch richten wir danach die Überwachung für den Betrieb ein.

Was haben wir am Ende in der Hand?

  • Einen Satz Testfälle aus Ihrem Alltag, den Sie bei jedem Update wieder laufen lassen können
  • Messwerte je Aufgabe, dazu eine Liste der Fälle, bei denen der Agent scheitert, mit Beispiel
  • Die Befunde aus dem Red Teaming und was wir an Anweisungen und Rechten ändern würden
  • Auf Wunsch eine Überwachung für den Betrieb. Den Betrieb übernehmen wir mit Betriebsvertrag selbst oder über einen Partner, oder wir übergeben alles mit Dokumentation an Ihre IT

Warum mit uns?

  • Wir bauen selbst Agenten

    Wir entwickeln KI-Agenten und KI-Workflows für Kunden, mit eigenem Code und mit n8n. Bei uns gehört das Testen zum Bauen. Diese Prüfung bieten wir auch für Agenten an, die andere gebaut haben.

  • Maßstab vorher festgelegt

    Woran wir messen, legen wir mit Ihnen fest, bevor wir messen. Sie sehen neben dem Durchschnitt jeden Fall, bei dem der Agent scheitert.

  • Messen und Nachbessern aus einer Hand

    Wo der Agent schwach ist, bessern wir auf Wunsch nach, an Anweisungen, Rechten und Werkzeugen, und prüfen die Änderung an denselben Testfällen.

Wie sieht so eine Messung aus?

So messen wir auch bei Modellen: dieselben Testfälle für beide Varianten, beide Zahlen nebeneinander. Das Beispiel stammt aus einem Projekt mit einem eigenen Bildmodell, nicht mit einem Agenten. Es zeigt die Methode.

  • Sammlerobjekte, 2026Kunde vertraulich

    Ein eigenes Modell, das fast gleiche Teile unterscheidet.

    Ein spezialisiertes Bildmodell ordnet fotografierte Sammlerobjekte in einem großen Katalog zu. Gemessen am selben Testaufbau lag die richtige Zuordnung mit dem eigenen Modell in 53 von 100 Fällen an erster Stelle, mit der Standard-API in 30.

Machbarkeits-Sprint (PoC)

Im Machbarkeits-Sprint prüfen wir eine Aufgabe Ihres Agenten an Ihren echten Fällen: wie oft er richtig liegt, wo er scheitert und was er im Betrieb kostet. Den Maßstab legen wir vorher gemeinsam fest. Danach entscheiden Sie mit Zahlen, wie es weitergeht.

  • Eine Aufgabe des Agenten, geprüft an Ihren echten Fällen
  • Testfälle und Maßstab vorher gemeinsam festgelegt
  • Danach wissen Sie, wo der Agent scheitert und was Nachbessern und Betrieb kosten

ab 4.999 €

Festpreis zzgl. USt., Stand: September 2026

Machbarkeits-Sprint anfragenZum Machbarkeits-Sprint

Gibt es den Agenten noch nicht, prüfen wir im selben Sprint, ob er Ihre Aufgabe lösen kann.

Häufige Fragen

Wie testet man einen KI-Agenten?

Mit festen Testfällen aus dem Alltag, einschließlich der schwierigen: unklare Anfragen, fehlende Daten, versuchte Manipulation. Für jeden Fall ist vorher festgelegt, was eine gute Antwort oder eine richtige Aktion ist. Bewertet wird teils automatisch durch ein zweites Sprachmodell, an heiklen Stellen durch Menschen. Die Tests laufen mehrfach und bei jeder Änderung am Agenten erneut.

Was sind Evals?

Evals sind systematische Tests für KI-Anwendungen. Statt ein paar Beispiele auszuprobieren, prüft man den Agenten an einem festen Satz von Fällen und bewertet die Antworten nach klaren Kriterien. Damit lässt sich jede neue Version am selben Maßstab messen, etwa nach einem Wechsel des Modells.

Wie erkennt man Halluzinationen im Betrieb?

Über laufende Stichproben aus echten Anfragen, die nach denselben Kriterien bewertet werden wie vor dem Start. Wo der Agent aus Dokumenten oder Datenbanken antwortet, prüft die Bewertung, ob die Aussage dort belegt ist. Steigt der Anteil erfundener Aussagen, schlägt die Überwachung an. Ganz ausschließen lassen sich Halluzinationen nicht, deshalb legen wir fest, wo ein Mensch vor der Weitergabe prüft.

Wer prüft unseren KI-Agenten?

Wir, auch wenn ein anderer Dienstleister oder Ihr eigenes Team den Agenten gebaut hat. Wir bauen selbst KI-Agenten und prüfen sie vor dem Start und im Betrieb. Wir arbeiten remote und legen die Testfälle mit einer Person aus Ihrem Fachbereich fest. Der übliche Einstieg ist der Machbarkeits-Sprint ab 4.999 € (Stand 09/2026), davor gibt es das kostenlose Erstgespräch.

Lohnt sich das auch für einen einfachen Chatbot?

Sobald der Chatbot Kunden oder Mitarbeitenden antwortet, ja. Der Aufwand richtet sich nach dem Risiko: Für einen internen Assistenten reichen weniger Testfälle als für einen Agenten, der in Ihre Systeme schreibt.

Welche Fehler darf Ihr Agent auf keinen Fall machen?

30 Minuten mit Daniel Neumann, kostenlos, per Video. Wir sprechen über Ihr Vorhaben und geben Ihnen Feedback, wie wir es lösen würden.

Nächste freie Termine mit Daniel

Termine werden geladen
Erstgespräch buchen