KI-Systeme testen: Warum ein Testlevel nicht reicht
Ein praxisnaher Ansatz für die mehrschichtige Qualitätssicherung von LLM-, RAG- und agentischen Systemen – von der Softwarebasis bis zur fachlichen Antwortqualität.
KI-Qualität beginnt nicht erst bei der Antwort
Eine flüssig formulierte Antwort ist noch kein Qualitätsnachweis. Ein KI-System besteht nicht nur aus einem Modell, sondern aus Softwarearchitektur, Datenflüssen, Berechtigungen, Prompts, Wissensquellen und Betriebsprozessen. Jeder dieser Bausteine kann Fehler erzeugen – auch dann, wenn der sichtbare Output zunächst überzeugend wirkt.
Deshalb teste ich KI-Systeme mehrschichtig. Die klassische Testpyramide bleibt wichtig, wird aber um eine fachliche Evaluation der Modellantworten ergänzt. So lässt sich sowohl prüfen, ob das System technisch zuverlässig funktioniert, als auch, ob seine Ergebnisse im jeweiligen Anwendungskontext akzeptabel sind.
Die Softwarebasis bleibt unverzichtbar
Zuerst teste ich die klassische Architektur: Unit-Tests für deterministische Logik wie Validierungen, Filter, Parser und Policy Checks; Integrationstests für APIs, Datenbanken, Modell- und Suchschnittstellen; End-to-End-Tests für kritische Nutzerflüsse. Dazu kommen Security- und Performancetests, damit Authentifizierung, Rate Limits, Fehlerfälle und Lastverhalten nicht erst im Betrieb auffallen.
Das klingt nach Standardprogramm, ist bei KI-Anwendungen aber besonders relevant. Ein Modell kann eine gute Antwort erzeugen und trotzdem darf die Anwendung sie nicht ausliefern – etwa weil ein Berechtigungsfilter falsch greift, ein Structured Output nicht valide ist oder ein Timeout einen unvollständigen Prozess hinterlässt. Diese Risiken müssen deterministisch testbar sein.
Golden Datasets machen Antwortqualität messbar
Zusätzlich erstelle ich ein repräsentatives Golden Dataset: kuratierte Eingaben, die reale Fälle, Grenzfälle, Mehrdeutigkeiten und erwartete Ablehnungen abbilden. Je nach Produkt gehören dazu Referenzantworten, erlaubte Fakten, benötigte Quellen oder klar definierte Bewertungskriterien. Entscheidend ist nicht die maximale Größe, sondern eine nachvollziehbare Abdeckung der relevanten Risiken.
Daran bewerte ich fachliche Korrektheit, Relevanz, Vollständigkeit, Halluzinationen und Formatkonformität. Nicht jede Dimension muss für jeden Anwendungsfall gleich gewichtet werden. Bei einer Zusammenfassung kann Vollständigkeit wichtiger sein als Wortlaut; bei einer Entscheidungsvorlage sind Quellenbindung und eine sichere Eskalation bei Unsicherheit oft entscheidend.
Bei RAG Retrieval und Antwort getrennt bewerten
Bei einem RAG-System trenne ich bewusst Retrieval-Qualität und Antwortqualität. Zuerst prüfe ich, ob die richtigen Dokumente oder Passagen gefunden wurden – zum Beispiel mit Recall, Hit Rate, MRR oder einem fachlich definierten Relevanzurteil. Erst danach bewerte ich, ob die Antwort den bereitgestellten Kontext korrekt nutzt und sich an ihn hält.
Diese Trennung ist praktisch, weil sie Fehler eindeutig lokalisiert. Fehlt die relevante Quelle, liegt das Problem eher bei Chunking, Metadaten, Embeddings, Filtern oder Ranking. Ist die Quelle vorhanden, aber die Antwort falsch oder unvollständig, ist Prompt, Modellverhalten, Kontextaufbereitung oder ein Antwort-Gate der wahrscheinlichere Ansatzpunkt. Ohne diese Sicht bleibt nur die unscharfe Diagnose: Das System antwortet schlecht.
Security, Datenschutz und Robustheit gehören in die Teststrategie
Eine fachlich richtige Antwort ist wertlos, wenn sie vertrauliche Informationen offenlegt oder sich über eine manipulierte Eingabe steuern lässt. Deshalb ergänze ich die Evaluation um Tests für Prompt Injection, Rechte und Mandantentrennung, Datenschutz, Bias und robuste Fehlerbehandlung. Dazu gehören auch adversariale Eingaben: Was geschieht bei widersprüchlichen Anweisungen, manipulierten Dokumenten oder dem Versuch, Systemvorgaben offenzulegen?
Ebenso wichtig ist die wirtschaftliche Robustheit. Tokenverbrauch, Modellaufrufe, Retrieval-Latenz und Fehlerquoten können direkt über die Nutzbarkeit eines Systems entscheiden. Kosten- und Lasttests gehören deshalb nicht ans Ende des Projekts. Sie helfen früh, realistische Limits, Caching-Strategien und Abbruchregeln festzulegen.
Nichtdeterminismus braucht Metriken und Schwellenwerte
LLM-Ausgaben sind nicht vollständig deterministisch. Ein einzelner erfolgreicher Testlauf ist daher kein verlässliches Signal. Für kritische Fälle führe ich Tests mehrfach aus, betrachte Verteilungen statt nur Einzelergebnisse und definiere Qualitätsmetriken mit klaren Schwellenwerten. Eine Freigabe kann beispielsweise eine Mindestquote korrekter Antworten, null kritische Datenlecks und eine maximale Latenz verlangen.
Die Schwellenwerte sollten aus Risiko und Produktnutzen abgeleitet sein, nicht aus einem Wunschwert. Ein internes Ideation-Tool verträgt andere Unsicherheit als ein System, das Kunden informiert, Bewerbungen vorsortiert oder Entscheidungen im regulierten Umfeld vorbereitet. Wichtig ist, dass Teams vor der Implementierung festlegen, wann ein Ergebnis gut genug ist – und wann das System bewusst nicht antworten darf.
Änderungen brauchen automatische Regressionsevaluation
Modelle, Prompts und Wissensquellen ändern sich häufig. Jede dieser Änderungen kann Qualität verschieben: Ein neues Modell formuliert zwar eleganter, zitiert aber schlechter; ein aktualisiertes Dokument verbessert eine Antwort und verdrängt zugleich eine wichtige Passage im Ranking. Deshalb sichere ich relevante Änderungen über automatisierte Regressionsevaluationen gegen dasselbe Golden Dataset ab.
Die Ergebnisse sollten versioniert und vergleichbar sein: Welche Modellversion, welcher Prompt, welche Retrieval-Konfiguration und welcher Datenstand lagen dem Lauf zugrunde? So wird aus einem Bauchgefühl ein nachvollziehbarer Qualitätsentscheid. Verbesserungen werden sichtbar, Verschlechterungen stoppen den Rollout, bevor sie Nutzerinnen und Nutzer treffen.
Qualität endet nicht mit dem Release
Ein Testset bildet nie die gesamte Realität ab. Im Betrieb ergänze ich deshalb Monitoring für Latenz, Kosten, Fehler, Ablehnungen, Sicherheitsereignisse und Qualitätsindikatoren. Dabei ist Datenschutz wichtig: Telemetrie sollte nur die Informationen erfassen, die zur Steuerung wirklich nötig sind, und keine sensiblen Inhalte unnötig protokollieren.
Für kritische Entscheidungen gehört außerdem Human-in-the-Loop zum Design. Menschen brauchen klare Informationen darüber, was das System vorgeschlagen hat, auf welcher Evidenz die Aussage beruht und wann eine Prüfung oder Eskalation erforderlich ist. Gute KI-Qualität bedeutet nicht, jede Unsicherheit zu verstecken. Sie bedeutet, Grenzen sichtbar zu machen und innerhalb dieser Grenzen verlässlich zu arbeiten.