Zum Inhalt springen
Zurück zum Blog
17.08.20267 Min. Lesezeit

Vom Locator-Fehler zur begründeten Reparaturempfehlung

Lessons Learned aus einem synthetischen Playwright-Labor für Testdesign, Fehlertriage und review-only Self-Healing.

AI QAPlaywrightTest AutomationHuman Review

Ein Testfehler ist zunächst nur ein Symptom

Ein fehlgeschlagener End-to-End-Test sagt zunächst nur, dass eine Erwartung nicht erfüllt wurde. Der Locator kann veraltet sein, die Oberfläche kann sich fachlich verändert haben oder ein Backend-Fehler kann denselben Nutzerfluss unterbrechen. Wer nur die Fehlermeldung betrachtet, riskiert deshalb eine schnelle, aber falsche Reparatur.

Für diese Fragestellung habe ich ein kleines AI QA Automation Lab aufgebaut. Die Umgebung kombiniert eine synthetische React-Shop-Anwendung mit Playwright, API-Tests, Unit-Tests und strukturierten AI-Funktionen für Testdesign und Fehleranalyse.

Evidenz vor Vorschlag

Im Demo-Szenario wird ein Locator absichtlich ungültig gemacht. Das Framework sammelt anschließend nicht nur die Fehlermeldung, sondern auch den betroffenen Locator, einen DOM-Ausschnitt, sichtbaren Seitentext, verfügbare Locator-Kandidaten, Browser- und Netzwerkereignisse sowie Screenshot und Playwright-Trace.

Diese Informationen werden in eine strukturierte Analyse überführt. Das Ergebnis soll zeigen, welche Fehlerkategorie vorliegt, welche Evidenz dafür spricht und welche nächste Aktion sinnvoll ist. Dadurch wird aus einem roten Test nicht automatisch eine Reparatur, sondern zunächst eine nachvollziehbare Diagnose.

Failure-to-Repair statt blindes Self-Healing

Der wichtigste Designentscheid ist die Trennung zwischen Vorschlag und Anwendung. Die KI darf einen möglichen neuen Locator identifizieren und einen Diff erzeugen. Sie darf diesen Diff aber nicht automatisch in den Testcode schreiben. Der nächste Schritt bleibt ein Review durch einen Menschen.

Das ist für reale QA-Arbeit wichtiger als ein möglichst spektakulärer Autopilot. Ein neuer Locator kann technisch funktionieren und trotzdem die falsche Komponente treffen. Ein Test kann danach wieder grün sein und dennoch nicht mehr das ursprüngliche Risiko prüfen.

Guardrails gehören in den Workflow

Das Lab verwendet deshalb einen Mock-Provider als Standard. Die Ergebnisse bleiben reproduzierbar und lokale Läufe verursachen keine API-Kosten. Die AI-Funktionen liefern strukturierte Vorschläge statt unkontrollierter Prosa. Screenshots, DOM-Inhalte und Logs sind nur für synthetische Testdaten vorgesehen.

Diese Regeln sind keine nachträgliche Sicherheitsdekoration. Sie bestimmen, wie die Funktion gestaltet wird: Welche Daten werden gesammelt? Wie wird Unsicherheit dargestellt? Welche Änderungen dürfen vorgeschlagen werden? Und wie kann ein Team prüfen, ob ein reparierter Test weiterhin die richtige fachliche Absicht abbildet?

Der wertvolle Output ist nachvollziehbar

AI kann QA-Arbeit beschleunigen, wenn sie Beweise sammelt, Unsicherheit sichtbar macht und Änderungen nur als Review-Vorschlag ausgibt. Der wertvollste Output ist nicht die vermeintlich magische Reparatur, sondern die Verbindung aus Fehler, Evidenz, Klassifikation und überprüfbarem nächsten Schritt.

Für produktive Systeme würde ich deshalb nicht mit automatischem Self-Healing beginnen. Ich würde zuerst eine Review-Schicht bauen. Genau dort treffen sich AI Delivery und klassische Qualitätssicherung: Die KI beschleunigt Analyse und Vorschläge, während fachliche Bewertung, Verantwortung und Freigabe im Engineering-Prozess bleiben.

Wenn dich die Verbindung aus AI, Teststrategie und nachvollziehbarer Delivery interessiert, lohnt sich ein Blick auf das Experiment oder ein Austausch über konkrete QA-Workflows.