Zum Inhalt springen
Zurück zum Blog
02.10.20267 Min. Lesezeit

Wenn Human-in-the-Loop messbar wird

Was ein deterministischer Jobmatching-Prototyp über Requirements, QA und echte menschliche Kontrolle lehrt.

Human-in-the-LoopAI Quality AssuranceRequirements EngineeringPublic Sector AIJob Matching

Eine Empfehlung ist noch keine gute Entscheidung

Ein Matching-System kann passende Stellen vorschlagen. Für ein gutes Produkt reicht das nicht. Menschen müssen erkennen können, welche Daten zum Ergebnis geführt haben, wo Informationen fehlen und wie belastbar ein Vorschlag tatsächlich ist. Gerade in einem öffentlichen oder regulierten Umfeld gehören diese Fragen in die fachlichen Anforderungen und in die Qualitätssicherung.

Um diese Fragen greifbar zu machen, habe ich einen interaktiven Jobmatching-Prototypen aufgebaut. Er nutzt ausschließlich frei erfundene Profile und Stellenangebote und dient als Diskussionsgrundlage. Es gibt keine echte Fachverfahrensanbindung und kein produktives Machine-Learning-Modell.

Erst Datenlage und Regeln klären

Die Qualität eines Matches beginnt vor dem Ranking. Ist ein Profil unvollständig oder eine Stellenanforderung veraltet, kann ein präzise wirkender Score falsche Sicherheit erzeugen. Der Prototyp macht deshalb die Datenlage sichtbar und behandelt fehlende Merkmale als Unsicherheit, nicht automatisch als negative Bewertung.

Die Vorschläge entstehen aus deterministischen Regeln. Harte Ausschlusskriterien sind von der Rangfolge getrennt; Kompetenzlücken und Erklärungen sind in der Oberfläche nachvollziehbar. Das macht die Logik diskutierbar und testbar: Fachseite und Entwicklung können an konkreten Fällen prüfen, ob eine Regel den beabsichtigten Zweck erfüllt.

Menschliche Kontrolle braucht beobachtbare Signale

Human-in-the-Loop wird häufig als Leitplanke beschrieben. Ob Menschen Empfehlungen wirklich prüfen und eigenständig entscheiden können, lässt sich daraus allein nicht ablesen. Im Prototyp werden Entscheidungen und Rückmeldungen lokal festgehalten. Eine Auswertungsansicht berechnet daraus unter anderem die Übersteuerungsquote.

Diese Quote ist kein Urteil über einzelne Beschäftigte. Sie ist ein mögliches Signal für das System: Werden Vorschläge fast immer übernommen, könnte die Kontrolle nur formal stattfinden. Werden sie sehr häufig verworfen, passen Daten, Regeln oder Erklärungen womöglich nicht zum Beratungsbedarf. Die Zahl braucht Kontext und darf nie als individuelle Leistungskennzahl verwendet werden.

Prototypen machen offene Anforderungen sichtbar

Neun synthetische Fälle bilden bewusst unterschiedliche Situationen ab: vollständige und lückenhafte Profile, veraltete Daten, keinen Treffer oder mehrere plausible Vorschläge. So werden Fragen sichtbar, die in einer abstrakten Spezifikation leicht untergehen. Was soll passieren, wenn keine Kompetenzdaten vorliegen? Wie wird ein Rückfallbetrieb kenntlich gemacht? Welche Erklärung hilft einer Fachkraft tatsächlich weiter?

Jeder Fall lässt sich in beobachtbares Verhalten übersetzen. Bei einem unvollständigen Profil kann eine Akzeptanzregel zum Beispiel verlangen, dass die Oberfläche fehlende Angaben benennt und die Empfehlung als eingeschränkt aussagekräftig markiert. Bei einem Treffer ohne ausreichende Passung muss klar sein, ob das System keine Empfehlung ausgibt oder eine Prüfung anstößt. Solche Beispiele machen Randbedingungen zu konkreten Review- und Testfällen, die Fachseite, Produkt und QA gemeinsam bewerten können.

Der Prototyp beantwortet diese Fragen nicht verbindlich. Er hilft, sie früh mit Fachseite, Produkt, Entwicklung und QA zu klären. Aus den Diskussionen können testbare Akzeptanzkriterien, Randfälle und Qualitätsgates entstehen, bevor ein produktives System gebaut wird.

Grenzen sind Teil des Qualitätsnachweises

Der aktuelle Stand ist ein offener Diskussionsprototyp: ohne Authentifizierung, echte Schnittstellen, Sozialdaten, produktives ML oder Nachweis einer regulatorischen Freigabe. Diese Grenzen gehören in jede Beschreibung, damit ein klickbarer Ablauf nicht mit einem einsatzfähigen Verwaltungssystem verwechselt wird.

Mein wichtigstes Learning: Menschliche Kontrolle wird belastbarer, wenn Datenqualität, Regeln, Erklärungen und Übersteuerungen zusammen betrachtet werden. Wer an AI-, QA- oder Public-Sector-Produkten arbeitet, kann den Prototyp als Gesprächseinstieg nutzen – und mit mir diskutieren, wie daraus klare Anforderungen und sinnvolle Qualitätsprüfungen werden. Das frühe Experiment trifft keine Aussage über die Eignung eines realen Systems.