Monitoring und Nachbewertung

🔄 Kurzer Rueckblick: In Lektion 6 hast du die vier Steuerungsstrategien kennengelernt und einen Massnahmenplan erstellt. Jetzt geht es um die laufende Ueberwachung — damit deine Risikobewertung nicht veraltet.

Eine Risikobewertung ist kein PDF, das man einmal erstellt und dann vergisst. KI-Systeme veraendern sich: Modelle werden aktualisiert, Nutzungsmuster verschieben sich, neue Regulierung tritt in Kraft. Monitoring stellt sicher, dass deine Bewertung aktuell bleibt.

Warum KI-Monitoring anders ist

Klassische Software aendert sich nur bei bewussten Updates. KI-Systeme koennen sich auch ohne Update veraendern:

Veraenderung	Klassische Software	KI-System
Modell-Update	Bewusster Release	Kann vom Anbieter ohne Vorwarnung kommen
Daten-Drift	Nicht relevant	Eingabedaten aendern sich → Output aendert sich
Nutzungsmuster	Stabil	Mitarbeiter nutzen das System fuer neue Zwecke
Feedback-Loops	Nicht vorhanden	System lernt aus eigenen Ergebnissen

Das bedeutet: Dein KI-Risiko-Monitoring muss breiter aufgestellt sein als klassisches IT-Monitoring.

Die 5 Monitoring-KPIs

Jedes Hochrisiko-System braucht mindestens fuenf KPIs:

KPI	Was er misst	Zielwert	Messzyklus
Genauigkeit	Stimmen die Ergebnisse mit der Realitaet ueberein?	>95% (systemabhaengig)	Quartal
Bias-Diskrepanz	Unterschiede zwischen demografischen Gruppen	<5% Abweichung	Quartal
Erklaerbarkeit	Koennen Entscheidungen begruendet werden?	100% bei Hochrisiko	Stichprobe monatlich
Vorfallrate	Wie viele Fehler, Beschwerden, Verstoesse?	<2 pro Quartal	Fortlaufend
Massnahmen-Wirksamkeit	Wirken die umgesetzten Massnahmen?	Alle KPIs im Zielbereich	Quartal

✅ Quick Check: Welche drei zusaetzlichen KPIs koenntest du fuer ein KI-System in der Kreditvergabe definieren? (Tipp: Denke an Ablehnungsquoten, Beschwerden und Widerspruchserfolge.)

Trigger fuer Neubewertung

Neben dem regulaeren Zyklus gibt es Anlaesse, die eine sofortige Neubewertung erfordern:

Trigger	Warum	Reaktion
Modell-Update	Veraendertes Verhalten moeglich	Quick Check → ggf. volle Neubewertung
Neue Datenquelle	Neue Risiken durch neue Daten	DSFA aktualisieren
Rechtsaenderung	EU AI Act Durchfuehrungsrechtsakte, neue DSK-Leitlinien	Klassifizierung pruefen
Vorfall	Diskriminierung, Fehler, Beschwerde	Sofortige Analyse + Massnahmen
Zweckaenderung	System wird fuer anderen Zweck genutzt	Komplette Neubewertung
Organisations-Aenderung	Fusion, neuer Geschaeftsbereich, neue Betroffene	Kontext pruefen

Der Quick Check (15 Minuten):

Bei jedem Trigger-Ereignis stellst du drei Fragen:

Hat sich der Output bei Testfaellen veraendert?
Sind neue Datenquellen oder Betroffene hinzugekommen?
Ist die bestehende Risikobewertung noch gueltig?

Wenn alle drei mit “Nein” beantwortet werden → dokumentieren und weiter. Wenn mindestens eine mit “Ja” → volle Neubewertung.

Der Eskalationsprozess

Was passiert, wenn ein KPI ausserhalb des Zielbereichs liegt?

Stufe 1: Warnung (gelb)

KPI leicht ausserhalb des Zielbereichs
Aktion: Analyse der Ursache, Massnahme planen
Verantwortlich: KI-Beauftragter
Frist: 2 Wochen

Stufe 2: Eskalation (orange)

KPI deutlich ausserhalb, oder Stufe 1 nicht fristgerecht behoben
Aktion: Massnahmen sofort umsetzen, Geschaeftsleitung informieren
Verantwortlich: KI-Beauftragter + Geschaeftsleitung
Frist: 1 Woche

Stufe 3: Notfall (rot)

Schwerer Vorfall, Grundrechts-Verletzung, Behoerdenanfrage
Aktion: System stoppen oder einschraenken, Krisenteam einberufen
Verantwortlich: Geschaeftsleitung + Rechtsabteilung
Frist: Sofort

Monitoring-Dashboard aufbauen

Ein einfaches Dashboard reicht — es muss nicht teuer sein:

Spalte	Inhalt
System	Name des KI-Systems
Risikoklasse	Hochrisiko / Begrenzt / Minimal
Letzte Bewertung	Datum
Naechste Bewertung	Datum
Genauigkeit	Aktueller Wert + Trend
Bias-Diskrepanz	Aktueller Wert + Trend
Vorfaelle (Quartal)	Anzahl
Status	Gruen / Gelb / Rot
Offene Massnahmen	Anzahl

Tool-Empfehlung: Fuer die meisten Unternehmen reicht eine Excel-/Google-Sheets-Tabelle. Spezielle GRC-Tools (Governance, Risk, Compliance) lohnen sich erst ab 20+ KI-Systemen.

Dokumentationspflichten

Das Monitoring erzeugt Nachweise — die du fuer die Aufsichtsbehoerde brauchst:

KPI-Protokolle: Werte pro Quartal, Trends ueber Zeit
Quick-Check-Ergebnisse: Bei jedem Trigger dokumentiert
Eskalations-Protokolle: Was passiert ist, was du getan hast
Neubewertungs-Berichte: Vollstaendige Risikobewertung bei Aenderungen
Massnahmen-Tracking: Status jeder Massnahme

Key Takeaways

KI-Monitoring ist mehr als IT-Monitoring: Daten-Drift, Feedback-Loops und Nutzungsaenderungen ueberwachen
Fuenf Kern-KPIs: Genauigkeit, Bias-Diskrepanz, Erklaerbarkeit, Vorfallrate, Massnahmen-Wirksamkeit
Sechs Trigger fuer Neubewertung: Modell-Update, neue Daten, Rechtsaenderung, Vorfall, Zweckaenderung, Orga-Aenderung
3-Stufen-Eskalation: Warnung → Eskalation → Notfall — mit klaren Fristen und Verantwortlichen
Alles dokumentieren: KPI-Protokolle, Quick-Checks, Eskalationen — die Aufsichtsbehoerde wird danach fragen

Up Next

In der letzten Lektion bringst du alles zusammen: Deine eigene KI-Risikobewertung fuer ein konkretes Unternehmensszenario.