Monitoring und Nachbewertung
Implementiere ein laufendes Monitoring fuer KI-Risiken: KPIs, Trigger fuer Neubewertung und Eskalationsprozesse.
Premium-Kursinhalt
Diese Lektion gehört zu einem Premium-Kurs. Upgrade auf Pro, um alle Premium-Kurse und Inhalte freizuschalten.
- Zugang zu allen Premium-Kursen
- 1000+ KI-Skill-Vorlagen inklusive
- Jede Woche neue Inhalte
🔄 Kurzer Rueckblick: In Lektion 6 hast du die vier Steuerungsstrategien kennengelernt und einen Massnahmenplan erstellt. Jetzt geht es um die laufende Ueberwachung — damit deine Risikobewertung nicht veraltet.
Eine Risikobewertung ist kein PDF, das man einmal erstellt und dann vergisst. KI-Systeme veraendern sich: Modelle werden aktualisiert, Nutzungsmuster verschieben sich, neue Regulierung tritt in Kraft. Monitoring stellt sicher, dass deine Bewertung aktuell bleibt.
Warum KI-Monitoring anders ist
Klassische Software aendert sich nur bei bewussten Updates. KI-Systeme koennen sich auch ohne Update veraendern:
| Veraenderung | Klassische Software | KI-System |
|---|---|---|
| Modell-Update | Bewusster Release | Kann vom Anbieter ohne Vorwarnung kommen |
| Daten-Drift | Nicht relevant | Eingabedaten aendern sich → Output aendert sich |
| Nutzungsmuster | Stabil | Mitarbeiter nutzen das System fuer neue Zwecke |
| Feedback-Loops | Nicht vorhanden | System lernt aus eigenen Ergebnissen |
Das bedeutet: Dein KI-Risiko-Monitoring muss breiter aufgestellt sein als klassisches IT-Monitoring.
Die 5 Monitoring-KPIs
Jedes Hochrisiko-System braucht mindestens fuenf KPIs:
| KPI | Was er misst | Zielwert | Messzyklus |
|---|---|---|---|
| Genauigkeit | Stimmen die Ergebnisse mit der Realitaet ueberein? | >95% (systemabhaengig) | Quartal |
| Bias-Diskrepanz | Unterschiede zwischen demografischen Gruppen | <5% Abweichung | Quartal |
| Erklaerbarkeit | Koennen Entscheidungen begruendet werden? | 100% bei Hochrisiko | Stichprobe monatlich |
| Vorfallrate | Wie viele Fehler, Beschwerden, Verstoesse? | <2 pro Quartal | Fortlaufend |
| Massnahmen-Wirksamkeit | Wirken die umgesetzten Massnahmen? | Alle KPIs im Zielbereich | Quartal |
✅ Quick Check: Welche drei zusaetzlichen KPIs koenntest du fuer ein KI-System in der Kreditvergabe definieren? (Tipp: Denke an Ablehnungsquoten, Beschwerden und Widerspruchserfolge.)
Trigger fuer Neubewertung
Neben dem regulaeren Zyklus gibt es Anlaesse, die eine sofortige Neubewertung erfordern:
| Trigger | Warum | Reaktion |
|---|---|---|
| Modell-Update | Veraendertes Verhalten moeglich | Quick Check → ggf. volle Neubewertung |
| Neue Datenquelle | Neue Risiken durch neue Daten | DSFA aktualisieren |
| Rechtsaenderung | EU AI Act Durchfuehrungsrechtsakte, neue DSK-Leitlinien | Klassifizierung pruefen |
| Vorfall | Diskriminierung, Fehler, Beschwerde | Sofortige Analyse + Massnahmen |
| Zweckaenderung | System wird fuer anderen Zweck genutzt | Komplette Neubewertung |
| Organisations-Aenderung | Fusion, neuer Geschaeftsbereich, neue Betroffene | Kontext pruefen |
Der Quick Check (15 Minuten):
Bei jedem Trigger-Ereignis stellst du drei Fragen:
- Hat sich der Output bei Testfaellen veraendert?
- Sind neue Datenquellen oder Betroffene hinzugekommen?
- Ist die bestehende Risikobewertung noch gueltig?
Wenn alle drei mit “Nein” beantwortet werden → dokumentieren und weiter. Wenn mindestens eine mit “Ja” → volle Neubewertung.
Der Eskalationsprozess
Was passiert, wenn ein KPI ausserhalb des Zielbereichs liegt?
Stufe 1: Warnung (gelb)
- KPI leicht ausserhalb des Zielbereichs
- Aktion: Analyse der Ursache, Massnahme planen
- Verantwortlich: KI-Beauftragter
- Frist: 2 Wochen
Stufe 2: Eskalation (orange)
- KPI deutlich ausserhalb, oder Stufe 1 nicht fristgerecht behoben
- Aktion: Massnahmen sofort umsetzen, Geschaeftsleitung informieren
- Verantwortlich: KI-Beauftragter + Geschaeftsleitung
- Frist: 1 Woche
Stufe 3: Notfall (rot)
- Schwerer Vorfall, Grundrechts-Verletzung, Behoerdenanfrage
- Aktion: System stoppen oder einschraenken, Krisenteam einberufen
- Verantwortlich: Geschaeftsleitung + Rechtsabteilung
- Frist: Sofort
Monitoring-Dashboard aufbauen
Ein einfaches Dashboard reicht — es muss nicht teuer sein:
| Spalte | Inhalt |
|---|---|
| System | Name des KI-Systems |
| Risikoklasse | Hochrisiko / Begrenzt / Minimal |
| Letzte Bewertung | Datum |
| Naechste Bewertung | Datum |
| Genauigkeit | Aktueller Wert + Trend |
| Bias-Diskrepanz | Aktueller Wert + Trend |
| Vorfaelle (Quartal) | Anzahl |
| Status | Gruen / Gelb / Rot |
| Offene Massnahmen | Anzahl |
Tool-Empfehlung: Fuer die meisten Unternehmen reicht eine Excel-/Google-Sheets-Tabelle. Spezielle GRC-Tools (Governance, Risk, Compliance) lohnen sich erst ab 20+ KI-Systemen.
Dokumentationspflichten
Das Monitoring erzeugt Nachweise — die du fuer die Aufsichtsbehoerde brauchst:
- KPI-Protokolle: Werte pro Quartal, Trends ueber Zeit
- Quick-Check-Ergebnisse: Bei jedem Trigger dokumentiert
- Eskalations-Protokolle: Was passiert ist, was du getan hast
- Neubewertungs-Berichte: Vollstaendige Risikobewertung bei Aenderungen
- Massnahmen-Tracking: Status jeder Massnahme
Key Takeaways
- KI-Monitoring ist mehr als IT-Monitoring: Daten-Drift, Feedback-Loops und Nutzungsaenderungen ueberwachen
- Fuenf Kern-KPIs: Genauigkeit, Bias-Diskrepanz, Erklaerbarkeit, Vorfallrate, Massnahmen-Wirksamkeit
- Sechs Trigger fuer Neubewertung: Modell-Update, neue Daten, Rechtsaenderung, Vorfall, Zweckaenderung, Orga-Aenderung
- 3-Stufen-Eskalation: Warnung → Eskalation → Notfall — mit klaren Fristen und Verantwortlichen
- Alles dokumentieren: KPI-Protokolle, Quick-Checks, Eskalationen — die Aufsichtsbehoerde wird danach fragen
Up Next
In der letzten Lektion bringst du alles zusammen: Deine eigene KI-Risikobewertung fuer ein konkretes Unternehmensszenario.
Wissenscheck
Erst das Quiz oben abschließen
Lektion abgeschlossen!