Der Hochrisiko-Check: Praxis-Szenarien

🔄 Kurzer Rueckblick: In Lektion 3 hast du den 5-Schritte-Entscheidungsbaum kennengelernt. Jetzt wenden wir ihn auf komplexere Praxis-Szenarien an — die Faelle, bei denen es nicht so eindeutig ist.

Der Entscheidungsbaum funktioniert gut bei klaren Faellen. Aber in der Praxis sind die Grenzen oft fliessend. In dieser Lektion pruefst du realistische Szenarien, die du so oder aehnlich in deinem Unternehmen finden koenntest.

Szenario 1: Recruiting — Wo beginnt Hochrisiko?

Anhang III Nr. 4 umfasst drei Bereiche im Beschaeftigungskontext:

Funktion	Beispiel	Hochrisiko?
Bewerbungsvorauswahl	KI sortiert Bewerber vor	Ja — eigenstaendige Bewertung
Stellenanzeigen-Targeting	KI optimiert Anzeigenplatzierung	Grauzone — beeinflusst indirekt den Bewerberpool
Lebenslauf-Formatting	KI vereinheitlicht Dokumente	Moeglicherweise Art. 6 Abs. 3
Interviewanalyse	KI wertet Videointerviews aus	Ja — Bewertung + moeglicherweise biometrisch
Leistungsbewertung	KI bewertet Mitarbeiter-KPIs	Ja — erheblicher Einfluss auf Karriere

Die Schluesselunterscheidung: Trifft das System eine eigenstaendige Bewertung, die den Zugang zu Beschaeftigung beeinflusst?

Formatierung → Nein → Art. 6 Abs. 3 moeglich
Vorauswahl → Ja → Hochrisiko
Ranking → Ja → Hochrisiko

✅ Quick Check: Ein KI-Tool schlaegt Interviewfragen vor, die auf das Profil des Bewerbers zugeschnitten sind. Die Fragen sind neutral, das Tool bewertet keine Antworten. Hochrisiko oder nicht? (Tipp: Was genau ist der Verwendungszweck — bewertet das System, oder bereitet es nur vor?)

Szenario 2: Kreditvergabe — Doppelte Regulierung

Kreditvergabe-KI ist fast immer Hochrisiko. Hier treffen EU AI Act und bestehende Regulierung aufeinander:

EU AI Act: Anhang III Nr. 5 — Bewertung der Kreditwuerdigkeit natuerlicher Personen

DSGVO: Art. 22 — Recht, keiner ausschliesslich automatisierten Entscheidung unterworfen zu werden

Sektorale Regulierung: MaRisk, EBA-Leitlinien zu Kreditvergabe, Basel III

Die drei Regulierungen ueberlagern sich, ersetzen sich aber nicht. Ein KI-Scoring-Modell muss:

Als Hochrisiko eingestuft werden (EU AI Act)
Eine DSFA haben (DSGVO Art. 35)
Art. 22 DSGVO beachten (Recht auf menschliche Entscheidung)
MaRisk-konforme Modellvalidierung durchlaufen
Erklaerbar sein fuer Kunden und Aufsicht

Die Art. 6 Abs. 3 Ausnahme greift bei Kreditvergabe praktisch nie. Warum? Weil die Kreditentscheidung immer erheblichen Einfluss auf die wirtschaftliche Situation der betroffenen Person hat.

Szenario 3: Bildung — Zugang und Bewertung

Anhang III Nr. 3 umfasst zwei Kernbereiche:

Zugangssteuerung: KI-Systeme, die ueber Zulassung zu Bildungseinrichtungen entscheiden (Studienplatzvergabe, Ausbildungsplatzzuweisung).

Bewertung: KI-Systeme, die Lernergebnisse bewerten oder Pruefungen korrigieren.

System	Funktion	Einstufung
KI-Zulassungstool	Sortiert Bewerber fuer Studienplaetze	Hochrisiko
Automatische Pruefungskorrektur	Bewertet Multiple-Choice + Freitext	Hochrisiko
Lernplattform-Empfehlung	Schlaegt naechste Lektion vor	Minimales Risiko
Plagiatserkennung	Flaggt moegliche Plagiate	Grauzone — beeinflusst Bewertung
KI-Tutor	Erklaert Lehrstoff interaktiv	Begrenztes Risiko (Chatbot)

Automation Bias beachten: Wenn ein KI-System eine Note vorschlaegt und der Dozent in 95% der Faelle zustimmt, trifft de facto die KI die Entscheidung — auch wenn formal der Mensch unterschreibt.

Szenario 4: Gesundheitswesen — Zwei Wege gleichzeitig

Im Gesundheitswesen kann ein System ueber beide Wege Hochrisiko sein:

Weg 1 (Art. 6 Abs. 1): KI als Medizinprodukt unter MDR → Konformitaetsbewertung nach MDR + EU AI Act

Weg 2 (Anhang III Nr. 5): KI fuer gesundheitsrelevante Bewertungen → Wesentliche private und oeffentliche Dienstleistungen

Praxis-Beispiel: KI-Roentgen-Befundung

Medizinprodukt? → Ja (MDR Klasse IIa+) → Weg 1 ✓
Anhang III? → Nr. 5 (gesundheitsrelevant) → Weg 2 ✓
Ergebnis: Doppelt Hochrisiko
Pflichten: EU AI Act Art. 8-15 + MDR Konformitaet + Notifizierte Stelle

Praxis-Beispiel: KI-Terminvergabe beim Arzt

Medizinprodukt? → Nein (kein diagnostischer/therapeutischer Zweck)
Anhang III? → Nein (rein administrativ)
Art. 50? → Chatbot → Transparenzpflicht
Ergebnis: Begrenztes Risiko

Die Art. 6 Abs. 3 Checkliste

Wenn du glaubst, die Ausnahme koennte greifen, pruefe diese fuenf Kriterien:

Kriterium	Frage	Ja → Ausnahme moeglich	Nein → Hochrisiko
Eigenstaendigkeit	Trifft das System eigenstaendige Bewertungen?	Nein	Ja
Einfluss	Hat das Ergebnis erheblichen Einfluss auf Grundrechte?	Nein	Ja
Vorbereitung	Bereitet es nur vor, ohne zu beeinflussen?	Ja	Nein
Enge Funktion	Ist es ein enges, administratives Hilfsmittel?	Ja	Nein
Menschliche Kontrolle	Findet eine echte (nicht nur formale) Pruefung statt?	Ja	Nein

Alle fuenf Kriterien muessen fuer die Ausnahme sprechen. Wenn auch nur eins in Richtung Hochrisiko zeigt, ist die Ausnahme riskant.

Key Takeaways

Recruiting, Kreditvergabe, Bildung und Gesundheit sind die haeufigsten Hochrisiko-Bereiche in Unternehmen
Doppelte Regulierung ist normal: EU AI Act trifft auf DSGVO, MaRisk, MDR oder sektorale Regeln
Automation Bias entlarven: Wenn der Mensch nur noch abnickt, ist die menschliche Aufsicht formal, nicht real
Art. 6 Abs. 3 ist kein Freibrief: Alle fuenf Kriterien muessen fuer die Ausnahme sprechen
Dokumentiere immer, warum du dich fuer oder gegen Hochrisiko entschieden hast

Up Next

In der naechsten Lektion lernst du die DSFA (Datenschutzfolgenabschaetzung) fuer KI-Systeme — Schritt fuer Schritt, mit Vorlage.