Messung und kontinuierliche Optimierung

🔄 Kurzer Rueckblick: In Lektion 6 hast du die drei Integrations-Ebenen kennengelernt: technisch, organisatorisch und kulturell. Der Paralleltest als Change-Management-Tool und die Bedeutung von definierten Eskalationsprozessen. Jetzt: Wie misst du den Erfolg — und wie verbesserst du kontinuierlich?

Der KI-Pilot laeuft seit 4 Wochen. Die Rechnungserkennung verarbeitet 200 Rechnungen pro Woche. Aber: Ist das gut? Rentiert sich das Investment? Wird es besser oder schlechter? Ohne klare KPIs und Monitoring weisst du es nicht.

Die KPI-Pyramide fuer KI-Prozessoptimierung

Ebene	KPI	Misst	Zielwert
Business	ROI, Amortisationszeit	Wirtschaftlicher Nutzen	>200% ROI/Jahr
Prozess	Durchlaufzeit, STP-Rate	Prozesseffizienz	STP >80%
KI-Modell	Erkennungsrate, Fehlerrate	Technische Qualitaet	>90% Genauigkeit
Nutzer	Nutzungsrate, Zufriedenheit	Akzeptanz	>70% aktive Nutzung

Wichtig: Nicht nur die KI-Modell-KPIs messen. Eine 95%ige Erkennungsrate nuetzt nichts, wenn niemand das System nutzt (Nutzer-KPI) oder die Durchlaufzeit nicht sinkt (Prozess-KPI).

Die wichtigsten KPIs im Detail

1. Straight-Through-Processing-Rate (STP)

STP-Rate = Automatisch verarbeitete Vorgaenge / Gesamtvorgaenge × 100

Beispiel: 160 automatisch / 200 gesamt = 80% STP-Rate

STP-Rate	Bewertung	Naechster Schritt
< 60%	Unzureichend	Modell nachtrainieren, Datenqualitaet pruefen
60-80%	Gut, Potenzial da	Top-5-Fehlertypen fixen
80-90%	Sehr gut	Schwellenwerte feintunen
> 90%	Exzellent	Skalieren auf naechsten Prozess

2. Bearbeitungszeit (Durchlaufzeit)

Phase	Vorher	Nachher	Ziel
Eingang bis Erfassung	4 Stunden	5 Minuten	< 15 Min.
Erfassung bis Freigabe	2 Tage	4 Stunden	< 1 Tag
Freigabe bis Zahlung	1 Tag	Automatisch	Sofort
Gesamt	3,5 Tage	4-5 Stunden	< 1 Tag

3. Fehlerrate und Fehlertypen

Nicht nur „wie viele Fehler", sondern „welche Fehler":

Fehlertyp	Haeufigkeit	Ursache	Massnahme
Betrag falsch erkannt	5%	Uneinheitliches Layout	OCR-Modell nachtrainieren
Lieferant nicht zugeordnet	8%	Neue Lieferanten	Stammdaten aktualisieren
Bestellung nicht gefunden	3%	Fehlende Referenznummer	Matching-Regeln erweitern

✅ Quick Check: Warum ist die STP-Rate aussagekraeftiger als die Erkennungsrate allein? (Tipp: Erkennungsrate misst nur die KI. STP-Rate misst den gesamten Prozess — von Eingang bis Buchung, inklusive aller Integrationsschritte.)

Data Drift: Das schleichende Problem

KI-Modelle werden auf historischen Daten trainiert. Wenn sich die realen Daten veraendern, sinkt die Qualitaet — schleichend und oft unbemerkt.

Typische Ursachen fuer Data Drift:

Neue Lieferanten mit unbekannten Rechnungsformaten
Geaenderte ERP-Felder oder Workflow-Schritte
Saisonale Schwankungen (z.B. Weihnachtsgeschaeft: andere Produktmix)
Gesetzesaenderungen (neue Pflichtangaben auf Rechnungen)

Gegenmassnahme: Monatliches Monitoring der Erkennungsrate + quartalsweises Nachtraining mit aktuellen Daten. Wenn die Erkennungsrate um mehr als 5 Prozentpunkte faellt: Sofort reagieren.

Der PDCA-Zyklus fuer KI

Phase	KI-Anwendung	Aktivitaet	Dauer
Plan	Hypothese formulieren	„Neuer OCR-Algorithmus erhoet STP von 80% auf 88%"	1-2 Tage
Do	Aenderung implementieren	Neues Modell in Testumgebung deployen	1 Woche
Check	Ergebnis messen	2 Wochen Parallelbetrieb, KPIs vergleichen	2 Wochen
Act	Entscheidung treffen	Besser → ausrollen. Schlechter → zurueck.	1-2 Tage

Iterationsrhythmus: Alle 4-6 Wochen einen PDCA-Zyklus. Nicht oefter (zu instabil), nicht seltener (Data Drift wird zum Problem).

✅ Quick Check: Warum ist ein Rollback-Plan fuer jede KI-Aenderung wichtig? (Tipp: Nicht jede Verbesserung ist wirklich eine. Wenn das neue Modell schlechter ist als das alte, musst du in Minuten — nicht Tagen — zurueck koennen.)

Das Monitoring-Dashboard

Widget	Zeigt	Frequenz
STP-Rate (Trendlinie)	Automatisierungsgrad ueber Zeit	Taeglich
Top-5-Fehlertypen	Wo die KI Probleme hat	Woechentlich
Durchlaufzeit (Histogram)	Verteilung der Bearbeitungszeiten	Taeglich
Nutzungsrate	Wie viele Mitarbeiter das System nutzen	Woechentlich
ROI-Tracker	Eingesparte Stunden × Stundensatz	Monatlich

Key Takeaways

STP-Rate ist der King-KPI — sie misst die echte End-to-End-Automatisierung, nicht nur die KI-Erkennung
Data Drift ist das groesste Risiko im laufenden Betrieb — monatliches Monitoring + quartalsweises Nachtraining
PDCA-Zyklus alle 4-6 Wochen: Hypothese → Test → Messung → Entscheidung
Fehlertypen analysieren, nicht nur Fehlerrate — die Top-5-Fehler fixen bringt 80% der Verbesserung
Monitoring-Dashboard mit 5 Kern-Widgets — nicht 30 Grafiken, die niemand anschaut

Up Next

In der letzten Lektion bringst du alles zusammen: Dein Prozessoptimierungs-Fahrplan — mit Vorlage, Checkliste und Prioritaetenliste.