Prozessbeobachtbarkeit: Was einen Monat nach dem Go-live sichtbar sein muss

In unserem Angebotsgenerator sammelten sich von Anfang an zwei Arten von Statistiken: Kennzahlen je Vertriebsmitarbeiter und Daten dazu, welche Angebotstypen die höchste Nachfrage auslösten. Das war der am einfachsten umzusetzende Teil des Services – und der einzige, der die Frage „Funktioniert es?" mit Zahlen statt mit Eindrücken beantwortete.

Einen Monat nach dem Start eines jeden Prozesses stellt die Geschäftsführung immer dieselbe Frage. Lautet die Antwort „Das Team ist zufrieden" und „Es fühlt sich einfacher an", wurde kein Prozess eingeführt, sondern eine Demo vorgeführt. Prozessbeobachtbarkeit (die Eigenschaft eines Systems, seinen inneren Zustand aus externen Daten zu rekonstruieren) wird vor dem Go-live angelegt – und so gut wie nie im Nachhinein ergänzt.

Drei Kennzahlen, auf die Sie nicht verzichten können

Der Umfang bleibt bewusst minimal – nicht aus Sparsamkeit, sondern aus Erfahrung: Jede zusätzliche Kennzahl braucht einen Verantwortlichen und erzeugt Diskussionen, die zu keiner Entscheidung führen. Die drei folgenden Kennzahlen beantworten jeweils eine andere Frage und ersetzen einander nicht.

Anzahl abgeschlossener Vorgänge. Nicht die Zahl der Nutzer und nicht die Zahl der Logins, sondern die Zahl der Fälle, in denen der Prozess vollständig von Anfang bis Ende durchlaufen wurde. Das ist die einzige Kennzahl, die echte Arbeit von bloßer Aktivität unterscheidet: Ein Nutzer kann sich täglich einloggen, ohne einen einzigen Vorgang abzuschließen.

Fehlerquote. Ein Fehler liegt vor, wenn die Arbeit formal erledigt wurde, das Ergebnis aber nicht weiterverarbeitet wurde: Das Dokument wurde nicht versendet, der Vorgang keinem Mitarbeiter zugewiesen, die Antwort nicht erfasst. Diese Quote sinkt bei Korrekturen und steigt unter Last – an ihr erkennen Sie, ob ein Prozess wirklich stabil läuft oder nur durch den persönlichen Einsatz der Mitarbeitenden zusammengehalten wird.

Median-Durchlaufzeit vom Start bis zum Ergebnis. Der Median, nicht der Durchschnitt: Die Verteilung hat fast immer einen langen Ausläufer, und der Durchschnitt beschreibt dann keinen einzigen realen Fall mehr. Der Median beantwortet die Frage „Wie lange dauert das normalerweise?", der Ausläufer die Frage „Was läuft schief?"

Die dritte Spalte ist entscheidend: Die Ersatzgröße wirkt fast immer plausibel und zeichnet immer ein zu positives Bild. Die Zahl aktiver Nutzer steigt schon durch bloße Neugier, die Zahl der Support-Anfragen sinkt, sobald niemand mehr Hilfe erwartet, und die Durchschnittszeit verbessert sich, sobald Ausreißer aus der Betrachtung fallen.

Warum das Prozessmodell von der tatsächlichen Ausführung abweicht

Es gibt einen weiteren Grund für Prozessbeobachtbarkeit: Der beschriebene Prozess und der tatsächlich gelebte Prozess sind zwei unterschiedliche Dinge – und der Unterschied lässt sich messen. Die Methode, Ereignisprotokolle mit einem formalen Modell abzugleichen – Conformance Checking, der Abgleich von Modell und Ist-Prozess –, gibt es seit Langem, und sie liefert überraschend große Abweichungen.

Die Studie ist inzwischen fast zwanzig Jahre alt und bezieht sich auf den niederländischen öffentlichen Sektor – das ist ihre Grenze. Die Methode selbst bleibt jedoch bis heute eine Grundlage des Process Mining, und das Ergebnis lässt sich in jeder Organisation reproduzieren, in der jemand tatsächlich den beschriebenen Ablauf mit den Protokollen vergleicht. Die praktische Schlussfolgerung: Eine Abweichung von bis zur Hälfte aller Fälle ist keine Anomalie, sondern der Normalfall für einen Prozess, dessen Ausführung niemand beobachtet.

Der Ergebnisunterschied zwischen Teams mit und ohne Messung

Der Zusammenhang zwischen der Fähigkeit zu messen und dem tatsächlichen Ergebnis ist in der Softwareentwicklung am besten belegt – dort, wo Kennzahlen standardisiert sind und seit Jahren erhoben werden.

Die Einschränkung nenne ich klar beim Namen: Der Bericht beweist nicht, dass Prozessbeobachtbarkeit allein das Ergebnis verursacht – er zeigt, dass sich Gruppen unterschiedlicher Reife unter anderem in ihrer Fähigkeit unterscheiden, eigene Fehler überhaupt zu zählen. Kausalität ist damit nicht belegt, und ich nutze diese Zahlen als Illustration der Größenordnung des Unterschieds, nicht als Beweis eines Zusammenhangs.

Prozessbeobachtbarkeit bei KI-Szenarien: ein Sonderfall

Bei Szenarien mit Sprachmodellen kommt zu den drei Basiszahlen eine vierte hinzu: der Anteil der Ergebnisse, die von einem Menschen korrigiert werden mussten. Ohne sie bleibt jede Verbesserung des Prompts oder jeder Modellwechsel eine reine Vertrauensfrage.

Hier braucht es eine Präzision, die in Zusammenfassungen meist verloren geht: Der Bericht misst, ob überhaupt ein Monitoring für KI-Systeme eingeführt wurde – nicht, ob speziell die Qualität der Antworten überwacht wird. Eine gesonderte Kennzahl zur Genauigkeitskontrolle oder zum Anteil fehlerhafter Antworten enthält er nicht. Und es handelt sich um eine Befragung, die von einem Anbieter von Observability-Tools durchgeführt wurde – das kommerzielle Interesse liegt auf der Hand. Nützlich bleibt die Tendenz: Fast die Hälfte der Unternehmen bringt KI-Szenarien in den produktiven Betrieb, ohne eine eingebaute Kontrolle über deren tatsächliches Verhalten zu haben.

Warum das KPI-Set klein bleiben muss

Die Versuchung, alles zu messen, entsteht sofort und setzt sich fast immer durch. Dagegen gibt es ein Argument, das älter ist als jedes Dashboard: Eine Kennzahl, die zum Ziel wird, hört auf, eine Kennzahl zu sein – ein Mechanismus, der heute als Goodharts Gesetz bekannt ist.

Eine Einschränkung nenne ich offen: Der vollständige Artikeltext ist kostenpflichtig, ich habe mit dem Abstract gearbeitet – die berühmte Formulierung selbst taucht im frei zugänglichen Teil nicht auf, wird aber genau dieser Arbeit zugeschrieben. Ich verwende sie als konzeptionelles Argument, nicht als wörtliches Zitat. Die praktische Konsequenz ist eindeutig: Jede Kennzahl, an der Mitarbeitende gemessen werden, beginnt, deren Verhalten zu steuern – deshalb ist ein Set aus drei Zahlen sicherer als eines aus fünfzehn.

Wie Sie Prozessbeobachtbarkeit vor dem Go-live verankern

Die vierte Entscheidung ist die einzige, die sich später nicht mehr nachholen lässt. Die Ausgangsmessung nimmt einen halben Tag in Anspruch und wird manuell anhand der letzten zwanzig Ergebnisse vor dem Go-live durchgeführt. Unternehmen, die diesen Schritt auslassen, diskutieren einen Monat später nicht über die tatsächliche Wirkung, sondern über Erinnerungen daran, wie es früher war. Dazu passt auch diese Analyse, wie sich ein Effekt in seine Bestandteile zerlegen lässt: Ohne Ausgangsmessung ist eine solche Zerlegung grundsätzlich nicht möglich.

Die ersten drei Entscheidungen wirken technisch, werden aber vom Prozessverantwortlichen getroffen. Was als Fehler gilt, ist keine Frage der Systemarchitektur, sondern der Frage, wo im Unternehmen die Grenze zwischen erledigter und nicht erledigter Arbeit verläuft.

Vier Schritte vor dem Go-live

Häufig gestellte Fragen zur Prozessbeobachtbarkeit