Warum KI-Pilotprojekte scheitern: Der Fehler liegt im Format

Ein Pilot hat eine Eigenschaft, über die selten offen gesprochen wird: Per Definition ist er nicht verpflichtet, irgendetwas zu verändern. Er hat keinen Prozessverantwortlichen, keine Integration in das System of Record und kein Datum, ab dem der alte Arbeitsweg abgeschaltet wird. Seine einzige Aufgabe ist der Nachweis, dass die Technologie funktioniert.

Und die Technologie funktioniert fast immer. Genau deshalb dreht sich die Diskussion immer wieder um Modelle und Anbieter, obwohl der Unterschied zwischen Erfolg und Misserfolg dort gar nicht entsteht. Die meisten Piloten scheitern an ihrer Konstruktion, nicht an ihrem Inhalt.

Die drei Fragen, die ein KI-Pilot nicht beantwortet

Trennen wir, was ein Pilot tatsächlich prüft, von dem, was ungeprüft bleibt. Die Liste ist kurz, und jeder Punkt entscheidet über das Schicksal der Einführung stärker als die Qualität der Modellantworten.

Wer nach dem Start die Prozessverantwortung übernimmt. Während des Piloten trägt das Projektteam die Verantwortung, und dieses Team löst sich nach Abschluss auf. Danach zeigt sich: Der Prozess hat niemanden, der für die Fehlerquote geradesteht, der über den Stopp des Szenarios entscheidet und der Regeländerungen freigibt. Ohne diese Person überlebt das Szenario nur bis zur ersten ernsten Störung.

Wo das Ergebnis landet. Im Pilotbetrieb sehen nur die Beteiligten das Ergebnis – das reicht für eine Qualitätsbeurteilung. Im Produktivbetrieb muss das Ergebnis in dem System landen, in dem für das Unternehmen die verbindliche Wahrheit über einen Sachverhalt liegt, dem System of Record (führendes System), sonst sieht es niemand, der an der Anfrage nicht beteiligt war. Die Integration ist im Pilotumfang meist nicht enthalten, weil sie teurer ist als der Pilot selbst.

Wann der alte Weg abgeschaltet wird. Dass der Pilot parallel zur bestehenden Arbeit läuft, ist normal – das gehört zu seinem Wesen. Aber der Parallelbetrieb endet nicht von selbst: Solange der alte Weg verfügbar bleibt und nichts kostet, läuft ein Teil der Arbeit weiter darüber, und der Effekt lässt sich nicht mehr sauber zuordnen.

Beachten Sie: Der Pilot erfüllt exakt die Aufgabe, die man ihm gestellt hat, und zwar tadellos. Das Problem liegt nicht im Piloten, sondern darin, dass sein Ergebnis als Antwort auf die Einführungsfrage gedeutet wird.

Was Daten über fehlende Entscheidungszuständigkeit bei KI zeigen

Der fehlende Prozessverantwortliche ist keine Abstraktion, sondern ein gemessener Befund – gemessen an einer großen Stichprobe von Führungskräften.

Es handelt sich um eine Auftragsstudie einer Beratungssparte, deren Ziel der Verkauf eines Operating-Model-Redesigns ist; die Daten sind korrelativ, nicht kausal. Diese Einschränkung wiegt schwer. Aber die Zahl selbst beschreibt einen Fakt, keine Bewertung: Ein Drittel der Führungskräfte kann nicht benennen, wer befugt ist, eine Systementscheidung zu widerrufen. Genau diese Frage stellt ein Pilot nicht.

Warum ein erfolgreicher KI-Pilot im Betrieb wieder zurückfällt

Es gibt einen Forschungsstrang, der den Mechanismus erklärt, mit dem einmalig erkämpfte Verbesserungen wieder verpuffen – und er ist älter als die aktuelle Technologiewelle.

Die Arbeit hat mit KI nichts zu tun und wurde vor einem Vierteljahrhundert verfasst – sie ist eine Analogie, kein direkter Beweis, und genau so setze ich sie ein. Der beschriebene Mechanismus ist jedoch präzise und lässt sich in jedem Piloten wiedererkennen: Drei Monate verstärkter Teamaufmerksamkeit erzeugen ein Ergebnis, das der Technologie zugeschrieben wird statt der Aufmerksamkeit, und es verschwindet mit ihr.

Dieser Mechanismus hat noch eine zweite Seite – eine systematische Überschätzung der Ergebnisse allein durch die Tatsache der Beobachtung.

Der Volltext ist kostenpflichtig, und ich habe mit dem Abstract und der Ergebnisbeschreibung gearbeitet – das ist eine Einschränkung. Die praktische Schlussfolgerung ist zweifach und gerade deshalb nützlich: Man darf sich nicht auf den „Hawthorne-Effekt" berufen, um jeden Pilotenerfolg zu erklären – er ist schwächer, als landläufig angenommen. Man darf aber auch Pilotenergebnisse nicht ohne Korrektur für die erhöhte Teamaufmerksamkeit auf den Produktivbetrieb übertragen – nur fällt die Korrektur geringer aus, als die Folklore behauptet.

Warum das Aussortieren von Piloten normal ist, ein fehlendes Kriterium aber nicht

Es lohnt sich, auch einen falschen Rahmen abzulegen: Dass die meisten Experimente nicht bis in den Produktivbetrieb gelangen, ist für sich genommen kein Scheitern.

Die Stichprobe ist klein – 18 Personen – und statistisch nicht repräsentativ; das räumen die Autoren selbst ein. Doch ihre Beobachtung entkräftet einen falschen Alarm: Das Problem ist nicht, dass neun von zehn Piloten eingestellt werden, sondern dass das Ausschlusskriterium nie im Voraus formuliert wurde. Fehlt das Kriterium, werden nicht die schwächsten Szenarien eingestellt, sondern die, deren Sponsor das Interesse verloren hat.

So gestalten Sie einen Piloten für KI-Prozessautomatisierung, der den Betrieb vorhersagt

Sie müssen den Piloten nicht abschaffen – Sie müssen die Frage ändern, auf die er antwortet. Statt „Funktioniert die Technologie?" sollte er beantworten: „Welcher Anteil der Ergebnisse muss korrigiert werden?"

Entscheidend ist der zweite Knoten. Eine vorab benannte Schwelle macht aus dem Piloten eine Prüfung statt einer Vorführung, und aus dem Streit über das Ergebnis einen Abgleich mit einer Zahl. Ohne sie wird das Ergebnis anhand von Eindrücken diskutiert, und es entscheidet, wer überzeugender argumentiert.

Ebenso wichtig ist der dritte Knoten. Der reale Arbeitsfluss unterscheidet sich von ausgewählten Beispielen genau in den Fällen, um derentwillen die Einführung überhaupt angestoßen wird: untypische Formulierungen, unvollständige Daten, seltene Situationen. Eine Vorführung mit vorbereiteten Daten liefert dazu keinerlei Information. Wie sich daraus der geschäftliche Effekt berechnen lässt, lesen Sie in einer gesonderten Analyse.

Vier Entscheidungen vor dem Start eines KI-Piloten

Häufig gestellte Fragen zum Scheitern von KI-Pilotprojekten