Vor einigen Monaten arbeitete ich mit einem Kunden aus dem Bereich Utilities. Die Aufgabe klang einfach: Auf Basis der Unternehmensdaten Testfälle für ein System erstellen, das durch generative KI unterstützt werden sollte. Die Daten waren da, die Systeme waren da, das Budget war da. Es fehlte eine einzige Sache, an die niemand gedacht hatte.
Niemand hatte geprüft, ob ein Mensch das überhaupt kann.
Wir nahmen auf Vertrauen an, dass die Daten gut sind
So sieht es in den meisten KI-Projekten aus, die ich von innen sehe. Die Organisation hat Daten in ihren Systemen. Jemand sagt in einem Meeting: „Wir haben Daten." Jemand anderes ergänzt: „Man muss nur KI anschließen." Und das Projekt startet.
In diesem Fall sollten die Daten zur Generierung von Testfällen dienen. Wir nahmen auf Vertrauen an, dass sie korrekt und ausreichend waren. Niemand hinterfragte diese Annahme — wozu auch? Schließlich befinden sich die Daten seit Jahren im System, die Leute arbeiten täglich damit.
Das Problem zeigte sich erst, als wir einen Fachexperten — einen Menschen mit langjähriger Erfahrung in dieser Organisation — baten, auf Basis derselben Daten manuell einige Testfälle zu erstellen.
Er war dazu nicht in der Lage.
Die Daten waren da, aber nicht dafür
Das bedeutet nicht, dass die Daten im technischen Sinne schlecht waren. Sie befanden sich im System, hatten irgendeine Struktur, jemand hatte sie irgendwann eingepflegt. Aber sie eigneten sich nicht für die Aufgabe, die wir damit durchführen wollten. Es fehlte der Kontext, die Verknüpfungen zwischen Datensätzen, die Änderungshistorie. Der Experte sah Fragmente — kein Gesamtbild, aus dem er ein Testszenario hätte bauen können.
Und die Organisation erwartete, dass generative KI das „automagisch" erledigt.
Der Test, der zuerst kommen sollte
Die Erkenntnis, zu der ich nach diesem Projekt gelangte, ist einfach und brutal praktisch: Bevor Sie Budget für KI ausgeben, geben Sie dieselbe Aufgabe einem Menschen. Nicht einem — am besten zwei oder drei Personen aus verschiedenen Abteilungen. Geben Sie ihnen dieselben Daten, dasselbe Ziel und beobachten Sie.
Wenn ein Fachexperte die Aufgabe mit diesen Daten nicht lösen kann, liegt das Problem nicht beim KI-Modell. Das Problem liegt in den Daten, in den Annahmen oder in der Aufgabenstellung selbst.
Das ist kein technischer Test. Das ist ein organisatorischer Test. Er prüft, ob das Unternehmen seine eigenen Daten gut genug versteht, um sie nutzen zu können — unabhängig davon, ob durch einen Menschen oder eine Maschine.
Warum Unternehmen diesen Schritt überspringen
Weil er unbequem ist. Weil er bedeutet, dass wir vor dem „KI-Einsatz" erst die langweilige, mühsame Arbeit erledigen müssen: Daten durchsehen, ihre Qualität verstehen, Lücken füllen, Dokumentation erstellen. Das ist nicht sexy. Das lässt sich nicht auf einer Folie für den Vorstand mit der Aufschrift „AI Transformation" präsentieren.
Aber ohne diesen Schritt ist alles andere auf Sand gebaut.
Ich sehe es immer wieder: Unternehmen investieren in einen Proof of Concept, der mit sauberen, vorbereiteten Demo-Daten funktioniert. Dann versuchen sie, ihn auf reale Unternehmensdaten zu übertragen, und alles bricht zusammen. Nicht weil KI schwach ist. Sondern weil die realen Daten völlig anders sind als die Demo-Daten.
Was wir wirklich testen, wenn wir KI testen
Jedes KI-Projekt ist im Grunde ein Test der Organisation. Es prüft, ob das Unternehmen:
- Weiß, welche Daten es hat und wo sie sich befinden.
- Die Qualität dieser Daten versteht — nicht deklarativ, sondern praktisch.
- Die Aufgabenstellung so präzise formulieren kann, dass ein Mensch sie ausführen könnte.
- Experten hat, die das Ergebnis verifizieren können.
Wenn die Antwort auf eine dieser Fragen „Nein" lautet — dann ist es nicht der richtige Zeitpunkt für eine KI-Einführung. Dann ist es der richtige Zeitpunkt für einen Audit der Prozesse und Daten, der zeigt, wo Sie wirklich stehen.
Die Branche sagt: „Datenqualität ist der Schlüssel"
Und sie hat recht — aber sie bleibt auf halbem Weg stehen. Berichte von Deloitte, McKinsey, Gartner sprechen von Datenqualität als Fundament. Niemand sagt jedoch direkt: Prüfen Sie, ob ein Mensch mit diesen Daten arbeiten kann, bevor Sie Budget für KI ausgeben.
Das ist der fehlende Schritt. Es geht nicht nur darum, ob die Daten im technischen Sinne „sauber" sind — ob es keine Duplikate gibt, ob die Formate stimmen. Es geht darum, ob diese Daten überhaupt die Aufgabe ermöglichen, die Sie der Maschine übertragen wollen. Denn wenn ein Experte mit 15 Jahren Erfahrung auf ihrer Basis keinen Testfall erstellen kann, wird kein Modell — weder GPT-4, noch Claude, noch irgendetwas, das in einem Jahr erscheint — das schaffen.
Praktischer Rat
Machen Sie vor jedem KI-Projekt eine einfache Übung. Nehmen Sie die Aufgabe, die Sie KI übertragen wollen. Geben Sie sie dem besten Experten im Unternehmen. Geben Sie ihm genau dieselben Daten, die Sie dem Modell geben wollten. Und beobachten Sie.
Wenn der Experte die Aufgabe flüssig erledigt — haben Sie eine Chance auf eine sinnvolle KI-Implementierung. Wenn der Experte kämpft, nach zusätzlichen Daten fragt, Kontext außerhalb des Systems sucht — haben Sie ein Problem, das gelöst werden muss, bevor Sie überhaupt an KI denken.
Das ist kein KI-Test. Das ist ein Test der Bereitschaft Ihrer Organisation.
Wenn Sie prüfen möchten, wie es um die KI-Bereitschaft Ihres Unternehmens mit realen Daten und Prozessen steht, lade ich Sie zum Gespräch ein — Leszek Giza.