Kilka miesięcy temu pracowałem z klientem z sektora Utilities. Zadanie brzmiało prosto: na podstawie danych firmowych stworzyć test case'y dla systemu, który miał być wspierany przez generatywną AI. Dane były, systemy były, budżet był. Brakowało jednej rzeczy, o której nikt nie pomyślał.
Nikt nie sprawdził, czy człowiek potrafi to zrobić.
Na wiarę przyjęliśmy, że dane są dobre
Tak to wygląda w większości projektów AI, które widzę od środka. Organizacja ma dane w systemach. Ktoś na spotkaniu mówi: "mamy dane". Ktoś inny dodaje: "wystarczy podłączyć AI". I projekt rusza.
W tym przypadku dane miały posłużyć do wygenerowania test case'ów. Na wiarę przyjęliśmy, że są poprawne i wystarczające. Nikt nie kwestionował tego założenia — bo po co? Przecież dane są w systemie od lat, ludzie z nich korzystają na co dzień.
Problem ujawnił się dopiero wtedy, gdy poprosiliśmy eksperta domenowego — człowieka z wieloletnim doświadczeniem w tej organizacji — żeby na podstawie tych samych danych ręcznie stworzył kilka test case'ów.
Nie był w stanie tego zrobić.
Dane były, ale nie do tego
To nie znaczy, że dane były złe w sensie technicznym. Były w systemie, miały jakąś strukturę, ktoś je kiedyś tam wprowadził. Ale nie nadawały się do zadania, które chcieliśmy na nich wykonać. Brakowało kontekstu, powiązań między rekordami, historii zmian. Ekspert patrzył na te dane i widział fragmenty — nie widział całości, z której mógłby zbudować scenariusz testowy.
A organizacja oczekiwała, że generatywna AI zrobi to "automagicznie".
Test, który powinien być pierwszy
Wniosek, do którego doszedłem po tym projekcie, jest prosty i brutalnie praktyczny: zanim wydasz budżet na AI, daj to samo zadanie człowiekowi. Nie jednemu — najlepiej dwóm lub trzem osobom z różnych działów. Daj im te same dane, ten sam cel i obserwuj.
Jeśli ekspert domenowy nie jest w stanie wykonać zadania na tych danych, to problem nie leży w modelu AI. Problem leży w danych, w założeniach albo w samym zadaniu.
To nie jest test techniczny. To jest test organizacyjny. Sprawdza, czy firma rozumie swoje własne dane na tyle, żeby móc je wykorzystać — nieważne, czy przez człowieka, czy przez maszynę.
Dlaczego firmy pomijają ten krok
Bo jest niewygodny. Bo oznacza, że zanim zaczniemy "wdrażać AI", musimy najpierw zrobić nudną, żmudną robotę: przejrzeć dane, zrozumieć ich jakość, uzupełnić braki, stworzyć dokumentację. To nie jest sexy. Nie da się tego pokazać na slajdzie dla zarządu z napisem "AI transformation".
Ale bez tego kroku reszta jest budowaniem na piasku.
Widzę to powtarzalnie: firmy inwestują w proof of concept, który działa na czystych, przygotowanych danych demo. Potem próbują przenieść go na realne dane firmowe i wszystko się sypie. Nie dlatego, że AI jest słabe. Dlatego, że realne dane są zupełnie inne niż demo.
Co tak naprawdę testujemy, testując AI
Każdy projekt AI jest w gruncie rzeczy testem organizacji. Testuje, czy firma:
- Wie, jakie dane ma i gdzie one są.
- Rozumie jakość tych danych — nie deklaratywnie, lecz praktycznie.
- Potrafi sformułować zadanie na tyle precyzyjnie, żeby człowiek mógł je wykonać.
- Ma ekspertów, którzy potrafią zweryfikować wynik.
Jeśli na którekolwiek z tych pytań odpowiedź brzmi "nie" — to nie jest moment na wdrażanie AI. To jest moment na audyt procesów i danych, który pokaże, gdzie naprawdę jesteś.
Branża mówi: "data quality to klucz"
I ma rację — ale zatrzymuje się w połowie drogi. Raporty Deloitte, McKinsey, Gartnera mówią o jakości danych jako o fundamencie. Nikt jednak nie mówi wprost: sprawdź, czy człowiek umie na tych danych pracować, zanim wydasz budżet na AI.
To jest ten brakujący krok. Nie chodzi tylko o to, czy dane są "czyste" w sensie technicznym — czy nie ma duplikatów, czy formaty się zgadzają. Chodzi o to, czy te dane w ogóle pozwalają wykonać zadanie, które chcesz zlecić maszynie. Bo jeśli ekspert z 15-letnim doświadczeniem nie potrafi na ich podstawie stworzyć test case'u, to żaden model — ani GPT-4, ani Claude, ani cokolwiek, co pojawi się za rok — tego nie zrobi.
Praktyczna rada
Przed każdym projektem AI zrób jedno proste ćwiczenie. Weź zadanie, które chcesz zlecić AI. Daj je najlepszemu ekspertowi w firmie. Daj mu dokładnie te same dane, które planowałeś podać modelowi. I obserwuj.
Jeśli ekspert wykonuje zadanie sprawnie — masz szansę na sensowne wdrożenie AI. Jeśli ekspert się męczy, pyta o dodatkowe dane, szuka kontekstu poza systemem — masz problem, który trzeba rozwiązać zanim w ogóle pomyślisz o AI.
To nie jest test AI. To jest test gotowości Twojej organizacji.
Jeśli chcesz sprawdzić, jak wygląda gotowość Twojej firmy do wdrożenia AI na realnych danych i procesach, zapraszam do rozmowy — Leszek Giza.