Il y a quelques mois, je travaillais avec un client du secteur des utilities. La mission paraissait simple : à partir des données de l'entreprise, créer des cas de test pour un système qui devait être soutenu par l'IA générative. Les données étaient là, les systèmes étaient là, le budget était là. Il manquait une seule chose, à laquelle personne n'avait pensé.
Personne n'avait vérifié si un être humain pouvait le faire.
Nous avons accepté sur parole que les données étaient bonnes
Voilà comment se passent la plupart des projets d'IA que j'observe de l'intérieur. L'organisation a des données dans ses systèmes. Quelqu'un en réunion dit : « nous avons des données ». Quelqu'un d'autre ajoute : « il suffit de brancher l'IA ». Et le projet démarre.
Dans ce cas, les données devaient servir à générer des cas de test. Nous avons accepté sur parole qu'elles étaient correctes et suffisantes. Personne n'a remis en question cette hypothèse — pourquoi le ferait-on ? Après tout, les données sont dans le système depuis des années et les gens les utilisent au quotidien.
Le problème n'est apparu que lorsque nous avons demandé à un expert métier — une personne avec des années d'expérience dans cette organisation — de créer manuellement quelques cas de test à partir de ces mêmes données.
Il n'a pas été capable de le faire.
Les données existaient, mais pas pour ça
Cela ne signifie pas que les données étaient mauvaises au sens technique. Elles étaient dans le système, avaient une certaine structure, quelqu'un les avait saisies à un moment donné. Mais elles ne convenaient pas à la tâche que nous voulions exécuter avec elles. Il manquait le contexte, les relations entre les enregistrements, l'historique des modifications. L'expert regardait ces données et voyait des fragments — il ne voyait pas l'ensemble à partir duquel il aurait pu construire un scénario de test.
Et l'organisation s'attendait à ce que l'IA générative le fasse « automagiquement ».
Le test qui devrait être le premier
La conclusion à laquelle je suis arrivé après ce projet est simple et brutalement pratique : avant de dépenser du budget pour l'IA, confiez la même tâche à un humain. Pas à un seul — de préférence à deux ou trois personnes de départements différents. Donnez-leur les mêmes données, le même objectif et observez.
Si l'expert métier n'est pas capable de réaliser la tâche avec ces données, le problème ne vient pas du modèle d'IA. Le problème vient des données, des hypothèses ou de la tâche elle-même.
Ce n'est pas un test technique. C'est un test organisationnel. Il vérifie si l'entreprise comprend suffisamment ses propres données pour pouvoir les exploiter — que ce soit par un humain ou par une machine.
Pourquoi les entreprises sautent cette étape
Parce que c'est inconfortable. Parce que cela signifie qu'avant de commencer à « déployer l'IA », il faut d'abord faire le travail ennuyeux et fastidieux : examiner les données, comprendre leur qualité, combler les lacunes, créer la documentation. Ce n'est pas sexy. On ne peut pas le montrer sur une diapositive pour la direction avec l'inscription « AI transformation ».
Mais sans cette étape, le reste revient à construire sur du sable.
Je le constate de façon récurrente : les entreprises investissent dans un proof of concept qui fonctionne sur des données propres et préparées en démo. Ensuite, elles essaient de le transposer sur les données réelles de l'entreprise et tout s'effondre. Pas parce que l'IA est faible. Mais parce que les données réelles sont complètement différentes de celles de la démo.
Ce que nous testons vraiment quand nous testons l'IA
Chaque projet d'IA est en réalité un test de l'organisation. Il vérifie si l'entreprise :
- Sait quelles données elle possède et où elles se trouvent.
- Comprend la qualité de ces données — non pas de façon déclarative, mais pratique.
- Est capable de formuler la tâche avec suffisamment de précision pour qu'un humain puisse l'exécuter.
- Dispose d'experts capables de vérifier le résultat.
Si la réponse à l'une de ces questions est « non » — ce n'est pas le moment de déployer l'IA. C'est le moment de faire un audit des processus et des données qui montre où vous en êtes réellement.
L'industrie dit : « la qualité des données est la clé »
Et elle a raison — mais elle s'arrête à mi-chemin. Les rapports de Deloitte, McKinsey et Gartner parlent de la qualité des données comme fondement. Pourtant, personne ne dit ouvertement : vérifiez si un humain peut travailler avec ces données avant de dépenser du budget pour l'IA.
C'est l'étape manquante. Il ne s'agit pas seulement de savoir si les données sont « propres » au sens technique — s'il n'y a pas de doublons, si les formats correspondent. Il s'agit de savoir si ces données permettent de réaliser la tâche que vous voulez confier à la machine. Car si un expert avec 15 ans d'expérience ne peut pas créer un cas de test à partir d'elles, aucun modèle — ni GPT-4, ni Claude, ni ce qui apparaîtra dans un an — ne le fera.
Conseil pratique
Avant chaque projet d'IA, faites un exercice simple. Prenez la tâche que vous voulez confier à l'IA. Donnez-la au meilleur expert de l'entreprise. Donnez-lui exactement les mêmes données que vous prévoyiez de fournir au modèle. Et observez.
Si l'expert exécute la tâche avec fluidité — vous avez des chances de réussir un déploiement d'IA pertinent. Si l'expert peine, demande des données supplémentaires, cherche du contexte en dehors du système — vous avez un problème à résoudre avant même de penser à l'IA.
Ce n'est pas un test de l'IA. C'est un test de la préparation de votre organisation.
Si vous souhaitez vérifier la préparation de votre entreprise à déployer l'IA sur des données et des processus réels, je vous invite à en discuter — Leszek Giza.