Hace unos meses trabajé con un cliente del sector de utilities. La tarea parecía sencilla: a partir de los datos corporativos, crear casos de prueba para un sistema que iba a ser apoyado por IA generativa. Los datos estaban, los sistemas estaban, el presupuesto estaba. Faltaba una sola cosa en la que nadie había pensado.
Nadie verificó si un ser humano era capaz de hacerlo.
Aceptamos por fe que los datos eran buenos
Así es como se ve la mayoría de los proyectos de IA que observo desde adentro. La organización tiene datos en sus sistemas. Alguien en una reunión dice: "tenemos datos". Otro añade: "solo hay que conectar la IA". Y el proyecto arranca.
En este caso, los datos debían servir para generar casos de prueba. Aceptamos por fe que eran correctos y suficientes. Nadie cuestionó esa suposición, ¿para qué? Después de todo, los datos llevan años en el sistema y la gente los usa a diario.
El problema salió a la luz solo cuando le pedimos a un experto de dominio —una persona con años de experiencia en esa organización— que creara manualmente algunos casos de prueba a partir de esos mismos datos.
No fue capaz de hacerlo.
Los datos existían, pero no para eso
No significa que los datos fueran malos en sentido técnico. Estaban en el sistema, tenían alguna estructura, alguien los introdujo en algún momento. Pero no servían para la tarea que queríamos ejecutar sobre ellos. Faltaba contexto, relaciones entre registros, historial de cambios. El experto miraba esos datos y veía fragmentos —no veía el conjunto a partir del cual pudiera construir un escenario de prueba.
Y la organización esperaba que la IA generativa lo hiciera "automágicamente".
La prueba que debería ser la primera
La conclusión a la que llegué después de ese proyecto es simple y brutalmente práctica: antes de gastar presupuesto en IA, asigne la misma tarea a un ser humano. No a uno solo —mejor a dos o tres personas de diferentes departamentos. Déles los mismos datos, el mismo objetivo y observe.
Si el experto de dominio no es capaz de realizar la tarea con esos datos, el problema no está en el modelo de IA. El problema está en los datos, en las suposiciones o en la propia tarea.
No es una prueba técnica. Es una prueba organizacional. Verifica si la empresa comprende sus propios datos lo suficiente como para poder utilizarlos —independientemente de si es por una persona o por una máquina.
Por qué las empresas omiten este paso
Porque es incómodo. Porque significa que antes de empezar a "implementar IA", primero hay que hacer el trabajo aburrido y tedioso: revisar los datos, entender su calidad, completar las lagunas, crear documentación. Eso no es sexy. No se puede mostrar en una diapositiva para la dirección con el título "AI transformation".
Pero sin ese paso, lo demás es construir sobre arena.
Lo veo de forma recurrente: las empresas invierten en un proof of concept que funciona con datos limpios y preparados de demostración. Luego intentan trasladarlo a datos reales de la empresa y todo se derrumba. No porque la IA sea débil. Sino porque los datos reales son completamente diferentes a los de la demo.
Qué estamos probando realmente cuando probamos la IA
Todo proyecto de IA es, en el fondo, una prueba de la organización. Prueba si la empresa:
- Sabe qué datos tiene y dónde están.
- Comprende la calidad de esos datos —no de forma declarativa, sino práctica.
- Es capaz de formular la tarea con la precisión suficiente para que una persona pueda ejecutarla.
- Tiene expertos que pueden verificar el resultado.
Si a cualquiera de esas preguntas la respuesta es "no" —no es el momento de implementar IA. Es el momento de hacer una auditoría de procesos y datos que muestre dónde se encuentra realmente.
La industria dice: "la calidad de los datos es la clave"
Y tiene razón, pero se detiene a medio camino. Los informes de Deloitte, McKinsey y Gartner hablan de la calidad de los datos como fundamento. Sin embargo, nadie dice abiertamente: verifique si una persona puede trabajar con esos datos antes de gastar presupuesto en IA.
Ese es el paso que falta. No se trata solo de si los datos están "limpios" en sentido técnico —si no hay duplicados, si los formatos coinciden. Se trata de si esos datos permiten siquiera ejecutar la tarea que usted quiere delegar a la máquina. Porque si un experto con 15 años de experiencia no puede crear un caso de prueba a partir de ellos, ningún modelo —ni GPT-4, ni Claude, ni lo que aparezca dentro de un año— lo hará.
Consejo práctico
Antes de cada proyecto de IA, haga un ejercicio sencillo. Tome la tarea que quiere delegar a la IA. Désela al mejor experto de la empresa. Déle exactamente los mismos datos que planeaba proporcionarle al modelo. Y observe.
Si el experto ejecuta la tarea con fluidez —tiene posibilidades de una implementación de IA con sentido. Si el experto tiene dificultades, pide datos adicionales, busca contexto fuera del sistema —tiene un problema que hay que resolver antes de siquiera pensar en IA.
No es una prueba de IA. Es una prueba de preparación de su organización.
Si desea verificar cómo es la preparación de su empresa para implementar IA sobre datos y procesos reales, le invito a conversar — Leszek Giza.