La revisión rápida antes de llevar un proyecto de IA a producción
Un modelo puede funcionar perfectamente en un entorno experimental y, sin embargo, encontrar problemas cuando empieza a formar parte de un proceso real.
Datos que cambian.
Dependencias que no están controladas.
Resultados difíciles de reproducir.
Integraciones que no estaban previstas.
Costes que crecen.
Rendimiento que se degrada.
Respuestas que no pueden verificarse.
Modelos que dejan de ser adecuados.
Esta herramienta propone una revisión rápida del proyecto completo, desde la definición del problema hasta su evolución en producción.
No es una auditoría técnica, jurídica ni de conformidad. Es una herramienta de revisión para detectar, antes de seguir avanzando, qué partes de una solución de Data Science o IA necesitan todavía una segunda mirada.
El enfoque es coherente con marcos como el NIST AI RMF, que plantea la gestión del riesgo como una actividad continua a lo largo del ciclo de vida del sistema y no como una secuencia cerrada de comprobaciones. (NIST AI Resource Center)
1. PROBLEMA Y CASO DE USO
Antes del modelo
□ ¿El problema empresarial está formulado con precisión?
□ ¿Está claro qué decisión, proceso o resultado queremos mejorar?
□ ¿La variable objetivo o criterio de éxito está correctamente definido?
□ ¿Las métricas técnicas están relacionadas con un KPI relevante?
□ ¿Sabemos en qué circunstancias la solución no debería utilizarse?
Comprueba especialmente: que el proyecto no haya convertido una necesidad empresarial difusa en un problema algorítmico demasiado pronto.
Pregunta clave:
¿Qué decisión mejora realmente este modelo?
2. DATOS Y EDA
Antes de entrenar
□ ¿Conocemos el origen y significado de los datos?
□ ¿Podemos explicar su calidad y representatividad?
□ ¿Hemos identificado valores ausentes, duplicidades y anomalías?
□ ¿Se ha realizado un análisis exploratorio suficiente?
□ ¿Las transformaciones aplicadas pueden reproducirse?
□ ¿Hemos revisado posibles variables proxy o relaciones espurias?
Comprueba especialmente: que el dataset no se haya convertido en una caja negra antes de llegar al modelo.
Pregunta clave:
¿Qué hemos aprendido sobre los datos antes de pedirle nada al algoritmo?
El AI Act establece, para los sistemas de alto riesgo, requisitos relacionados con las características y calidad de los datos utilizados, entre otros elementos. (NIST)
3. MODELADO Y VALIDACIÓN
¿El modelo aprende lo que creemos que aprende?
□ ¿La técnica elegida responde al problema?
□ ¿La separación entre entrenamiento, validación y prueba es adecuada?
□ ¿Se ha comprobado la generalización?
□ ¿Se ha analizado el overfitting?
□ ¿Las métricas utilizadas son realmente apropiadas?
□ ¿Se han comparado modelos o enfoques alternativos?
□ ¿Conocemos las limitaciones del modelo?
Pregunta clave:
¿Qué evidencia tenemos de que funcionará con datos que todavía no ha visto?
La evaluación, medición y validación forman parte del enfoque de gestión del riesgo de NIST a lo largo del ciclo de vida de la IA. (NIST AI Resource Center)
4. IA GENERATIVA, RAG Y AGENTES
Cuando el sistema genera o recupera información
□ ¿Está justificado utilizar un LLM?
□ ¿Está definido qué información puede generar?
□ ¿Las fuentes utilizadas pueden verificarse?
□ ¿Se ha evaluado sistemáticamente la calidad de las respuestas?
□ ¿El RAG recupera información relevante?
□ ¿Se han contemplado alucinaciones y respuestas no fundamentadas?
□ Si existen agentes, ¿están delimitadas sus herramientas y acciones?
Pregunta clave:
¿Cómo demostrarías que el sistema es fiable y no solamente convincente?
NIST dispone de un perfil específico para IA generativa porque estos sistemas introducen riesgos y características que requieren consideraciones adicionales respecto de otros sistemas de IA. (NIST)
5. REPRODUCIBILIDAD
Si funciona hoy, ¿podemos reconstruirlo mañana?
□ ¿El código está versionado?
□ ¿Están controladas las dependencias?
□ ¿Conocemos la versión de los datos utilizada?
□ ¿Están identificados los parámetros y configuraciones relevantes?
□ ¿Podemos relacionar cada resultado con una versión concreta del código, datos y modelo?
□ ¿Otra persona podría reproducir el experimento?
Pregunta clave:
¿Podrías reconstruir exactamente el resultado dentro de seis meses?
Aquí comienza a desaparecer la frontera entre experimentación y verdadera ingeniería de Data Science.
6. DESPLIEGUE Y MLOps
Del notebook a producción
□ ¿Cómo llega el resultado del modelo al usuario o sistema que lo necesita?
□ ¿Existe un mecanismo controlado de despliegue?
□ ¿Las versiones del modelo están identificadas?
□ ¿Se puede actualizar o revertir una versión?
□ ¿Los procesos críticos están automatizados?
□ ¿Existe trazabilidad de cambios?
□ ¿Se registran experimentos y resultados?
Pregunta clave:
¿Qué ocurre desde que aprobamos un nuevo modelo hasta que empieza a utilizarse?
Dependiendo de la solución, aquí entran cuestiones como MLOps, MLflow, Docker, APIs, CI/CD y automatización de workflows.
7. ESCALA, BIG DATA Y CLOUD
Cuando el volumen cambia las reglas
□ ¿La arquitectura soporta el volumen actual?
□ ¿Qué ocurriría si los datos se multiplicaran significativamente?
□ ¿Existen cuellos de botella conocidos?
□ ¿El procesamiento puede escalar?
□ ¿Se han valorado alternativas de procesamiento distribuido?
□ ¿Se han considerado adecuadamente las opciones Cloud?
□ ¿Se controla la relación entre rendimiento y coste?
Pregunta clave:
¿Qué parte de la solución fallaría primero si mañana el volumen de datos se multiplicara por cien?
Dependiendo del caso, la respuesta puede llevar hacia Spark, PySpark, procesamiento distribuido, arquitecturas Big Data o Cloud.
8. EVALUACIÓN Y MONITORIZACIÓN
Después del despliegue
□ ¿Qué métricas observamos en producción?
□ ¿Sabemos cuándo el rendimiento empieza a deteriorarse?
□ ¿Monitorizamos cambios relevantes en los datos?
□ ¿Hemos definido umbrales o condiciones de alerta?
□ ¿Existe un procedimiento cuando se detecta una desviación?
□ ¿Seguimos evaluando el sistema una vez desplegado?
Esto cobra especial relevancia en sistemas reales. En 2026, NIST publicó un informe específico sobre los retos de monitorizar sistemas de IA desplegados y señaló, entre las barreras identificadas, la detección de degradación del rendimiento y drift, además de cuestiones sobre qué monitorizar, quién debe hacerlo y con qué frecuencia. (NIST)
Pregunta clave:
¿Cómo sabrías que tu modelo ha empezado a equivocarse más?
9. EVOLUCIÓN, DRIFT Y OBSOLESCENCIA
Una solución puede seguir funcionando y dejar de ser la solución adecuada
□ ¿Qué variables o condiciones podrían cambiar respecto al momento en que se entrenó el modelo?
□ ¿Tenemos identificados posibles data drift o concept drift?
□ ¿Comparamos periódicamente el comportamiento en producción con el observado durante la validación?
□ ¿Está definido cuándo debemos reentrenar, recalibrar o revisar el modelo?
□ ¿Existe un criterio para retirar una versión que ya no ofrece suficiente rendimiento?
□ ¿Revisamos si existen nuevos modelos, arquitecturas o técnicas capaces de resolver mejor el mismo problema?
□ En GenAI, ¿revisamos periódicamente modelo, prompts, RAG, fuentes, evaluación, coste y calidad?
□ ¿Tenemos controladas las dependencias tecnológicas cuya evolución pueda afectar al sistema?
NIST señala expresamente que el rendimiento y la confiabilidad de un sistema pueden cambiar después del despliegue y que el drift puede degradar su valor para la organización. Entre las acciones propuestas incluye la monitorización continua y procedimientos para detectar drift, responder a incidentes e incluso retirar sistemas que superen las tolerancias de riesgo. (NIST AI Resource Center)
Y existe una segunda dimensión: la propia tecnología evoluciona. El AI Index 2026 muestra que algunos benchmarks diseñados para medir capacidades avanzadas de IA se saturan en periodos cada vez más cortos. (hai.stanford.edu)
Por eso conviene distinguir tres situaciones:
El problema ha cambiado.
El comportamiento del sistema ha cambiado.
Existe una tecnología mejor para resolverlo.
Pregunta clave:
¿Qué tendría que cambiar para que dejases de considerar esta solución suficientemente buena?
10. GOBIERNO Y TRAZABILIDAD
Lo que debemos poder demostrar
□ ¿Está documentado el propósito del sistema?
□ ¿Están identificados sus responsables?
□ ¿Se conocen sus limitaciones?
□ ¿Podemos reconstruir cómo se obtuvo un resultado?
□ ¿Existe documentación técnica actualizada?
□ ¿Se han considerado privacidad, seguridad, sesgos y supervisión humana cuando corresponde?
□ ¿Sabemos qué obligaciones regulatorias afectan al sistema?
Para determinados sistemas de alto riesgo, el AI Act establece requisitos relacionados, entre otros aspectos, con gestión de riesgos, datos, documentación técnica, registros, transparencia y supervisión humana. (NIST)
ISO/IEC 42001 proporciona un marco de sistema de gestión para que las organizaciones establezcan, implementen, mantengan y mejoren continuamente sus procesos relacionados con la IA.
NIST, por su parte, estructura su AI RMF alrededor de Govern, Map, Measure y Manage, con la gobernanza como función transversal durante el ciclo de vida. (NIST AI Resource Center)
Pregunta clave:
Si mañana te pidieran demostrar cómo se construyó, evaluó y controla el sistema, ¿qué evidencias podrías aportar?
11. EL CHECK FINAL
Antes de considerar terminada una solución de Data Science o IA, intenta responder sí a estas diez preguntas:
| Pregunta | |
|---|---|
| 01 | ¿Sé exactamente qué problema estoy resolviendo? |
| 02 | ¿Puedo defender la calidad de mis datos? |
| 03 | ¿Puedo justificar la elección y validación del modelo? |
| 04 | ¿Puedo evaluar objetivamente mi sistema generativo, si lo utilizo? |
| 05 | ¿Puedo reproducir lo que he construido? |
| 06 | ¿Puedo desplegarlo y actualizarlo de forma controlada? |
| 07 | ¿Puede crecer sin comprometer la solución? |
| 08 | ¿Sé detectar cuándo empieza a degradarse? |
| 09 | ¿Sé cuándo ha dejado de ser la solución adecuada? |
| 10 | ¿Puedo demostrar cómo está gobernado y qué impacto genera? |
Si alguna respuesta es “todavía no”…
No significa necesariamente que el proyecto esté mal.
Significa que has encontrado una parte del sistema que merece una segunda mirada.
Porque una solución profesional de Data Science e IA no termina cuando el modelo obtiene un buen resultado.
Tiene que poder:
construirse → validarse → desplegarse → escalar → medirse → monitorizarse → evolucionar.
Y, llegado el momento, sustituirse.
La verdadera madurez de una solución de IA no se demuestra únicamente cuando funciona. También cuando sabemos por qué funciona, cómo comprobar que sigue funcionando y cuándo debemos dejar de confiar en ella.
Referencias
- NIST — AI Risk Management Framework: gestión del riesgo durante el ciclo de vida de la IA. NIST AI RMF
- NIST — Challenges to the Monitoring of Deployed AI Systems (2026): retos actuales de monitorización, degradación y drift. NIST AI 800-4
- Stanford HAI — AI Index 2026: evolución de capacidades y límites de las evaluaciones actuales. AI Index 2026
- Reglamento (UE) 2024/1689 — AI Act: obligaciones y requisitos aplicables a sistemas de IA. EUR-Lex — AI Act
- ISO/IEC 42001: sistema de gestión de Inteligencia Artificial. ISO/IEC 42001
