Iluminando la opacidad de la IA

La denominada “caja negra” de la inteligencia artificial es uno de los temas más polémicos cada vez que se analizan los algoritmos que toman decisiones por nosotros.

Confiamos en sistemas que recomiendan medicación, conceden créditos o filtran currículums, etc., pero muchas veces no tenemos ni idea de por qué llegan a esas decisiones, ni siquiera cuando afectan de lleno a nuestros derechos.

La ausencia de transparencia no solo constituye un problema técnico: alberga implicaciones éticas, legales, sociales y de negocios. La opacidad algorítmica, o “caja negra” en IA, por los riesgos que implica, merece ser explicada con sencillez y claridad: en inteligencia artificial, una “caja negra” es un sistema cuyos procesos internos no se pueden entender con claridad. Sabemos qué datos entran y qué resultado sale, pero el “camino” intermedio resulta incomprensible o inaccesible para los humanos, incluso para los mismos desarrolladores del sistema de IA.

En los modelos de aprendizaje automático complejo, como las redes neuronales profundas que trabajan con miles o millones de parámetros, el modelo avanzado de lenguaje —es decir, la IA— aprende por experiencia, ajustando pesos internos de forma que nadie puede seguir a mano qué combinación exacta de neuronas ha llevado a una respuesta concreta. La propia complejidad matemática y estadística hace prácticamente imposible una interpretación humana intuitiva del proceso que lleva a la IA a dar la respuesta o solución que nos proporciona. También la opacidad puede darse por una decisión empresaria, cuando la empresa decide no mostrar el código ni los detalles del modelo para proteger su propiedad intelectual o por pura estrategia comercial.

En el primer caso, que es el tecnológicamente relevante, se dan las llamadas “cajas negras orgánicas”: en estas, ni siquiera los creadores del sistema saben describir con precisión qué patrones internos ha aprendido la IA ni cómo los combina en cada decisión. En estos modelos solo son observables con claridad las llamadas capas visibles: la de entrada —*inputs*— y la de salida —*outputs*—. Se ven los datos que se introducen —imágenes, texto, variables numéricas— y las predicciones o clasificaciones que salen —aprobado/denegado, diagnóstico, recomendación…—, pero lo que pasa en los múltiples procesos intermedios permanece, en buena medida, fuera del alcance de nuestra comprensión.

Los modelos de deep learning están formados por redes neuronales con muchas capas —a veces cientos— y un gran número de neuronas en cada una. Cada neurona es básicamente un pequeño bloque de código que recibe entradas, aplica una transformación matemática y genera una salida. El aprendizaje consiste en ajustar, a través de millones de ejemplos, los pesos y umbrales de todas esas neuronas para que el conjunto minimice los errores en la respuesta.

El problema es que, una vez entrenado, el resultado es un entramado gigantesco de parámetros que no se corresponde con conceptos humanos claros y separados.

Este tipo de redes puede ingerir grandes volúmenes de datos sin procesar —imágenes, audio, texto libre, datos de sensores— y detectar patrones de una complejidad enorme: relaciones no lineales, combinaciones de rasgos muy sutiles, correlaciones que escapan a nuestra intuición. Gracias a ello son capaces de traducir idiomas, generar imágenes, escribir textos coherentes o analizar radiografías con precisión comparable a la de un especialista.

Pero esa potencia tiene un precio: las representaciones internas que crean son estructuras numéricas de alta dimensión que no se alinean directamente con categorías humanas sencillas. Podemos intuir que ciertos vectores agrupan significados parecidos o que ciertas neuronas responden a patrones determinados, pero el mapa completo es prácticamente inabarcable. Incluso cuando el modelo es de código abierto y podemos ver todas las líneas de programación, puede ocurrir que no podamos interpretar cada predicción o respuesta. En resumen, la caja negra no se debe solo al secretismo empresarial; es también una consecuencia de haber apostado por arquitecturas extremadamente complejas que optimizan precisión, pero sacrifican transparencia.

Esta falta de transparencia no es solo un inconveniente teórico. La opacidad algorítmica puede dar lugar a decisiones injustas, discriminatorias o directamente erróneas, sin que exista una forma clara de detectar el problema o corregirlo a tiempo. Por ejemplo, una empresa usa herramientas de IA en recursos humanos para cribar currículums, puntuar desempeño o recomendar promociones. Formalmente, la última palabra la tiene un humano, pero en la práctica se basa fuertemente en los informes generados por la IA. Si un trabajador es descartado o despedido y no se le da acceso a qué datos se usaron, qué factores pesaron, qué patrones se detectaron, ni qué documentación técnica respalda el sistema, la caja negra no solo decide: también impide impugnar eficazmente la decisión.

La inteligencia artificial explicable: un intento de abrir la caja

Para mitigar estos problemas surge el campo de la IA explicable o XAI —*Explainable Artificial Intelligence*—. Su objetivo no es “traducir” línea a línea lo que hace el algoritmo, sino proporcionar explicaciones útiles, comprensibles y accionables sobre por qué el modelo ha tomado una determinada decisión informática. Existen dos grandes enfoques: por un lado, están los modelos intrínsecamente interpretables o de caja blanca: algoritmos sencillos como regresiones lineales, árboles de decisión poco profundos o reglas lógicas, en los que se puede ver claramente qué variables entran, qué reglas se aplican y cómo se llega al resultado. Este tipo de modelos facilita la auditoría y la trazabilidad, aunque a veces sacrifica algo de precisión. Por otro lado, tenemos los modelos complejos —caja negra— a los que se les aplican técnicas de explicación a posteriori. Aquí entran en juego herramientas como LIME, SHAP o Grad-CAM, que permiten estimar qué características han pesado más en una predicción o respuesta concreta, o visualizar qué zonas de una imagen han sido determinantes para un diagnóstico, en el caso de uso de la IA para diagnósticos médicos por imágenes. En esta materia se ha descubierto que, en algunos casos, los sistemas estaban prestando demasiada atención a marcas o anotaciones en la radiografía en lugar de a los patrones clínicos relevantes. Detectar estas desviaciones permite corregir el modelo y reducir riesgos.

A menudo se usan como sinónimos “caja blanca”, “caja negra” e “IA explicable”, pero no son exactamente lo mismo. Conviene aclarar términos:

Un modelo de caja blanca es aquel cuyo funcionamiento interno es transparente y entendible. Se puede ver claramente qué variables intervienen, cómo se combinan, qué reglas se aplican y cómo se llega del input al output. Ejemplos típicos son las regresiones lineales bien especificadas o los árboles de decisión sencillos.

Un modelo de caja negra, en cambio, es aquel cuya lógica interna no se puede seguir con facilidad. Aquí entrarían redes neuronales profundas, random forests muy complejos, boosting tipo XGBoost y, en general, cualquier sistema con múltiples capas de parámetros difíciles de traducir en reglas humanas claras.

La IA explicable —XAI— es un paraguas más amplio que incluye tanto a modelos de caja blanca como a técnicas que se aplican sobre cajas negras para generar explicaciones post hoc. Un modelo muy complejo puede considerarse “explicable” si se acompaña de herramientas que permitan, por ejemplo, desglosar la importancia de las variables, visualizarlas o generar ejemplos ilustrativos.