Fuente de la imagen: sitio web español de "El País"
Cuando se habla de cajas negras, mucha gente piensa con nostalgia en los equipos utilizados para registrar datos de vuelo en aviones o en pequeños teatros. Sin embargo, en el campo de la inteligencia artificial (IA), caja negra también es un término importante que no se puede ignorar.
El País de España señaló que cuando una red neuronal de IA está en funcionamiento, incluso los investigadores más experimentados no saben nada sobre sus operaciones internas. La discusión aquí no es sobre biología, sino sobre algoritmos de IA, especialmente aquellos basados en aprendizaje profundo que imitan las conexiones entre neuronas. Estos sistemas son como cajas negras, y es difícil para los científicos de datos, los mejores talentos académicos y los ingenieros ganadores del Premio Nobel de OpenAI y Google escudriñar sus secretos internos.
El modelo y los datos son opacos.
La revista "Scientific American" informó que una caja negra de IA se refiere a un sistema de IA cuyo funcionamiento interno es completamente invisible para los usuarios. Los usuarios pueden ingresar información en estos sistemas y obtener resultados, pero no pueden inspeccionar su código ni comprender la lógica que produce los resultados.
El aprendizaje automático, como rama principal de la IA, es la piedra angular de los sistemas de IA generativa como ChatGPT. El aprendizaje automático consta de tres partes principales: algoritmo, datos de entrenamiento y modelo. Un algoritmo es una serie de instrucciones de programa. En el aprendizaje automático, el algoritmo aprende a reconocer patrones en los datos a través de grandes cantidades de datos de entrenamiento. Cuando el algoritmo de aprendizaje automático completa el entrenamiento, el producto es el modelo de aprendizaje automático, que también es la parte que los usuarios realmente utilizan.
Cualquiera de estas tres partes de un sistema de aprendizaje automático puede estar oculta, es decir, colocada en una caja negra. Normalmente, los algoritmos están disponibles públicamente. Pero para proteger la propiedad intelectual, los desarrolladores de software de IA suelen colocar modelos o datos de entrenamiento en cajas negras.
La arquitectura del modelo es tan compleja que es difícil de explicar.
Aunque se comprenden bien las matemáticas detrás de muchos algoritmos de IA, el comportamiento producido por las redes formadas por estos algoritmos es difícil de alcanzar.
ChatGPT, Gemini, Claude, Llama y cualquier generador de imágenes como DALL-E, así como cualquier sistema que dependa de redes neuronales, incluidas aplicaciones de reconocimiento facial y motores de recomendación de contenidos, se enfrentan a este problema.
Por el contrario, otros algoritmos de IA, como los árboles de decisión o la regresión lineal (comúnmente utilizados en campos como la medicina y la economía), son más interpretables. Su proceso de toma de decisiones es fácil de entender y visualizar. Los ingenieros pueden seguir las ramas de un árbol de decisiones y ver claramente cómo se llega a un resultado específico.
Esta claridad es fundamental porque inyecta transparencia en la IA y proporciona seguridad a quienes utilizan los algoritmos. Vale la pena señalar que la Ley de Inteligencia Artificial de la UE enfatiza la importancia de tener sistemas transparentes y explicables. Sin embargo, la propia arquitectura de las redes neuronales dificulta esta transparencia. Para comprender el problema de la caja negra de estos algoritmos, hay que imaginar una red de neuronas o nodos interconectados.
Juan Antonio, profesor del Instituto de Inteligencia Artificial del Consejo Superior de Investigaciones Científicas de España, explicó que cuando se introducen datos en la red, los valores en los nodos desencadenan una serie de cálculos. La información se propaga desde los primeros nodos en forma numérica a los nodos posteriores, cada nodo calcula un número y lo envía a todas las conexiones, teniendo en cuenta el peso (es decir, el valor numérico) de cada conexión. El nuevo nodo que reciba esta información calculará otro número.
Vale la pena señalar que los modelos actuales de aprendizaje profundo contienen de miles a millones de parámetros. Estos parámetros representan la cantidad de nodos y conexiones después del entrenamiento, que son grandes y variados, lo que dificulta la derivación manual de ecuaciones significativas.
Según estimaciones de la industria, GPT-4 tiene casi 1,8 billones de parámetros. Según este análisis, cada modelo de lenguaje utilizará aproximadamente 220 mil millones de parámetros. Esto significa que cada vez que se hace una pregunta, hay 220 mil millones de variables que podrían influir en la respuesta del algoritmo.
Las empresas tecnológicas intentan abrir cajas negras
La opacidad sistémica dificulta la corrección de sesgos y alimenta la desconfianza. Actualmente, los principales actores del campo de la IA son conscientes de esta limitación y están realizando investigaciones activamente para comprender mejor cómo funcionan sus modelos. Por ejemplo, OpenAI utiliza una red neuronal para observar y analizar otra red neuronal, y Anthropic estudia las conexiones de nodos y los circuitos de propagación de información.
Decodificar la caja negra es de gran beneficio para el modelo de lenguaje, ya que puede evitar el razonamiento erróneo y la información engañosa generada por la IA y resolver el problema de las respuestas inconsistentes. Sin embargo, sin comprender el funcionamiento interno de la red, las empresas de tecnología a menudo someten a los modelos a una capacitación exhaustiva y luego lanzan productos después de pasar las pruebas. Este enfoque también puede tener problemas, como que Google Gemini genere imágenes incorrectas cuando se lanzó por primera vez.
El concepto opuesto a la caja negra es la caja de cristal. La caja de cristal de IA significa que cualquiera puede ver sus algoritmos, datos de entrenamiento y modelos. El objetivo final de decodificar cajas negras es mantener el control de la IA, especialmente cuando se implementa en áreas sensibles. Supongamos que un modelo de aprendizaje automático ha realizado un diagnóstico de la salud o la situación financiera de un ser humano, ¿querríamos que el modelo fuera una caja negra o una caja de vidrio? La respuesta es obvia. No se trata sólo de un fuerte enfoque en el funcionamiento interno del algoritmo, no sólo por curiosidad científica, sino también por la protección de la privacidad del usuario.