parámetros. Realizan operaciones matemáticas simples, sí, pero tantas que somos incapaces de reconstruir el razonamiento que hay detrás.

Viejos conocidos para la estadística

Las distintas caras de la opacidad no son algo nuevo. En el mundo de la estadística, el problema recurrente de los sesgos en los datos de entrenamiento, que no podemos anticipar por la opacidad sobre su procedencia, es bien conocido y convierte los resultados poco menos que en armas contra la población más vulnerable. Así lo explica la matemática estadounidense Cathy O'Neil en “Armas de destrucción matemática” .

Se ha vuelto muy común utilizar redes neuronales profundas como herramienta para entender o predecir una enfermedad, el clima, determinar si se va a dar un préstamo o no a una determinada persona, etc.

En todos estos casos, la respuesta de la red suele estar cerrada: tiene la enfermedad o no; la temperatura media estimada para el próximo año; le doy el préstamo o no. Pero esa respuesta no contiene una explicación “humana” que pueda ayudarnos a mejorar nuestra comprensión de la enfermedad a dar recomendaciones claras para frenar el aumento de la temperatura oa saber qué aspectos tengo que mejorar para que me concedan ese préstamo.

Tanto nos preocupa este tema en el campo, que ya se han empezado a trabajar en métodos de IA explicable (XAI) que nos permiten poner algo de luz, pero todavía son métodos preliminares que no consiguen desentrañar el proceso seguido por la red neuronal sino que usan los resultados de esta para intentar dar una explicación comprensible de su comportamiento. Y la cosa no parece mejorar porque el problema avanza mucho más rápido y con muchos más recursos que las soluciones.

Los agentes rebeldes

Y en ese rápido y opaco avance una de las cosas que más miedo parece dar son los famosos agentes de IA que “hablan entre ellos, mienten y manipulan para no ser apagados”. Agentes que pueden “escaparse” del sistema y causar el caos que nos llevará a la extinción.

La IA ha sido optimizada para resolver una tarea. Y, si en ese proceso aprende que mintiendo puede sortear una restricción que le impedía resolverla, no va a valorar, a no ser que la programemos para ello, si eso es “bueno” o “malo”. Lo haré y punto.

Cuanta más autonomía, capacidad de planificación, acceso a herramientas o comunicación entre sistemas existan más graves podrían ser las consecuencias de una instrucción (humana) ambigua o directamente mal intencionada. Cuanto menos reglas le demos a la máquina, cuanto más “libertad” y más herramientas tengan, más fácil será que se convertirán en armas al servicio de quién sabe quién (o de todos sabemos quién).

Así que, no sé si a las matemáticas, pero es normal que a los seres humanos, con todo este ruido mediático, la IA nos de miedo. Pero el miedo no tiene porque llevarnos directamente al lado Oscuro como decía Yoda: también podemos usarlo como una señal de alarma que nos invita a detenernos, hacer preguntas y tratar de encender la luz.

 

The Conversación