10. Nuestros alumni

"Los actuales modelos de aprendizaje de inteligencia artificial (IA) actúan como 'cajas negras'. Desconocemos qué pasa entre la entrada de datos y la salida de una predicción"

Berta Benet y Javier Rando, alumni del grado en Ingeniería Matemática en Ciencia de Datos de la UPF y miembros de la startup EXPAI.

min

Detectar algoritmos machistas, racistas o LGTBIfòbicos; explicar cómo funciona la inteligencia artificial o aumentar la confianza en los modelos matemáticos. Esta es la revolucionaria idea de EXPAI, una startup formada por Berta Benet y Javier Rando, alumni del grado en Ingeniería Matemática en Ciencia de Datos de la UPF, y que cuenta con la participación de Carlos Soler, profesor asociado del Departamento de Tecnologías de la Información y las Comunicaciones. Se trata de la primera empresa emergente de toda Europa especializada en combatir los peligros, la falta de transparencia y los retos de la inteligencia artificial.

Hablamos con ellos para descubrir su proyecto y conocer cómo han llegado hasta aquí. EXPAI es uno de los proyectos seleccionados en la segunda convocatoria de "En residencia en el Área Talleres" y participó en el 4YFN de la mano de la UPF.

¿Qué es EXPAI? ¿Qué quiere resolver la startup?

Llamamos inteligencia artificial (IA) la tecnología que nos permite replicar comportamientos que, cuando son desarrollados por humanos, decimos que estos demuestran inteligencia: entender el lenguaje natural, interpretar imágenes, leer, aprender, tomar decisiones ... Estos sistemas son cada día más utilizados por las empresas para agilizar sus procesos y aumentar la eficiencia de sus operaciones.

Cada día son más los sistemas de inteligencia artificial que están sustituyendo o apoyando a los humanos en la toma de decisiones sensibles como la concesión de un préstamo. La rápida adopción de esta tecnología sin regulación previa ha provocado numerosos escándalos. Por ejemplo, Amazon implementó un sistema automático de selección de personal que descartaba las mujeres. En Estados Unidos, se demostró que un algoritmo que ayudaba a los jueces a decidir si una persona tenía que ingresar en prisión preventivamente discriminaba a las personas afroamericanas.

Los actuales modelos de aprendizaje de inteligencia artificial (IA) actúan como 'cajas negras'. Desconocemos qué pasa entre la entrada de datos y la salida de una predicción

Además, en las empresas hay reticencias a la hora de adoptar estos sistemas por la dificultad de entenderlos. Aunque puedan parecer problemas muy diferentes, tienen un origen común, y es que los actuales modelos de aprendizaje de inteligencia artificial (IA) actúan como "cajas negras". Es decir, son sistemas matemáticamente complejos en los que desconocemos qué pasa dentro del modelo entre la entrada de datos y la salida de una predicción. Esta operativa siempre ha sido vista como una problemática.

La inteligencia artificial explicable (IAX) es el ámbito de la IA que permite llegar a conocer el razonamiento de los modelos para llegar a sus predicciones. Conseguir que estos procesos de toma de decisiones sean transparentes para desarrolladores y usuarios es una medida esencial para asegurar un futuro más justo y mejorar la eficiencia de las empresas. Esta es la motivación que lleva a la fundación de EXPAI.