La presencia de las tecnologías basadas en Inteligencia Artificial (IA) es cada vez mayor en todos los procesos intensivos en datos. Esta automatización no está exenta de errores, de usos irresponsables, o de problemas éticos. Un ejemplo de esto ocurre con la discriminación en los procesos de selección de personal.

El grupo Web Science and Social Computing (WSSC) del Departamento de Tecnologías de la Información y las Comunicaciones (DTIC) de la UPF coordinará un consorcio interdisciplinar de universidades y empresas en el proyecto FINDHR: Fairness and Intersectional Non-Discrimination in Human Recommendation (Equidad y no discriminación interseccional en la recomendación humana). El consorcio estudiará los problemas técnicos, legales y éticos que existen al utilizar las IA y mostrará cómo gestionar los riesgos de discriminación en aquellas aplicaciones que realizan algún tipo de recomendación humana. Estos incluyen el reclutamiento de candidatos a puestos de trabajo, admisiones universitarias o priorización de subvenciones, becas u otros beneficios públicos, así como los mercados en línea en los que los proveedores de servicios venden su experiencia, como los profesionales médicos, tutores de idiomas y los autónomos.

“El proyecto busca detectar y mitigar sesgos discriminatorios en el uso de IA”, explica Carlos Castillo, coordinador del proyecto, profesor investigador ICREA y director del WSSC de la UPF. “El proyecto forma parte de una área de estudio sobre discriminación y equidad algorítmica y la Unión Europea está muy interesada en su desarrollo.”

“El proyecto busca detectar y mitigar sesgos discriminatorios en el uso de IA. Forma parte de una área de estudio sobre discriminación y equidad algorítmica y la Unión Europea está muy interesada en su desarrollo”

En 2021 la Comisión Europea propuso regular la Inteligencia Artificial con la Ley de IA, que abarca varios métodos computacionales para tareas que normalmente requieren inteligencia humana. La ley define un marco para la gobernanza de las aplicaciones de IA de alto riesgo, las cuales se pueden clasificar en dos grupos:

• sistemas que se ocupan de infraestructura crítica, servicios de respuesta a emergencias, evidencia criminal, procesos judiciales y documentos migratorios; y
• sistemas que realizan inferencias para categorizar, clasificar, clasificar o recomendar personas.

Es dentro de este grupo donde las tecnologías que facilitan la búsqueda de empleo están explícitamente incluidas como aplicaciones de alto riesgo.

Desde hace más de 20 años la UE reconoce que la igualdad de empleo es una fuerza de cohesión social, dignidad e igualdad. La Directiva 2000/78/EC prohíbe la discriminación en el mercado laboral por motivos de religión o creencia, discapacidad, edad y orientación sexual. Sin embargo, esto no se ha cumplido totalmente pues varias modalidades de discriminación estructural, tanto a nivel institucional como individual, continúan persistiendo en el lugar de trabajo.

Por ejemplo, la participación de las mujeres en la fuerza laboral sigue siendo desigual. Según datos del Instituto Europeo para la Igualdad de Género de 2021, las tasas de empleo equivalentes a tiempo completo (FTE en inglés) es del 41% para las mujeres y del 57% para los hombres. La COVID-19 ha supuesto un retroceso ya que durante la primera ola de la pandemia 2.2 millones de europeas perdieron su trabajo. Del mismo modo, una y otra vez se ha demostrado que las minorías étnicas, las personas afrodescendientes, las mujeres de color, y las personas LGBTQ+ siguen siendo discriminadas.

“Lo que hemos propuesto es que construir una IA que sea menos sesgada no es sólo un problema tecnológico, sino que tiene que ver con las leyes, la ética y el uso industrial que se le dé a esta tecnología”, continúa Castillo.

“Lo que hemos propuesto es que construir una IA que sea menos sesgada no es sólo un problema tecnológico, sino que tiene que ver con las leyes, la ética y el uso industrial que se le dé a esta tecnología”

Por eso se aliaron con socios expertos en legislación y protección de datos, en ética digital transcultural, en la auditoría de servicios digitales, en regulación tecnológica, así como representantes de trabajadores en Europa y dos ONG dedicadas a luchar contra la discriminación contra las mujeres y las poblaciones vulnerables.

“Las soluciones buenas tienen q ser contextualizadas, tienen que tomar en consideración aspectos específicos de cada industria y en este caso, con sus propios procesos, estándares y rutinas. Basándonos en esto, queremos proponer tecnologías que permitan detectar la discriminación, y procesos que no sean discriminatorios”, concluye.

El proyecto FINDHR realizará diversas actividades. Una de ellas es estudiar cómo la gente que hace el reclutamiento percibe el ordenamiento de los candidatos y candidatas. “Esto es un sistema socio-tecnológico, en el que colaboran tanto personas como software, y no se va a terminar el sesgo en la contratación porque tengas un algoritmo que ordena distinto a los candidatos, hay que tener en cuenta todo el sistema completo”, aclara el investigador.

El proyecto tomará como base la regulación y la política que la Unión Europea tiene en marcha, pues para abordar los riesgos de discriminación en la IA hay que procesar datos confidenciales que están protegidos por el reglamento General de protección de Datos (RGPD) de la Unión. FINDHR realizará un análisis legal específico de las tensiones entre la regulación de protección de datos y la regulación contra la discriminación en Europa.

Otro de los objetivos para los investigadores es la construcción de una base de datos de currículos sintéticos, pues, al tratarse de datos tan personales, hay escasez de CVs para hacer investigación. Por eso harán una campaña de donación de currículos.

Los socios del proyecto

Uno de los socios en el proyecto es Adevinta Spain – InfoJobs, una de las principales empresas del sector tecnológico del país. “En InfoJobs nos esforzamos cada día para garantizar que los procesos de selección que se llevan a cabo en la plataforma no sean discriminatorios”, remarca Justine Devos, Data Director de Jobs en Adevinta Spain y representante de la compañía en el proyecto: “Para mejorar nuestro producto, desarrollamos algoritmos usando inteligencia artificial, siempre velando para que estén libres de sesgos por razones de género, edad o etnia”.

El otro socio español es la consultora Ethicas Research Consulting, que se dedica a identificar vulnerabilidades algorítmicas y es una empresa pionera en la realización de auditorías algorítmicas.

Financiado por el programa Horizon Europe, FINDHR inició trabajos el pasado 1 de noviembre y terminará en octubre de 2025. Los socios del consorcio son:

• Universidad Pompeu Fabra (coordinador)
• Universidad de Amsterdam 
• Universidad de Pisa 
• Max Planck Society en Privacidad y Seguridad de Alemania.
• Algorithm Watch Suiza
• ETICAS Research and Consulting
• Adevinta Spain - InfoJobs
• Randstad Netherlands BV
• Radboud University
• Universidad Erasmus Rotterdam
• European Trade Union Confederation
• Women in Development in Europe (WIDE+)
• PRAKSIS Association

El progreso de este proyecto puede seguirse a través de Mastodon y Twitter.

Las visiones y opiniones expresadas corresponden sólo a los autores, y no reflejan necesariamente las de la Unión Europea. Por tanto, no se puede considerar responsables ni la Unión Europea ni la autoridad otorgante.