La presència de les tecnologies basades en Intel·ligència Artificial (IA) és cada vegada més gran en tots els processos intensius en dades. Aquesta automatització no està exempta d'errors, usos irresponsables o problemes ètics. Un exemple d'això passa amb la discriminació en els processos de selecció de personal.

El Grup de Recerca en Web Science and Social Computing (WSSC) del Departament de Tecnologies de la Informació i les Comunicacions (DTIC) de la UPF coordinarà un consorci interdisciplinari d'universitats i empreses al projecte FINDHR: Fairness and Intersectional Non-Discrimination in Human Recommendation (Equitat i no discriminació interseccional en la recomanació humana). El consorci estudiarà els problemes tècnics, legals i ètics que hi ha en utilitzar la IA i mostrarà com gestionar els riscos de discriminació en aquelles aplicacions que fan algun tipus de recomanació humana. Aquestes inclouen el reclutament de candidats a llocs de treball, admissions universitàries o priorització de subvencions, beques o altres beneficis públics, així com els mercats en línia on els proveïdors de serveis venen la seva experiència, com els professionals mèdics, tutors d'idiomes i els autònoms.

"El projecte busca detectar i mitigar biaixos discriminatoris en l'ús d'IA", explica Carlos Castillo, coordinador del projecte, professor investigador ICREA i director del WSSC de la UPF. "El projecte forma part dʻuna àrea dʻestudi sobre discriminació i equitat algorítmica i la Unió Europea està molt interessada en el seu desenvolupament."

"El projecte busca detectar i mitigar biaixos discriminatoris en l'ús d'IA. Forma part dʻuna àrea dʻestudi sobre discriminació i equitat algorítmica i la Unió Europea està molt interessada en el seu desenvolupament."

El 2021 la Comissió Europea va proposar regular la Intel·ligència Artificial amb la Llei d'IA, que abasta diversos mètodes computacionals per a tasques que normalment requereixen intel·ligència humana. La llei defineix un marc per a la governança de les aplicacions d'IA d'alt risc, les quals es poden classificar en dos grups:

• sistemes que s'ocupen d'infraestructura crítica, serveis de resposta a emergències, evidència criminal, processos judicials i documents migratoris
• sistemes que fan inferències per categoritzar, classificar o recomanar persones

És dins aquest grup on les tecnologies que faciliten la recerca de feina estan explícitament incloses com a aplicacions d'alt risc.

Des de fa més de 20 anys, la UE reconeix que la igualtat d'ocupació és una força de cohesió social, dignitat i igualtat. La Directiva 2000/78/EC prohibeix la discriminació al mercat laboral per motius de religió o creença, discapacitat, edat i orientació sexual. Això no obstant, no s'ha complert totalment ja que diverses modalitats de discriminació estructural, tant a nivell institucional com individual, continuen persistint en el lloc de treball.

Per exemple, la participació de les dones a la força laboral continua sent desigual. Segons dades de l'Institut Europeu per a la Igualtat de Gènere del 2021, les taxes d'ocupació equivalents a temps complet (FTE en anglès) són del 41% per a les dones i del 57% per als homes. La covid-19 ha suposat una reculada ja que durant la primera onada de la pandèmia 2,2 milions d'europees van perdre la feina. De la mateixa manera, una vegada i una altra s'ha demostrat que les minories ètniques, les persones afrodescendents, les dones de color, i les persones LGBTQ+ segueixen sent discriminades.

"El que hem proposat és que construir una IA que sigui menys esbiaixada no és només un problema tecnològic, sinó que té a veure amb les lleis, l'ètica i l'ús industrial que es doni a aquesta tecnologia", continua Castillo.

"El que hem proposat és que construir una IA que sigui menys esbiaixada no és només un problema tecnològic, sinó que té a veure amb les lleis, l'ètica i l'ús industrial que es doni a aquesta tecnologia"

Per això es van aliar amb socis experts en legislació i protecció de dades, en ètica digital transcultural, en auditoria de serveis digitals, en regulació tecnològica, així com representants de treballadors a Europa i dues ONG dedicades a lluitar contra la discriminació contra les dones i les poblacions vulnerables.

“Les solucions bones han de ser contextualitzades, han de prendre en consideració aspectes específics de cada indústria i en aquest cas, amb els seus propis processos, estàndards i rutines. Basant-nos en això, volem proposar tecnologies que permetin detectar la discriminació i processos que no siguin discriminatoris”, conclou.

El projecte FINDHR realitzarà diverses activitats. Una és estudiar com la gent que fa el reclutament percep l'ordenament dels candidats i candidates. “Això és un sistema sociotecnològic, en què col·laboren tant persones com programari, i no s'acabarà el biaix en la contractació perquè tinguis un algorisme que ordena diferent els candidats, cal tenir en compte tot el sistema complet”, aclareix l'investigador.

El projecte prendrà com a base la regulació i la política que la Unió Europea té en marxa, ja que per abordar els riscos de discriminació a la IA cal processar dades confidencials que estan protegides pel reglament General de protecció de Dades (RGPD) de la Unió. FINDHR realitzarà una anàlisi legal específica de les tensions entre la regulació de protecció de dades i la regulació contra la discriminació a Europa.

Un altre dels objectius per als investigadors és la construcció d'una base de dades de currículums sintètics ja que, com que es tracta de dades tan personals, hi ha escassetat de CVs per fer recerca. Per això faran una campanya de donació de currículums.

Els socis del projecte

Un dels socis en el projecte és Adevinta Spain – InfoJobs, una de les principals empreses del sector tecnològic del país. “A InfoJobs ens esforcem cada dia per garantir que els processos de selecció que es duen a terme a la plataforma no siguin discriminatoris”, remarca Justine Devos, Data Director de Jobs a Adevinta Spain i representant de la companyia en el projecte: “Per millorar el nostre producte, desenvolupem algorismes usant intel·ligència artificial, sempre vetllant perquè estiguin lliures de biaixos per raons de gènere, edat o ètnia”.

L'altre soci espanyol és la consultora Ethicas Research Consulting, que es dedica a identificar vulnerabilitats algorísmiques i és una empresa pionera en la realització d'auditories algorísmiques.

Finançat pel programa Horizon Europe, FINDHR va iniciar treballs el passat 1 de novembre i acabarà a l'octubre del 2025. Els socis del consorci són:

1. Universitat Pompeu Fabra (coordinador)

2. Universitat d'Amsterdam

3. Universitat de Pisa

4. Max Planck Society en Privadesa i Seguretat d'Alemanya.

5. Algorithm Watch Suïssa

6. ÈTIQUES Research and Consulting

7. Adevinta Spain - InfoJobs

8. Randstad Netherlands BV

9. Radboud University

10. Universitat Erasmus Rotterdam

11. European Trade Union Confederation

12. Women in Development in Europe (WIDE+)

13. PRAKSIS Association

El progrés d’aquest projecte es pot seguir a través de Mastodon i Twitter.

Les visions i opinions expressades corresponen només als autors, i no reflecteixen necessàriament les de la Unió Europea. Per tant, no se'n poden considerar responsables ni la Unió Europea ni l'autoritat atorgant.