Notícies Notícies

Vés enrere

Els algorismes, poden predir de manera efectiva si un jove reincidirà en el seu delicte?

Els algorismes, poden predir de manera efectiva si un jove reincidirà en el seu delicte?

És l'àmbit d'estudi d'un treball de Carles Castillo, director del grup de recerca Ciència Web i Computació Social i Emilia Gómez, investigadora de la UPF i del Joint Research Center (JRC) de la Comissió Europea, amb altres membres del JRC, que s'està presentant a la 17th International Conference on Artificial Intelligence and Law (ICAIL '19), del 17 al 21 de juny a Montreal,  Canadà a on ha guanyat el Best Paper Award.

19.06.2019

Imatge inicial

Els sistemes computacionals que utilitzen algoritmes d'aprenentatge automàtic detecten patrons dins d'un ingent conjunt de dades i poden predir resultats complexos que presentarien un alt grau d'incertesa. Són utilitzats en múltiples àmbits: medicina, finances, justícia, etc., i poden superar les capacitats humanes, especialment quan es tracta de grans conjunts de dades o del maneig d'un gran nombre de factors.  

"Un exemple en què els algoritmes d'aprenentatge automàtic i els sistemes experts poden informar millor les decisions humanes és en la predicció de reincidència criminal, definida com l'acte d'una persona que comet un delicte després d'haver estat condemnat per un delicte anterior", comenta Carlos Castillo. No obstant això, les decisions preses a partir de models d'aprenentatge automàtic poden arribar a ser injustes per presentar biaixos i discriminar a certs grups minoritaris o poblacions.

Aquest és el punt de partida d'un treball de Carlos Castillo, director del grup de recerca Ciència Web i Computació Social (WSSC) i Emilia Gómez, investigadora de la UPF i del Joint Research Center (JRC) de la Comissió Europea, amb Songul Tolan, Marius Miron, membres del JRC, i que s'està presentant a la 17th International Conference on Artificial Intelligence and Law (ICAIL '19 ), del 17-21 de juny a Montreal (Canadà) que els ha valgut guanyar el Best Paper Award. Aquest és un premi al millor article de la conferència i es lliura cada any en honor a la investigadora americana Carole Hafner.

Els autors proposen una metodologia per avaluar la possible discriminació subjacent en els mètodes d'aprenentatge automàtic utilitzats en la predicció de la reincidència juvenil, i indiquen quines són les possibles fonts d'injustícia i discriminació. En general, un procés o decisió es pot considerar discriminatori si el resultat depèn de la pertinença de les persones a un grup protegit: sexe, raça, color, idioma, religió, opinió política o d'una altra mena, origen nacional o social, associació amb una minoria nacional, propietat, naixement o un altre estatus.

Les tècniques d'aprenentatge automàtic poden discriminar algunes persones si no s'avaluen de forma exhaustiva, de manera que l'ús d'algorismes s'ha de fer de manera crítica i en col·laboració amb experts en l'àrea de la justícia

Per informar els jutges sobre el risc de reincidència d'un acusat, les eines d'avaluació de riscos estan ben establertes a nivell mundial. Un dels instruments més utilitzats és l'Avaluació Estructurada del Risc de Violència Juvenil (SAVRY). S'utilitza per avaluar el risc de violència en menors, deixant un alt grau de participació als professionals en l'avaluació de riscos.

Els autors han avaluat una base de dades posada a disposició d'investigadors pel Centre d'Estudis Jurídics i Formació Especialitzada (CEJFE) de la Generalitat de Catalunya que comprèn observacions de 4.753 adolescents que van cometre delictes entre 2002 i 2010 a Catalunya i el comportament de reincidència es va registrar el 2013 i 2015. "En aquest treball estudiem les limitacions dels algorismes d'aprenentatge automàtic per predir la reincidència juvenil. Avaluem la imparcialitat dels models d'aprenentatge automàtic amb SAVRY, en un conjunt de dades procedents de Catalunya", afirmen els investigadors, que han comparat els models computacionals d'aprenentatge automàtic amb aquesta eina d'avaluació de riscos ja existent, en termes d'acompliment predictiu i equitat.

Els resultats obtinguts indiquen que, en termes de precisió en la predicció de la reincidència, els models d'aprenentatge automàtic superen lleugerament a SAVRY, sent encara millor els resultats a mesura que augmenten les dades o les funcions disponibles per a la capacitació. No obstant això, en tres mètriques d'imparcialitat utilitzades en altres estudis, "trobem que, en general, SAVRY és just, mentre que els models d'aprenentatge automàtic podrien arribar a discriminar per gènere a homes, a estrangers o persones de grups nacionals específics", indiquen els autors. "Per exemple, en el conjunt de dades estudiat, en comparació amb els joves espanyols, els joves estrangers, encara sense reincidir, tenen gairebé el doble de probabilitats de ser classificats erròniament com d'alt risc amb els models d'aprenentatge automàtic", afegeixen.

En criminologia, l'ús d'algorismes, sota certes condicions, pot ser positiu

En resum, els autors creuen que l'ús d'algorismes, sota certes condicions, pot ser positiu, sent les principals contribucions d'aquest treball les següents:

En primer lloc, atenent al fet que l'avaluació d'experts és laboriosa i que l'avaluació de SAVRY és costosa, els autors han comparat l'acompliment predictiu de SAVRY davant d'una avaluació de risc generada pels mètodes d'aprenentatge automàtic basats en informació sobre la demografia de l'acusat i la història criminal.

En segon lloc, s'han avaluat SAVRY i els models d'aprenentatge automàtic en quant a la possible discriminació per sexe o nacionalitat.

En tercer lloc, mitjançant la combinació de tècniques de interpretabilitat es fa una anàlisi exhaustiva de les dades per discutir i elaborar les possibles causes de la disparitat existent en els mètodes d'aprenentatge automàtic.

"Les nostres troballes proporcionen una explicació de per què les tècniques d'aprenentatge automàtic poden discriminar algunes persones si no s'avaluen de forma exhaustiva. A més, l'ús d'algoritmes s'ha de fer de forma crítica i en col·laboració amb experts en l'àrea de la justícia", afirmen Gómez i Castillo, ambdós investigadors del Departament de Tecnologies de la Informació i les Comunicacions (DTIC) de la UPF.

Aquesta investigació es realitza en el marc d'un conveni de col·laboració subscrit entre la UPF i la Universitat de Barcelona (UB), amb la col·laboració especial d'Antonio Andrés-Pueyo, investigador del Departament de Psicologia Clínica i Psicobiologia de la UB. 

Article de referència:

Songul Tolan, Marius Miron, Emilia Gómez, Carlos Castillo (2019), "Why Machine Learning May Lead to Unfairness: Evidence from Risk Assessment for Juvenile Justice in Catalonia", A: 17th International Conference on Artificial Intelligence and Law (ICAIL '19) , 17-21 juny, 2019, Montreal, Canadà. BEST PAPER AWARD!

Multimèdia

Multimedia

Multimedia

Perfils dels protagonistes:

Perfiles de los protagonistas:

Profiles of the protagonists:

Carlos Castillo
Emilia Gómez

Categories:

Per a més informació

Para más información

For more information

Notícia publicada per:

Noticia publicada por:

News published by:

Unitat de Comunicació i Projecció Institucionals

Unidad de Comunicación y Proyección Institucionales

Institutional Communication and Promotion Unit


Destaquem Destaquem

ETIC

Xifres

891 Estudiants de grau
276 Estudiants de Postgrau
60 % internacionalització dels estudiants de postgrau
15 ERC grants
13 Investigadors ICREA
250 Personal d'administració i suport a la recerca
66 % internacionalització del personal