Vés enrere La intel·ligència artificial al servei de l'esport

La intel·ligència artificial al servei de l'esport

Un treball dut a terme per Adrià Arbués, Coloma Ballester i Gloria Haro, membres del Departament de Tecnologies de la Informació i les Comunicacions, mitjançant tècniques de visió per ordinador i aprenentatge profund aplicades al seguiment dels partits de bàsquet, que ha guanyat el Best Paper Award a la Conferència Internacional de Recerca ICAIS 2019, celebrada a París el passat juliol.

26.08.2019

Imatge inicial

Des de fa uns anys, la millor lliga de bàsquet del món, la nord-americana NBA, disposa d'uns sistemes complexos de càmeres instal·lats en tots els pavellons per tal de fer el seguiment de tots els jugadors a pista. Aquestes dades són processades pels equips de Ciència de Dades de cada club, i en fan una anàlisi exhaustiva per tal de millorar el rendiment de l'equip mitjançant la detecció de tendències individualitzades o patrons de comportament com a grup (el que se'n diu "spacing"). Aquests sistemes, oferts per empreses com STATS o Second Spectrum, són extremadament cars per al pressupost que tenen els equips europeus.

Els sistemes complexos de càmeres instal·lats en els pavellons de la NBA, per tal de fer el seguiment de tots els jugadors a pista, és car per als equips europeus

Per tant, com explica Adrià Arbués, primer signant del treball “Els equips europeus no disposen encara d’aquesta tecnologia d'anàlisi de dades. L'objectiu de la nostra recerca ha estat dissenyar un sistema de seguiment de jugadors en seqüències extretes sobre la càmera de retransmissió (sense suposar cap cost extra de material)”. “Cal mencionar que cap partit del darrer segle/lustre es van enregistrar sota aquestes condicions, així que aquest mètode podria servir, potencialment, per recuperar les dades de tracking de partits ja disputats”, afegeix.

 

“L'objectiu de la nostra recerca ha estat dissenyar un sistema de seguiment de jugadors en seqüències extretes sobre la càmera de retransmissió (sense suposar cap cost extra de material)”

Un treball que forma part de la recerca doctoral d’Adrià Arbués,  que està sent supervisat per les investigadores Coloma Ballester i Gloria Haro, membres del Grup de Processament d'Imatge (GPI) del Departament de Tecnologies de la Informació i les Comunicacions (DTIC) de la UPF. “En particular, l'àmbit de recerca de la meva tesi és l'aplicació de tècniques de visió per ordinador i deep learning per tal d'analitzar el contingut de vídeos d'esports (de moment, tan sols bàsquet)”. Els autors van publicar la recerca a l'ICAIS 2019: International Conference on Artificial Intelligence in Sports, que va tenir lloc a París aquest darrer juliol,  i van rebre un "Best Paper Award". 

Una recerca aplicada al bàsquet que es basa en tècniques d’aprenentatge profund

Les tècniques d’aprenentatge profund (en anglès, deep learning) com a part d’un conjunt més ampli de mètodes d’aprenentatge automàtic basats en l’assimilació representacions de dades, poden servir per infinitat de coses, com ara classificació o predicció. Anteriorment, dins el món de la imatge, hi ha hagut centenars de bases de dades que han estat introduïdes a una xarxa neuronal artificial -o paradigma del d’aprenentatge i processament automàtic- per dur a terme la tasca en qüestió. Per a aquesta recerca, s'han aprofitat dos models existents: una xarxa OpenPose per a la detecció de persones i la detecció de les seves parts del cos, i una xarxa VGG19 entrenada, a priori, per a la classificació d'imatges. 

Per a aquesta recerca, s'han aprofitat dos models existents de xarxes neuronals: OpenPose per a la detecció de persones i la detecció de les seves parts del cos, i VGG19 entrenada, a priori, per a la classificació d'imatges

“El principal problema a solucionar un cop s'ha fet una segmentació de la pista i s'han detectat els diferents jugadors, és realitzar les assignacions entre fotogrames consecutius: és a dir, quin jugador és quin a mesura que passa el temps”. “Per fer-ho, s'ha reaprofitat la xarxa VGG19, extraient les característiques que aprèn el model en una capa intermèdia; la lògica que segueix aquest raonament és: si la xarxa està entrenada per classificar, vol dir que el model d'intel·ligència artificial està aprenent característiques discriminatòries entre classes, i aquestes es poden arribar a utilitzar per distingir entre diferents jugadors d'una mateixa classe. Un cop la semblança entre jugadors s'ha calculat mitjançant aquestes característiques, s'utilitza un algorisme per minimitzar el cost de les assignacions”, explica Arbués.

Seguint aquesta metodologia, els autors afirmen que “després d'haver anotat més de 10.000 capses sobre els fotogrames originals, es poden extreure resultats mitjançant la comparació entre la posició manualment introduïda i la posició predita pel model implementat. Les deteccions ronden el 95% d'encert, mentre que les assignacions frame a frame tenen una precisió (segons la mètrica de MOTA) del 70% aproximadament, una dada meritòria donat que s'han de seguir fins a 10 jugadors i 3 àrbitres correctament a un "frame rate" baix (si no es disposa de molts recursos)”, continua explicant Arbués.

A l'article també s'hi inclou un estudi amb diverses comparatives sobre què passa si s'afegeixen característiques visuals (color) envers les característiques de deep learning,  o quin és l'efecte d'estabilitzar la seqüència de vídeo, i com varia la precisió depenent de quina capa intermèdia s'utilitzi per a l'extracció de característiques, o quines parts del cos són més discriminatòries, etc.

Pel que fa al futur d’aquest àmbit de recerca, tot i tenir una precisió notable de seguiment de jugadors, aquest treball encara no pot servir als equips per tal d'extreure conclusions de rendiment. “Primer, s'ha de millorar la precisió del mètode, i actualment estem treballant en el re-entrenament d'una altra xarxa canviant els conjunts d'entrenament i els pesos de les diferents capes; després, caldrà fer una conversió de seguiment i transformar els píxels que veiem a pantalla a posicions reals a pista. A llarg termini, seria interessant veure si a partir del contingut de les diferents parts del cos es pot realitzar reconeixement de l'acció o el gest tècnic del jugador/a”, conclou Arbués.

Aquest projecte ha estat possible gràcies a la base de dades de partits de bàsquet proveïda pel F.C. Barcelona, club per al qual Adrià Arbués hi col·labora des del 2017: “l'any passat vaig ser entrenador i aquesta temporada començaré a especialitzar-me tan sols en el camp de ciència de dades”, afirma.

Article de referència:

Adrià Arbués-Sangüesa, Coloma Ballester, Gloria Haro (2019), “Single-Camera Basketball Tracker through Pose and Semantic Feature Fusion”, ICAIS 2019 : International Conference on Artificial Intelligence in Sports, Best Paper Award, Paris (França), juliol.

Ressò mediàtic:

Julián Felipo (2019), “Tras el ‘tracking’ de Michael Jordan”, Mundo Deportivo, 26 de juny.

Multimèdia

Categories:

ODS - Objectius de desenvolupament sostenible:

Els ODS a la UPF

Contact

Per a més informació

Notícia publicada per:

Oficina de Comunicació