Desde hace unos años, la mejor liga de baloncesto del mundo, la estadounidense NBA, dispone de unos sistemas complejos de cámaras instalados en todos los pabellones para hacer el seguimiento de todos los jugadores en pista. Estos datos son procesados por los equipos de Ciencia de Datos de cada club, y hacen un análisis exhaustivo para mejorar el rendimiento del equipo mediante la detección de tendencias individualizadas o patrones de comportamiento como grupo (lo que se llama "spacing"). Estos sistemas, ofrecidos por empresas como STATS o Second Spectrum, son extremadamente caros para el presupuesto que tienen los equipos europeos.

Los sistemas complejos de cámaras instalados en los pabellones de la NBA, para hacer el seguimiento de todos los jugadores en pista, es caro para los equipos europeos

Por lo tanto, como explica Adrià Arbués, primer autor del trabajo "Los equipos europeos no disponen todavía de esta tecnología de análisis de datos. El objetivo de nuestra investigación ha sido diseñar un sistema de seguimiento de jugadores en secuencias extraídas sobre la cámara de retransmisión (sin suponer ningún coste extra de material) ". "Cabe mencionar que ningún partido del último siglo / lustro se registró bajo estas condiciones, así que este método podría servir, potencialmente, para recuperar los datos de tracking de partidos ya disputados", añade.

"El objetivo de nuestra investigación ha sido diseñar un sistema de seguimiento de jugadores en secuencias extraídas sobre la cámara de retransmisión (sin suponer ningún coste extra de material)"

Un trabajo que forma parte de la investigación doctoral de Adrià Arbués, que está siendo supervisado por las investigadoras Coloma Ballester y Gloria Haro, miembros del Grupo de Procesamiento de Imagen (GPI) del Departamento de Tecnologías de la Información y las Comunicaciones (DTIC) de la UPF. "En particular, el ámbito de investigación de mi tesis es la aplicación de técnicas de visión por ordenador y deep learning para analizar el contenido de vídeos de deportes (por el momento, tan sólo baloncesto)". Los autores publicaron la investigación en el ICAIS 2019: International Conference on Artificial Intelligence in Sports, que tuvo lugar en París este julio, con la que recibieron un"Best Paper Award".

Una investigación aplicada al baloncesto que se basa en técnicas de aprendizaje profundo

Las técnicas de aprendizaje profundo (en inglés, deep learning) como parte de un conjunto más amplio de métodos de aprendizaje automático basados en la asimilación representaciones de datos, pueden servir para infinidad de cosas, tales como clasificación o predicción. Anteriormente, dentro del mundo de la imagen, ha habido cientos de bases de datos que han sido introducidas en una red neuronal artificial -o paradigma del de aprendizaje y procesamiento automático- para llevar a cabo la tarea en cuestión. Por ello esta investigación, se han aprovechado dos modelos existentes: una red OpenPose para la detección de personas y la detección de sus partes del cuerpo, y una red VGG19 entrenada, a priori, para la clasificación de imágenes.

Para esta investigación, se han aprovechado dos modelos existentes de redes neuronales: OpenPose para la detección de personas y la detección de sus partes del cuerpo, y VGG19 entrenada, a priori, para la clasificación de imágenes

"El principal problema a solucionar una vez se ha hecho una segmentación de la pista y se han detectado los diferentes jugadores, es realizar las asignaciones entre fotogramas consecutivos: es decir, qué jugador es quien a medida que pasa el tiempo". "Para ello, se ha reaprovechado la red VGG19, extrayendo las características que aprende el modelo en una capa intermedia; la lógica que sigue este razonamiento es: si la red está entrenada para clasificar, quiere decir que el modelo de inteligencia artificial está aprendiendo características discriminatorias entre clases, y éstas se pueden llegar a utilizar para distinguir entre diferentes jugadores de una misma clase. Una vez la semejanza entre jugadores ha calculado mediante estas características, se utiliza un algoritmo para minimizar el coste de las asignaciones", explica Arbués.

Siguiendo esta metodología, los autores afirman que "después de haber anotado más de 10.000 cajas sobre los fotogramas originales, se pueden extraer resultados mediante la comparación entre la posición manualmente introducida y la posición predicha por el modelo implementado. Las detecciones rondan el 95% de acierto, mientras que las asignaciones frame a frame tienen una precisión (según la métrica de MOTA) del 70% aproximadamente, un dato meritoria dado que se deben seguir hasta 10 jugadores y 3 árbitros correctamente a un "frame rate" bajo (si no se dispone de muchos recursos)", continúa explicando Arbués.

En el artículo también se incluye un estudio con varias comparativas sobre qué ocurre si se añaden características visuales (color) hacia las características de deep learning, o cuál es el efecto de estabilizar la secuencia de vídeo, y cómo varía la precisión dependiendo de qué capa intermedia se utilice para la extracción de características, o qué partes del cuerpo son más discriminatorias, etc.

En cuanto al futuro de este ámbito de investigación, a pesar de tener una precisión notable de seguimiento de jugadores, este trabajo aún no puede servir a los equipos con el fin de extraer conclusiones de rendimiento. "Primero, hay que mejorar la precisión del método, y actualmente estamos trabajando en el re-entrenamiento de otra red cambiando los conjuntos de entrenamiento y los pesos de las diferentes capas; después, habrá que hacer una conversión de seguimiento y transformar los píxeles que vemos en pantalla a posiciones reales en pista. A largo plazo, sería interesante ver si a partir del contenido de las diferentes partes del cuerpo se puede realizar reconocimiento de la acción o el gesto técnico del jugador/a", concluye Arbués.

Este proyecto ha sido posible gracias a la base de datos de partidos de baloncesto provista por el FC Barcelona, club con el que Adrià Arbués colabora desde 2017: "el año pasado fui entrenador y esta temporada empezaré a especializarme tan sólo en el campo de ciencia de datos", afirma.

Artículo de referencia:

Adrià Arbués-Sangüesa, Coloma Ballester, Gloria Haro (2019), “Single-Camera Basketball Tracker through Pose and Semantic Feature Fusion", ICAIS 2019: International Conference on Artificial Intelligence in Sports, Best Paper Award, Paris (Francia), julio.

Eco mediático:

Julián Felipo (2019), “Tras el ‘tracking’ de Michael Jordan”, Mundo Deportivo, 26 de junio.