En la interpretación musical los gestos son de suma importancia, en parte porque están directamente relacionados con el sonido y la expresividad de los músicos. Actualmente, existen tecnologías de captura de movimiento que son capaces de detectar los detalles gestuales con mucha precisión.

En un trabajo publicado este mes de marzo en Frontiers in Psychology, David Dalmazzo y Rafael Ramírez, miembros del Music and Machine Learning Lab, del Grupo de Investigación en Tecnología Musical (MTG) del Departamento de Tecnologías de la Información y las Comunicaciones (DTIC) de la UPF, aplican  la inteligencia artificial para la clasificación automática de gestos de arco de violín basado en el movimiento del intérprete.

“Grabamos datos de movimiento y audio correspondientes a siete técnicas de arco representativas (Détaché, Martelé, Spiccato, Ricochet, Sautillé, Staccato y Bariolage) realizadas por un violinista profesional. Obtuvimos información del movimiento inercial desde el antebrazo derecho y lo sincronizamos con grabaciones de audio”, explican Dalmazzo y Ramírez, autores del trabajo.

Un sistema identifica las técnicas de arco en la interpretación de violín con un 94 % de precisión

Los datos que han sido usados en este estudio están disponibles en un repositorio público en línea. Después de extraer las características de la información relativa al movimiento y al audio, los investigadores entrenaron un sistema para identificar automáticamente las diferentes técnicas de arco en la interpretación del violín. El modelo puede determinar las diferentes técnicas de interpretación estudiadas con más del 94% de precisión. Los resultados hacen posible la aplicación de este trabajo a un escenario de aprendizaje práctico, donde los estudiantes de violín pueden beneficiarse de la retroalimentación proporcionada por el sistema a tiempo real.

Este estudio se ha realizado en el marco del proyecto TELMI (Technology Enhanced Learning of Musical Instrument Performance). Su propósito es investigar cómo la tecnología (sensores, datos multimodales, inteligencia artificial, y sistemas computacionales) pueden mejorar las prácticas de los estudiantes de música, ayudándoles a concentrarse en el desarrollo preciso de los buenos hábitos, especialmente en el momento de incorporar nuevas habilidades musicales.

Con la interpretación del violín como estudio de caso, uno de los objetivos principales del proyecto es proporcionar a los estudiantes retroalimentación en tiempo real sobre su tarea, así como permitirles comparar sus interpretaciones con las de expertos de primer nivel. “Nuestros hallazgos ya han sido generalizados a otros instrumentos musicales y aplicados en entornos de educación musical”, añade Rafael Ramírez, investigador principal del proyecto.

Trabajo de referencia:

David Dalmazzo, Rafael Ramírez (2019), “Bowing Gestures Classification in Violin Performance: A Machine Learning Approach”, Frontiers in Phychology, 4 de marzo, https://doi.org/10.3389/fpsyg.2019.00344