Vés enrere La intel·ligència artificial permet reconèixer i avaluar amb gran precisió els moviments d'arc d’un violinista

La intel·ligència artificial permet reconèixer i avaluar amb gran precisió els moviments d'arc d’un violinista

Un sistema desenvolupat per David Dalmazzo i Rafael Ramírez, membres del Grup de Recerca en Tecnologia Musical, permet que els estudiants de violí es beneficiïn d'informació precisa a temps real sobre els seus moviments al tocar l’instrument. Els resultats d'aquest treball s'han publicat al març a la revista Frontiers in Phychology.

21.03.2019

 

En la interpretació musical els gestos són de summa importància, en part perquè estan directament relacionats amb el so i amb l'expressivitat dels músics. Actualment, existeixen tecnologies de captura de moviment que són capaces de detectar els detalls gestuals amb molta precisió.

En un treball publicat aquest mes de març a Frontiers in Psychology, David Dalmazzo i Rafael Ramírez, membres del Music and Machine Learning Lab, del Grup de Recerca en Tecnologia Musical (MTG), del Departament de Tecnologies de la Informació i les Comunicacions (DTIC), de la UPF, apliquen la intel·ligència artificial per a la classificació automàtica de gestos d'arc de violí segons sigui  el moviment de l'intèrpret.

"Vam gravar dades de moviment i àudio corresponents a set tècniques d'arc representatives (Détaché, Martelé, spiccato, Ricochet, Sautillé, Staccato i Bariolage) realitzades per un violinista professional. Vam obtenir informació del moviment inercial des del avantbraç dret i el vam sincronitzar amb enregistraments d'àudio", expliquen Dalmazzo i Ramírez, autors del treball.

Un sistema identifica les tècniques d'arc en la interpretació de violí amb un 94% de precisió

Les dades que han estat emprades en aquest estudi estan disponibles en un repositori públic en línia. Després d'extreure les característiques de la informació relativa al moviment i l'àudio, els investigadors van entrenar un sistema per identificar automàticament les diferents tècniques d'arc en la interpretació del violí. El model pot determinar les diferents tècniques d'interpretació estudiades amb més del 94% de precisió. Els resultats fan possible l'aplicació d'aquest treball a un escenari d'aprenentatge pràctic, en què els estudiants de violí poden beneficiar-se de la retroalimentació proporcionada pel sistema a temps real.

Aquest estudi s'ha realitzat en el marc del projecte TELMI (Technology Enhanced Learning of Musical Instrument Performance). El seu propòsit és investigar com la tecnologia (sensors, dades multimodals, intel·ligència artificial, i sistemes computacionals) poden millorar les pràctiques dels estudiants de música, ajudant-los a concentrar-se en el desenvolupament precís dels bons hàbits, especialment en el moment d'incorporar noves habilitats musicals.

Amb la interpretació del violí com a estudi de cas, un dels objectius principals del projecte és proporcionar als estudiants retroalimentació en temps real sobre la seva realització, així com permetre'ls comparar les seves interpretacions amb les d'experts de primer nivell. "Les nostres troballes ja han estat generalitzats a altres instruments musicals i aplicats en entorns d'educació musical", afegeix Rafael Ramírez, investigador principal del projecte.

Treball de referència:

David Dalmazzo, Rafael Ramírez (2019), “Bowing Gestures Classification in Violin Performance: A Machine Learning Approach”, Frontiers in Phychology, 4 de març, https://doi.org/10.3389/fpsyg.2019.00344

Multimèdia

Categories:

ODS - Objectius de desenvolupament sostenible:

Els ODS a la UPF

Contact