PHENICX, un projecte del 7è Programa Marc de la Comissió Europea coordinat per Emilia Gómez, investigadora del Grup de Recerca en Tecnologia Musical (MTG) dl Departament de Tecnologies de la Informació i les Comunicacions (DTIC) de la UPF, ha tingut com a missió crear noves experiències digitals per enriquir l'experiència d'un concert de música clàssica (abans, durant i després del propi concert) des de diferents àmbits, amb la finalitat d'apropar la música clàssica a noves audiències d'una manera innovadora i a través de la tecnologia.

"Una de les aplicacions que van investigar en el context posterior a un concert van ser un tipus d'instal·lacions en què l'usuari pren el paper de director d'orquestra, de manera que amb els seus moviments "dirigeix" una orquestra virtual. Aquest tipus d'instal·lacions han tingut èxit en llocs com ara la House of Music de Viena", comenta Álvaro  Sarasúa, primer autor d'un treball publicat el 25 de febrer a la revista Frontiers in Digital Humanities, dirigit per Emilia Gómez, tots dos membres del MTG de la UPF, conjuntament amb Julián Urbano, investigador de la Universitat Tecnològica de Delft (Holanda).

Els autors van emprar la metàfora de director d'orquestra

En la interacció home-ordinador, les metàfores d'interfície proporcionen als usuaris una manera d'interactuar amb la màquina que s'assembla a una activitat coneguda i que són àmpliament utilitzades en instruments musicals digitals. En aquest estudi els autors van utilitzar la metàfora de director d'orquestra. El interès en utilitzar aquestes metàfores és perquè l'usuari pot aplicar en un nou context virtual (en aquest cas, una instal·lació en què a controlarà el tempo i la dinàmica a la que toca una orquestra) el seu coneixement o les seves intuïcions prèvies sobre com funciona determinada activitat del món real (en aquest cas, la direcció d’una orquestra).

Les conclusions d'aquest treball són particularment rellevants en contextos on es dissenya una interacció a partir de l'ús de metàfores d'interfície

"Des del punt de vista de recerca, en aquest treball el nostre interès va ser determinar de quina manera les nocions intuïtives de què disposen els usuaris d'aquest tipus d'instal·lacions poden ser explícitament utilitzades pel sistema per respondre als seus gestos de direcció d'orquestra d'una manera més intuïtiva i, per tant, pugui facilitar una interpretació més expressiva", comenta  Sarasúa.

En les fases inicials del projecte, els investigadors van dur a terme estudis observacionals on van demanar a persones amb diferent formació musical que escoltessin diversos fragments de música clàssica i a continuació efectuessin, mentre sonava de nou la música, els moviments que ells haurien realitzat dirigint una orquestra per comunicar diversos aspectes de la mateixa com ara el tempo i la intensitat. Es van gravar els moviments dels participants mitjançant una càmera Kinect, la qual va registrar la posició de diversos punts del cos.

En les persones es podien observar diferents tendències interpretatives

L'anàlisi d'aquestes dades va revelar que en les persones es podien observar diferents tendències. D'una banda, per comunicar el tempo de la música, hi havia persones que de manera consistent comunicaven la pulsació amb cert avançament sobre la pulsació de la música, mentre que altres ho feien en total sincronia o amb cert retard. Pel que fa a la dinàmica amb la qual tocaven els instruments, algunes persones tendien a fer moviments més enèrgics a les parts forte,mentre que altres simplement elevaven més els braços.

A partir d'aquestes observacions, "la nostra hipòtesi de partida per a aquest treball va ser que un sistema que permet controlar el tempo i volum d'una peça musical mitjançant moviments que imiten els d'un director pot resultar més intuïtiva si és capaç d'adaptar-se a aquestes tendències personals", explica  Sarasúa

"En l'exemple del nostre experiment, hi ha un avantatge “implícita” en usar la metàfora, en tant que en dir-li a l'usuari que ha de “dirigir” l'orquestra ja sap que haurà de moure els seus braços i té una intuïció sobre que podrà controlar el tempo i la dinàmica.

Mitjançant el sistema proposat, aquesta millora és a més “explícita”, en tant que el sistema observa i analitza allò que l'usuari intueix que ha de fer i s'adapta per funcionar d'acord a aquestes intuïcions"

Els autors es refereixen a aquesta estratègia com de Mapeig mitjançant observació, atès que el mapatge, o la manera en què els moviments de l'usuari es connecten a la música resultant, s'adapta específicament per a cada usuari observant el que fa quan se li demana que realitzi moviments imitant un director d'orquestra sense donar cap instrucció concreta.

Es van comparar dos sistemes en base a mesures objectives i subjectives

En l'avaluació del sistema, els investigadors van comptar amb 24 participants que van actuar, en primer lloc amb un sistema base que no s'adaptava a cada usuari i després amb el sistema basat en l'estratègia de mapatge, i es van comparar els resultats. Aquesta comparació es va realitzar en un context en què l'usuari aprenia a “dirigir” l'orquestra virtual mitjançant la pràctica. Els dos sistemes es van comparar en base a mesures objectives i subjectives sobre una sèrie tasques en les quals els participants havien de fer que l'orquestra fos tocant a diferents volums i fer-ho en sincronia amb un metrònom a diferents tempos.

La usabilitat del sistema personalitzat és millor

Els resultats de l'experiment han mostrat que la usabilitat del sistema personalitzat és millor, tant en termes de proveir un control més intuïtiu de la dinàmica amb la qual l'usuari toca l'orquestra, com en termes de tenir un control més precís sobre el tempo. Així mateix, els resultats mostren també una forta correlació entre les mesures que es poden extreure de les dades utilitzades per realitzar l'adaptació i la millora introduïda pel sistema, la qual cosa indica que és possible estimar per endavant fins a quin punt els moviments espontanis d'un usuari en particular seran realment útils per adaptar el sistema al seu estil.

Les conclusions d'aquest treball són particularment rellevants en contextos on es dissenya una interacció a partir de l'ús de metàfores, com en aquest cas és la del director d'orquestra. "En l'exemple del nostre experiment, hi ha un avantatge “implícita” en usar la metàfora, en tant que en dir-li a l'usuari que ha de “dirigir” l'orquestra ja sap que haurà de moure els seus braços i té una intuïció sobre que podrà controlar el tempo i la dinàmica. Mitjançant el sistema proposat, aquesta millora és a més “explícita”, en tant que el sistema observa i analitza allò que l'usuari intueix que ha de fer i s'adapta per funcionar d'acord a aquestes intuïcions", conclouen els autors.

Treball de referència:

Álvaro  Sarasúa, Julián Urbano, Emilia Gómez (2019), "Mapping by Observation: Building a User-Tailored Conducting System From Spontaneous Movements", Frontiers in Digital Humanities, 25 de febrer, vol. 6, 3, https://doi.org/10.3389/fdigh.2019.00003