Vés enrere Entrevista a Emilia Gómez: "PHENICX representa una nova manera d'experimentar un concert de música clàssica"

Entrevista a Emilia Gómez: "PHENICX representa una nova manera d'experimentar un concert de música clàssica"

Membre del grup de recerca en Tecnologia Musical i del Departament de Tecnologies de la Informació i les Comunicacions, és investigadora principal de PHENICX, un projecte format per set socis europeus i que està finançat per la Comissió Europea dins del Setè Programa Marc.
18.12.2014

 

PHENICX (Febrer 2013-febrer 2016) és un projecte finançat per la Comissió Europea dins del 7è. Programa Marc. El consorci està format per socis tecnològics (Universitat Pompeu Fabra, Universitat Tecnològica de Delft, Institut Austríac d'Investigació en Intel·ligència Artificial, Universitat Johannes Kepler de Linz), musicals (Royal Concertgebauw Orquestra Amsterdam i Escola Superior de Música de Catalunya) i l'empresa holandesa Video Dock.

Foto de grup dels membre del projecte Emilia Gómez, investigadora del grup de recerca en Tecnologia Musical (MTG) del Departament de Tecnologies de la Informació i les Comunicacions (DTIC) de la Universitat Pompeu Fabra, és investigadora principal de PHENICX. Enginyera de Telecomunicacions (Universitat de Sevilla), músic (Conservatori Superior de Música de Sevilla) i doctora en Informàtica i Comunicació Digital (UPF), centra la seva recerca en la combinació entre el processament de so, la teoria musical i la intel·ligència artificial.

Els membres del MTG-DTIC involucrats a PHENICX són Alba Rosado (gestió del projecte) i els investigadors Agustín Martorell, Jordi Janer, Julio J. Carabias, Enric Guaus, Álvaro Sarasúa, Òscar Major, Juan J. Bosch, Marius Miron i Carles Fernández

- És PHENICX una manera diferent de gaudir de l'experiència musical?

Sí, l'objectiu principal de PHENICX és crear noves experiències digitals que permetin al públic accedir, entendre i així gaudir més dels concerts. En el projecte ens centrem en música clàssica, en particular repertori simfònic, apropant-lo a noves audiències d'una forma innovadora gràcies a l'aplicació de la tecnologia.

Amb PHENICX el concert es transforma en un objecte digital que es complementa amb eines dirigides a millorar l'experiència de l'audiència en l'etapa de preparació prèvia al concert, durant, i després de l'esdeveniment. En aquests objectes s'integren múltiples modalitats d'informació (àudio, vídeo, partitura, text, gestos, etc.) i capes superposades (ex. anàlisi de l'obra, intèrprets, crítiques musicals, xarxes socials i altres recursos disponibles, per exemple, a Internet). Aquestes dades poden ser explorades, personalitzades i compartides fàcilment des d'un mòbil, una tauleta o un ordinador.

- Quines eines desenvolupades en el Grup de Recerca en Tecnologia Musical heu incorporat al projecte?

En el projecte ens enfrontem als reptes que la música simfònica planteja a les tecnologies actuals de processament de so i música, anàlisi de vídeo, recuperació de la informació, xarxes socials, interacció home-màquina i personalització de continguts. A l'MTG estem treballant, principalment, en quatre àrees d'investigació i desenvolupament de tecnologia. En primer lloc, seguim desenvolupant la plataforma Repovizz que permet l'accés remot, interacció i compartició de les dades multimodals que formen els concerts digitals (enregistraments sonors, partitures, vídeos o informació textual) de manera sincronitzada. Aquí podem veure un vídeo sobre el seu funcionament:


D'aquesta manera ens podem "connectar" a la informació del concert, per exemple, per generar un programa de mà personalitzat. En segon lloc, investiguem i desenvolupem tecnologies de descripció automàtica i visualització de música. Amb elles l'oient pot visualitzar, alhora que escolta la peça, diferents característiques de la mateixa que l'ajudin a entendre-la i a gaudir-la millor: quina és la melodia predominant, els instruments que estan tocant en cada moment o l'estructura de la peça, la qual cosa pot ajudar-la a situar o, fins i tot, saber on ha d'aplaudir. Es pot veure un exemple en aquest vídeo:

En tercer lloc desenvolupem tecnologies de separació de fonts que analitzen el senyal sonor i permeten aïllar els diferents instruments de l'orquestra o traslladar virtualment l'usuari a diferents posicions de la sala de concerts. Es pot escoltar un exemple d'aquesta tecnologia aquí:

Finalment, investiguem i desenvolupem tecnologies que permeten capturar els gestos del director d'orquestra per estudiar els diferents estils de direcció i desenvolupar eines que permetin aprendre a dirigir una orquestra de forma virtual. En podem veure un exemple a través del vídeo.


- Quina és la principal innovació que incorpora el projecte PHENICX?


Els elements més innovadors del projecte són, en primer lloc, el fet de poder "integrar" tota la informació disponible referent a un concert de música clàssica; enriquir aquesta informació mitjançant tècniques automàtiques, com ara la descripció i seguiment de la partitura, el so, el vídeo i el gest; i finalment, el fet de poder personalitzar l'accés a aquesta informació segons els interessos, coneixement previ i necessitats de cada oient. A més a més, l'ús de la tecnologia en música clàssica ja és en si mateix un fet innovador que esperem permeti apropar aquesta música a noves audiències i afavorir la preservació d'aquest patrimoni cultural per al seu futur gaudi.

- Han ajudat les xarxes socials a connectar amb l'audiència?

Per descomptat. Perquè a través de les xarxes socials podem conèixer els interessos particulars de cada persona i així personalitzar l'experiència del concert o connectar audiències amb els mateixos interessos. A més,  podem capturar opinions dels usuaris sobre, per exemple, quins són els moments més emotius del concert.

- Quines impressions teniu fins ara dels usuaris?

De moment hem tingut una resposta molt positiva als prototips que hem desenvolupat, tant d'aficionats a la música clàssica, de músics, com també de persones que no van sovint a concerts de música clàssica i als quals la tecnologia desenvolupada els ajuda a acostar-se a aquest repertori.

També les orquestres ens han demostrat el seu interès en les eines que estem desenvolupant com es va demostrar en la passada presentació del projecte a les Jornades AEOS organitzades per la Fundació BBVA.

- Quins reptes us plantegeu per al futur immediat?

En el projecte hem anat descobrint més aplicacions que podrien ajudar a millorar l'experiència "durant" el concert i que volem explorar. També ens agradaria poder adaptar les eines perquè, a banda de l'audiència, siguin útils als músics que interpreten les obres i s'optimitzin per a altres repertoris. 

Multimèdia

Categories:

ODS - Objectius de desenvolupament sostenible:

Els ODS a la UPF

Contact