PHENICX (Febrero 2013-Febrero 2016) es un proyecto financiado por la Comisión Europea dentro del 7º Programa Marco. El consorcio se compone de socios tecnológicos (Universitat Pompeu Fabra, Universidad Tecnológica de Delft, Instituto Austríaco de Investigación en Inteligencia Artificial, Universidad Johannes Kepler de Linz), musicales (Royal Concertgebauw Orquestra Ámsterdam y Escola Superior de Música de Catalunya) y la empresa holandesa Video Dock .

Emilia Gómez, investigadora del Grupo de investigación en Tecnología Musical (MTG) del Departamento de Tecnologías de la Información y las Comunicaciones (DTIC) de la Universitat Pompeu Fabra, es investigadora principal de PHENICX. Ingeniera de Telecomunicaciones (Universidad de Sevilla), músico (Conservatorio Superior de Música de Sevilla) y doctora en Informática y Comunicación Digital (UPF), centra su investigación en la combinación entre el procesado de sonido, la teoría musical y la inteligencia artificial.  

Los miembros del MTG-DTIC involucrados en PHENICX son Alba Rosado (gestión del proyecto) y los investigadores Agustín Martorell, Jordi Janer, Julio J. Carabias, Enric Guaus, Alvaro Sarasúa, Òscar Mayor, Juan J. Bosch,  Marius Miron y Carles Fernández.

- ¿Es PHENICX una manera diferente de disfrutar de la experiencia musical?

Sí, el objetivo principal de PHENICX es crear nuevas experiencias digitales que permitan al público acceder, entender y así disfrutar más de los conciertos. En el proyecto nos centramos en música clásica, en particular repertorio sinfónico, acercándolo a nuevas audiencias de una forma innovadora gracias a la aplicación de la tecnología.

En PHENICX el concierto se transforma en un objeto digital que se complementa con herramientas dirigidas a mejorar la experiencia de la audiencia en la etapa de preparación previa al concierto, durante, y después del evento. En dichos objetos se integran múltiples modalidades de información (audio, vídeo, partitura, texto, gestos, etc.) y capas superpuestas (análisis de la obra, intérpretes, críticas musicales, redes sociales y otros recursos disponibles, por ejemplo, en Internet). Dichos datos pueden ser explorados, personalizados y compartidos fácilmente desde un móvil, una tableta o un ordenador.

- ¿Qué herramientas desarrolladas en el Grupo de Investigación en Tecnología Musical habéis incorporado al proyecto?

En el proyecto nos enfrentamos a los retos que la música sinfónica plantea a las tecnologías actuales de procesado de sonido y música, análisis de video, recuperación de la información, redes sociales, interacción hombre-máquina y personalización de contenidos. En el MTG estamos trabajando principalmente en cuatro áreas de investigación y desarrollo de tecnología. En primer lugar, seguimos desarrollando la plataforma Repovizz  que permite el acceso remoto, interacción y compartición de los datos multimodales que componen los conciertos digitales (grabaciones sonoras, partitura, vídeos o información textual) de manera sincronizada. Aquí podemos ver un vídeo sobre su funcionamiento:

De esta forma nos podemos "conectar" a la información del concierto para, por ejemplo, generar un programa de mano personalizado. En segundo lugar, investigamos y desarrollamos tecnologías de descripción automática y visualización de música. Con ellas el oyente puede visualizar, a la vez que escucha la pieza, diferentes características de la misma que le ayuden a entenderla y disfrutarla mejor: cuál es la melodía predominante, los instrumentos que están tocando en cada momento o la estructura de la pieza, lo cual le puede ayudar a situarse o incluso saber dónde tiene que aplaudir. Se puede ver un ejemplo en este vídeo:

En tercer lugar desarrollamos tecnologías de separación de fuentes que analizan la señal sonora y permiten aislar los diferentes instrumentos de la orquesta o trasladar virtualmente el usuario a diferentes posiciones de la sala de conciertos. Se puede escuchar un ejemplo de dicha tecnología aquí:

Finalmente, investigamos y desarrollamos tecnologías que permiten capturar los gestos del director de orquesta para estudiar los diferentes estilos de dirección y desarrollar herramientas que permitan aprender a dirigir una orquesta de forma virtual. Podemos ver un vídeo aquí.

- ¿Cuál es la principal innovación que incorpora el proyecto PHENICX?

Los elementos más innovadores del proyecto son, en primer lugar, el hecho de poder "integrar" toda la información disponible referente a un concierto de música clásica; enriquecer dicha información mediante técnicas automáticas tales como la descripción y seguimiento de la partitura, el sonido, el vídeo y el gesto; y por último, el hecho de poder personalizar el acceso a dicha información según los intereses, conocimiento previo y necesidades de cada oyente.

Además, el uso de la tecnología en música clásica ya es en sí mismo un hecho innovador que esperamos permita acercar esta música a nuevas audiencias y favorecer la preservación de este patrimonio cultural para su futuro disfrute. 

Por supuesto. Porque a través de las redes sociales podemos conocer los intereses particulares de cada persona y así personalizar la experiencia del concierto o conectar audiencias con los mismos intereses. Además podemos capturar opiniones de los usuarios sobre, por ejemplo, cuáles son los momentos más emotivos del concierto. 

- ¿Qué impresiones tenéis hasta ahora de los usuarios?

Por el momento hemos tenido una respuesta muy positiva a los prototipos que hemos desarrollado, tanto de aficionados a la música clásica, de músicos, como también de personas que no van asiduamente a conciertos de música clásica y a los cuales la tecnología desarrollada les ayuda a acercarse a este repertorio. También las orquestas nos han demostrado su interés en las herramientas que estamos desarrollando como se demostró en la pasada presentación del proyecto en las Jornadas AEOS organizadas por la Fundación BBVA.

- ¿Qué retos os planteáis para un futuro inmediato?

En el proyecto hemos ido descubriendo más aplicaciones que podrían ayudar a mejorar la experiencia "durante" el concierto y que queremos explorar. También nos gustaría poder adaptar las herramientas para que, además de la audiencia, sean útiles a los músicos que interpretan las obras y optimizarlas para otros repertorios.