Un trabajo publicado por miembros del Music Information Research Lab del grupo de investigación en Tecnología Musical (MTG) del Departamento de Tecnologías de la Información y las Comunicaciones (DTIC) en el Journal of Electrical and Computer Engineering, presenta el desarrollo de una tecnología que separa el sonido correspondiente a los diferentes instrumentos que intervienen en una grabación sonora de orquesta (mezcla).

Este trabajo es parte del proyecto europeo PHENICX, que coordina el MTG de la UPF,  que tiene por objetivo transformar la manera de escuchar la música clásica. Efectivamente, al separar el audio correspondiente a los diferentes instrumentos, los autores han podido implementar aplicaciones interesantes, por ejemplo, poder focalizar la escucha en determinados instrumentos o recrear experiencias del concierto en realidad virtual. 

En este vídeo se puede escuchar primero un fragmento de la Heroica de Beethoven, y acto seguido el mismo fragmento pero separando los diferentes instrumentos

En esta demo del proyecto PHENICX el usuario puede seleccionar los diferentes instrumentos y escucharlos por separado.

En este trabajo, los autores proponen un método de separación de fuentes basado en una técnica de optimización convexa muy empleada, llamada Factorización de Matrices no Negativas (NMF, Non-negative Matrix Factorization).

Como ha comentado Marius Miron, primer autor del trabajo, "esta aproximación mejora si tenemos las grabaciones de la pieza con múltiples micrófonos, si sabemos qué instrumentos tocan en la pieza y si sabemos qué notas tocan cada instrumento. De hecho, cuanta más información tengamos sobre la pieza más podemos restringir nuestro modelo y mejor podemos realizar la separación.

"Para música orquestal sabemos qué instrumentos están tocando, por lo que podemos entrenar modelos tímbricos para cada instrumento. Además, de todas las obras de orquesta tenemos su partitura, lo que nos puede ayudar a mejorar la separación ", añadió.

Además, los autores han querido simular una grabación real para tener control de los factores como la reverberación, la posición de los micrófonos en la sala, el número de instrumentos en una sección de orquesta, etc. "Así podemos diseñar estrategias de evaluación robustas analizando la forma en que todos estos parámetros influyen en la calidad de la separación. Según nos consta, es la primera vez que se propone una base de datos de este tipo para este escenario: música de orquesta ", explica Marius Miron.

PHENICX anecoico, herramienta que evalúa la separación de fuentes de manera objetiva

Para evaluar los algoritmos de separación de fuentes de manera objetiva es necesario disponer de bases de datos donde se tengan, además de la mezcla final, las grabaciones por separado de los instrumentos que se utilizaron para generar la mezcla. Si no se dispusiera de este algoritmo, la única solución para hacer la evaluación sería mediante oyentes humanos, lo cual sería muy costoso y difícilmente replicable.

Por tanto, en este mismo trabajo los autores proponen el uso de PHENICX anecoico, una base de datos que no sólo les ha permitido evaluar su propio sistema, sino que puede ser útil para la investigación futura en este ámbito.

Actualmente, el Music Information Research Lab del MTG está trabajando para que el método desarrollado no dependa tanto de la partitura. Por ello, están trabajando en otros estilos musicales, y están integrando algoritmos avanzados de aprendizaje profundo (deep learning) que pueden utilizarse en un escenario de baja latencia.

Trabajo de referencia: