Un treball publicat per membres del Music Information Research Lab del grup de Recerca en Tecnologia Musical (MTG) del Departament de Tecnologies de la Informació i les Comunicacions (DTIC) al Journal of Electrical and Computer Engineering, presenta el desenvolupament d’una tecnologia que separa el so corresponent als diferents instruments que intervenen en una gravació sonora d'orquestra (mescla). Aquest treball és part del projecte europeu PHENICX, que coordina el grup MTG de la UPF,  que té per objectiu transformar la manera d'escoltar la música clàssica. Efectivament, en poder separar l'àudio corresponent als diferents instruments els autors han pogut implementar aplicacions interessants, per exemple, el poder focalitzar la nostra escolta en determinats instruments o recrear experiències del concert en realitat virtual.

En aquest vídeo es pot escoltar primer un fragment de l ‘Heroica de  Ludwig van Beethoven, i tot seguit el mateix fragment però separant els diferents instruments

En aquesta demo del projecte PHENICX l’usuari pot seleccionar els diferents instruments i escoltar-los per separat.

En aquest treball, els autors proposen un mètode de separació de fonts basat en una tècnica d’optimització convexa molt emprada,  anomenada Factorització de Matrius no Negatives (NMF, Non-negative Matrix Factorization).

Com ha comentat Marius Miron, primer autor del treball, “aquesta aproximació millora si tenim els enregistraments de la peça amb múltiples micròfons, si sabem quins instruments toquen en la peça i si sabem quines notes toquen cada instrument. De fet, com més informació tinguem sobre la peça més podem restringir el nostre model i millor podem realitzar la separació.

“Per a música orquestral sabem quins instruments estan tocant, pel que podem entrenar models tímbrics per a cada instrument. A més, de totes les obres d'orquestra tenim la seva partitura, la qual cosa ens pot ajudar a millorar la separació”, ha afegit.

A més, els autors han volgut simular un enregistrament real per tenir control dels factors com la reverberació, la posició dels micròfons a la sala, el nombre d'instruments en una secció d'orquestra, etc. “Així podem dissenyar estratègies d'avaluació robustes analitzant la manera com tots aquests paràmetres influeixen en la qualitat de la separació. Segons ens consta, és la primera vegada que es proposa una base de dades d'aquest tipus per a aquest escenari: música d'orquestra”, ha explicat Marius Miron.

PHENICX anecoic, eina que avalua la separació de fonts de manera objectiva

Per avaluar els algorismes de separació de fonts de manera objectiva cal disposar de bases de dades on es tinguin,  a més de la barreja final,  les gravacions per separat dels instruments que es van utilitzar per generar la barreja. Si no es disposés d’aquest algorisme, l’única solució per fer l’avaluació seria mitjançant oients humans, la qual cosa seria molt costosa i difícilment replicable.

Per tant,  en aquest mateix treball els autors proposen l’ús de PHENICX anecoic , una base de dades que no només els ha permès avaluar el seu propi sistema, sinó que pot ser útil per a la recerca futura en aquest àmbit.

Actualment, el Music Information Research Lab del MTG està treballant per a què el mètode desenvolupat no depengui tant de la partitura. Per això, estan treballant en altres estils musicals, i estan integrant algorismes avançats d’aprenentatge profund (deep learning) que poden utilitzar-se en un escenari de baixa latència.

Treball de referència: