Vés enrere Augmentar la nostra comprensió i capacitat creativa musical de la mà de la intel·ligència artificial

Augmentar la nostra comprensió i capacitat creativa musical de la mà de la intel·ligència artificial

És l'objectiu general del projecte que s'ha iniciat l'1 de juny, amb el finançament del Ministeri de Ciència i Innovació del Govern espanyol, de quatre anys de durada i que porten a terme Emilia Gómez, Xavier Serra, Rafael Ramírez i Sergi Jordà, membres del Grup de Recerca en Tecnologia Musical.

02.07.2020

Imatge inicial

Tot i que consumir i escoltar música és realment una de les activitats actualment més esteses i que la música és, de fet, un llenguatge universal que tots gaudeixen, la cultura occidental ens ha fet creure que només un nombre limitat de persones tenen aptituds musicals.

"No obstant això, tots tenim la capacitat bàsica d'escoltar i distingir, interpretar, comprendre, apreciar i respondre a patrons de so, ja que sense aquesta capacitat donada no podria existir una tradició ni un mercat musicals", afirmen els investigadors del projecte Musical AI.

Musical AI és un projecte finançat pel Ministeri de Ciència i Innovació del Govern espanyol, de quatre anys de durada (2020-2024), que s'ha iniciat l'1 de juny. Un projecte multidisciplinari que integra diferents aspectes de l'activitat musical i que es vertebra en quatre àrees de coneixement, cadascuna de les quals liderada per un investigador principal membre del Grup de Recerca en Tecnologia Musical, (MTG), del Departament de Tecnologies de la Informació i les Comunicacions, (DTIC), de la UPF.

Aquest projecte té com a objectiu avançar en una sèrie de temes de recerca relacionats amb grans corpus de música i amb l'aprenentatge automàtic basat en dades, "vam planejar augmentar la nostra comprensió de la música, desenvolupant models i eines basats en intel·ligència artificial per ajudar els oients a obtenir comprensió i apreciació musical, i desenvolupant models basats en intel·ligència artificial per ajudar en l'aprenentatge musical i la creació musical", afegeixen els investigadors principals:

Emilia Gómez, Music Information Research Lab (MIR-Lab)

Xavier Serra, Audio Signal Processing Lab (ASP-Lab)

Rafael Ramírez,  Music and Machine Learning Lab (MML-Lab)

Sergi Jordà, Music and Multimodal Interaction Lab (MMI-Lab)

Intel·ligència híbrida home-màquina

Els éssers humans poden proporcionar anotacions precises del contingut musical, però només poden fer-ho a petita escala i només aquelles persones amb una gran experiència musical. Per contra, els algorismes poden processar grans quantitats de dades, malgrat siguin menys precisos i només puguin proporcionar anotacions de baix nivell.

L'objectiu de la part del projecte que lidera Emilia Gómez, és investigar les millors estratègies per combinar intel·ligència humana i artificial en aplicacions de música basades en dades, i investigar enfocaments centrats en l'ésser humà que puguin usar la intel·ligència artificial per donar suport a les experiències d'escolta de música. "En particular, desenvoluparem models híbrids home-màquina per a l'anotació i descripció de grans col·leccions de música. Incorporarem metodologies de la ciència cognitiva i la interacció home-màquina", descriu Gómez.

Descobriment automàtic de patrons musicals

Un corpus musical creat adequadament, compost per enregistraments d'àudio i metadades que l'acompanyen, pot capturar l'essència musical d'un estil musical. Els motius melòdics són patrons que es poden emprar per capturar aquesta essència. Sobre la base d'aquests supòsits, una altra de les parts del projecte marc que lidera Xavier Serra, s'encarregarà de crear corpus musicals i desenvolupar mètodes de descobriment de patrons per identificar motius melòdics específics d'un estil musical en un corpus.

"L'objectiu d'aquesta part del projecte és desenvolupar enfocaments no supervisats amb els quals descobrir els patrons melòdics rellevants que caracteritzen a diferents entitats musicals (per exemple, artista, compositor, forma, estil, etc.) en els diferents corpus partint de els senyals d'àudio", explica Serra.

Aprenentatge musical millorat per la tecnologia

Aprendre a tocar un instrument musical és una tasca difícil, que requereix el desenvolupament d'habilitats sofisticades. Avui en dia, aquest procés d'aprenentatge es basa principalment en el model mestre-aprenent i les tecnologies poques vegades es fan servir i generalment es limiten a la gravació i reproducció d'àudio i vídeo.

"L'objectiu d'aquest paquet de treball és desenvolupar enfocaments supervisats per descobrir patrons de bones pràctiques d'interpretació musical i utilitzar aquests patrons per proporcionar retroalimentació als estudiants de música mentre practiquen per millorar el procés d'aprenentatge", explica Rafael Ramírez, investigador principal d'aquesta part del projecte.

Amb aquest objectiu, "recopilarem enregistraments de músics experts; desenvoluparem eines de processament de senyals d'àudio i captura de moviment amb un enfocament pedagògic per analitzar aquestes gravacions; aplicarem enfocaments d'aprenentatge automàtic per modelar l'exercici musical,  i desenvoluparem sistemes de retroalimentació en temps real per informar els estudiants de música sobre les seves interpretacions", afegeix Ramírez.

Intel·ligència de la música de màquina per ajudar a la creació de música humana

Finalment, Sergi Jordà, coordina la quarta part del projecte que se centra en la creativitat musical."Tots tenim el potencial i el dret de ser creatius (certament en diferents graus) i tots ens sentim realment orgullosos i recompensats positivament al realitzar tasques creatives, per poc ambiciosos que siguin els seus resultats", sosté Jordà. No obstant això, en la nostra societat, no tots tenim la confiança o l'atreviment d'abordar la creació musical.

Un objectiu principal d'aquest paquet de treball és abordar el punt particular de pèrdua de fisicalitat i presència en la interacció humà-humà i humà-ordinador. Una gran part de la població utilitza diàriament ordinadors portàtils, tauletes i molt especialment telèfons mòbils, especialment els joves. Els continguts més consumits tendeixen a no promoure la creativitat o el pensament crític, i l'ús de dispositius mòbils és comunament perjudicial per a l'atenció de l'usuari, corporalment passiu i addictiu i pot conduir a la desconnexió social entre persones físicament presents en el mateix espai. "Com a contrapartida, creiem que una experiència musical compartida és una bona manera de comprendre i promoure la interacció col·lectiva", afirma Jordà.

Projecte de referència:

Musical AI: Projecte finançat pel Ministeri de Ciència i Innovació de Govern espanyol (Referència: PID2019-111403GB-I00).

Durada: de l'1 de juny de 2020 el 31 de maig de 2024

Investigadors principals: Xavier Serra, Emilia Gómez, Rafael Ramírez, Sergi Jordà

Multimèdia

Categories:

ODS - Objectius de desenvolupament sostenible:

Els ODS a la UPF

Contact

Per a més informació

Notícia publicada per:

Oficina de Comunicació