Vés enrere La primera plataforma de crowdsourcing de descripció musical demana el suport ciutadà per estudiar l’aplicació d'IA en aquest àmbit

La primera plataforma de crowdsourcing de descripció musical demana el suport ciutadà per estudiar l’aplicació d'IA en aquest àmbit

Investigadors del camp de la Intel·ligència Artificial (IA) de la Queen Mary University of London i de la UPF estan construint una base de dades que permetrà el desenvolupament de millors eines de descripció musical, però necessiten l'ajuda dels aficionats a la música per fer-ho.

18.04.2023

Imatge inicial

Song Describer és una plataforma col·laborativa perquè les persones escriguin descripcions de música sota llicència Creative Commons, cosa que permetrà crear una base de dades oberta de música amb descripció del llenguatge natural. A mesura que la base de dades creixi, servirà per donar suport  als equips de recerca que investiguen les aplicacions de la intel·ligència artificial en aquest camp, per al desenvolupament de sistemes que combinin el llenguatge natural i el processament d'àudio per generar llegendes musicals automàticament, entre d’altres finalitats.

A través de Song Describer, investigadors del C4DM (Centre for Digital Music) de la Queen Mary of London i del Music Technology Group (MTG) del Departament de Tecnologies de la Informació i les Comunicacions (DTIC) de la UPF estan facilitant la recopilació de descripcions textuals de diferents cançons, on s’explica i valora el seu gènere o to, les emocions evocades per la melodia o els instruments que empra, entre d’altres aspectes.

Aquesta base de dades pública, de més de 10.000 peces de música amb les seves descripcions corresponents, podrà ser utilitzada per la comunitat científica per desenvolupar, formar i validar models d'intel·ligència artificial en el camp de la descripció musical.

Song Describer és una plataforma de crowdsourcing oberta a qualsevol persona interessada a col·laborar-hi, sense que sigui necessari que tingui coneixements musicals especialitzats. Els investigadors demanen a la ciutadania que col·labori amb el projecte escrivint noves descripcions de cançons en anglès a la plataforma. Hi ha premis disponibles per als col·laboradors més actius. Al voltant de 100 persones hi han inclòs les seves descripcions de cançons fins ara.

Per participar, cal seguir senzillament aquests tres passos:

  1. S’ha de crear un perfil que inclogui l'edat, la ubicació i el nivell d'interès en la música de cadascú (sense les dades personals). Aquesta informació pot ajudar els investigadors a valorar com els factors culturals afecten la forma en què les persones descriuen les cançons.
  2. Després, caldrà seguir les instruccions de la plataforma, escoltar cançons i escriure les descripcions corresponents.
  3. Finalment, s’hauran d’avaluar les descripcions fetes per d’altres participants i indicar si es consideren vàlides o no i puntuar-les de l'1 al 5. Això s'utilitza per al control de qualitat, de manera que, si moltes persones invaliden una descripció o li donen una puntuació molt baixa, el sistema la descarta.

Ilaria Manco, investigadora del doctorat en intel·ligència artificial i música a la Queen Mary University of London, assegura: "El camp de la investigació de la música i el llenguatge està creixent ràpidament, però trobar bases de dades obertes que serveixin per donar suport al treball de recerca en aquest camp continua sent un repte. Per això, vam decidir crear Song Describer, una plataforma de crowdsourcing de codi obert amb què qualsevol persona pot contribuir a la construcció d'un corpus de músiques aparellades amb les seves descripcions en llenguatge natural. Esperem que les dades recollides amb la nostra plataforma ajudin a desenvolupar nous models d'àudio-llenguatge per a la música i que ens permeten avaluar-los amb més detall”.

Dmitry Bogdanov, investigador del projecte al Music Technology Group (al DTIC de la UPF) afegeix: “Volem estudiar la relació entre l'àudio i aquestes descripcions textuals i com la gent caracteritza la música verbalment, per desenvolupar models d'aprenentatge automàtic que generin llegendes musicals per a qualsevol cançó”. Pel que fa als usos d'aquests sistemes, Bogdanov explica: "Per a molts usuaris, les llegendes musicals poden ser útils per navegar per les col·leccions de música d'una manera innovadora i més intuïtiva. D'una banda, la gent podrà buscar música a través de les descripcions textuals generades automàticament, i, d'altra banda, podrà fer consultes textuals directament utilitzant el llenguatge natural, per exemple, escrivint en un motor de cerca busca balades lentes amb guitarres i veus profundes”.

Sobre el Grup de Recerca C4DM a la Queen Mary University of London

El Centre de Música Digital C4DM de la Universitat Queen Mary de Londres és un grup de recerca multidisciplinària en el camp de la música i la tecnologia d'àudio. Des que els seus membres fundadors es van unir a la Universitat Queen Mary el 2001, el Centre ha crescut fins a convertir-se en el principal grup de recerca de música digital del Regne Unit. La QML, membre del prestigiós Russell Group, és una universitat de recerca intensiva que connecta ments de tot el món. Treballa en els camps de les humanitats i les ciències socials, la medicina i l'odontologia, la ciència i l'enginyeria.  La història de la QML es remunta al 1785 i es basa en quatre institucions històriques (el London Hospital Medical College, St Bartholomew's Medical College, Westfield College i Queen Mary College), amb la visió compartida de donar oportunitats als grups socials més vulnerables.

Sobre el Music Technology Group del DTIC de la UPF

El Music Technology Group (MTG) forma part del Departament de Tecnologies de la Informació i les Comunicacions (DTIC) de la UPF. Es dedica a la investigació de la tecnologia musical, incloent temes com el processament de senyals d'àudio, la recuperació d'informació musical, interfícies musicals i musicologia computacional.A més de participar al projecte Song Describer, el Music Technology Group també va fomentar la creació del lloc web Freesound, una base de dades col·laborativa i diversa de sons d’àudio sota llicència Creative Commons, en col·laboració amb la Fundació Phonos, també ubicada al campus del Poblenou de la Universitat.

Multimèdia

Categories:

ODS - Objectius de desenvolupament sostenible:

09. Indústria, innovació i infraestructures
Els ODS a la UPF

Contact

Per a més informació

Notícia publicada per:

Oficina de Comunicació