Reconocer todo tipo de sonidos cotidianos es un campo de investigación emergente con aplicaciones en múltiples ámbitos, desde la descripción automática de contenidos multimedia hasta el desarrollo de aplicaciones en el área de la salud. El Grupo de Investigación en Tecnología Musical (MTG) del Departamento de Tecnologías de la Información y las Comunicaciones (DTIC) de la UPF, a través de Freesound, y Google Machine Perception Team, creadores de AudioSet Ontology, unen esfuerzos para estimular la investigación en el reconocimiento de eventos sonoros. Por este motivo han creado un conjunto de datos de audio en abierto y han organizado una competición internacional de aprendizaje automático. El MTG ha sido galardonado por segunda vez (la primera en 2007) con el premio de Google Faculty Research Award por apoyar esta iniciativa. La Universidad Pompeu Fabra este año ha sido la única universidad española en conseguir este galardón.

MTG ha lanzado la plataforma Freesound Datasets

En Inteligencia Artificial, las necesidades actuales de aprendizaje automático requieren cantidades sustanciales de datos de audio suficientemente fiables. Sin embargo, los conjuntos de datos de audio disponibles sufren deficiencias que limitan la investigación en el reconocimiento de sonido: el tamaño y la disponibilidad. Para solucionar este hecho, el MTG ha lanzado la plataforma Freesound Datasets. El objetivo de esta plataforma es la creación colaborativa de colecciones de audio en acceso abierto, etiquetadas por humanos y basadas en el contenido de Freesound, bajo los principios de transparencia, acceso abierto, carácter dinámico de los conjuntos de datos y sostenibilidad.

La plataforma Freesound Datasets permite crear y explorar conjuntos de datos, datasets, construidos con contenido Freesound y contribuir proporcionando anotaciones. Freesound Datasets también promueve el debate sobre los conjuntos de datos y permite descargar las actualizaciones que van surgiendo en el tiempo. Todos los conjuntos de datos creados a través de la plataforma están en acceso abierto bajo licencia Creative Commons.

FSD, el primer conjunto de datos

El primer conjunto de datos creado a través de Freesound Datasets es el FSD, un conjunto de datos generalistas de gran tamaño que incluye sonidos de Freesound etiquetados con las etiquetas AudioSet Ontology de Google. Una de las características de Freesound es la heterogeneidad de sus sonidos, aportados por miles de usuarios de todo el mundo. "Queríamos que nuestro primer conjunto de datos reflejara esto, por lo que decidimos utilizar AudioSet Ontology, una colección jerárquica de más de 600 clases sonoras de sonidos cotidianos, para anotar sonidos al FSD. Por lo tanto, FSD presenta un gran vocabulario de sonidos cotidianos, que abarca desde sonidos humanos y animales hasta música y los sonidos hechos por las cosas ", manifiesta el equipo que ha desarrollado la plataforma, integrado por Xavier Favory, Eduardo Fonseca, Frederic Font y Jordi Pons, con aportaciones de Andrés Ferraro y Alastair Porter y la supervisión de Xavier Serra, coordinador del MTG.

FSD crecerá con la participación de los usuarios en el proceso de etiquetado. El objetivo actual es tener 100 muestras verificadas por categoría (en las categorías donde esta cantidad está disponible). Este proceso de crowdsourcing se realiza a través de la plataforma Freesound Datasets. "Nuestro objetivo es proporcionar a la comunidad de investigación uno de los conjuntos de datos de audio más grandes y distribuibles, de manera gratuita para el reconocimiento de sonido y las tareas relacionadas", afirman sus creadores.

Resultados de la colaboración del MTG con Google

El equipo de Freesound del MTG ha sido galardonado con el Google Faculty Research Award por apoyar el proyecto Freesound Datasets y la creación de FSD. El primer resultado de esta colaboración es la organización del Freesound General Purpose Audio Tagging Challenge, en el que los participantes construirán sistemas capaces de reconocer 41 categorías de diferentes sonidos cotidianos. El conjunto de datos utilizado para la competición es un pequeño subconjunto de FSD.

"En el futuro tenemos previsto organizar nuevas competiciones con los próximos lanzamientos de FSD. Creemos que, crear conjuntos de datos utilizando enfoques abiertos y colaborativos como los mencionados anteriormente y fomentar la investigación en el reconocimiento de eventos sonoros organizando competiciones de aprendizaje automático,  tendrá un impacto significativo en nuestra comunidad de investigación", afirman los miembros del equipo desarrollador.