Sergi Jordà, con una dilatada experiencia en la investigación sobre tecnología musical, forma parte del grupo de investigación Music Technology Group (MTG) del Departamento de Tecnologías de la Información y la Comunicación (DTIC) de la UPF. En este grupo de investigación, dirige el laboratorio de Interacción Musical y Multimodal (MMI), especializado en tecnologías musicales interactivas y sus aplicaciones en ámbitos como la educación o en la creación de música colectiva.

En un contexto de impacto creciente de la inteligencia artificial (IA) en el mundo de la creación, y también específicamente en el sector de la música, el MTG ha realizado durante el último año lo proyecto “Retos y Oportunidades en tecnología musical”. Durante este proyecto, se ha consultado a expertos de diferentes sectores (artistas y creadores, empresarios, investigadores, juristas…) sobre el posible impacto de la IA y otras tecnologías emergentes en la creación, distribución, aprendizaje y escucha de música. Las conclusiones de este proyecto han sido el punto de partida de esta entrevista.

Durante los últimos meses, ha crecido el debate social sobre las diferentes aplicaciones de la inteligencia artificial, pero se ha hablado menos de su impacto en el mundo de la música que en otros ámbitos, como la generación de textos o de imágenes. ¿Cómo valoras el impacto actual de la inteligencia artificial en el ámbito musical y como podría evolucionar de cara al futuro?

Es cierto que, durante los últimos meses, ha estallado el debate sobre la inteligencia artificial, aunque este no es un tema nuevo, sino que viene de una tendencia de hace 7 o 8 años, que ha ido creciendo cada vez más rápido. En el campo de la música, ya preveíamos hace un año que esto empezaría a coger fuerza. Lo que sí es cierto es que, igual que ha pasado con el ChatGPT, incluso los expertos se han quedado sorprendidos. No nos esperábamos que las cosas fueran tan rápidas como en los últimos meses.

Cada semana hay novedades. En el campo de la música, ya estamos llegando al punto en el que nos encontrábamos hace unos seis meses con la generación de texto e imagen. En diciembre, la generación de música a partir de texto, para entendernos, lo que se puede hacer con Dall-e o Stable Diffusion en el campo de la imagen, era una cosa muy primitiva. Desde enero, a pesar de que el sistema todavía no es público, hay una demo de Google, MusicLM, para generar música a partir de texto. Tú le das una descripción textual, como por ejemplo “canción reggae de ritmo lento, con bajo, batería y guitarra eléctrica, y voces relajadas y expresivas” y el sistema te hace una canción. Es cierto que aún hay pocas herramientas para que los usuarios las puedan usar en casa, pero yo creo que tardaremos muy poco en tener muchas.

Mi percepción es que la industria cambiará muchísimo, veremos cambios radicales, tanto en la manera de crear como de consumir música, debidos a la inteligencia artificial.

En este contexto, el grupo de investigación sobre tecnología musical del que formas parte (MTG) empezó el año pasado un proyecto para diagnosticar los retos y oportunidades que plantea la inteligencia artificial en este ámbito. ¿Cuáles han sido sus principales objetivos?

Empezamos este proyecto con la intención de tener ciertos criterios, de no hacer una investigación solo guiada por las posibilidades técnicas, sino más orientada a criterios sociales, humanos, artísticos... El proyecto tuvo diversas fases. Primero, pedimos a 80 expertos, a través de formularios con diferentes tipos de preguntas, su opinión sobre diferentes ámbitos relacionados con la música, como la generación, la escucha, la educación... Después, procesamos toda esta información y seleccionamos unos cuántos de estos expertos para mantener entrevistas por videoconferencia. Finalmente, como tercera fase, en diciembre pasado, organizamos dos mesa redondas, una primera dedicada a la creación con inteligencia artificial y otra a la escucha con inteligencia artificial.

Con estas diferentes fases, queríamos tener una visión más clara de lo que estaba pasando, hacia donde podíamos ir y que podríamos hacer y darlo a conocer a todo el mundo.

 “La industria tal como lo entendemos, la industria musical, tiene 100 años, pero la música tiene más de 40.000. Por lo tanto, el lado positivo es que, pase lo que pase, pienso que la música seguirá existiendo!

Este proyecto de diagnosis ha finalizado recientemente. ¿A qué conclusiones habéis llegado en cuanto a las principales oportunidades que plantea la inteligencia artificial en el ámbito musical?

La inteligencia artificial puede ser una herramienta para promover y para incentivar la creatividad o puede ser también, y este es el lado oscuro, una herramienta para suplantar la creatividad. Evidentemente, los dos aspectos son muy opuestos. Pero, igual que vimos las posibilidades, yo creo que también hay que hablar de los problemas, de los riesgos con los que nos encontraremos.

Es muy difícil saber hacia dónde se encaminará la industria y los cambios que se producirán en los próximos años. Pero, con alguna cosa, soy optimista. Con la industria, no sé demasiado bien qué pasará, pero la industria tampoco ha sido eterna. La industria, tal como lo entendemos, la industria musical, tiene 100 años, pero la música tiene más de 40.000. Por lo tanto, el lado positivo es que, pase lo que pase, ¡pienso que la música seguirá existiendo!

“Si la inteligencia artificial aprende de la gran cantidad de música popular dominante, hará más del mismo estilo y, por lo tanto, la producción será cada vez más homogénea”

¿Cuáles son los principales riesgos que puede comportar la inteligencia artificial en el mundo de la música?

Los riesgos de la inteligencia artificial en el mundo de la música son enormes, en dos grandes aspectos: riesgos para los creadores y riesgos para la misma música.

Los riesgos para los creadores significan que los creadores artesanos, los que no tienen un gran nombre o viven de encargos, verán mucho más difícil la supervivencia. Es más fácil encargar una música apretando un botón que pagando a alguien para que te la haga.

Hay otros riesgos para la música en sí misma. Dado que la inteligencia artificial tiende a producir aquello que ha aprendido, la tendencia es más bien a hacer más de lo mismo. Esto, ¿qué impacto puede tener? Si la inteligencia artificial aprende de la gran cantidad de música popular dominante, hará más del mismo estilo y, por lo tanto, la producción tenderá a ser cada vez más homogénea.

“La democratización de herramientas tecnológicas ha producido que, en los últimos tiempos, más gente pueda hacer música y la inteligencia artificial podría ser la última herramienta para ello”

Pero si la inteligencia artificial tiende a reproducir los estilos musicales ya existentes, ¿por qué consideráis que puede potenciar la creatividad? ¿De qué manera puede contribuir a hacerlo?

La democratización de herramientas tecnológicas ha producido que, en los últimos tiempos, más gente pueda hacer música y la inteligencia artificial podría ser la última herramienta para ello. Es decir, puede facilitar que todo el mundo, en lugar de ser meramente consumidor, sea creador, no necesariamente creador para vivir de ello, sino para hacer cosas con sus ideas. En este sentido, la inteligencia artificial puede ser una herramienta muy valiosa.

Así pues, ¿tendemos hacia un escenario en el que músicos y máquinas crearán música conjuntamente?

De hecho, como herramienta promotora de la creatividad, la inteligencia artificial podría ciertamente promover la creación colectiva y, por colectiva, podemos entender la que se hace entre diferentes personas, que podrían están tanto colocalizadas como distribuidas, con un sistema supervisado por inteligencia artificial, o evidentemente entre personas y máquinas. Es decir, todas las posibilidades que se abren en este sentido son enormes, y plantean retos superinteresantes.

Me gustaría pensar, por ejemplo, en aplicaciones para que los niños o los no tanto niños -para que todo el mundo- pudieran hacer música con gestos, con gestualidad, que pudieran dirigir una orquestra, que pudieran crear una sinfonía bailando o dirigiendo, haciendo ver que dirigen. Esto sería una cosa que a mí me encantaría.

La inteligencia artificial podría recuperar un poco el concepto de música popular previo a la industria. La industria de la música, tal como lo entendemos hoy, no es un concepto “de toda la vida”, sino que empieza hacia el año 1930 con la venta de grabaciones, lo que supuso un gran cambio en la producción y la forma con que se consumía música. Antes de esto, “música popular” era sobre todo música hecha no para el pueblo sino por el pueblo. Y la inteligencia artificial podría tener un impacto para recuperar esta creatividad popular.

 “La inteligencia artificial podría recuperar un poco el concepto de música popular previo a la industria”

El grupo de investigación del cual formas parte, el MTG, lleva más de 30 años investigando sobre las relaciones entre música y tecnología. ¿De qué manera el bagaje acumulado por el MGT le sirve ahora para hacer frente a los retos que implica la inteligencia artificial en este ámbito?

A lo largo de estas tres décadas, hemos trabajando en muchos aspectos. Empezamos trabajando en síntesis, análisis y procesamiento de sonido, en herramientas para la creación... También hemos trabajado durante más de 20 años en un campo muy amplio denominado music information retrieval, que ha tenido muchas aplicaciones en la identificación de canciones, en la separación de pistas... Es una tecnología que se utiliza sobre todo en sistemas de recomendación. Pero el caso es que, desde hace unos 6 años, en todos los ámbitos relacionados con la tecnología musical, igual que en casi todas las ingenierías y la ciencia, se utilizan técnicas de inteligencia artificial. Independientemente del área en la que trabajes, en sistemas de educación, en sistemas de reconocimiento musical..., el 100% o el 90% de las técnicas utilizadas son de inteligencia artificial, y más en particular, de las denominadas redes neuronales y de aprendizaje profundo.

¿Qué finalidades tienen las investigaciones sobre música y tecnología en las que estáis aplicando técnicas de inteligencia artificial?

Por ejemplo, estamos trabajando en proyectos de educación musical con inteligencia artificial, para crear herramientas que ayuden a los instrumentistas a mejorar su técnica con su práctica diaria. También estamos trabajando con herramientas que faciliten sus actuaciones en directo, que los complementen, que les den ideas... Por ejemplo, estamos haciendo un proyecto con Raül Refree, con quien estamos desarrollando baterías inteligentes, de forma que puedan acompañar a otros músicos. Esto es una posibilidad para alguien que no pueda tener un batería.

Durante mucho de tiempo, también hemos sido los expertos mundiales de síntesis de voz cantada. Igual que hablamos por teléfono con contestadores automáticos que nos dicen cosas, pero los contestadores no cantan, los sistemas de síntesis de voz cantada se convierten en cantantes virtuales. Otro campo en el que trabajamos son los sistemas de recomendación e identificación musicales. Realmente, la inteligencia artificial está presente en casi todos los proyectos en que trabajamos actualmente.

Vuestras investigaciones sobre la aplicación de tecnologías musicales en diferentes ámbitos tienen una perspectiva interdisciplinaria. ¿A qué áreas de conocimiento corresponden los expertos con quienes colaboráis más habitualmente?

Trabajamos con educadores, trabajamos con expertos en neurociencia, hemos hecho trabajos con profesionales de la musicoterapia o con profesionales sanitarios para investigar las posibilidades de la música en el tratamiento del Alzheimer. En particular, el bienestar es un aspecto que nos interesa mucho. Escuchar música está demostrado que va muy bien para muchas cosas. En este sentido, una idea de futuro seria desarrollar escuchas terapéuticas y escuchar músicas personalizadas, o que hubieran sido hechas para nuestra escucha en un preciso instante.

¿Cómo trabajáis para transferir el conocimiento y las conclusiones de vuestros proyectos de investigación a la industria de la tecnología musical?

Nuestro grupo de investigación está especialmente interesado en la transferencia de tecnología. Desde nuestro grupo, han surgido algunos proyectos de startups o spinoffs de tecnología musical. Una de ellas es Voctrolabs (adquirida a finales de 2022 por la startup Voicemod), una spinoff que surgió de una tecnología de síntesis de voz cantada que se desarrolló inicialmente con Yamaha. Desde este proyecto, se llegó a producir un personaje virtual de anime, Hatsune Miku, que se hizo famosísima en Japón. Otra spinoff que nació del grupo de investigación fue Reactable que, durante más de una década, se dedicó al desarrollo de aplicaciones de música electrónica.

A la vez, nos interesa que las empresas vengan a nosotros a pedirnos colaboraciones, y también a la inversa. Desarrollamos API (aplicaciones de interfaz que hacen de intermediarias entre dos sistemas de tecnología musical) que pueden ser utilizadas por la industria musical y tenemos diferentes modelos de licencia. Nos interesan todas las posibilidades de interacción con la industria.

“Igual que, cuando en la moda surgió el prêt-à-porter, la ropa hecha a mano adquirió un valor especial, es posible que las máquinas hagan de todo y ‘lo diseñado por humanos’ se convierta en una etiqueta de prestigio o de lujo. ‘¡ Esto lo ha diseñado un humano!’ “

La industria musical cada vez producirá más música con inteligencia artificial, según las conclusiones del proyecto de diagnosis que acabáis de finalizar. ¿La música generada por máquinas podrá provocarnos las mismas emociones, sentimientos... que la hecha por humanos?

Hay gente que piensa la inteligencia artificial no nos emocionará nunca como un humano. Yo aquí tengo mis dudas, aunque, personalmente, yo soy de los que llora escuchando música y, a menudo, es escuchando música cantada, porque es realmente la más esencial. Todavía se nota en la música actual cuando las voces son 100% humanas, cuando un instrumento es tocado por un humano..., pero, en cuanto a la producción y la composición, el 90% de la música producida actualmente tiene muchas máquinas detrás.

En este sentido, pienso que la música compuesta 100% artificialmente puede ser tanto o más emocionante que el 90% de la música producida por humanos. El 10% restante lo reservo para la excepción, para los casos en los que estas voces nos pueden emocionar más, como me pasa a mí... Pero, si hablamos de la música de consumo, yo diría que la inteligencia artificial lo tiene muy fácil para llegar a emocionar igual. Por lo tanto, la gente que dice no, nunca nos emocionaremos ante una máquina, creo que se está equivocando y que, dentro de poco, esto no tendrá ninguna importancia. Es decir, no nos preocupará si esto lo ha hecho una máquina o no y lo consumiremos igual.

Igual que, cuando en la moda surgió el prêt-à-porter, la ropa hecha a mano adquirió un valor especial, es posible que las máquinas hagan de todo y “lo diseñado por humanos” se convierta en una etiqueta de prestigio o de lujo. ¡Esto lo ha diseñado un humano! Pero yo creo que la tendencia que vendrá es que nos adaptaremos y consumiremos música producida por inteligencia artificial sin ningún prejuicio.

Entre los retos que plantea la inteligencia artificial a la industria musical, también está la necesidad de repensar el concepto actual de derechos de autor. ¿Qué hay que tener en cuenta para hacerlo?

Este es un debate que no tiene una rápida solución. Preguntamos sobre el tema a muchos usuarios y a muchos expertos a través de la encuesta que hicimos, pero no hay una respuesta sencilla ni única. Lo que es evidente es que la legislación tendrá que adaptarse a la inteligencia artificial. Los derechos de autor no han existido siempre en la historia. Es un concepto relativamente nuevo que tiene 150 años y tendrá que cambiar.

En los últimos dos meses, este tema ya ha generado controversia. Por ejemplo, en abril, se hicieron nuevos videoclips de artistas de hip hop clonándoles las voces sin pedirles al permiso. Pero, si no se quejan las grandes empresas, habrá poco impacto. De hecho, las grandes empresas como Warner ya se empiezan a quejar por el hecho de que haya sistemas de inteligencia artificial que se estén entrenando con música que es propiedad suya. Que las grandes empresas se estén empezando a quejar por este tema indica que realmente están en juego muchas cosas.

“Los centros de investigación y las universidades públicas tienen que encontrar sitios en los que poder aportar, tienen que encontrar grietas, para que la investigación tenga sentido y no esté dominada o monopolizada por las 3 o 4 grandes empresas de IA que tenemos en este momento”

Más allá del impacto de la inteligencia artificial en la industria musical y el concepto de derechos de autor, ¿qué dificultades os surgen para investigar en este ámbito?

Uno de los problemas del estado actual de la inteligencia artificial es que requiere datasets inmensos que no están al alcance de todo el mundo. Cuando digo todo el mundo, no me refiero a un usuario normal. No están al alcance de la mayoría de centros de investigación, porque estos datasets no son públicos y no tenemos derecho a utilizarlos. Otra cuestión, menos evidente, es que se requiere de una potencia de cálculo inimaginable para trabajar con estos datos. Resulta difícil imaginar la energía que consumen los proyectos que están sacando adelante Google o OpenAI.

La investigación actual en inteligencia artificial requiere, en suma, de volúmenes de datos y de una potencia de cálculo que están más allá de las posibilidades de la mayoría de universidades del mundo. Por lo tanto, los centros de investigación y las universidades públicas tienen que encontrar sitios en los que poder aportar, tienen que encontrar grietas, para que la investigación tenga sentido y no esté dominada o monopolizada por las 3 o 4 grandes empresas de IA que tenemos en este momento.

También hay que tener en cuenta que, si bien con la inteligencia artificial se consiguen resultados mejores, desde el punto de vista estrictamente científico, también tiene inconvenientes. La inteligencia artificial tiende a explicar poco los resultados, tiende a ser más opaca en cuanto a la investigación. La inteligencia artificial se preocupa del output. El proceso intermedio es un poco... una caja negra.

“Haremos un concierto donde la inteligencia artificial será el leitmotiv de todos los artistas”

Próximamente, el grupo de investigación sobre tecnología musical (MTG) de la UPF participará en el +RAIN Film Fest, el primer festival europeo de cine con inteligencia artificial que se celebrará en el campus del Poblenou de la UPF el 14 de junio. ¿Qué papel jugará la música en el festival?

El +Rain Film Fest, que tendrá lugar en este campus del Poblenou el próximo 14 de junio, el día anterior al Sónar, incluye varias secciones, todas relacionadas con la creación y la inteligencia artificial. Habrá una primera parte de debate sobre este tema, RESEARCH, sobre la creación con inteligencia artificial. Habrá un festival de películas específicamente realizadas con IA y habrá una última parte, el LIVE, donde habrá conciertos con diferentes artistas de Japón, del Reino Unido, locales... que trabajan con la inteligencia artificial de diferentes maneras. Haremos un concierto donde la inteligencia artificial será el leitmotiv de todos los artistas.

*Las conclusiones del proyecto “Retos y Oportunidades en tecnología musical” se exponen en el artículo “Cómo convivirá la IA con la música humana? El futuro ha llegado” de Karma Peiró.