La UPF coordinará el proyecto europeo Emerald para desarrollar aplicaciones de la inteligencia artificial (IA) para hacer más eficientes los procesos productivos de los medios de comunicación digital, el sector audiovisual y el entretenimiento digital, así como para reducir su nivel de consumo energético. Ante el fuerte aumento de la producción de contenidos audiovisuales y de realidad aumentada de los últimos años, el proyecto Emerald quiere contribuir a hacer más sostenibles estos sectores.

La coordinación del consorcio interdisciplinario que impulsa el proyecto Emerald, integrado por 6 partners europeos además de la UPF, corre a cargo de Josep Blat y Coloma Ballester. Blat y Ballester son los coordinadores de los grupos de investigación GTI (Interactive Technologies Group) y IMVA (Intelligent Multimodal Vision Analysis Group), respectivamente, ambos del Departamento de Tecnologías de la Información y las Comunicaciones (DTIC) de la UPF.

También forman parte del consorcio de Emerald la BBC británica, el Trinity College de Dublín y cuatro empresas suministradoras de las tecnologías necesarias para desarrollar los productos mediáticos o audiovisuales (Brainstorm Multimedia, Disguise Systems, Filmlight GmbH y MOG Technologies).

El programa Horizon de la Unión Europea ha concedido a principios de este mes de marzo 3,1 millones de euros para desarrollar el proyecto Emerald, que investigará y desarrollará aplicaciones de la IA, a partir de tecnologías de Machine Learning (aprendizaje automático), para el sector mediático y audiovisual. El desarrollo del proyecto, de 2 años y medio de duración, se iniciará el próximo mes de octubre.

Emerald repensará los procesos productivos del sector mediático y audiovisual para automatizarlos y hacerlos más eficientes y sostenibles y aumentar su calidad

El coordinador del GTI (DTIC-UPF), Josep Blat, resume así los motivos que han llevado a impulsar el proyecto Emerald: “El cine, la televisión, las series... consumen muchísima energía, tanto en la creación como en el consumo de productos audiovisuales, y la Inteligencia Artificial, basada en procesar muchísimos datos, también representa un alto gasto de energía. Hay que repensarlo. Esto es lo que hará el proyecto, generar herramientas más sostenibles para estos sectores, así como herramientas para medir el gasto energético en los diferentes procesos.”

Por su parte, Coloma Ballester, la coordinadora de la IMVA, asegura: “las industrias de los medios digitales, donde se procesan y postprocesan volúmenes inmensos de datos digitales, se beneficiarán de la investigación y transferencia e incorporarán la inteligencia artificial, para automatizar sus herramientas y procesos, mientras se aumenta la calidad del contenido digital y a la vez se aumenta la velocidad de producción y se reduce la demanda de energía y recursos”.

Líneas de actuación de Emerald para aplicar la IA al sector mediático y audiovisual

Con esta finalidad, el proyecto trabajará con diferentes objetivos. Por un lado, promoverá la automatización de los procesos productivos, para ahorrar tiempos y recursos a los medios de comunicación o los productores de contenidos audiovisuales o de entretenimiento. Por otro lado, desarrollará aplicaciones de aprendizaje automático, a partir de la IA, para facilitar el tratamiento de datos en las industrias del sector o mejorar y optimizar la calidad de los contenidos digitales y audiovisuales. También se trabajará para fomentar el ahorro y la eficiencia energética en estos sectores. Para monitorizar los resultados, se creará un banco de pruebas para medir y calcular la energía empleada por medios e industrias del sector.

¿Qué herramientas desarrollará Emerald para mejorar la sostenibilidad de estos sectores?

El proyecto desarrollará algoritmos, técnicas y herramientas para automatizar y hacer más sostenibles tareas específicas del proceso productivo mediático y audiovisual. Algunas de ellas servirán para mejorar y optimizar el proceso de edición y postproducción de video, por ejemplo para hacer la edición por capas (video matting), para corregir la luz y el color de las películas o productos audiovisuales después de su montaje y para reducir el ancho de banda y la energía necesaria para almacenarlos y procesarlos en la nube.

Otras herramientas, más relacionadas con la difusión de informaciones periodísticas, servirán para extraer datos de noticias concretas o sintetizar o modificar sus contenidos. Además, se crearán dispositivos de baja potencia para el análisis de contenidos y nuevas herramientas más sostenibles para la retransmisión de noticias.

Otras tecnologías estarán más vinculadas a la información deportiva. Se desarrollarán técnicas que aplican la IA para el análisis de contenidos informativos y audiovisuales de carácter deportivo, además de mejorar las técnicas de visión computacional que permiten estimar la posición de personas u objetivos a tiempo real durante las retransmisiones audiovisuales en directo. Por otro lado, se creará un formato de servidor web capaz de enriquecer automáticamente los denominados metadatos (descriptores de otros datos) en contenidos digitales y audiovisuales del mundo del deporte, así como para mejorar las retransmisiones vía streaming. Otras herramientas que quiere desarrollar el proyecto están vinculadas a la aplicación de la IA en el mundo de la animación y en el ámbito de la realidad virtual y de la realidad aumentada.

Emerald también se plantea desarrollar prototipos de las herramientas diseñadas para hacer demostraciones, que puedan incentivar su posterior desarrollo por parte otras empresas del sector y su futura entrada en el mercado.

Los socios europeos del consorcio interdisciplinario Emerald

La UPF, a través de los grupos de investigación GTI y IMVA (DTIC-UPF)

La UPF coordina el consorcio impulsor del proyecto Emerald, a través de los grupos de investigación GTI (Grupo de Tecnologías Interactivas) y IMVA (Intelligent Multimodal Vision Analysis Group, antes IPCV), ambos del Departamento de Tecnologías de la Información y la Comunicación (DTIC) de la Universidad. El GTI se centra en los aspectos humanos de la tecnología, especialmente para incentivar y mejorar el uso social de las TIC y desarrollar proyectos relacionados con los sistemas interactivos, los gráficos 3D interactivos en línea, el acceso a la realidad aumentada en el ámbito de la información, la inclusión digital, la expresividad de los avatares o los juegos didácticos. Por su parte, el IMVA centra su investigación en el análisis y la comprensión de información visual, a menudo a partir de modalidades diversas más allá de la visión, como la información de audio, el lenguaje natural y, incluso, el ultrasonido o la resonancia magnética. El grupo desarrolla tanto propuestas basadas en modelos como basadas en el aprendizaje automático, cosa que conduce a tecnologías que aprovechan las correlaciones y el carácter complementario de diferentes modalidades, que se aplican a mejorar la accesibilidad de personas con dificultades de visión, audición o lectura, a los contenidos multimedia o a optimizar procesos de edición y postproducción de video, entre otras finalidades.

Trinity College de Dublín (Irlanda)

El Trinity College de Dublín, universidad con más de 4 siglos de histórica, es la mejor posicionada de Irlanda a los rankings europeos e internacionales de calidad docente e innovación. Cuenta con tres facultades diferentes, la de Ciencia, Tecnología, Ingeniería y Matemáticas, la dedicada a las Artes, las Humanidades y las Ciencias Sociales y la de las Ciencias de la Salud.

BBC

La British Broadcasting Corporation (BBC) es la radiotelevisión pública del Reino Unido. Ocupa una posición de liderazgo de los medios públicos y tradicionalmente ha destacado por su modelo de imparcialidad e independencia y por su producción de contenidos de calidad, educativos y de entretenimiento para millones de personas en el Reino Unido y en todo el mundo.

Brainstorm Multimedia

Brainstorm, con sede en Valencia y Madrid, es una empresa especializada en gráficos 3D en tiempo real y soluciones de plató virtual, líderes mundiales en la industria para la transmisión, la producción de largometrajes y presentaciones corporativas.

Disguise Systems Limited

Disguise (Reino Unido) es un proveedor global de soluciones de visualización de acontecimientos en directo, especializado en la prestación de software, hardware y servicios de apoyo que permiten a los equipos creativos de producción visualizar, simular y ofrecer sus espectáculos en 3D en tiempo real.

Filmlight GmbH

FilmLight desarrolla aplicaciones de procesamiento de imágenes y herramientas para facilitar los flujos de trabajo audiovisual, que están transformando la postproducción de películas y videos y estableciendo nuevos estándares de calidad, fiabilidad y rendimiento.

MOG Technologies

MOG Technologies, empresa portuguesa, es un proveedor mundial de tecnología de medios digitales. Ofrece soluciones innovadoras que permiten la transformación digital de cualquier industria que necesite crear, gestionar y distribuir contenido en línea.