El consorcio internacional de investigación MAX-R, liderado por la Universidad Pompeu Fabra (UPF), ha desarrollado una veintena de tecnologías punteras a escala internacional para producir y retransmitir contenidos audiovisuales con realidad extendida (XR). Algunas de las herramientas desarrolladas permiten diseñar contenidos de XR con movimientos corporales, haciendo uso de gafas de realidad virtual y mandos en las manos. La BBC es uno de los integrantes del consorcio y ya ha empezado a implementar algunas de las tecnologías resultados del proyecto, concretamente la retransmisión de actos en directo en el metaverso, facilitando una experiencia inmersiva desde cualquier lugar del mundo.

La realidad extendida (XR) es un concepto que agrupa la realidad aumentada (AR), la virtual (VR) y la mixta (MR). La VR permite simular una experiencia dentro de un entorno artificial, mientras que el AR permite complementar un entorno real con recursos digitales superpuestos. Por último, la MR, no sólo combina elementos digitales y virtuales, sino que permite que estos interaccionen. Actualmente, muchos contenidos de entretenimiento e informativos incorporan ya la XR, pero MAX-R se ha situado al frente de esta revolución tecnológica, con la creación de una amplia gama de herramientas para generar contenidos de XR de máxima calidad a tiempo real, con mayor eficiencia y potencial de interactividad que las disponibles hasta ahora.

El proyecto europeo MAX-R (Mixed Augmented and Extended Reality Media Pipeline) ha sido desarrollado durante los dos últimos años y medio por un consorcio integral formado por 11 instituciones y empresas punteras del ámbito tecnológico, creativo y mediático (ver listado completo al final). Con esta finalidad, ha contado con un presupuesto de 11 millones de euros, 9 de los cuales financiados por el programa Horizon Europe de la UE. También ha contribuido a su financiación Innovate UK.

Por parte de la UPF, líder del consorcio, han participado dos grupos de investigación del Departamento de Ingeniería: Interactive Technologies Group (GTI) y Wireless Networking (WN). Josep Blat, director del grupo de investigación GTI, explica: "MAX-R ha mejorado sustancialmente la eficiencia e integración de las tecnologías de producción virtual para cine, televisión y eventos, ya que permite que los efectos visuales digitales se integren en el mismo proceso de la grabación -por ejemplo, sobre pantallas LED- con la intervención de actores, presentadores o cantantes. Así, se integran todos los elementos de forma más natural y hay importantes ahorros en la postproducción”.

Boris Bellalta, director del grupo de investigación WN, añade: “Hemos desarrollado un conjunto de herramientas capaces de ajustar dinámicamente la cantidad de datos que se intercambian entre la red y las gafas, principalmente imágenes en tiempo real y datos de movimiento o acciones del usuario. Aunque un mayor intercambio de datos permite mejorar tanto la calidad de los contenidos proyectados como la sensación de inmersión, la capacidad de la red —que puede variar de forma imprevista— limita a menudo su rendimiento. Por eso, las herramientas desarrolladas permiten detectar estos cambios y adaptar el volumen de datos transmitido para garantizar la máxima calidad posible”.

Herramientas para vivir experiencias que combinen eventos reales y virtuales

Las tecnologías resultantes del proyecto pueden aplicarse en diversos campos como la creación audiovisual y el diseño gráfico, los medios de comunicación, los videojuegos interactivos o las experiencias inmersivas, entre otros. Además de las mencionadas anteriormente, se han creado herramientas que permiten la retransmisión de eventos online en los que pueden participar e interactuar miles de personas a la vez; o aplicaciones de móvil para generar elementos de realidad virtual a partir de objetos reales. Además, se han creado herramientas para que un periodista pueda presentar un evento sin estar físicamente (teletransportado).

En el campo de los videojuegos interactivos, se han desarrollado tecnologías de streaming optimizadas para compartir contenidos de realidad aumentada en tiempo real entre varios jugadores en entornos Wi-Fi. Otras herramientas permiten racionalizar y hacer más efectiva la producción de contenidos de XR, minimizando los recursos energéticos y económicos invertidos. Por último, se han ideado herramientas punteras para mejorar la composición lumínica en tiempo real y la gradación de color de las producciones audiovisuales.

Algunas herramientas ya se han incorporado en cortos y programas de entretenimiento

Algunas de las tecnologías desarrolladas por el proyecto ya se están utilizando actualmente en programas informativos y de entretenimiento. Por ejemplo, para crear las imágenes del robot del corto de animación SURVIVOR, se grabaron actores reales en acción para digitalizar sus movimientos. Los datos capturados de sus movimientos sirvieron para animar al robot de forma realista. El proceso de grabación corrió a cargo de la escuela de cine alemana Filmakademie Baden-Württemberg, uno de los socios del consorcio MAX-R. Asimismo, el programa sobre música de videojuegos The Sound of Gaming de Radio 3, del grupo de la BBC, ha incorporado experiencias virtuales rompedoras en alguna de sus ediciones.

La amplia gama de herramientas desarrollada por el consorcio MAX-R está basada en APIs (interfaces de software) de código abierto, que facilitarán su integración en otras aplicaciones.

11 socios líderes en tecnología, producción mediática y audiovisual

En función de su área de experiencia, los 11 miembros del consorcio se han focalizado en diferentes tipologías de herramientas, como se indica a continuación.

• UPF (coordinador del consorcio, España): el grupo de investigación GTI se ha especializado en la creación de herramientas de código abierto para generar contenidos de realidad aumentada. Por otra parte, el grupo de investigación WN se ha dedicado a perfeccionar los sistemas de streaming para compartir contenidos de realidad virtual entre varias personas, especialmente usuarios de videojuegos interactivos.
• Disguise (Reino Unido): producción de herramientas de realidad extendida con criterios de racionalizado y eficiencia.
• Foundry (Reino Unido): creación de efectos visuales en tiempo real y metadatos.
• FilmLight (Reino Unido): gradación de color en tiempo real.
• Brainstorm (España): producción virtual integrada.
• ARRI (Alemania): producción eficiente a través de metadatos confiables y procesos de trabajo integra dos.
• Improbable (Reino Unido): eventos masivos interactivos.
• BBC (Reino Unido): streaming de eventos inmersivos y en directo
• Filmakademie Baden-Württemberg(Alemania): kit de herramientas para generar contenidos de realidad extendida de código abierto.
• Hasselt University (Bélgica): streaming y seguimiento de contenidos de realidad extendida avanzada.
• CREW (Bélgica): performances con realidad extendida participativas en áreas de gran alcance.

Muchas de las herramientas creadas continuarán evolucionando y perfeccionándose, a partir del trabajo colaborativo de los socios del consorcio, que se mantendrá más allá de la finalización del proyecto.

Vídeo que muestra el proceso de creación de diseños 3D de realidad extendida con la herramienta Rooms creada per la UPF:

Video de resumen de las herramientas desarrolladas por MAX-R: