La Universidad Pompeu Fabra (UPF) liderará un proyecto de investigación europeo para dar un gran salto adelante en la forma con la que interactuamos con los entornos virtuales y revolucionar las fronteras entre el mundo físico y virtual. El proyecto Research on Extended And Layered Multimodalities (REALM) quiere generar experiencias virtuales accesibles desde distintos dispositivos, de modo que los espectadores puedan sumergirse en la historia desde el ordenador, unas gafas 3D o una tableta.

El proyecto, de tres años de duración, busca que la inmersión digital no sea solo una experiencia visual aislada, sino un continuo multimedia presente en nuestro día a día, independientemente del dispositivo que utilicemos. Con este objetivo, recibirá 6,2 millones de euros del programa Horizon de la UE, procedentes de la convocatoria “Core technologies for virtual worlds".

La UPF liderará el consorcio europeo, del cual forman parte 10 socios y socias del mundo académico y de empresas de referencia del ámbito de los medios y del entretenimiento. Los coordinadores del consorcio son los investigadores Boris Bellalta y Ricardo Marques del Departamento de Ingeniería. Bellalta coordina el grupo de investigación en redes inalámbricas; y Marques, el dedicado a las tecnologías interactivas.

Boris Bellalta, director del grupo de investigación Wireless Networking de la UPF, explica: “Con REALM, queremos desarrollar tecnologías para mejorar la sensación de inmersión del usuario en entornos virtuales para proporcionar experiencias multimodales lo más realistas posible, donde se combinen de manera sincronizada aspectos clave como la visión, el sonido y el tacto, entre otros”.

Ricardo Marques, del grupo de investigación Gráficos y Tecnologías Interactivas (GTI), añade: "Desarrollaremos nuevas soluciones de síntesis de imágenes fotorealistas basadas en modelos de aprendizaje automático ligeros para dar lugar a experiencias visuales más realistas dentro de entornos web multiplataforma de fácil acceso".

Diseñar experiencias virtuales interactivas centradas en el usuario

A diferencia de otros enfoques puramente tecnológicos, REALM se basa en una metodología centrada en las personas. El proyecto se desplegará a través de tres ejes principales:

• Desarrollo de nuevas tecnologías de captura de imagen: se quieren crear tecnologías capaces no solo de grabar imágenes, sino también de registrar datos relativos a las texturas, temperaturas y superficies, que capten la complejidad del mundo real.
• Generación de herramientas para crear entornos virtuales transformadores: a partir de los datos captados con las tecnologías anteriormente mencionadas, estas herramientas serían capaces de generar entornos virtuales realistas con los que los usuarios podrían interactuar fácilmente.
• Creación de plataformas de distribución de contenidos virtuales centradas en las necesidades de las personas: para generar un marco compartido entre distintos dispositivos para facilitar la convergencia mediática y la creación de mundos virtuales cross-media. Las plataformas se basarían en tecnologías avanzadas de IA generativa, reconstrucción volumétrica, redes de comunicación fiables y de baja latencia (con pocos atrasos) y háptica (o estudio de las percepciones a través del tacto).

Un proyecto que quiere tener impacto más allá del entretenimiento: experiencias virtuales aplicables a la industria y a la sanidad

Aunque las industrias creativas serán las primeras beneficiarias, REALM nace con una clara vocación de transferencia de conocimiento y se espera que algunos de sus avances puedan aplicarse al mundo industrial, tanto en la fabricación de productos como en la formación del personal, o en el ámbito sanitario.

El consorcio REALM

El consorcio europeo que desarrollará el proyecto REALM está formado por centros de investigación y empresas y organizaciones líderes en óptica, fotónica, gráficos 3D, redes, háptica (o estudios de percepción del tacto) o artes inmersivas. A continuación, se detallan los socios y socias del consorcio por tipologías.

Universidades

• Universidad Pompeu Fabra (coordinadora)
• KU Leuven (Bélgica)
• University of Patras (Grecia)
• Lucerne University of Applied Sciences and Arts (Suiza)

Suministradores de tecnología para los medios

• Cooke Optics (Reino Unido)
• Brainstorm Multimedia (España)
• EVS Broadcast Systems (Portugal-Bélgica)
• FilmLight GmbH (Alemania)
• Alfalite (España)

Compañía de performances artísticas inmersivas

• CREW (Bélgica)