La Universitat Pompeu Fabra (UPF) liderarà un projecte de recerca europeu per fer un gran salt endavant en la manera com interactuem amb els entorns virtuals i revolucionar les fronteres entre el món físic i virtual. El projecte Research on Extended And Layered Multimodalities (REALM) vol generar experiències virtuals accessibles des de diferents dispositius, de manera que els espectadors puguin submergir-se en la història des de l’ordinador, unes ulleres 3D o una tauleta. 

El projecte, de tres anys de durada, busca que la immersió digital no sigui només una experiència visual aïllada, sinó un continu multimèdia present en el nostre dia a dia, independentment del dispositiu que utilitzem. Amb aquest objectiu, rebrà 6,2 milions d’euros del programa Horizon de la UE, procedents de la convocatòria “Core technologies for virtual worlds".

La UPF liderarà el consorci europeu, del qual formen part 10 socis i sòcies del món acadèmic i d’empreses de referència de l'àmbit dels mitjans i de l’entreteniment. Els coordinadors del consorci són els investigadors Boris Bellalta i Ricardo Marques del Departament d’Enginyeria. Bellalta hi coordina el grup de recerca en xarxes sense fils; i Marques, el dedicat a les tecnologies interactives.

Boris Bellalta, director del grup de recerca Wireless Networking de la UPF, explica:  “Amb REALM, volem desenvolupar tecnologies per millorar la sensació d’immersió de l’usuari en entorns virtuals per proporcionar experiències multimodals tan realistes com sigui possible, on es combinin de manera sincronitzada aspectes clau com la visió, el so i el tacte, entre d’altres”.

Ricardo Marques, del grup de recerca Gràfics i Tecnologies Interactives (GTI), afegeix:  “Desenvoluparem noves solucions de síntesi d'imatges fotorealistes basades en models d'aprenentatge automàtic lleugers per donar lloc a experiències visuals més realistes dins d'entorns web multiplataforma de fàcil accés”.

Dissenyar experiències virtuals interactives centrades en l’usuari

A diferència d’altres enfocaments purament tecnològics, REALM es basa en una metodologia centrada en les persones. El projecte es desplegarà a través de tres eixos principals:

• Desenvolupament de noves tecnologies de captura d’imatge: es volen crear tecnologies capaces no només de gravar imatges, sinó també de registrar dades relatives a les textures, temperatures i superfícies, que captin la complexitat del món real.

• Generació d’eines per crear entorns virtuals transformadors: a partir de les dades captades amb les tecnologies mencionades anteriorment, aquestes eines serien capaces de generar entorns virtuals realistes amb què els usuaris podrien interactuar fàcilment.

• Creació de plataformes de distribució de continguts virtuals centrades en les necessitats de les persones: per generar un marc compartit entre diferents dispositius per facilitar la convergència mediàtica i la creació de mons virtuals cross-media. Les plataformes es basarien en tecnologies avançades d’IA generativa, reconstrucció volumètrica, xarxes de comunicació fiables i de baixa latència (amb pocs endarreriments)  i hàptica (o estudi de les percepcions a través del tacte).

Un projecte que vol tenir impacte més enllà de l’entreteniment: experiències virtuals aplicables a indústria i a la sanitat 

Tot i que les indústries creatives seran les primeres beneficiades, REALM neix amb una clara vocació de transferència de coneixement i s’espera que alguns dels seus avenços es puguin aplicar al món industrial, tant en la fabricació de productes com en la formació del personal, o en l’àmbit sanitari. 

El consorci REALM 

El consorci europeu que desenvoluparà el projecte REALM està format per centres de recerca i empreses i organitzacions líders en òptica, fotònica, gràfics 3D, xarxes, hàptica (o estudis de percepció del tacte) o arts immersives. A continuació, es detallen els socis i sòcies del consorci per tipologies. 

Universitats

• Universitat Pompeu Fabra (coordinadora)

• KU Leuven (Bèlgica)

• University of Patras (Grècia)

• Lucerne University of Applied Sciences and Arts (Suïssa)

Subministradors de tecnologia per als mitjans

• Cooke Optics (Regne Unit)

• Brainstorm Multimedia (Espanya)

• EVS Broadcast Systems (Portugal-Bèlgica)

• FilmLight GmbH (Alemanya)

• Alfalite (Espanya)

Companyia de performances artístiques immersives

• CREW (Bèlgica)