El consorci internacional de recerca MAX-R, liderat per la Universitat Pompeu Fabra UPF), ha desenvolupat una vintena de tecnologies punteres a escala internacional per produir i retransmetre continguts audiovisuals amb realitat estesa (XR). Algunes de les eines desenvolupades permeten dissenyar continguts de XR amb moviments corporals, fent ús d’ulleres de realitat virtual i comandaments a les mans. La BBC és un dels integrants del consorci i ja ha començat a implementar algunes de les tecnologies resultats del projecte, concretament la retransmissió d’actes en directe al metavers, facilitant una experiència immersiva des de qualsevol lloc del món.

La realitat estesa (XR) és un concepte que agrupa la realitat augmentada (AR), la virtual (VR) i la mixta (MR). La VR permet simular una experiència dins d’un entorn artificial, mentre que l’AR permet complementar un entorn real amb recursos digitals superposats. Finalment, la MR, no només combina elements digitals i virtuals, sinó que permet que aquests interaccionin. Actualment, molts continguts d’entreteniment i informatius ja incorporen la XR, però MAX-R s’ha situat al capdavant d’aquesta revolució tecnològica, amb la creació d’una àmplia gama d’eines per generar continguts de XR de màxima qualitat a temps real, amb major eficiència i potencial d’interactivitat que les disponibles fins ara.

El projecte europeu MAX-R (Mixed Augmented and Extended Reality Media Pipeline) ha estat desenvolupat durant els darrers dos anys i mig per un consorci integral format per 11 institucions i empreses punteres de l’àmbit tecnològic, creatiu i mediàtic (veure llistat complet al final). Amb aquesta finalitat, ha comptat amb un pressupost d’11 milions d’euros, 9 dels quals finançats pel programa Horizon Europe de la UE. També ha contribuït al seu finançament Innovate UK.

Per part de la UPF, líder del consorci, hi han participat dos grups de recerca del Departament d’Enginyeria: Interactive Technologies Group (GTI) i Wireless Networking (WN). Josep Blat, director del grup de recerca GTI, explica: “MAX-R ha millorat substancialment l’eficiència i integració de les tecnologies de producció virtual per a cinema, televisió i esdeveniments, ja que permet que els efectes visuals digitals s'integrin en el mateix procés de la gravació -per exemple, sobre pantalles LED- amb la intervenció d’actors, presentadors o cantants. Així, s’integren tots els elements de forma més natural i hi ha importants estalvis en la postproducció”.

Boris Bellalta, director del grup de recerca WN, afegeix: “Hem desenvolupat un conjunt d’eines capaces d’ajustar dinàmicament la quantitat de dades que s’intercanvien entre la xarxa i les ulleres, principalment imatges en temps real i dades de moviment o accions de l’usuari. Tot i que un major intercanvi de dades permet millorar tant la qualitat dels continguts projectats com la sensació d’immersió, la capacitat de la xarxa —que pot variar de manera imprevista— en limita sovint el rendiment. Per això, les eines desenvolupades permeten detectar aquests canvis i adaptar el volum de dades transmès per garantir-ne la màxima qualitat possible”.

Eines per viure experiències que combinen esdeveniments reals i virtuals

Les tecnologies resultants del projecte es poden aplicar en diversos camps com la creació audiovisual i el disseny gràfic, els mitjans de comunicació, els videojocs interactius o les experiències immersives, entre d’altres. A més de les esmentades anteriorment, s’han creat eines que permeten la retransmissió d’esdeveniments en línia en què poden participar i interactuar milers de persones alhora; o aplicacions de mòbil per generar elements de realitat virtual a partir d’objectes reals. A més, s’han creat eines perquè un periodista pugui presentar un esdeveniment sense ser-hi físicament (teletransportat).

En el camp dels videojocs interactius, s’han desenvolupat tecnologies de streaming optimitzades per compartir continguts de realitat augmentada a temps real entre diversos jugadors en entorns Wi-Fi. D’altres eines permeten racionalitzar i fer més efectiva la producció de continguts de XR, minimitzant els recursos energètics i econòmics invertits.  Finalment, s’han ideat eines punteres per millorar la composició lumínica a temps real i la gradació de color de les produccions audiovisuals.

Algunes eines ja s’han incorporat en curts i programes d’entreteniment

Algunes de les tecnologies desenvolupades pel projecte ja s’estan utilitzant actualment en programes informatius i d’entreteniment. Així per exemple, per crear les imatges del robot del curt d’animació SURVIVOR, es van gravar actors reals en acció per digitalitzar-ne els seus moviments. Les dades capturades dels seus moviments van servir per animar el robot de manera realista. El procés d’enregistrament va anar a càrrec de l’escola de cinema alemanya Filmakademie Baden-Württemberg, un dels socis del consorci MAX-R. Així mateix, el programa sobre música de videojocs “The Sound of Gaming” de Radio 3, del grup de la BBC, ha incorporat experiències virtuals trencadores en alguna de les seves edicions.

L’àmplia gama d’eines desenvolupada pel consorci MAX-R està basada en APIs (interfícies de software) de codi obert, que en facilitaran la seva integració en d’altres aplicacions.

11 socis líders en tecnologia, producció mediàtica i audiovisual

En funció de la seva àrea d’expertesa, els 11 membres del consorci s’han focalitzat en diferents tipologies d’eines, com s’indica tot seguit.

• UPF (coordinador del consorci, Espanya): el grup de recerca GTI s’ha especialitzat en la creació d’eines de codi obert per gener de continguts de realitat augmentada. D’altra banda, el grup de recerca WN s’ha dedicat a perfeccionar els sistemes de streaming per compartir continguts de realitat virtual entre diverses persones, especialment usuaris de videojocs interactius.
• Disguise (Regne Unit): producció d’eines de realitat estesa amb criteris de racionalitzat i eficiència.
• Foundry (Regne Unit): creació d’efectes visuals a temps real i metadades
• FilmLight (Regne Unit): gradació de color a temps real.
• Brainstorm (Espanya): producció virtual integrada.
• ARRI (Alemanya): producció eficient a través de metadades confiables i processos de treball integrats.
• Improbable (Regne Unit): esdeveniments massius interactius.
• BBC (Regne Unit): streaming d’esdeveniments immersius i en directe
• Filmakademie Baden-Württemberg (Alemanya): kit d’eines per generar continguts de realitat estesa de codi obert.
• Hasselt University (Bèlgica): streaming i seguiment de continguts de realitat estesa avançada.
• CREW (Bèlgica): performances amb realitat estesa participatives en àrees de gran abast.

Moltes de les eines creades continuaran evolucionant i perfeccionant-se, a partir del treball col·laboratiu dels socis del consorci, que es mantindrà més enllà de la finalització del projecte.

Vídeo que mostra el procés de creació de dissenys 3D de realitat estesa amb l'eina Rooms creada per la UPF:

Vídeo de resum de les eines desenvolupades per MAX-R: