Vés enrere Un nou algoritme permet transferir un estil fotorealista a un vídeo en temps real

Un nou algoritme permet transferir un estil fotorealista a un vídeo en temps real

Els resultats brinden una excel·lent aproximació a l’aspecte desitjat, fet que genera estalvi en el temps de preproducció, filmació i postproducció en el món del cinema

30.07.2021

Imatge inicial

“En cinema, es coneix com ‘color grading’ al procés de modificar, realçar i corregir el color de les imatges per definir l'estil o look d'una pel·lícula. És un procés que tradicionalment es fa manualment en post-producció, i requereix de temps, un equip especialitzat i a més té un elevat cost”, explica Itziar Zabaleta, investigadora al Grup de Recerca Image Processing and Enhanced Cinematography (IP4EC) de la UPF.

Ara, un equip científic de la UPF i de l’Institut d’Òptica del CSIC ha desenvolupat un algoritme capaç de transferir l’estil d’una imatge realista a un vídeo, amb l’objectiu que adopti el to, la paleta de colors i el contrast de la imatge. A més a més, l’algoritme permet processar en temps real la sortida de vídeo sense processar d’una càmera i, per tant, el vídeo resultant es pot veure al mateix moment que s’enregistra.

Zabaleta assegura que “l’algoritme proposat aconsegueix un ‘color grading’ automàtic, que copia l’estil d’una imatge escollida com a referència, i funciona a temps real, de tal manera que es pot utilitzar en el mateix moment del rodatge per experimentar amb diferents looks”.

Els vídeos resultants brinden una excel·lent aproximació a l’aspecte desitjat, fet que genera estalvi en el temps de preproducció, filmació i postproducció. “Els resultats del mètode han estat validats mitjançant experiments psicofísics, que han demostrat que, malgrat ser un mètode senzill i de baix cost computacional, produeix millors resultats que altres sistemes actuals d’avantguarda”, afirma la investigadora.

Es tracta d’una millora que pot alleugerir la càrrega de treball dels cineastes i coloristes durant els rodatges i la postproducció. Sovint, els directors de cinema volen emular l’estil d’una imatge de referència -una imatge fixa d’una pel·lícula existent, una fotografia...- i aquest algoritme s’aplica directament a les imatges sense processar i genera un resultat llest per a visualitzar-lo que coincideix amb l’estil de la imatge de referència.

“Els resultats del mètode han estat validats mitjançant experiments psicofísics, que han demostrat que, malgrat ser un mètode senzill i de baix cost computacional, produeix millors resultats que altres sistemes actuals d’avantguarda”

En el futur, els investigadors volen incorporar tota una sèrie d’extensions a la metodologia per permetre, per exemple, la separació del primer pla i del fons i l’ús de fotogrames clau, amb l’objectiu de superar algunes limitacions que s’han observat.

Treball de referència:

Itziar Zabaleta, Marcelo Bertalmío, "Photorealistic style transfer for videoSignal Processing: Image Communication, juliol 2021. DOI: 10.1016/j.image.2021.116240

Multimèdia

ODS - Objectius de desenvolupament sostenible:

Els ODS a la UPF

Contact

Per a més informació

Notícia publicada per:

Oficina de Comunicació