Atrás Un nuevo algoritmo permite transferir un estilo fotorealista a un vídeo en tiempo real

Un nuevo algoritmo permite transferir un estilo fotorealista a un vídeo en tiempo real

Los resultados brindan una excelente aproximación al aspecto deseado, lo que genera ahorro en el tiempo de preproducción, filmación y postproducción en el mundo del cine

30.07.2021

Imatge inicial

“En cine, se conoce como 'color grading' al proceso de modificar, realzar y corregir el color de las imágenes para definir el estilo o look de una película. Es un proceso que tradicionalmente se hace manualmente en post-producción, y requiere de tiempo, un equipo especializado y además tiene un elevado coste", explica Itziar Zabaleta, investigadora en el Grupo de Investigación Image Processing and Enhanced Cinematography (IP4EC) de la UPF.

Ahora, un equipo científico de la UPF y del Instituto de Óptica del CSIC ha desarrollado un algoritmo capaz de transferir el estilo de una imagen realista a un vídeo, con el objetivo de que adopte el tono, la paleta de colores y el contraste de la imagen. Además, el algoritmo permite procesar en tiempo real la salida de vídeo sin procesar de una cámara y, por tanto, el vídeo resultante se puede ver en el mismo momento que se grava.
 
Zabaleta asegura que "el algoritmo propuesto consigue un 'color grading' automático, que copia el estilo de una imagen escogida como referencia, y funciona a tiempo real, de tal manera que se puede utilizar en el mismo momento del rodaje para experimentar con diferentes looks".
 
Los vídeos resultantes brindan una excelente aproximación al aspecto deseado, lo que genera ahorro en el tiempo de preproducción, filmación y postproducción. "Los resultados del método han sido validados mediante experimentos psicofísicos, que han demostrado que, a pesar de ser un método sencillo y de bajo coste computacional, produce mejores resultados que otros sistemas actuales de vanguardia", afirma la investigadora.
 
Se trata de una mejora que puede aligerar la carga de trabajo de los cineastas y coloristas durante los rodajes y la post-producción. A menudo, los directores de cine quieren emular el estilo de una imagen de referencia -una imagen fija de una película existente, una fotografía ...- y este algoritmo se aplica directamente a las imágenes sin procesar y genera un resultado listo para visualizarlo que coincide con el estilo de la imagen de referencia.
 
"Los resultados del método han sido validados mediante experimentos psicofísicos, que han demostrado que, a pesar de ser un método sencillo y de bajo coste computacional, produce mejores resultados que otros sistemas actuales de vanguardia"
 
En el futuro, los investigadores quieren incorporar toda una serie de extensiones a la metodología para permitir, por ejemplo, la separación del primer plano y del fondo y el uso de fotogramas clave, con el objetivo de superar algunas limitaciones que se han observado.

 

Trabajo de referencia:

Itziar Zabaleta, Marcelo Bertalmío, "Photorealistic style transfer for videoSignal Processing: Image Communication, juliol 2021. DOI: 10.1016/j.image.2021.116240

Multimedia

ODS - Objetivos de desarrollo sostenible:

Els ODS a la UPF

Contact

Para más información

Noticia publicada por:

Oficina de Comunicación