Fenomenología del tiempo en la representación visual interactiva

Autor: Carles Sora i Domenjó (Universitat Pompeu Fabra)

Citación recomendada: Sora i Domenjó, Carles (2010). "Fenomenología del tiempo en la representación visual interactiva". Hipertext.net, 8, http://www.upf.edu/hipertextnet/numero-8/tiempo_interaccion.html

Carles Sora Domenjó

Resumen: Este artículo trata de la representación del tiempo en la imagen interactiva, cuáles son sus formas y qué remediaciones podemos extraer mediante la interacción tanto en su comprensión como en su representación. Para ello, analizaremos primero algunos de los factores que intervienen en la estructuración del concepto del tiempo en la cultura.

Palabras clave: Tiempo, metáfora, diseño de interacción, interfaces culturales, tiempo tangible, interactividad.

Sumario

1. Introducción
2. Metáforas espaciales y temporales
3. Aprendizaje, lenguaje y contexto cultural sobre el tiempo
4. Representación del movimiento
5. Reflexiones finales alrededor de las interfaces digitales
6. Bibliografía 


1. Introducción

Una obra de arte interactivo, Khronos projector de Alvaro Casinelli [Casinelli, 2005], es el  objeto de estudio y el punto de partida de este artículo. Este trabajo tiene una inusual forma de abordar el control del tiempo de las imágenes en movimiento [Figura1]. En él, los usuarios pueden controlar la evolución del tiempo presionando directamente sobre la tela donde se proyectan, avanzando o retrocediendo el tiempo de las imágenes. El tiempo avanza a causa de la acción del usuario en diferentes partes de la imagen, obteniendo como resultado una composición de diferentes tiempos dentro de una misma imagen.

 

Cassinelli, Albaro

Figura 1. Cassinelli, Albaro. http://www.k2.t.u-tokyo.ac.jp/members/alvaro/Khronos/

 

Consideramos relevante el trabajo de Casinelli por que aporta una nueva aproximación a la conceptualización de la representación visual y a cómo modificamos en aplicaciones interactivas la evolución del tiempo. En este trabajo la dimensión de profundidad es utilizada como dimensión de control temporal de las imágenes explorando así una nueva manera de representar el tiempo que rompe con la clásica convención de la "flecha del tiempo".

En la mayoría de las representaciones visuales solemos presentar la marcha del tiempo como una evolución temporal que se extiende en una dimensión y con una dirección, de izquierda a derecha. Lo que aquí plantemos a partir de este estudio es que algunas de estas convenciones podrían ser revisitadas en el contexto de la comunicación interactiva. La naturaleza de este medio puede reformular algunas convenciones culturales aportando nuevas aproximaciones del mismo modo que otros medios las han reformulado con anterioridad. Esto pasa con muchas otras convenciones culturales y ha sido así también con la representación visual del tiempo. Esta metáfora es una convención adoptada en la cultura occidental de facto y que hasta el momento pocas veces ha sido contextualizada, justificada o analizada en el contexto digital. Es el resultado de una adaptación "natural" al medio. Si nos fijamos podremos encontrar esta convención en los gráficos de prensa, en las interfaces lógicas de los dispositivos de vídeo, en calendarios...[Hirotada, 1993].¿Pero podríamos representar el tiempo de otras maneras, con otras dimensiones?

El trabajo de Albaro Casinelli incita a pensar que si podemos representar el tiempo a través de otras dimensiones. El uso que se hace en esta obra de la dimensión de profundidad, como metáfora de control, es muy poco común en las interfaces digitales. Las convenciones culturales pueden adoptar nuevas formas según su contexto y las herramientas digitales plantean un espacio de fricción para éstas.

La dimensión de control que utiliza Khronos projector ha sido hasta ahora poco relevante en el diseño de interfaces digitales [Buxton, 2007]. Utilizar  la profundidad como dimensión de control es una especificidad del medio digital interactivo. No existe ningún otro medio a través del cual podamos controlar la dimensión temporal de una imagen con la acción de presionar con la mano directamente encima de la imagen proyectada.

La fascinación que generan algunas interfaces que veremos en este artículo, a través de las cuales podemos modificar el tiempo de una secuencia de imágenes, surge gracias a las motivaciones intrínsecas [Ribas, 2009] al medio interactivo artístico y a un diseño de interacción basado en la experimentación y la exploración. Estos dos factores generan en algunos casos, tomemos a Khronos projector como ejemplo, nuevas modalidades de interpretación y representación de nuestra cultura.

Podemos observar también (aunque sean casos aislados) que existen dentro de otras disciplinas más ejemplos de ruptura de la convención de la representación del tiempo, como por ejemplo en el diseño gráfico. Es un ejemplo el gráfico de la marcha de Napoleón de Charles Joseph Minard de 1869 [Figura 2] donde se presentan hasta 5 dimensiones de información dentro de un mismo gráfico, y donde el tiempo es representado en dos direcciones y relacionado con el espacio físico [Tufte, 1983].

 

Tufte, Edward R.

Figura 2. Tufte, Edward R. Visual explanations: images and quantities, evidence and narrative.

 

Este artículo es una primera aproximación al estudio de la representación del tiempo en la interactividad a través de la imagen en movimiento. Creemos que la comunicación interactiva aporta elementos clave en este estudio. Pero para llevarlo a cabo debemos hacer primero un cerco a todos aquellos factores que gravitan alrededor de la estructuración del concepto del tiempo, dejando por ahora de lado la física y la filosofía, temas que tendrán en un futuro un papel fundamental en este estudio. Lo que aquí se expone es una reflexión alrededor de la representación del tiempo y de sus remediaciones en el discurso digital interactivo [Bolter, 2007].

 

2. Metáforas espaciales y temporales

Supongamos que tenemos una película breve que muestra una secuencia de imágenes relacionadas en el tiempo pero con una apariencia ambigua de la dirección temporal. Pongamos por ejemplo que tenemos un objeto volando en el aire sin ningún otro referente visual. En una película de este tipo, usted no podría afirmar si la película está reproduciendo su metraje de forma original o si la está reproduciendo en dirección contraria. La flecha del tiempo no es evidente en todos los procesos o acciones representadas y es caso de estudio en muchas disciplinas, artes y ciencias.

El tiempo trata de describir el orden en los acontecimientos de nuestro mundo y de nuestras experiencias físicas. Pero hay algunos aspectos en nuestras experiencias diarias que no se pueden observar, medir o predecir. Por ejemplo, ¿el tiempo se mueve de izquierda a derecha? ¿O bien, de arriba a abajo? Estas preguntas no se pueden razonar con exactitud, ya que son conceptos abstractos. Lakoff y Johnson proponen que la estructura conceptual humana se construye a partir de en un grupo pequeño de conceptos basados en la experiencia que sirven para definir todos los otros conceptos que no surgen directamente de la experiencia física. Se dice que estos conceptos abstractos deben abordarse a través de una metáfora. [Lakoff y Johnson, 1980]. Así, el dominio del tiempo en nuestro lenguaje diario se define a través del dominio espacial. Utilizamos pues los términos de un dominio menos abstracto y más concreto para definir otro abstracto. En este caso, las ideas temporales estarán determinadas por los conocimientos de nuestro dominio espacial. [Boroditsky, 2000].

Con el fin de captar la secuencia de los acontecimientos, el tiempo es generalmente concebido como una entidad unidimensional. Aunque en la mayoría de los idiomas, el concepto del tiempo utiliza términos espaciales (arriba, abajo, hacia adelante y hacia atrás), su representación visual es en la mayoría de los casos a través de una metáfora bidimensional en lugar de ser una representación multidimensional [Clark, 1973]. Existe pues en este cambio de dominio (del abstracto al concreto) cierta redefinición del término y pérdida de significación.

 

3. Aprendizaje, lenguaje y contexto cultural sobre el tiempo

Son varios los factores que intervienen en el desarrollo del conocimiento sobre el tiempo:  cómo aprendemos los conceptos, sobre qué lenguaje y en qué contexto.

¿Cuándo aprendemos qué es el tiempo? Nuestra comprensión acerca de los conceptos abstractos del tiempo y el espacio es el resultado de la estructuración del lenguaje en la niñez a través de la propia experiencia. Esta estructuración está limitada y modulada también por el contexto cultural del sujeto.

Los niños adquieren el lenguaje principalmente a través de estímulos exteriores, lo que oyen y lo que experimentan del mundo real [Chomsky, 1965]. En este proceso de adquisición del lenguaje el niño crea conocimiento a través de mecanismos cognitivos en contacto con el mundo físico: las habilidades motoras  y de percepción. Su futura asimilación sobre el tiempo y el espacio se basa en el conocimiento cognitivo desarrollado en esta etapa [Clark, 1973].

El contexto cultural tiene también un papel fundamental en el desarrollo del conocimiento y está determinado en gran medida por el lenguaje. En el inglés, por ejemplo, se usan los adverbios hacia adelante o hacia atrás (una dimensión horizontal) para referirnos al tiempo. Curiosamente, en el idioma mandarín (utilizado principalmente en China) aunque estas mismas palabras son de uso general, también se utilizan metáforas espaciales de una dimensión vertical para referirse al tiempo [Skott, 1989]. El mandarín usa los adverbios hacia arriba o hacia abajo para diferenciar eventos más cercanos o lejanos en el tiempo (línea dimensión vertical). Lo que es relevante para nosotros es que existen importantes diferencias de pensamiento sobre la idea del tiempo entre los hablantes del mandarín y los del inglés según las palabras que usan en su domino espacial [Boroditsky, 2001]. Puede además que se de este paradigma con otros idiomas.

Más allá del idioma, es necesario apreciar que en la comprensión de los conceptos de tiempo y espacio también está involucrado su contexto histórico y social. Por ejemplo, en algunas regiones de los Andes, si alguien pregunta a un nativo cuánto tiempo se tarda en ir desde un lugar a otro, puede que la respuesta sea un número finito de cigarrillos. Usan el cigarrillo (el tiempo que tardan en fumar un cigarrillo) como unidad  para medir distancias y desplazamientos, conceptos espaciales [Steger, 1991].

Con estos dos ejemplos podemos intuir que la comprensión de tiempo y su mediación a través de determinadas metáforas están sujetas a su contexto cultural. Y por consiguiente, no genera el mismo significado en todo el mundo.

Por último, otro factor que parece influir en la construcción de la percepción del tiempo y la forma de organizar eventos en el tiempo es la dirección que utilizamos al escribir. Ésta parece ser una explicación coherente al hecho de que las flechas de tiempo sean diferentes entre los hablantes del mandarín y los hablantes del inglés. Los chinos, como sabemos, escriben de arriba a abajo. Mientras que los no orientales lo hacemos en su mayoría de izquierda a derecha. Existen a su vez variaciones de estas dos direcciones en la escritura. Podemos recoger por ejemplo otros casos como en las Filipinas, donde existe un idioma que se escribe de abajo hacia arriba. O remontarnos al alfabeto griego donde se originó la dirección actual de escritura, de izquierda a derecha, pero en el que se había hecho uso de una escritura bidireccional llamada boustrophenon. Pudiéndose leer un texto en las dos direcciones.

Hoy en día ordenamos secuencialmente los acontecimientos a través de formatos, direcciones y orientaciones diferentes. En el cine, en los cómics, la literatura o la pintura. Todos ellos tienen particulares articulaciones del concepto de tiempo. Pero todas estas estructuras del tiempo son convenciones que un día fueron creadas. No venimos al mundo con una idea preconcebida sobre el tiempo,  el espacio o el movimiento. Véase, por ejemplo alguna de las antiguas pinturas rupestres de Altamira datadas hace más de 18.000 años A.C., donde el movimiento de las escenas no tenían ninguna dirección en particular. Las pinturas rupestres no tenían ninguna narrativa estructurada en el tiempo [Wachtel, 1993]. Llegados a este punto, podemos afirmar que la direccionalidad del tiempo en la representación visual es una convención cultural.

 

4. Representación del movimiento

La representación del tiempo y el el estudio del movimiento ha sido un gran reto para científicos y artistas a lo largo de la historia. Son muchos los casos dentro del arte o la ciencia donde podemos identificar inventos realizados adhoc que han permitido estudiar el ser humano a través del estudio del movimiento y con él un acercamiento a la reflexión alrededor del tiempo. [Cutting, 2002]. Es el caso por ejemplo de Étienne Jules Marey con sus series fotográficas publicadas en La Machine Animale en 1873 donde hizo uso del revolver fotográfico, un artefacto diseñado expresamente para capturar el movimiento, u otras técnicas como las imágenes estroboscópicas, la técnica de la fotografía simultánea para disparar momentos diferentes en un mismo espacio, el uso de largas exposiciones, o el time lapse, usado para acelerar el tiempo de crecimiento de un objeto de estudio [Braun, 1992].

Podemos encontrar también, en nuestra historia artística contemporánea, varios intentos de codificar el espacio y el tiempo en una representación visual concreta con el fin de romper la linealidad secuencial de las imágenes en movimiento. En el futurismo, el cubismo o el dadaismo, por ejemplo, se utilizó la representación bidimensional de una escena dentro de un plano. Una de las obras más conocidas que investiga estas ideas es el Nu descendant un escalier de Marcel Duchamp de 1912. Duchamp pintó una secuencia de momentos diferentes de un mismo espacio con diferentes puntos de vista dentro de un mismo lienzo.

Con el advenimiento del cine, el estudio sobre el tiempo cogió la forma del montaje espacial que permitía, por primera vez,  relacionar los tiempos de grabación del metraje en la edición. Fue este un momento importante para nuestro estudio porque las primeras mesas de edición ordenaron el montaje, quizás de una manera natural, de izquierda a derecha, convirtiendo esta decisión en el estándar de edición de vídeo, analógico y digital de todos los tiempos, hasta el momento.

Con el paso del tiempo, el cine ha ido ahondando en las relaciones entre tiempo e imagen creando nuevas técnicas como The bullet time utilizada en la película Matrix en 1999 que permitía navegar por el espacio en un tiempo concreto.

Hasta este punto, estas técnicas aportaban nuevas perspectivas a nuestro objeto de estudio, pero siempre siendo utilizadas en el tiempo de realización, nunca en el tiempo de la representación. Para ello es necesario permitir que los participantes externos puedan modificar alguna de estas dimensiones. Llegamos pues, a la comunicación interactiva.

Es en el uso de imágenes digitales en movimiento controladas en tiempo real, donde podemos seguir formulando nuevas relaciones entre las imágenes y sus dimensiones temporales y espaciales. Gracias a la digitalización de las imágenes en movimiento un participante podía acceder a cualquier punto en el tiempo del metraje, en tiempo de edición y también en tiempo de representación. Aunque siempre haciendo uso de las metáforas espacio-temporales establecidas con anterioridad. Más recientemente, algunos proyectos de investigación que hacen uso de tecnologías digitales emergentes facilitan el acceso a estas dimensiones utilizando nuevas estrategias de representación.  The last clock [Figura 3], 2001, de Jussi Ängesleva & Ross Cooper, es una aplicación autónoma que captura imágenes de un espacio con el fin de acumular el tiempo en un plano bidimensional con forma de reloj [Jaschko, S, 2002].

 

Ängesleva, Jussi; Cooper, Ross

 

Ängesleva, Jussi; Cooper, Ross

Figura 3. Ängesleva, Jussi; Cooper, Ross  http://www.lastclock.co.uk/

 

En esta interfaz de visualización, la evolución del tiempo en las imágenes capturadas por una cámara presente en el espacio, se estructura de manera circular y con diferentes grados de resolución según horas, minutos y segundos. Es una representación viva, no estática, que parametriza el tiempo según un tiempo pasado, el de grabación. Una dimensión singular para nuestro estudio.

En el campo de la interactividad podemos diferenciar entre dos tipos de aplicaciones. Aquellas que funcionan con sistemas dinámicos de manera autónoma, sin la participación de usuarios externos. O aquellas que están diseñadas para que alguien las utilice. Además de esta última clasificación podríamos diferenciar entre los proyectos que son de nuestro interés (donde la imagen es el objeto de estudio del fenómeno del tiempo) según si utilizan imágenes estáticas analógicas, imágenes analógicas en movimiento, imágenes en movimiento digitales e imágenes digitales en movimiento modificadas en tiempo real, interactivas.

 

5. Reflexiones finales alrededor de las interfaces digitales

Aunque el surgimiento de algunas de estas nuevas tecnologías permite re-ordenar las dimensiones temporales y espaciales del video, es necesario aún establecer nuevas formas de  interacción, quizás fuera del paradigma de las interfaces WIMP (window, icon, menu, pointer device), donde podamos tomar control de estas dimensiones a través de interfaces más inmersivas. Este es el caso de Khronos projector, proyecto con el que abríamos este artículo. Es factible pensar que en poco tiempo tendremos acceso a nuevas y más sofisticadas técnicas de interacción, como por ejemplo el uso de las dos manos en superficies táctiles [Fitzmaurice, 1995], una como puntero y otra como áncora, que permitan abrir nuevas formas de representación de la metáfora temporal, interfaces más significativas en su forma y más relevantes para la creación de significado [Backwell, 2006].

La multimodalidad y la integración de las imágenes en movimiento controladas en los medios interactivos pueden abrirnos nuevas aproximaciones al objeto de estudio que nos ocupa, conceptualizando el tiempo, por ejemplo, en múltiples direcciones o múltiples instantes, o utilizando gestos físicos como el de empequeñecer y alargar el tiempo. Observemos que las acciones que hemos citado aquí son de un dominio diferente al espacial y podrían dar lugar a nuevas convenciones de la representación del tiempo, posibilitando quizás nuevas metáforas no estructuradas sobre el dominio espacial. Una liberación de la representación temporal.

Es difícil evaluar aplicaciones que rompan con las convenciones culturales porque como tales están fuertemente ligadas a nuestra cultura y por tanto a nuestras convicciones. Aún así creemos necesario plantear este estudio y el desarrollo de las aplicaciones interactivas que lo puedan ejemplificar con el propósito de encontrar nuevos paradigmas de la representación visual del tiempo y con ellos la convención de la necesidad de observar con mayor atención la remediación de la comunicación interactiva.

Nos gustaría en un futuro abrir esta metodología a otras convenciones culturales adoptadas en nuestra cultura visual y observar si en la comunicación interactiva son también reformuladas. Pensamos que las interfaces digitales con las que diseñamos y construimos aplicaciones interactivas están en constante evolución, por eso este es un trabajo abierto que puede aportar nuevas e interesantes aproximaciones a la cultura.

 

6. Bibliografía

Backwell, A. F. (2006). The reification of metaphor as a design tool. ACM transactions on Computer-Human Interaction, Vol. 13.

Bolter, D.,Grusin, R. (2000). Remediation: understanding new media. MIT Press.

Boroditsky, L. (2000). Metaphoric structuring: understanding time through spatial metaphors. Cognition 75, 1-28. Elsevier.

Boroditsky, L. (2001). Does language shape thought?: Mandarin and English speakers' Conceptions of Time. Cog. Psicology 43, 1-22.

Buxton, B. (2007). Theories, models and basic concepts. Chapter 7. Models and Thories.

Braun, M. (1992). Picturing Time: the work of Etienne-Jules Marey (1830- 1904). The University of Chicago Press, Chicago.

Cassinelli, A. and Ishikawa, M. (2005). Khronos projector. Emerging Technologies, SIGGRAPH.

Clark, H. H. (1973). Space, time, semantics and the child. In T.E. Moore. Cognitive development and the acquisition of language. New York: Academic Press.

Cutting, E. J. (2002). Representing motion in a static image: constraints and parallels in art, science, and popular culture. Perception.

Fitzmaurice , G. Ishii, H. Buxton, W. (1995). Bricks: laying the foundations for graspable user interfaces. Proceedings of the SIGCHI.

Gibson, J.J. (1986). The ecological approach to visual perception. Houghton Mifflin Company.

Hirotada Ueda (1993).  Automatic Structure Visualization for Video Editing. Proceedings of the INTERACT '93.

Jaschko, S. (2002). Space-Time Correlations Focused in Film Objects and Interactive Video. ISEA Papers, Nagoya/Japan.

Lakoff, G. and Johnson, M. (1980). Metaphors we live by. Chicago, IL. University of Chicago Press.

Ribas, Joan Ignasi (2009). Integració de mitjans en el discurs interactiu: el cas de la difusió cultural. Quaderns del CACNº. 31-32. Convergència tecnològica i audiovisual.

Steger, F.H. (1991). La concepción de tiempo y espacio en el mundo andino. Ed. Vervuert Verlag, Latinoamérica student 18.

Tufte, Edward R. (1983). Visual explanations : images and quantities, evidence and narrative . Cheshire, Graphics Press, cop.

Wachtel E, (1993). The first picture show: Cinematic aspects of cave art. Leonardo 26. MIT Press.

 

Licencia Creative Commons

Last updated 05-06-2012
© Universitat Pompeu Fabra, Barcelona