Diseño de experimentos con usuarios: lecciones aprendidas

Documento sin título

Autor: Mari-Carmen Marcos (Universitat Pompeu Fabra)

Citación: Marcos, Mari-Carmen (2013). "Diseño de experimentos con usuarios: lecciones aprendidas" Hipertext.net, 11, http://www.upf.edu/hipertextnet/numero-11/Diseno_experimentos_usuarios.html


Mari Carmen_Marcos


Resumen:
Uno de los métodos más comunes en la investigación es la observación de sujetos en laboratorio. La disciplina conocida como HCI (Human-Computer Interaction) estudia la forma en que las personas interactuamos con la tecnología, su intención es adaptar las interfaces de los aparatos a la forma en que las personas nos relacionamos de forma natural con ellos. Los investigadores de HCI cuentan con muy diverso perfil, algunos proceden de las Ciencias de la Computación, otros de la Documentación, otros del Periodismo, por lo que adoptar la experimentación como método de trabajo -poco usual en sus disciplinas- les ha supuesto un aprendizaje y algunos tropiezos en el camino. En este artículo se dan unas pautas sobre cómo plantear un experimento y se comparten ejemplos de casos en los que hubo algún error en la planificación o en la preparación.

Palabras clave: Diseño de experimentos. Interacción Persona-Ordenador. Test de usuarios. Ciencias Sociales


Sumario:

1. Investigar en Human-Computer Interaction
2. Planificación de un test de usuarios
3. Preparación de las sesiones de testeo
4. Lecciones aprendidas
Agradecimientos
Bibliografía.

 

Lo que más me atrae de la investigación es que el camino que se recorre hasta llegar a tener los resultados está lleno de aprendizajes.

1. Investigar en Human-Computer Interaction

La disciplina conocida como Human-Computer Interaction (HCI) estudia la interacción de las personas con el uso de tecnologías con el fin de adaptar el diseño de la tecnología a sus usuarios, lo que se conoce como diseño centrado en el usuario (DCU). Si bien cuando se originó la HCI se focalizó sobre todo en ordenadores, hoy en día su alcance es mucho mayor y se aplica a cualquier tecnología.

La HCI es interdisciplinar, se nutre de varias disciplinas, de las cuales las más directamente relacionadas son la Psicología -para entender el comportamiento de las personas, el diseño -para diseñar las interfaces, y la informática -para desarrollar los productos. La HCI es objeto de estudio desde las universidades y centros de investigación, y a la vez se practica como profesión, donde las personas que se dedican a ella se conocen como Diseñadores de interacción (Interaction Designer) o como Diseñadores de experiencia de usuario (User Experience Designers).

El mundo empresarial es consciente de la necesidad de contar con productos que satisfagan las necesidades y expectativas de su público objetivo. Concretamente, las organizaciones que basan buena parte de su negocio en su sitio web realizan a menudo pruebas que involucran a usuarios, o bien los externalizan a empresas consultoras de usabilidad. Existen numerosos trabajos que explican cómo planificar, preparar, ejecutar, analizar y presentar resultados de esos estudios en los que participan los usuarios. Esa bibliografía procede tanto de investigadores del área de la HCI como de profesionales de la usabilidad con amplia experiencia realizando estos estudios con usuarios. En particular se recomiendan estos tres libros: Dumas y Redish (1999, capítulos 7 a 17), Tullis y Bill (2008, capítulo 3) y Barnum (2011, capítulos 5 y 6).

Leyendo a los que llevan muchos años trabajando en HCI y a partir de nuestra propia experiencia como investigadores, llegamos a la conclusión de que cuando un producto se planifica y se diseña pensando en los usuarios es básico observar –y también entrevistar- a esas personas para conocer cómo se comportan ante el producto y por qué. La observación puede realizarse en tres momentos del proceso:

  1. Antes de comenzar a diseñarlo. En estos casos se observa al usuario interactuando con productos similares o en situaciones en las que podrían estar usando el producto que se va a diseñar. Un ejemplo: si vamos a diseñar un cajero automático para una entidad bancaria, podremos querer observar a los clientes del banco interactuando con el cajero que hay en ese momento; si el cajero va a estar en una entidad que no dispone aún de cajero, observaremos a los clientes interactuando con el personal que atiende la caja, así conoceremos sus necesidades y su manera de interactuar en el contexto real.
  2. Durante la etapa de diseño y prototipado. Si bien es cierto que pedir a un usuario que realice tareas en un sistema que no está terminado puede ser complicado, si se consigue disponer de un prototipo se pueden obtener claves importantes para ir por buen camino. Con estos tests se puede detectar que la arquitectura de los menús no es clara, que el vocabulario usado no se entiende, que lo que habíamos diseñado como un tipo de elemento se confunde con otro, etc.
  3. Una vez que el producto ya existe. Este es el test más común, y en ocasiones el que más quebraderos de cabeza provoca ya que los resultados que se obtienen pueden conllevar un rediseño total del producto, que involucra aspectos difíciles de cambiar en una organización como el diseño de su base de datos, la programación, el código, etc. Es el test más habitual en los estudios de usabilidad, se le llama  “test de usuarios” (user testing), y al que nos referiremos a partir de ahora este artículo.

Los motivos por los que comienza una investigación en HCI son variados. En la industria lo llaman “user research” y suelen apuntar a estudios muy pragmáticos aplicados a un problema muy concreto, por ejemplo es habitual que se necesite saber qué opción de diseño es más usable de entre varias: más fácil de comprender para los usuarios, que aprenden con mayor rapidez, en la que se desempeñan con más soltura, la que les agrada más. En la academia suelen realizarse estudios de HCI con objetivos menos pragmáticos y más amplios cuyos resultados puedan aplicarse a diversos entornos; en ellos se pretende conocer, profundizar, entender mejor un asunto, un problema, una situación, por medio de la observación del comportamiento de los usuarios ante una tecnología.

Hay muchas formas de clasificar las estrategias y metodologías que se aplican en investigación. Para las disciplinas que realizan estudios sobre el comportamiento de las personas (behavioral sciences), el esquema de McGrath (1995) muestra cómo se puede afrontar un estudio considerando múltiples facetas en su clasificación:

  1. estrategias experimentales, teóricas, de encuesta y de campo
  2. estrategias concretas y estrategias abstractas
  3. estrategias intrusivas y estrategias no intrusivas
  4. estrategias que buscan generalizar, la precisión o el realismo

Los tests de usuario que realizamos en la investigación en HCI estarían dentro de los experimentos de laboratorio, por lo tanto siguiendo el esquema de McGrath (1995) aplican una estrategia de investigación experimental, concreta, intrusiva, que busca la precisión en sus resultados.

 

Esquema de los tipos de estrategias para la investigación

 

Figura 1. Esquema de los tipos de estrategias para la investigación, en McGrath (1995), p. 158. 

 

En las clasificaciones habituales de los métodos de investigación es común encontrar la dicotomía cualitativo-cuantitativo. El esquema de McGrath no presenta este tipo de clasificación, y no lo hace porque en realidad no responde a la estrategia de investigación por la que se opte, sino que se trata del tipo de datos que se quiere obtener en ella. De todas las estrategias se pueden obtener datos cualitativos y datos cuantitativos, en función de lo que se quiera estudiar en cada investigación. No es cierto pensar que en las ciencias sociales, o concretamente en las disciplinas que estudian el comportamiento de las personas, se obtienen datos sólo cualitativos o sólo cuantitativos, pues ambos tipos están siempre presentes, otra cosa es que interesen analizarse unos u otros para los objetivos planteados en cada estudio.

En este artículo queremos compartir las lecciones aprendidas de los diversos experimentos que hemos realizado y en los que hemos involucrado a usuarios en un entorno de laboratorio. Si bien se pueden establecer cinco -preparación, ejecución, análisis y presentación de resultados-, en este artículo nos detendremos en las dos primeras, que son clave para que la ejecución del proyecto se haga de forma correcta, y eso permitirá que el análisis pueda hacerse bien y se obtengan resultados y conclusiones válidas.

2. Planificación de un test de usuarios

La planificación es una etapa clave en una investigación experimental. En ella se toman decisiones que afectarán a los resultados que se obtengan, es más, determinará qué tipo de resultados se obtienen, porque aquí se deciden qué datos se van a recoger y de qué modo.

A lo largo de nuestros estudios hemos aprendido la importancia de planificar al detalle todo lo que se hará en los tests. Dentro de la planificación se incluyen distintas tareas, las podemos dividir así:

  1. Definición del estudio. Un párrafo debe ser capaz de resumir qué se va a estudiar (objeto de estudio), con qué finalidad (objetivo), qué se espera obtener de él (hipótesis) o qué nos preguntamos para comenzarlo (pregunta de investigación), y por qué es importante abordar esta investigación (justificación).
  2. Referentes. A menudo existen estudios previos que pueden servir de base para plantear un nuevo estudio. Pueden ser estudios realizados por el mismo grupo de investigadores, por otros grupos o por la industria; pueden ser estudios abordados también con experimentos en los que han participado usuarios, o mediante otras técnicas, por ejemplo una evaluación heurística o unas encuestas. Si no existen, puede ser interesante plantearse aplicar alguna de estas metodologías antes de planificar un test de usuarios, para tener una información sobre la que plantear el estudio.
  3. Técnicas de observación y seguimiento. En función de los objetivos que se persigan será necesario aplicar unas técnicas u otras para la observación. Es posible que interese grabar la sesión con cámaras de vídeo, o bien que interese tener una captura de vídeo de lo que ocurre en la pantalla del dispositivo testeado. Puede ser que interese contar con varios observadores pero que el usuario no se percate de que hay varias personas durante el test, para lo que habrá que disponer de un cristal con ventana por un lado y espejo por otro.
  4. Lugar de testeo. En función de las necesidades de cada estudio se planteará el tipo de laboratorio que se necesitará. Debe ser una sala en la que se puedan instalar los dispositivos que se vayan a testear. En ocasiones se requiere infraestructura más específica según las técnicas de observación y seguimiento que se hayan definido, con sistemas de grabación, doble cristal, etc.
  5. Usuarios. Con respecto a los participantes en los tests hay que tomar varias decisiones con respecto a:
    1. Cantidad de personas que participarán. Se puede hacer ahora una estimación aproximada, pero para conocer este número hay que tener en cuenta cuántas variables va a haber en el diseño del experimento. A más variables, mayor muestra se necesita.
    2. Perfil/es de los participantes.
    3. Preguntas para filtrar a los participantes (screener)
    4. Forma de reclutamiento.
    5. Gestión del no-show: prever qué se hará si un usuario no llega a la cita
    6. Calendario de testeo.
    7. Incentivo para los participantes.
  6. Calendario. Una vez determinado el número de usuarios que se convocarán y conociendo la disponibilidad de la sala de testeo, se puede diseñar un calendario de citas para los tests, así como prever el calendario para las fases de análisis y presentación de resultados. Una carta Gantt es útil para organizar el tiempo.
  7. Recursos humanos. En función de los objetivos, del tipo de test, de la cantidad de usuarios convocados y del tiempo que se prevé que durará el estudio se hará una previsión del número de personas y los perfiles con los que será necesario contar para el estudio. Se anotará también el rol de cada uno.
  8. Presupuesto del proyecto. Con todos los datos anteriores se realiza una previsión del presupuesto necesario para afrontar el test.

3. Preparación de las sesiones de testeo

Entre la fase de planificación del estudio y la ejecución de los tests hay una etapa necesaria: la preparación del test. En este momento hay que partir de lo planificado y dejar todo listo para el momento en que lleguen los usuarios a nuestra sala de testeo. Recogemos una serie de aspectos que deben considerarse en la preparación del test.

Preparar el objeto de estudio. Si lo que se va a estudiar es un sitio web, hay que prepararlo, por ejemplo con una versión offline si se quieren evitar problemas de conexión. Si se quieren testear dos versiones de un sitio web, hay que preparar ambas y determinar qué usuarios verán cada versión.

Decidir qué datos se van a recoger. En los estudios de usabilidad es habitual recoger datos cualitativos como los comentarios que realiza el usuario mientras realiza las tareas, la expresión de su cara, lo que nos dice en la entrevista final, etc. Y en paralelo se toman medidas cuantitativas para valorar la eficacia (el tiempo que ha tardado en realizar una tarea, el número de problemas que ha tenido, el esfuerzo del usuario), la eficiencia (si el usuario termina la tarea con éxito) y la satisfacción (si le ha agradado el producto o el sistema). Si se está usando un sistema de seguimiento de ratón o de la mirada, hay otras métricas habituales como el número de participantes que clican un determinado elemento, el número de fijaciones de la mirada en un área, el tiempo que tardan en fijar la vista en una zona, etc. En función del tipo de estudio que se realice se tendrán de concretar qué medidas se van a tomar, y a partir de ahí tener claro cuáles son las variables. Hay dos tipos de variables:

  • Independientes: variables que los investigadores vamos a controlar, por ejemplo podrían ser rasgos de los participantes (la edad de las personas y su género) o aspectos del objeto de estudio (como las zonas de la pantalla que se van a analizar, el tipo de información que se enseña a cada grupo de usuarios…). Estas variables condicionarán el tipo de análisis estadístico que se podrá realizar una vez que se hayan recogido los datos.
  • Dependientes: variables que desconocemos, lo que queremos obtener, por ejemplo el porcentaje de personas que terminan con éxito una tarea, o el tiempo que pasa desde que aparece un elemento en pantalla hasta que lo miran por primera vez, o el porcentaje de clics que se hacen en un elemento. Es importante definir bien estas variables porque en función de cuáles sean se tendrán que recoger unos datos u otros. Una vez hechos los tests, los datos que no se hayan recogido ya no podrán obtenerse.

Diseño de las tareas del test. El usuario realizará una serie de tareas pautadas por nosotros. Esas tareas se preparan meticulosamente porque se quiere observar cómo el usuario interactúa con el sistema para llevarlas a cabo. En ocasiones no será importante si finaliza o no la tarea correctamente, sino el camino que recorre para intentar resolverla.

  • Redacción de tareas y escenarios. Las tareas se redactan en un script o guión, y preferiblemente se acompañan de un escenario. Este escenario es un contexto, una situación, para que el usuario entienda mejor la tarea. Por ejemplo en lugar de pedirle la tarea de forma concisa diciéndole “compra un billete de tren Barcelona-Madrid para el día 7 de julio” se le pone en situación con un escenario como este: “El día 7 de julio te han convocado a una reunión en Madrid a las 12:00, a la que seguirá una comida y después ya puedes regresar a Barcelona; la empresa se hace cargo de pagar el billete pero te piden que lo compres tu y luego te lo abonan. Escoge el horario que te parezca más adecuado y compra el billete con esta tarjeta Visa que te proporcionamos.
  • La tarea cero. Además de preparar las tareas que nos interesan para el estudio, suele ser conveniente que el usuario se familiarice con el producto. En casos en que se vea adecuado, se puede preparar una tarea “cero”, que no se medirá necesariamente.

Diseño del experimento

  • Aleatoriedad en las tareas. Siempre que sea posible, se debe alternar el orden en el que los usuarios realizan las tareas para que no influya el grado de incertidumbre, nerviosismo y familiaridad. Durante la ejecución de las tareas que se hacen al inicio del test el usuario suele estar más inseguro, y esa sensación se va pasando a medida que avanza en las tareas.
  • Aleatoriedad en las variables. En caso de que el objeto de estudio tenga distintos valores en alguna de las variables, se debe cambiar el orden en el que aparecen esos valores para que su posición en la pantalla o el orden en e que aparecen no produzcan un sesgo. Por ejemplo si testeamos la eficiencia en la lectura para distintos tamaños de letra en una página y ponemos texto en letra de tamaño 10, texto en letra 14 y texto en letra 20, conviene alternar el orden en el que se presentan para que la ubicación no esté alterando la forma de leer, así cada usuario verá una ubicación distinta. Cuantas más valores en una variable mayor variabilidad en la presentación, lo que hace que tengamos que aumentar la muestra de usuarios para tener suficiente en cada versión diseñada.
    1. El contexto cultural de los usuarios: occidentales o de Oriente Medio
    2. El tipo de resultados que verían en el buscador: resultados en sí y anuncios
    3. Posición de los resultados: podían estar en cualquier posición entre la primera y la décima, además de en la zona “top” o en el lateral, que son las zonas que ocupan los anuncios en Google
    4. La relevancia de cada resultado para la pregunta que se les hacía
    5. La temática sobre la que versaba la pregunta hecha
    6. Si el usuario había encontrado una buena respuesta a la pregunta, es decir, el éxito en la tarea realizada

Cuestiones prácticas. Hay muchos detalles que si bien son menores comparados con el diseño de tareas, de variables, etc., son imprescindibles para poder llevar a cabo los tests. Por ejemplo tener un control de los usuarios que participarán, anotando sus datos de contacto y el día y hora de la cita; preparar la hoja de consentimiento que deberán firmar; tener los regalos preparados para entregarlos el día del test; habilitar la sala con todo lo necesario (aparatos, cables, material de oficina, etc.); imprimir las tareas para que el usuario las tenga siempre a mano, etc.

Prueba piloto. La fase de preparación del test finaliza con una prueba piloto. En realidad se aconseja hacer varias. Una o dos con personas cercanas, compañeros de trabajo, familiares… para asegurarnos de que las tareas se entienden, de que se pueden realizar en el tiempo previsto, de que todo funciona tal como se espera… Y otra prueba piloto con un usuario real, para testear el test de la forma más real posible. Estas pruebas permiten detectar a tiempo cosas que puedan estar fallando. Merece la pena invertir tiempo en hacerlas porque nos salvarán de errores que nos harían perder algunos tests.

4. Lecciones aprendidas

Como ya se ha dicho, la planificación del test y su preparación son dos etapas fundamentales que deben quedar bien cerradas antes de lanzarse a testear. Los factores que intervienen en todo el proceso son variados y en ocasiones nos pueden hacer cambiar el rumbo de un estudio, incluso paralizarlo para rediseñarlo. En esta sección compartimos experiencias que nos han ocurrido en estos últimos años en nuestros estudios con usuarios y que tienen que ver con las etapas de planificación y preparación.

Recursos humanos
El primer caso trata sobre la planificación de los recursos humanos para el proyecto. En equipos de investigación pequeños y con pocos o ningún recurso para contratación, como es el nuestro, no siempre contamos con personas suficientes para testear a tantos usuarios como son necesarios. Cuando nos hemos visto en esta situación, hemos buscado la colaboración de estudiantes de máster y doctorado como asistentes de laboratorio. Tras unas horas de formación, ellos han podido hacerse cargo de las sesiones de testeo, con la limitación de que siempre tenía que estar localizable uno de los investigadores por si surgía algún problema.

Selección de la muestra de participantes
La selección de la muestra suele ser otro caso problemático. En un estudio que estamos realizando nuestro objetivo es comparar el comportamiento de los usuarios al realizar búsquedas en internet (Marcos, García-Gavilanes, Bataineh, Pasarín, 2013). Se trata de un estudio realizado por nuestro equipo en la UPF y en paralelo por otro equipo de investigadores en la Zayed University de Dubai (Emiratos Árabes). El problema que encontraron los investigadores de Dubai para reclutar usuarios es que su facultad sólo tiene alumnas, es decir, mujeres, con lo que conseguir participantes varones les resultó más que complicado y finalmente su muestra tenía un número significativamente mayor de mujeres que de hombres, con lo que los resultados que se obtuvieron al analizar los datos no serían representativos de la población. Esta falta de previsión inicial nos ha llevado a tener que ampliar la muestra de usuarios en Dubai para poder recoger más datos y obtener resultados fidedignos, lo que ha retrasado los plazos previstos en el calendario.

 

 

Mapas de calor y laboratorio en unestudio realizado en Barcelona y Dubai paralelamente

Figura 2. Mapas de calor y laboratorio en un estudio realizado en Barcelona y Dubai paralelamente

Sala de testeo
En un estudio que realizamos sobre el comportamiento de los usuarios en la TV Conectada (Mansilla, Marcos 2013; Marcos, Mansilla 2013) habíamos previsto utilizar la zona de los platós de televisión que tenemos en el campus de la UPF. Allí dispondríamos de un escenario que ambientaría un salón de casa, con su mobiliario, para que el usuario tuviera una experiencia más parecida a la que puede tener en su casa, aun siendo un laboratorio. El problema que se detectó –y por suerte se detectó antes de tener el escenario montado- es que en esa zona, que por cierto es un sótano, no puede llegar la señal de la antena de TV, algo imprescindible para poder hacer el estudio. El problema que había es que el campus no contaba con una antena aérea de TV, ya que se usa el sistema de televisión por IP, por tanto teníamos que instalar una antena en la zona donde se fuera a testear, y en un sótano no era viable porque no se captaba la señal. Visto esto, habilitamos una sala de reuniones e instalamos en ella los aparatos que se testeaban, se colocó la antena y cuál fue nuestra sorpresa al ver que la señal llegaba con muy poca fuerza. Probamos en el otro lateral del edificio, y finalmente en ese lado ya logramos que la antena recibiera bien la señal. Instalamos de nuevo los equipos y algo de mobiliario de salón, y pudimos testear de la forma mejor posible.

 

Participante y moderador en el laboratorio de testeo para el estudio de TV Conectada

Figura 3. Participante y moderador en el laboratorio de testeo para el estudio de TV Conectada

Objeto de estudio
En el estudio con la universidad de Zayed también detectamos un problema, esta vez en el momento de la preparación del test. La facultad con la que colaboramos imparte la docencia en inglés, el nivel de inglés de sus estudiantes es por tanto alto y no tienen problemas de comprensión escrita. Para que el equipo de Barcelona pudiera diseñar el estudio para ambas universidades, se consideró conveniente diseñar las páginas que iban a ser testeadas en dos idiomas: español para los usuarios de Barcelona e inglés para los de Dubai. Cuando se analizaron los resultados se observaron diferencias muy importantes entre el comportamiento de búsqueda entre personas de ambos países, pero no podemos estar seguros de hasta qué punto ha podido influir que unos leyeran en un idioma nativo mientras que los otros lo hacían en un idioma no nativo. La consecuencia es que estamos repitiendo los tests en Barcelona en inglés –con otros usuarios- y en los próximos meses los haremos también en árabe para testear con los participantes de Dubai.

Número de variables
Otro ejemplo relacionado con la preparación del test tiene que ver con la definición de las variables. En este mismo estudio comparando usuarios de Barcelona con usuarios de Dubai se introdujo una amplia lista de variables independientes, es decir, que nosotros controlábamos. Se trataba de estudiar el comportamiento visual frente a la página de resultados que daba Google, para ello se tuvieron en cuenta los datos que daba el eye tracker en función de estas variables independientes:

Definiendo tantas variables se pretendía cubrir todos los factores que podían estar influyendo en el comportamiento de los usuarios, pero al ser tantos se dieron dos consecuencias: por un lado, al dividir la muestra para cada factor nos quedábamos con muy pocos usuarios para comparar y poder obtener significancia estadística (por ejemplo si queríamos saber si la temática influía, teníamos sólo un tercio de la muestra para cada tema, por lo tanto unos 20 usuarios por grupo del total del 60); por otro lado, y esto es lo más importante, perdíamos de vista la pregunta de investigación, que era conocer si existían diferencias culturales en la búsqueda de información. Por lo tanto aprendimos que si bien hay factores que pueden intervenir en los resultados, es importante centrarse en las variables que van directamente ligadas a la pregunta de investigación que nos hacemos. De forma secundaria nos podremos plantear realizar cálculos considerando otras variables si vemos que alguna de ellas podría estar influyendo en el resultado.

Aleatoriedad en el orden de las tareas
En un estudio sobre legibilidad en páginas web que estamos llevando a cabo, seleccionamos una serie de artículos de la Wikipedia y a cada uno le modificamos el tamaño de fuente y el espacio del interlineado. Teníamos varios tamaños de fuente y varios interlineados, y para cada combinación de fuente-interlineado un artículo. Por suerte no habíamos hecho más que apenas 10 tests cuando nos percatamos de la importancia de que el orden de los artículos que tenían que leer los participantes cambiara de un usuario a otro, ya que en los artículos leídos en primer lugar podríamos encontrar que las personas, por efecto de la inseguridad al no saber qué va a ocurrir después, se tomaban más tiempo que en los siguientes artículos. Para conseguir esta aleatoriedad diseñamos tantos órdenes de artículos como era posible, y testeando para cada diseño a pocos usuarios. No importa que la muestra sea pequeña ya que en los resultados juntábamos lo obtenido de distintos diseños para tener todo lo que pertenecía a una dupla fuente-interlineado. Se trataba de dar una aleatoriedad necesaria para evitar sesgos provenientes del orden de lectura de los artículos.

Aleatoriedad en el orden de presentación de las variables
En la explicación sobre las variables independientes citábamos el estudio sobre legibilidad para distintos tamaños de letras (Rello, Marcos 2012). En este estudio introdujimos más variables, entre ellas el contraste entre fuente y fondo. Cuando diseñamos este experimento no tuvimos en cuenta la posición en la que presentábamos cada frase, así que al analizar los resultados nos surgió la duda de si las personas tienden a leer con mayor intensidad frases que están al inicio del párrafo, y con menor intensidad las que están al final de él. Ante la duda, rediseñamos el experimento introduciendo variabilidad en la posición de las frases y repetimos los tests con nuevos usuarios.

 

Variable “separación entre párrafos” en un estudio de legibilidad en pantalla

Figura 4. Variable “separación entre párrafos” en un estudio de legibilidad en pantalla (Rello y Marcos 2012)

 

De estos errores hemos aprendido y hemos querido compartirlos con vosotros para que os sirvan en vuestra planificación y preparación de tests con usuarios. Sólo con una buena planificación se podrán prever posibles problemas, y así lograr que no se paralice el estudio cuando ya está en la fase de ejecución, y también para que no falten datos por recoger cuando llegamos a la fase de análisis.

 

Agradecimientos

Gracias a todos los usuarios que han participado en estos tests, en ocasiones lo han hecho sin más gratificación que nuestra sonrisa. Gracias también a los estudiantes que han participado como investigadores en estos proyectos, sus dudas me han hecho reflexionar y replantear más de una vez el estudio. Gracias en especial a los colegas de los que más he aprendido sobre diseño de estudios experimentales: Ricardo Baeza-Yates, Ioannis Arapakis y Luz Rello.

 

Bibliografía

Barnum, Carol (2011). Usability Testing Essentials: ready, set…test! Morgan Kaufmann.

Dumas, Joseph and Redish, Janice (1999). A practical guide to usability testing, Norwood: Ablex Publishing Corporation

Mansilla, Verónica; Marcos, Mari-Carmen (2013). User experience en Televisión Conectada: un estudio con usuarios. El Profesional de la Información. Marzo-Abril 2013. En prensa.

Marcos, Mari-Carmen; Garcia-Gavilanes, Ruth; Bataineh, Emad; Pasarin, Lara (2013). “Using Eye Tracking to Identify Cultural Differences in Information Seeking Behavior". Artículo aceptado en el Workshop “Many People, Many Eyes” en el congreso CHI 2013 (París 2013). Trabajo sin publicar.

Marcos, Mari-Carmen; Mansilla, Verónica (2013). “Video on Demand: Usability challenges for Connected TV”. Artículo aceptado en el Workshop “Exploring and Enhancing the User Experience for TV” en el congreso CHI 2013 (París 2013). Trabajo sin publicar.

McGrath, Joseph (1995). Methodology Matters: Doing Research in the behavioral and social sciences. In Baecker, R. M.; Grudin, J.; Buxton, W. A. S.; Greenberg, (eds). Readings in Human-Computer Interaction: Toward the Year 2000, pp. 152 - 169.

Rello, Luz; Marcos, Mari-Carmen (2012). An Eye Tracking Study on Text Customization for User Performance and Preference. LA-Web 2012 (Cartagena, Colombia, Octubre 2012).

Tullis, Tom; Albert, Bill (2008). Measuring the user experience: collecting, analyzing, and presenting usability metrics. Morgan Kaufmann.

Last updated 21-05-2013
© Universitat Pompeu Fabra, Barcelona