Los tests de usuarios en remoto: entrevista a Javier Darriba

Citación recomendada: Javier Darriba; Mari-Carmen Marcos. Entrevista a Javier Darriba sobre Tests de usarios en remoto."Hipertext.net", núm. 11, 2013. http://www.hipertext.net


Entrevista a Javier Darriba sobre los tests de usuarios en remoto

Realizada en mayo de 2013

Entrevistado
Javier Darriba
https://twitter.com/Javierdarriba
http://www.userzoom.com/company/


Javier Darriba

Javier Darriba es CEO y fundador de la consultora española de UX (user experience) Xperience Consulting, así como co-fundador y Co-CEO de la empresa UserZoom, uno de los líderes del mercado en tecnología para tests de usuarios en remoto. Entre otras actividades docentes, es profesor en el Máster Online de Documentación Digital (Idec-UPF)

En esta entrevista, a la que nos ha respondido por escrito, nos presenta la técnica de testeo de usuarios conocida como remote user testing. Nos cuenta cómo la investigación de la experiencia de usuario está experimentando cambios producidos por la irrupción de nuevas técnicas relacionadas con la posibilidad de realizar la investigación de los usuarios fuera del laboratorio.

Estas técnicas están apoyadas por software que permiten realizar los test de usabilidad online, con el usuario interactuando desde su casa u oficina, con la posibilidad de testear grandes muestras y combinar datos cuantitativos y cualitativos. Son técnicas que están creciendo ayudadas por un cambio en la metodología de desarrollo de software, "agile development" que necesita testear los desarrollos de forma iterativa y muy rápida.

Son técnicas que no se circunscriben únicamente a los tests de usabilidad online sino que incluyen también los card sortings online, tree testing y algunas más. Darriba afirma que la investigación de usuarios online está llamada a ser la técnica de investigación preponderante, sobre todo si se tiene en cuenta lo que ha pasado en sectores hermanos como la investigación de mercados en donde las encuestas online han desplazado a otro tipo de encuestas tradicionales en el ranking de técnicas más utilizadas por los investigadores de mercado.

1. ¿Puede definir los test en remoto?

Los tests de usuario en remoto son una poderosa herramienta de investigación on-line basada en la metodología de análisis por objetivos de usuarios o escenarios, que permite testear la usabilidad y la experiencia de usuario a través de sofisticados softwares de testeo remoto de usuarios.

2. ¿La investigación de la experiencia de usuario con test remotos es algo muy reciente?

Si miramos 10 años atrás vemos cómo los tests de usabilidad y en general la investigación de experiencia de usuario ha variado poco o nada.  A nivel técnico quizás se ha mejorado el sonido, seguimos utilizando los mismos softwares de captura de pantalla y las innovaciones en el eye tracking han sido incrementales y de ninguna manera revolucionarias.

No ha pasado lo mismo con otros sectores como el marketing online que está sometido a continuas sacudidas que hacen temblar cada 2 0 3 años los pilares sobre los que se sustenta. Algo parecido ha sucedido también con la investigación de mercados tradicional en la que según el estudio anual de ESOMAR de 2012 la investigación de mercados online representa un 22% muy por encima del 13% de entrevistas telefónicas, 13% de Focus group o 11% de entrevistas cara a cara.

Pero es lógico, la investigación de experiencia de usuario es mucho más nueva que la investigación de mercados con lo que en cierto modo es normal que haya sido la investigación de mercados la que haya cambiado primero hacia los estudios online.

3. ¿Hay datos sobre el uso de estos tests remotos por parte de los profesionales de la UX?

En la "salary survey" que hizo la UPA (Actualmente UXPA) en 2007 los tests de usuarios en remoto de tipo "non moderated" o "automated" no aparecían como técnica. En el 2009, el 18% de los entrevistados reconocía haber utilizado esa técnica en el último año. En el 2011 el total de UX researchers que contestaban haber realizado tests de usuarios en remoto no moderado era del 23%, siendo ésta la técnica que porcentualmente más crecía. No tengo ninguna duda que el resultado de la encuesta de este año arrojará datos aún más contundentes. Y es que los softwares que ofrecen la posibilidad de realizar tests de usuarios en remoto han posibilitado la expansión de esta metodología.

4. ¿Durante la realización de un test remoto, el profesional de UX está de algún modo presente al otro lado?

Depende de si se va a realizar un test moderado o no moderado. Los tests de usabilidad en remoto moderados funcionan exactamente igual que los tests en laboratorio. La única diferencia es que el moderador está en un lugar diferente del usuario. Así el moderador podría estar en Barcelona y el usuario en Madrid. La comunicación se hace por teléfono, Skype, GoToMeeting, Webex... pudiendo con algunos de estos softwares visualizar la cara del usuario a través de Webcam y compartir la pantalla, de forma que el moderador puede observar la pantalla del usuario. Cómo se puede deducir, este tipo de técnica a nivel metodológico no difiere en nada o en casi nada del test de usabilidad en laboratorio.

En cambio en los tests de usabilidad en remoto no moderados el UX researcher sí realiza el guión del test, detallando las tareas que el usuario va a tener que hacer, las preguntas que se le van a hacer y las inserta en el software de testeo que haya escogido. Una vez insertado, envía el estudio a los usuarios para que lo realicen. Éstos, como si de un cuestionario online se tratara, realizan el estudio, sin que mientras lo hacen haya un moderador observando lo que hace. Es el propio software quien modera el estudio, mostrándole al usuario las tareas que debe ir haciendo, haciéndole las preguntas después o antes de cada una de las tareas y recogiendo la información sobre la navegación, clicks, tiempo.... del usuario. Estos tipos de test (en inglés: unmoderated remote usability testing o automated remote usability testing) están siendo utilizados por cada vez más User experience researchers en los últimos años, debido en gran parte a la implantación en las empresas de las metodologías de desarrollo agiles "agile development".

5. Se habla mucho de los desarrollos agile ¿de qué se trata? ¿Cómo afecta a los profesionales de la UX y concretamente a los tests remotos?

Según Wikipedia, "el desarrollo ágil de software son métodos de ingeniería del software basados en el desarrollo iterativo e incremental, donde los requerimientos y soluciones evolucionan mediante la colaboración de grupos auto organizados y multidisciplinarios. Existen muchos métodos de desarrollo ágil; la mayoría minimiza riesgos desarrollando software en lapsos cortos. El software desarrollado en una unidad de tiempo es llamado una iteración, la cual debe durar de una a cuatro semanas. Cada iteración del ciclo de vida incluye: planificación, análisis de requerimientos, diseño, codificación, revisión y documentación".

Este tipo de metodologías de desarrollo requieren formas de evaluación de la usabilidad rápidas, flexibles y ágiles. Los test de usabilidad en laboratorio, normalmente requieren de alrededor de 3 semanas para llevarse a cabo, incluyendo preparación del guión del test y guión de captación, reclutamiento, moderación del test y análisis. Un periodo de evaluación tan largo no encaja en estas metodologías de desarrollo.

Encaja más en el concepto de "test de guerrilla" los test de usabilidad en remoto no moderados, en los que se reduce el tiempo significativamente en las fases de reclutamiento, moderación así como análisis.

6. Imagine que vamos a hacer uno de estos tests, qué pasos tendríamos que seguir?

Primero, se realiza un guión del test como en el caso de los tests de usuario clásico en laboratorio. A diferencia de los tests de usuarios en laboratorio se realizan entre 4 y 5 tareas. Asimismo, el usuario puede contestar cuestionarios antes y después de cada tarea y cuestionarios al principio y al final del estudio.

Este guión se inserta en una plataforma que se encargará de monitorizar el test al usuario. Los usuarios se pueden captar de un panel de usuarios como los que utilizan las investigadoras de mercado tradicionales, invitarlos de una basa de datos de clientes que podamos tener o interceptando a los usuarios en la misma web que deseamos testear.

Dependiendo del tipo de software que se utilice los usuarios se deberán descargar un plug-in en su ordenador o no. Una vez los usuarios consienten en participar en el estudio, les aparece una barra en la parte inferior del navegador que les va diciendo lo que tienen que hacer. Mientras los usuarios realizan las tareas, este software recoge el tiempo, número de clics, caminos, ratio de éxito de los usuarios y algunos de ellos pueden incluso reproducir en video la sesión del usuario.

Finalmente, estos softwares tienen herramientas para analizar los datos, segmentar por perfiles y exportar los datos a herramientas que permitan el análisis estadístico de la información recogida.

7. ¿Qué resultados se pueden esperar de los tests de usuarios en remoto?

Una vez finalizado un estudio de tests de usuarios en remoto, obtenemos información rica sobre la experiencia de usuario ante el interfaz testeado. Categorizamos la información en tres grupos:

  1. Eficacia : ¿Cumple el usuario sus objetivos on-line? ¿Es capaz de realizar sus tareas? ¿Encuentra la información que busca? ¿Es capaz de registrarse y comprar? Etc.
  2. Eficiencia : ¿Cuántos clics, tiempo y esfuerzo son necesarios para realizar una tarea? ¿Qué tipo de esfuerzo requiere entrar en nuestra intranet corporativa y descargar documentos? ¿Cuánto tiempo es necesario para aprender a utilizar un sistema de procesamiento de compras on-line (e-procurement)? etc.
  3. Satisfacción : ¿Qué opinan nuestros usuarios de nuestra web? ¿Les gustan los gráficos, imágenes y colores de nuestro nuevo diseño? ¿Al finalizar su navegación, están realmente satisfechos? ¿Volverían contentos? ¿Qué podríamos hacer para complacerles más? etc.

Algunos de los resultados que podemos obtener para cada una de estas tareas son:

  1. Reproducción en video de la interacción del usuario durante la tarea.
  2. Ratio de éxito y abandono en la realización de cada tarea
  3. Tiempo y número de clics necesarios para realizar la tarea
  4. Caminos seguidos por los usuarios para alcanzar su objetivo
  5. Razones del abandono
  6. Páginas y lugar en las que se realizó el abandono
  7. Respuesta a los cuestionarios previos y posteriores a la tarea
  8. Análisis de cada una de las páginas que los usuarios han visitado cuando realizaban una tarea determinada
  9. Comportamiento de los usuarios por página específica
  10. Composición de la página: peso de la página y de sus elementos
  11. Tiempo de estancia en la página y de descarga de la misma
  12. Etc.

8. ¿No puede proporcionar algunos ejemplos de cómo se presentan estos resultados?

Sí, a continuación os paso algunas explicaciones e imágenes de cómo lo hace la herramienta UserZoom:

Ratios de éxito: A través de este gráfico (figura 1) se muestra el porcentaje de usuarios que han conseguido realizar una tarea y el porcentaje de los que no lo han conseguido. Entre los que no lo han conseguido, se distingue entre los que abandonan la tarea porque no saben cómo llegar a la información que se les pide y los de error, es decir aquellos usuarios que creen que sí que han llegado a la información correcta pero que tras validar su respuesta y la página a la que han llegado queda en evidencia que no han sabido llegar.

 

Eficiencia y Eficacia.jpg

Figura 1. Ratios de éxito

Caminos de navegación: Normalmente se muestran dos tipos de caminos, aunque se puede filtrar por todas las variables que se desee. Se acostumbra a mostrar el camino de los usuarios que han finalizado con éxito y el de aquellos que no lo han hecho. Al lado de la flecha que indica donde ha ido el usuario, se incluye el porcentaje de usuarios que han ido a una u otra página. UserZoom también tiene una herramienta que permite "humanizar las URLS" y hacerlas más inteligibles a los usuarios.

Clickmapping: En la figura 2 se puede ver dónde hacen click los usuarios. Es muy útil para mostrar de forma gráfica los diferentes caminos que toman los usuarios al inicial una tarea.

 

clickstream.jpg

Figura 2. Clickmapping

Cuestionarios online: Al inicio del test, al final y antes y después de cada tarea, se realizan preguntas a los usuarios dependiendo de lo que hayan hecho. En la imagen (figura 3) se puede ver la clásica pregunta de valoración final de la Web.

 

NPS.jpg

Figura 3. Cuestionario

Finalmente mostramos una captura de pantalla de la página donde se visualizan los videos de los usuarios al realizar la tarea en UserZoom (figura 4).

 

Videos.jpg

Figura 4. Vídeos de los usuarios en UserZoom

9. ¿Además de los tests, hay otras formas de investigación de usuarios que también se hagan en remoto?
Efectivamente. En realidad cuando se habla de Online UX Research o investigación de la experiencia de usuario en remoto, no solo se incluyen tests de usuarios en remoto sino también otras técnicas que a continuación os voy a describir agrupadas en función del momento en el que se suelen utilizar dentro del proceso de desarrollo de una Web o de un software.

A) Durante la fase de conceptualización se realizan estudios de intención o True intents (Voice of Customer) destinados a conocer al usuario visitante de una página web, a conocer cuál es el propósito de su vista y a conocer si ha conseguido el propósito por el que visitó el site. Se obtiene información relacionada con los objetivos de su visita (por qué, o a qué viene a la web), quién es (perfil socio demográfico) y si consiguió encontrar la información que venía buscando. Para este estudio se utilizan usuarios que han entrado de manera espontánea a la web. La muestra de este tipo de estudio está entorno a los 500 participantes. Los datos que se obtienen de este tipo de estudio responden a las siguientes preguntas: ¿Qué vienen a hacer los usuarios a mi web? ¿Consiguen realizar la tarea a la que venían? En el caso de tener ¿qué problemas han tenido? ¿Qué percepción tienen tras utilizar la web?

B) Durante la fase de arquitectura de información y prototipado se puede contar con diversas técnicas que ahora expongo.
El card sorting es un ejercicio en el que el usuario agrupa y clasifica un conjunto de conceptos en diferentes grupos. El objetivo es estudiar la forma como los usuarios organizan la información, agrupan esos conceptos y crean asociaciones entre ellos. Luego se analizan estadísticamente las coincidencias entre los usuarios para elaborar unas categorías lo más próximas posibles al modelo mental de los usuarios.
Por otro lado, en el tree testing (o Reverse card sorting), el participante debe buscar una categoría en una estructura jerárquica de contenidos (figuras 5 y 6).

 

Tree Testing 1.jpg

Figura 5. Tree testing, listado de términos

 

Tree Testing 2.jpg

Figura 6. Tree testing, resultados


En tercer lugar, el screenshot click testing es un tipo de test que se hace sobre una página en desarrollo, que puede ser un prototipo high fidelity o una imagen en PSD (por ejemplo). Se le plantea al usuario una mini-tarea que consista en hacer click en algún elemento de la página. El usuario tiene que observar la página y decidir dónde haría click. El software recoge los clicks hechos por el usuario en la página y muestra un mapa de clicks de los usuarios (figura 7).

Clickmapping.jpg

Figura 7. Mapa de clicks

 

Finalmente, la técnica del test de usuarios (en laboratorio o en remoto) sobre prototipos, que es igual a los tests de usabilidad en laboratorio o en remoto, con la única peculiaridad que no se hacen sobre Webs en funcionamiento sino sobre prototipos hechos con Axure, Balsamiq, Justinmind, Irise u otro tipo de herramienta de prototipado.

C) Durante la fase de lanzamiento u optimización entrarían los tests que ya hemos visto, así como algunas de las técnicas expuestas en la fase anterior. Asimismo, en esta fase deberíamos incluir tests del tipo A/B testing y test multivariante, que por pertenecen al área de Web analytics y optimización Web.

10. ¿Podría resumir cuál es la ventaja de usar técnicas remotas y en particular tests en remoto en UX?

Los tests de usuarios en remoto enriquecen la investigación de la experiencia de usuarios aportando un tipo de información que hasta ahora no podíamos obtener en el laboratorio.

Es una técnica que sustentada por avanzados software tiene muchas posibilidades de evolución y poco a poco irá cogiendo terreno  a las técnicas de investigación de usuarios tradicionales y más cualitativas, dejando a éstas aquellos aspectos de la investigación en la que es imprescindible el cara a cara con los usuarios como pasa en los estudios etnográficos.

Que los tests de usuario en remoto superarán a los tests de usuario en laboratorio es algo que pocos se atreven a discutir, la cuestión es cuándo se producirá el "sorpasso". 

¿Podría recomendar algunas lecturas sobre el tema?

Por supuesto, estas son las que recomiendo:

  1. Nate Bolt, Tony Tulathymute. Remote Research. Rosenfield Media, 2010.
  2. Robert Schumacher (Ed.). Handbook of Global User research. Morgan Kaufmann Publishers, 2010.
  3. Tom Tullis, William Albert and Dona Tedesco. Beyond the Usability Lab: Conducting Large-scale Online User Experience Studies. Morgan Kaufmann Publishers, 2010.
  4. Tom Tullis and William Albert. Measuring the user experience: Collecting, Analyzing, and Presenting Usability Metrics (Interactive Technologies). Morgan Kaufmann Publishers, 2008.

Encantada

Last updated 04-06-2013
© Universitat Pompeu Fabra, Barcelona