Cada vez hay más disponibilidad de datos internacionales que facilitan la comparabilidad entre países, un hecho que en la sociedad actual puede ayudar a medir, a través de encuestas, temas como las actitudes de la población frente a la inmigración, la confianza política o los valores humanos universales. Sin embargo, aunque las comparaciones internacionales aportan muchas ventajas, no están exentas de grandes desafíos: antes de hacer cualquier comparación, hay que establecer la equivalencia de medición, ya que no hacerlo puede provocar comparaciones sesgadas entre diferentes grupos o países y llevar a conclusiones erróneas.

No establecer la equivalencia de medición puede provocar comparaciones sesgadas entre diferentes grupos o países y llevar a conclusiones erróneas.

En este sentido, se ha puesto mucho énfasis en la importancia de probar la "invariancia de la medida", un concepto que garantiza que bajo diferentes condiciones de observación y estudio de fenómenos, se mide el mismo atributo o concepto de la misma manera entre diferentes grupos. Pero no se ha prestado tanta atención en la importancia de cómo el error de medida puede afectar las conclusiones sustanciales que garantizan esta invariancia de la medida, un aspecto fundamental para la fiabilidad y la calidad de una encuesta comparativa.

Un estudio publicado recientemente en la revista PLOS ONE, elaborado por André Pirralha y Wiebke Weber, miembros del Centro de Investigación y Asesoramiento de Metodología de Encuesta (Research and Expertise Center for Survey Methodology, RECSM) del Departamento de Ciencias Políticas y Sociales de la UPF, ha puesto a prueba un programa innovador, el Survey Quality Predictor (SQP), a fin de corregir el error de medición. Y lo ha hecho a partir del análisis de cómo una encuesta real, concretamente la tercera ola de la Encuesta Social Europea (European Social Survey, ESS) del año 2006, mide el concepto de "amenaza étnica percibida" y hace una comparación entre los países participantes.

La corrección del error de medida puede hacer variar los resultados de la Encuesta Social Europea

El objetivo de la investigación es doble: por un lado, determinar si las actitudes hacia la inmigración que se desprenden del concepto "amenaza étnica percibida" analizado en la ESS son invariantes de la medida entre estos países (es decir, si para medir este parámetro se han establecido unas bases fiables que permiten la comparabilidad entre los países), y por otro, mostrar hasta qué punto la corrección del error de medida afecta la invariancia de la medida, y por tanto, esta corrección podría alterar los resultados.

"En nuestra investigación, comparamos los resultados de invariancia de la medida en esta ronda de la ESS del 2006 antes y después de la corrección del error de medida con nuestra herramienta SQP. Hemos llegado a la conclusión de que hay razones para creer que la corrección del error de medida puede cambiar algunas de las conclusiones de esta encuesta europea", afirman los investigadores de RECSM-UPF.

Los investigadores demostraron que tras analizar la ESS sin corrección del error de medida, Dinamarca, Estonia y Francia no se podían comparar con el resto de países.

Concretamente, los investigadores demostraron que tras analizar la ESS sin corrección del error de medida, Dinamarca, Estonia y Francia no se podían comparar con el resto de países (es decir, eran no invariantes). En cambio, después de la corrección del error de medida, mediante la desvinculación de la parte cognitiva relacionada con el concepto de "amenaza étnica percibida" del proceso de medición, demostraron que estos grupos eran parcialmente invariantes.

Por lo tanto, tal como está planteada la encuesta, no se podrían comparar las actitudes de estos tres países en cuanto a la percepción de amenaza étnica con otros países europeos. "Esto es muy significativo, porque utilizamos datos de la ESS, muy probablemente una de las encuestas transnacionales que dedica más recursos a garantizar la comparabilidad intercultural, y, sin embargo, aún se produce este error de medida", aseguran los autores.

Según los investigadores, es fundamental asegurarse de que cuando realmente dos grupos no se pueden comparar en una encuesta (no invariancia), y que las diferencias que tienen sobre un mismo constructo no se pueden corregir, se debe a que los grupos tienen una comprensión diferente alrededor de este concepto, y no porque haya diferencias de método originadas por los instrumentos de medida: "La corrección del error de medida debería considerarse cada vez más como una vía válida para mejorar los estándares de investigación en este ámbito", concluyen los investigadores.

SQP, una herramienta innovadora desarrollada por RECSM-UPF para corregir el error de medida

Los investigadores, tal como afirman en el artículo publicado en PLOS ONE, son conscientes de que el Survey Quality Predictor (SQP) es un programa que presenta ciertas limitaciones, y que aún no predice perfectamente la calidad de la medida: por el momento, sólo está disponible para países e idiomas europeos.

El programa SQP se basa en una amplia base de datos de código abierto de preguntas sobre encuestas y estimaciones de calidad creada mediante la colaboración de los usuarios.

Además, se trata de un proyecto de investigación en curso, que se va actualizando continuamente, y esto puede afectar a las predicciones de calidad, que aumentan su precisión a medida que se utiliza más información. Sin embargo, "aunque SQP tiene limitaciones, en ausencia de cualquier otra fuente de calidad de medición disponible, permite corregir errores de medición en los datos de la encuesta", afirman.

El programa SQP se basa en una amplia base de datos de código abierto de preguntas sobre encuestas y estimaciones de calidad creada mediante la colaboración de los usuarios, sobre muchos temas diferentes, en formatos e idiomas diversos. Se trata de un sistema de codificación de las características formales y lingüísticas de las preguntas de la encuesta que permite obtener una predicción de su fiabilidad, validez y calidad.

Artículo de referencia: "Pirralha, A., Weber, W (octubre 2020). "Correction for measurement error in invariance testing: An illustration using SQP". PLOS ONE

https://doi.org/10.1371/journal.pone.0239421