Cada vegada hi ha més disponibilitat de dades internacionals que faciliten la comparació entre països, un fet que en la societat actual pot ajudar a mesurar, a través d'enquestes, temes com les actituds de la població davant de la immigració, la confiança política o els valors humans universals. No obstant això, encara que les comparacions internacionals aporten molts avantatges, no estan exemptes de grans desafiaments: abans de fer qualsevol comparació, cal establir l'equivalència de mesurament, ja que no fer-ho pot provocar comparacions esbiaixades entre diferents grups o països i portar a conclusions errònies.

No fer l'equivalència de mesurament pot provocar comparacions esbiaixades entre diferents grups o països i portar a conclusions errònies.

En aquest sentit, s'ha posat molt d'èmfasi en la importància de provar la "invariància de la mesura", un concepte que garanteix que sota diferents condicions d'observació i estudi de fenòmens, es mesura el mateix atribut o concepte de la mateixa manera entre diferents grups. Però no s'ha prestat tanta atenció a la importància de com l'error de mesura pot afectar les conclusions substancials que garanteixen aquesta invariància de la mesura, un aspecte fonamental per a la fiabilitat i la qualitat d'una enquesta comparativa.

Un estudi publicat recentment a la revista PLOS ONE, elaborat per André Pirralha i Wiebke Weber, membres del Centre d'Investigació i Recerca en Metodologia d'Enquesta (Research and Expertise Centre for Survey Methodology, RECSM) del Departament de Ciències Polítiques i Socials de la UPF , ha posat a prova un programa innovador, el Survey Quality Predictor (SQP), per tal de corregir l'error de mesurament. I ho ha fet a partir de l'anàlisi de com una enquesta real, concretament la tercera onada de l'Enquesta Social Europea (European Social Survey, ESS) de l'any 2006, mesura el concepte d'"amenaça ètnica percebuda" i fa una comparació entre els països participants.

La correcció de l'error de mesura pot fer variar els resultats de l'Enquesta Social Europea

L'objectiu de la recerca és doble: d'una banda, determinar si les actituds cap a la immigració que es desprenen del concepte "amenaça ètnica percebuda" analitzat en l'ESS són invariants de la mesura entre aquests països (és a dir, si per a mesurar aquest paràmetre s'han establert unes bases fiables que permeten la comparabilitat entre els països), i de l'altra, mostrar fins a quin punt la correcció de l'error de mesura afecta la invariància de la mesura, i per tant, aquesta correcció podria alterar els resultats.

"En la nostra investigació, vam comparar els resultats d'invariància de la mesura en aquesta ronda de l'ESS del 2006 abans i després de la correcció de l'error de mesura amb la nostra eina SQP. Hem arribat a la conclusió que hi ha raons per creure que la correcció de l'error de mesura pot canviar algunes de les conclusions d'aquesta enquesta europea", afirmen els investigadors de RECSM-UPF.

Els investigadors van demostrar que després d'analitzar l'ESS sense correcció de l'error de mesura, Dinamarca, Estònia i França no es podien comparar amb la resta de països.

Concretament, els investigadors van demostrar que després d'analitzar l'ESS sense correcció de l'error de mesura, Dinamarca, Estònia i França no es podien comparar amb la resta de països (és a dir, eren no invariants). En canvi, un cop feta la correcció de l'error de mesura, mitjançant la desvinculació de la part cognitiva relacionada amb el concepte d’"amenaça ètnica percebuda" del procés de mesurament, van demostrar que aquests grups eren parcialment invariants.

Per tant, tal com està plantejada l'enquesta, no es podrien comparar les actituds d'aquests tres països pel que fa a la percepció d'amenaça ètnica amb altres països europeus. "Això és molt significatiu, perquè fem servir dades de l'ESS, molt probablement una de les enquestes transnacionals que dedica més recursos a garantir la comparabilitat intercultural, i, no obstant això, encara es produeix aquest error de mesura", asseguren els autors.

Segons els investigadors, és fonamental assegurar-se que quan realment dos grups no es poden comparar en una enquesta (no invariància), i que les diferències que tenen sobre un mateix constructe no es poden corregir, es deu al fet que els grups tenen una comprensió diferent al voltant d'aquest concepte, i no perquè hi hagi diferències de mètode originades pels instruments de mesura: "La correcció de l'error de mesura hauria de considerar-se cada vegada més com una via vàlida per millorar els estàndards de recerca en aquest àmbit", conclouen els investigadors.

SQP, una eina innovadora desenvolupada per RECSM-UPF per corregir l'error de mesura

Els investigadors, tal com afirmen en l'article publicat a PLOS ONE, són conscients que el Survey Quality Predictor (SQP) és un programa que presenta certes limitacions, i que encara no prediu perfectament la qualitat de la mesura: de moment, només està disponible per a països i idiomes europeus.

El programa SQP es basa en una àmplia base de dades de codi obert de preguntes sobre enquestes i estimacions de qualitat creada mitjançant la col·laboració dels usuaris.

A més, es tracta d'un projecte d'investigació en curs, que es va actualitzant contínuament, i això pot afectar les prediccions de qualitat, que augmenten la seva precisió a mesura que s'utilitza més informació. No obstant això, "encara que SQP té limitacions, en absència de qualsevol altra font de qualitat de mesurament disponible, permet corregir errors de mesurament en les dades de l'enquesta", afirmen.

El programa SQP es basa en una àmplia base de dades de codi obert de preguntes sobre enquestes i estimacions de qualitat creada mitjançant la col·laboració dels usuaris, sobre molts temes diferents, en formats i idiomes diversos. Es tracta d'un sistema de codificació de les característiques formals i lingüístiques de les preguntes de l'enquesta que permet obtenir una predicció de la seva fiabilitat, validesa i qualitat.

Article de referència: "Pirralha, A., Weber, W (octubre 2020). "Correction for measurement error in invariance testing: An illustration using SQP". PLOS ONE

https://doi.org/10.1371/journal.pone.0239421