Vés enrere La reproductibilitat de les dades de recerca, un desafiament per a la ciència

La reproductibilitat de les dades de recerca, un desafiament per a la ciència

Un treball conjunt dels Grups de Recerca en Tecnologies de l'Educació i en Tecnologia Musical, publicat al Journal of Computer Assisted Learning, ha estudiat els processos cognitius subjacents a l'aprenentatge i ha intentat replicar un experiment estàndard a través d'un dispositiu electroencefalogràfic de baix cost i no invasiu.
17.05.2018

 

Els dispositius de baix cost permeten obtenir de manera ràpida resultats de proves realitzades a pacients i a subjectes en investigació. Per exemple, en l'estudi dels processos cognitius subjacents a l'aprenentatge, aquests dispositius poden aportar dades multimodals que complementen les dades conductuals o de comportament. No obstant això, la recol·lecció precisa i la combinació de dades multimodals i de comportament d'una manera que permeti la reproductibilitat de l'experiment és encara un desafiament, i sovint requereix que els investigadors refinin seus enfocaments.

Davinia Hernández Leo, coordinadora del Grup de Recerca en Tecnologies de l'Educació (TIDE) juntament amb Marc Yoshimi Beardsley, membre del seu equip, amb la col·laboració de Rafael Ramírez Meléndez, coordinador del Music and Machine Learning Lab, en el Grup de Recerca en Tecnologia Musical (MTG), del Departament de Tecnologies de la Informació i les Comunicacions (DTIC) de la UPF, han publicat un treball en el Journal of Computer Assisted Learning, que aborda aquest problema, un de punts estratègics del programa de la Unitat d'Excel·lència Maria de Maeztu del DTIC.

Comenta Hernández-Leo, "el nostre estudi ha intentat replicar un experiment cognitiu estàndard de memorització d'una llista de paraules, en un entorn diferent del laboratori i amb un enfocament més accessible utilitzant un dispositiu assequible i amb programari de codi obert". El propòsit d'aquest treball va ser validar un procediment a través d'una instal·lació de baix cost i de codi obert capaç de poder replicar un experiment de configuració multimodal, en aquest cas l'experiment de Pastötter et al. (2011); aplicar els mètodes apropiats d'adquisició de dades i facilitar la reproductibilitat a través d'una documentació transparent.

Per això, els investigadors van realitzar test de record dels continguts apresos i proves fisiològiques de patrons d'activitat cerebral,  a partir d'oscil·lacions d'ondes alfa mesurades a través de registres d’electroencefalogrames (EEG). Les ondes alfa cerebrals es relacionen amb l'atenció i la memòria de treball.

L'experiment va consistir en la replicació directa de la llista de paraules multimodal de Pastötter et al. (2011) utilitzant el dispositiu de baix cost Emotiv EPOC®, una interfície cervell-ordinador no invasiva que obté mesures electrofisiològiques de l'activitat cerebral durant l'aprenentatge, en aquest cas d'una llista de paraules (20 paraules en castellà), per tal d’estudiar si durant l'aprenentatge la represa o recuperació facilita la codificació i l'aprenentatge posterior de noves paraules.

Cinquanta-set participants de parla hispana van participar en aquest experiment. Es van valorar els resultats a través del rendiment en les proves de record i també a través dels canvis en les oscil·lacions d'ondes alfa. En aquest treball es va poder reproduir el comportament dels participants però no els resultats fisiològics obtinguts a través del dispositiu.

Es conclou que, pel que fa a l'ús de dades multimodals sobre l'aprenentatge, especialment en investigacions interdisciplinàries, els investigadors que busquin incorporar de forma innovadora dades multimodals en els seus estudis s'haurien d'esforçar per fer-ho de manera sostenible d'acord amb els requisits de reproductibilitat. La comunitat científica és conscient del problema de la reproductibilitat de l'evidència científica reportada en la literatura ja que alguns treballs demostren que la fiabilitat d'alguns estudis es pot veure compromesa a causa de biaixos, mides de mostra insuficients, etc. Com a resposta a aquest problema, recentment, moltes revistes i organitzacions s'han adherit a les directrius TOP (Transparency and Openness Promotion), promogudes pel Center of Open Science des d'abril de 2017.

Treball de referència:

Marc Yoshimi Beardsley, Davinia Hernández-Leo, Rafael Ramírez-Meléndez (2018), "Seeking reproducibility: Assessing a multimodal study of the testing effect", Journal of Computer Assisted Learning, 8 de maig, DOI: 10.1111 / jcal.12265.

Multimèdia

Categories:

ODS - Objectius de desenvolupament sostenible:

Els ODS a la UPF

Contact