Vés enrere SciLens, un mètode que avalua la qualitat dels articles científics

SciLens, un mètode que avalua la qualitat dels articles científics

Presentat a la The Web Conference 2019 celebrada a San Francisco, del 13 al 17 de maig, per Carlos Castillo, director del Web Science and Social Computing, com a coautor del treball, amb investigadors de l'École Polytechnique Fédérale de Lausana (EPFL) (Suïssa).

04.06.2019

Imatge inicial

SciLens (Evaluating the Quality of Scientific News Articles Using Social Media and Scientific Literature Indicator) és un mètode per avaluar la qualitat dels articles de notícies científiques que es descriu, desenvolupa i valida en una comunicació publicada en els Proceedings The Web Conference 2019, celebrada a San Francisco (EUA) del 13 al 17 de maig.

Una comunicació que va ser presentada per Carlos Castillo, director del grup de recerca Web Science and Social Computing del (WSSC) del Departament de Tecnologies de la Informació i les Comunicacions (DTIC) de la UPF, juntament amb el professor Karl Aberer, tots dos tutors de la tesi doctoral de Panayotis Smeros, de l'Escola Politècnica Fédérale de Lausana (EPFL) (Suïssa), i primer autor del treball.

"El punt de partida del nostre treball són metodologies estructurades que defineixen un seguit d'aspectes de qualitat per avaluar de manera manual notícies. Basant-nos en aquests aspectes, descrivim una sèrie d'indicadors de qualitat de notícies. Segons els nostres experiments, aquests indicadors ajuden persones no expertes a avaluar amb més precisió la qualitat d'un article de notícies científiques, en comparació amb els no experts que no tenen accés a aquests indicadors", explica Carlos Castillo.

Una metodologia per a la recopilació de dades contextuals que captura alhora els continguts de l'article, la seva relació amb la literatura científica i les reaccions que genera en les xarxes socials

Un dels elements principals de SciLens és el seu enfocament cap al contingut i també cap al context dels treballs científics. El context s'obté, en primer lloc, a través de les referències explícites i implícites de l'article en la literatura científica, i en segon lloc de la seva repercussió en les xarxes socials. "Vam demostrar que tots dos elements contextuals poden ser fonts d'informació valuoses per determinar la qualitat de l'article", afirmen els autors.

El treball aporta una metodologia per a la recopilació de dades contextuals que captura alhora els continguts de l'article, la seva relació amb la literatura científica i les reaccions que genera en les xarxes socials

La validació de SciLens, feta a través d'una combinació d'anotació per experts en comunicació i ciència, i per no experts, demostra la seva efectivitat tant per a l'avaluació semiautomàtica com automàtica de la qualitat de les notícies científiques, segons es mostra gràficament en l'esquema de treball del mètode.

Aquesta metodologia permet identificar articles periodístics de baixa qualitat que no representen adequadament, o que fins i tot a vegades contradiuen, els articles científics que diuen citar

Scilens presenta una sèrie d'indicadors de qualitat dels articles científics automàticament a partir de les citacions generades per l'article, la relació d'un article periodístic amb la literatura científica, on els autors introdueixen mètodes de similitud de continguts i gràfics, i les reaccions de les xarxes socials a l'article, on els autors proposen un mètode per interpretar la postura adoptada en les xarxes sobre la recepció de l'article (comentaris, suports, crítiques, etc.) com a senyals de qualitat.

Finalment, els autors fan una avaluació experimental dels seus mètodes amb experts i no experts. SciLens pot produir una puntuació de la qualitat d'un article de manera totalment automatitzada, que concorda més amb les avaluacions fetes per experts que amb avaluacions manuals realitzades per persones no expertes. Això permet identificar articles periodístics de baixa qualitat que no representen adequadament, o que fins i tot de vegades contradiuen, els articles científics que diuen citar.

Treball de referència:

Panayiotis Smeros, Carlos Castillo, Karl Aberer (2019), “SciLens: Evaluating the Quality of Scientific News Articles Using Social Media and Scientific Literature Indicators”, Proceedings WWW’2019, 13-17 de maig, San Francisco (EUA), pp. 1747-1758. DOI: https://doi.org/10.1145/3308558.3313657

 

Multimèdia

ODS - Objectius de desenvolupament sostenible:

Els ODS a la UPF

Contact

Per a més informació

Notícia publicada per:

Oficina de Comunicació