Universitat Pompeu Fabra
Biblioteca i Tic

Com avaluar la producció científica: indicadors i eines

 Versió per imprimir  Versió per imprimir

Propostes d'indicadors per mesurar la producció científica i eines o mètodes per calcular l'impacte de les revistes. S'incideix en la necessitat de combinar diversos indicadors en els processos d'avaluació per tal d'evitar les limitacions pròpies de cadascun d'ells.

Fletxeta Factor d'impacte (JCR)
Fletxeta Índex d'immediatesa
Fletxeta Quartil
Fletxeta Índex H de Hirsch 
Fletxeta Eines o mètodes per calcular l'impacte de les revistes

Factor d'impacte (JCR)

Thomson Scientific / ISI (Institute for Scientific Information), és la institució que publica el factor d'impacte de moltes revistes a través del Journal Citation Reports (JCR). Hi ha dues edicions del JCR: Science i Social Sciences. El nombre de revistes analitzades és extens (supera els 7000 títols), però hi ha poques revistes de llengua no anglesa, i no hi ha revistes d'altres àmbits (humanitats, per exemple).

El factor d'impacte d'una revista és la mitjana de cops que en un any determinat van ser citats els articles publicats per aquesta revista en els dos anys anteriors. 

Es calcula dividint el nombre de citacions de l'any corrent d'articles publicats en els dos anys anteriors, entre el nombre total d'articles publicats en aquests dos anys. Aquest seria un exemple d'aplicació de la fórmula:

 

Divisió del factor d'impacte

 

Disponible a JCR i In-RECS.

 

Com trobar el factor d’impacte:

Fletxeta Cerca amb JCR: 1r pas Aneu a JCR  Fletxa  2n pas Trieu l’edició i l’any  Fletxa  3r pas Seleccioneu una revista o un títol concret  Fletxa  4t pas Vegeu els diferents resultats

Fletxeta Cerca amb IN-RECS:  1r pas Aneu a In-RECS  Fletxa  2n pas Trieu la disciplina   Fletxa 3r pas Vegeu quadre de resultats   Fletxa 4t pas Disposeu de diferents opcions de cerca 


Cerca amb JCR

1r pas Aneu a JCR

Journal Citation Reports es pot trobar en el llistat alfabètic de Bases de dades i a la pàgina de bases de dades de les guies temàtiques de Ciències Experimentals i de la Salut, Ciències Polítiques i Socials, i Tecnologia.

2n pas Trieu l’edició i l’any

JCR pàgina inicial

3r pas Seleccioneu una revista o un títol concret

JCR pàgina sel·lecció

4t pas Vegeu el factor d’impacte

JCR resultats factor d'impacte

 

Cerca amb IN-RECS 

1r pas Aneu a IN-RECS

IN-RECS es pot trobar en el llistat alfabètic de Bases de dades.

2n pas Trieu la disciplina

IN-RECS pàgina inicial

3r pas Per defecte presenta un quadre amb el llistat de revistes de la disciplina escollida ordenats per el factor d’impacte.

IN-RECS factor d'impacte

 

4t pas Pots especificar la cerca per revista, articles, autor, anys...etc.

IN-RECS capçalera de eines

 

Anar al començament de la pàgina  

Índex d'immediatesa

Índex d'immediatesa (Immediacy index): mesura la rapidesa amb què es cita un article d'una revista. Indica amb quina freqüència són citats els articles d'una revista en un mateix any.

L'Índex d'Immediatesa es calcula dividint el nombre de cites a articles publicats en un any donat, pel nombre d'articles publicats en aquest mateix any.

 

Divisió Índex Immediatesa
   

Per tant, un índex d’immediatesa alt vol dir que la revista publica documents punters en investigació, en definitiva és un punt de referència i de consulta obligada per als científics de l'especialitat.

En relació amb l'índex d'immediatesa poden trobar altres indicadors com són:  

Cited half-life: número d'anys de la publicació en què s'acumula el 50% de les cites rebudes.

Citing half-life: número d'anys en què s'acumula el 50% de les cites realitzades.

Cited journal listing: llista de les publicacions que més freqüentment citen una revista.

Citing journal listing: llista de publicacions que més freqüentment són citades per una revista.

Cited-only journals: revistes que són citades pero no citen.

Disponible a JCR.

Com trobar l’índex d’immediatesa:

Fletxeta Cerca amb JCR: 1r pas Aneu a JCR  Fletxa  2n pas Trieu l’edició i l’any  Fletxa 3r pas Seleccioneu una revista o un títol concret  Fletxa 4t pas Vegeu els diferents resultats

Cerca amb JCR

1r pas Aneu a JCR

Journal Citation Reports es pot trobar en el llistat alfabètic de Bases de dades i a la pàgina de les guies temàtiques de Ciències Experimentals i de la Salut, Ciències Polítiques i Socials, i Tecnologi

2n pas Trieu l’edició i l’any

JCR pàgina inicial


3r pas Seleccioneu una revista o un títol concret

JCR pàgina sel·lecció

 

4t pas Vegeu l’índex d'immediatesa 

JCR Índex d'immediatesa

Anar al començament de la pàgina

Quartil

Si un llistat de revistes ordenades de major a menor factor d'impacte es divideix en quatre parts iguals, cadascuna d'elles és un quartil. Les revistes amb el factor d'impacte més alt estan en el primer quartil, els quartils mitjos seran el segon i tercer, i el quartil més baix el quart.
Ex.: en un llistat de 100 títols, el primer quartil seran els 25 primers títols i aquests seran els més valorats pels investigadors.

Disponible a través del In-RECS.

*Al JCR s’ha de calcular manualment a partir del factor d’impacte.

Com trobar el quartil:

Fletxeta Cerca amb IN-RECS:  1r pas Aneu a In-RECS    Fletxa  2n pas Trieu la disciplina   Fletxa  3r pas Vegeu quadre ordenat en quartil

Cerca amb IN-RECS     

1r pas Aneu a In-RECS

In-RECS es pot trobar en el llistat alfabètic de Bases de dades.

 

2n pas Trieu la disciplina

IN-RECS pàgina inicial

3r pas Per defecte presenta un quadre amb el llistat de revistes de la disciplina escollida ordenats per quartil.

IN-RECS ordenació en quartil

Anar al començament de la pàgina

Índex H de Hirsch

L’Índex H de Hirsch és un sistema de mesura que permet detectar als investigadors més destacats dins una àrea de coneixement, va ser proposat per Jorge Hirsch de la Universitat de California cap a mitjans del 2005.

El seu càlcul és senzill, consisteix en ordenar els documents d’un investigador en ordre descendent  de  nombre de cites rebudes, numerant-les i identificant el punt en el que el nombre d’ordre coincideix amb el de cites rebudes pel document.

Avantatges: L’Índex H permet avaluar en un sol indicador una mesura de quantitat i una altra de l’impacte de la  producció científica.

Inconvenients: No permet comparar investigadors de diferents àrees científiques. No té en compte la qualitat de les revistes de publicació. També l’índex H pot variar segons la eina utilitzada per al seu càlcul (WoK o Scopus). L’índex H penalitza als autors que prioritzen qualitat enfront de quantitat, no publiquen un nombre de documents molt elevat, però les seves contribucions són molt rellevants.

Disponible a través del WoKSCImago.

Com trobar l’índex H:

Fletxeta Cerca amb WoK:  1r pas Aneu a WoK  Fletxa  2n pas Trieu la base de dades segons disciplina  Fletxa 3r pas  Introduïu el nom d’autor, títol ... etc.  Fletxa 4t pas A la pantalla de resultats busqueu la icona i vegeu l’índex H

Fletxeta Cerca amb SJR: 1r pas Aneu a SJR   Fletxa  2n pas Trieu indicadors de revista o indicadors per països   Fletxa 3r pas Seleccioneu àrea, categoria, país anys i l’ordenació dels resultats   Fletxa  4t pas Vegeu els resultats  
  

Cerca amb WoK

1r pas Aneu a WoK

ISI Web of Knowledge es pot trobar en el llistat alfabètic de Bases de dades i a la pàgina de les guies temàtiques de Ciències Experimentals i de la Salut, Ciències Polítiques i Socials i Tecnologia.

2n pas Trieu la base de dades segons disciplina

WoK selecció bases de dades

3r pas Introduïu el nom d’autor, títol ... etc.

WoK pàgina de selecció

4t pas A la pantalla de resultats busqueu la icona WoK icona de resultats i vegeu l'índex H 

WoK pàgina de resultats



Cerca amb SJR   

1r pas Aneu a SJR

A la pàgina web de SCImago podeu trobar tota l'informació sobre el Scimago Journal & Country Rank

2n pas Trieu una de les opcions de resultats i els Indicadors de revista o Indicadors per països

SJR pàgina inicial

  3r pas Seleccioneu àrea, categoria, país, anys i l‘ordenació dels resultats segons si voleu cites, índex H ...etc.

SJR Indicador de revistes pàgina de selecció

4t pas Vegeu els resultats obtinguts.

SJR Taula de resultats

* La taula de resultats es pot descarregar en format excel.

Anar al començament de la pàgina

 Eines o mètodes per calcular l'impacte de les revistes

Fletxeta Factor de Impacto Potencial de las Revistas Médicas Españolas
Fletxeta IN-RECS. Índice de impacto de las revistas españolas de Ciencias Sociales
Fletxeta IN-REJS. Índice de impacto de revistas españolas de Ciencias Jurídicas
Fletxeta RESH. Revistas españolas de Ciencias Sociales y Humanas: valoración integrada e índice de citas (CINDOC)
Fletxeta Scimago Journal & Country Rank

 Factor de Impacto Potencial de las revistas Médicas Española

L’estudi “Factor de impacto potencial de las revistas médicas españolas” és un projecte elaborat per l’ Instituto de Historia de la Ciencia y Documentación López Piñero i finançant per la Subdirección General de Estudios y Análisis del Ministerio de Educación, Cultura y Deporte (Proyectos EA2003-0045 y EA2004-0148). El seu objectiu principal és determinar el Factor d’Impacte  Nacional i Internacional de les revistes biomèdiques espanyoles. 

El Factor d’Impacte Nacional es calcula considerant únicament les cites que les revistes espanyoles reben d’un grup d’aproximadament 100 revistes nacionals (revistes font o que citen). El criteri de selecció d’aquestes revistes ha estat la seva inclusió a la base de dades de l’IME i en alguna altra base de dades internacional: Medline, Embase y Science Citation Index.
A les 87 revistes inicials que al 2001 complien aquest criteri, se n’han anat afegint, en anys posteriors, altres que han resultat molt citades i que no formaven part de la cobertura inicial. D’altra banda, se n’han eliminat d’altres que posteriorment van deixar de publicar-se.
Per calcular el factor d’impacte d’una determinada revista s’han sumat totes les cites que ha rebut en els dos anys anteriors al del càlcul i s’han dividit pel número total d’articles publicats en aquests dos anys. Per calcular l’Índex d’immediatesa s’ha establert la relació entre les cites que ha rebut dins l’any del càlcul i els articles que publicat en aquell any. Únicament s’han analitzat les cites dels articles citables: els d’investigació en un sentit estricte, revisions i notes. S’han exclòs, per tant, editorials, cartes, comunicacions a congressos i ponències.

Per aconseguir el Factor d’Impacte Internacional de les revistes espanyoles ha estat necessari sumar, en el numerador, dos tipus de cites de diferent procedència. Per una banda, les cites procedents de l’anàlisi anterior i, per l’altra, les cites que les revistes font han rebut en el SCI.

 IN-RECS. Índice de impacto de revistas españolas de Ciencias Sociales

L’Índice de impacto de las Revistas Españolas de Ciencias Sociales , IN-RECS, és una base de dades elaborada pel Grupo E3, Evaluación de la Ciencia y de la Comunicación Científica de la Universitat de Granada que permet saber quin és l'impacte científic d'una revista, la seva evolució i la seva posició respecte la resta de les revistes de l'especialitat a través de diferents indicadors bibliomètrics, el principal dels quals és el factor d'impacte. L’impacte es recull des de 1994.

També permet conèixer quines són les publicacions que citen una revista i quines són les citades per aquesta. I saber quins són els articles més citats d'una especialitat, així com qui són els autors, articles i revistes que les citen i que són citats per ells mateixos. I, finalment, conèixer quines són les institucions més citades. Abast cronològic: varia segons la disciplina. Actualment cobreix: biblioteconomia i documentació, economia, educació, geografia, sociologia i psicologia.

L'IN-RECS és útil per saber de manera individualitzada les cites bibliogràfiques que reben els treballs més citats publicats en revistes científiques espanyoles i és complement de la informació que proporcionen les bases de dades de l'ISI Web of Knowledge.

 IN-RECJ. Índice de impacto de revistas españolas de Ciencias Jurídica

Es tracta de la mateixa eina que IN-RECS, però concretament de les disciplines de les ciències jurídiques. Així mateix trobem que la base de dades de l’IN-RECJ s’alimenta de la indexació sistemàtica de les referències bibliogràfiques citades als articles publicats a més de 200 revistes espanyoles sobre dret administratiu, civil i mercantil, constitucional, eclesiàstic, financer, filosofia del dret, internacional, penal i processal, treball i dret romà i història del dret. L’impacte es recull des de 2001.  

RESH. Revistas españolas de Ciencias Sociales y Humanas: valoración integrada e índice de citas (CINDOC)

Revistas españolas de Ciencias Sociales y Humanas : valoración integrada e índice de citas, és una eina elaborada pel pel Grupo de Investigación "Evaluación de publicaciones científicas en Ciencias Sociales y Humanas" del CINDOC (Centro de Información y Documentación Científica (CINDOC), organisme del Consejo Superior de Investigaciones Científicas (CSIC). 

A partir de l’elaboració de l’índex de cites es donen dades sobre l’ús i influència de les revistes i permeten calcular l’impacte de cada una en cada entorn disciplinar. Aporta els resultats de l’anàlisi de les revistes espanyoles de ciències socials i humanes des del punt de vista de la seva qualitat. Actualment podem trobar-hi índexs de cites dels anys 1999 fins 2003. 

Destaquem que la finestra de citació per a calcular del factor d’impacte d’una revista és de 5 anys degut a la menor obsolescència de les disciplines relatives a les ciències humanes i a algunes de les ciències socials així com als períodes dilatats d’edició (freqüències anuals) molt freqüents en aquestes àrees.
A partir de les revistes citades es pot accedir a les dades bibliogràfiques bàsiques de les revistes així com als nivells d’acompliment d’altres paràmetres fonamentals de qualitat, tant editorial com de visibilitat internacional, facilitant així una visió de conjunt sobre els diferents aspectes de la qualitat de cada revista, base d’una valoració integrada.

  Scimago Journal & Country Rank

Scimago Journal & Country Rank, iniciat al desembre 2007, portal que recull els indicadors científics sobre revistes i països extret de la base de dades Scopus, de Elsevier i desenvolupat per Scimago Research Group (format per membres de la Universidad de Granada, de Extremadura, Carlos III de Madrid i d’Alcalá de Henares)

El portal pren el seu nom de l’indicador SJR (SCImago Journal Rank) i pretén ser una alternativa d’accés obert al factor d’impacte JCR, basant el seu funcionament en l’algoritme  PageRank desenvolupat per Google.

SJR (SCImago Journal Rank) és un indicador que expressa el número d’enllaços que una revista rep a través de la citació ponderada dels seus documents en relació amb el número de documents publicats durant l’any per cada publicació. La ponderació de les cites es fa en funció de las que rep la publicació citant.

Els factors que inclou SJR són : l’índex H, el nombre total de cites per revista, el nombre total de documents publicats per revista i el nombre de cites per document.
Les seves opcions principals són rànquing de revistes i per països, permet filtrar per grans àrees de coneixement, categories temàtiques, el país/revista i l’any (des de 1996-2006)

Per exemple, permet fer un rànquing per països “Country indicators” segons el nombre de documents citats dins l`àrea de Ciències socials > Socioloy and political science.

A més del SJR, SCImago ha desenvolupat The Atlas of Science project, projecte que proposa la creació d’un sistema d’informació que té com a objectiu general aconseguir una representació gràfica de la investigació científica espanyola.

Anar al començament de la pàgina

Darrera actualització 03-07-2008
© Universitat Pompeu Fabra, Barcelona