Premi Maria de Maeztu per a la Reproductibilitat en Programari. Premi al Millor Projecte de Fi de Grau a Espanya

El Programa Estratègic d’Investigació associat a l’acreditació com Unitat d’Excel·lència Maria de Maeztu del Departament de Tecnologies de la Informació i les Comunicacions de la UPF (DTIC-UPF) té com a objectiu l’avenç de les metodologies i tecnologies d’extracció de coneixement a partir de dades que es duen a terme en les diferents disciplines científiques cobertes per DTIC-UPF, així com en el desenvolupament de les eines de processament de dades vinculades a un gran nombre d’aplicacions pràctiques.

Un objectiu específic d’aquest Programa Estratègic és incrementar l’impacte dels resultats d’investigació mitjançant la promoció de la seva reproducibilitat, facilitant que les publicacions, els datasets i les eines siguin més fàcilment accessibles, interpretables i reutilitzables.

En aquest context, i amb l’objectiu de promoure la posada en marxa de mecanismes que fomentin la reproducibilitat del programari a l’entorn universitari espanyol, el programa llança la menció Maria de Maeztu per a la Reproducibilitat en Programari per a Treballs Finals de Grau presentats a Universitats espanyoles el curs 2015-16.

 

El premi

El premi consistirà en 750€ bruts. Les activitats que es beneficiïn d’aquest premi i els resultats directes hauran de mencionar el suport econòmic rebut pel programa Unitats d’Excel·lència Maria de Maeztu del Ministeri espanyol d’Economia i Competitivitat.

El premi podrà declarar-se desert. Serà possible també atorgar el premi a més d’un projecte (distribuint en aquest cas els fons disponibles entre ells).

 

Criteris d’avaluació

Les presentacions seran valorades segons tres criteris individuals:

1. Reproducibilitat de l’algoritme

La descripció completa de l’algoritme en el TFG haurà de ser l’apropiada per tal que un altre programador la pugui replicar si fos necessari. Aspectes com la descripció dels paràmetres emprats, l’existència de diagrames de blocs o pseudocodi o la comparació d’aquests algoritmes amb altres d’equivalents seran criteris a valorar.
 

2. Reproducibilitat del codi

Per valorar aquests criteris, hauria de ser fàcilment possible d’obtenir i fer servir el programari associat amb el TFG i tornar a generar els resultats mostrats. Això és una prova aplicable com a punt de referència directe. Mentre que el Programa Maria de Maeztu fomenta presentacions de lliure accés i font oberta, la investigació que pugui ser reproduida raonablement per altres investigadors fent servir eines no obertes comunes o dades també és acceptable (p. ex. fent servir Matlab).

Per provar la reproducibilitat, les candidatures poden simplement provar el seu programari en una màquina diferent; demanar a un/a col·lega que ho provi, preferiblement sense estar al seu costat explicant-los com fer-ho.

Normalment això és suficient per detectar molts errors significatius, com arxius que falten, referències a direccions inexistents (p. ex. /inici/elmeuperfil/dades) o instruccions incompletes o fins i tot absents.

Idealment, la presentació contindrà scripts que regenerin tots els resultats presentats en el TFG. Igualment, les dades necessàries per reproduir els resultats es trobaran disponibles en condicions similars a les del programari.

 

3. Qualitat del plantejament de sostenibilitat del programari dades associades, de manera que permeti el reús i avenç en el marc de comunitats externes

La sostenibilitat tindrà en compte factors com:

  • si el codi i/o les dades estan emmagatzemades en un repositori públic adequat
  • si disposen d’instruccions i arxius “readme” de manera que no només es permeti la reproducibilitat, sinó que també pot permetre avenços futurs del treball
  • si es fa servir control de versions
  • si es disposa de mecanismes per a la participació col·laborativa (issue trackers, suport, etc.)
  • si el treball disposa de les llicències adequades, i aquestes estan clarament indicades
  • si s’inclouen detalls sobre suggeriments de millora i línies de treball futures.

Els criteris d’avaluació estaran basats en els criteris d’avaluació de sostenibilitat de l’Institut de Sostenibilitat de Programari (inclou una eina d’avaluació gratuïta, disponible online) i en metodologies d’avaluació de programari.

 

Participació

Mateixes condicions de participació que per al premi general al millor Treball Final de Grau a Espanya de 2016 organitzat pel Departament de Tecnologies de la Informació i les Comunicacions de la UPF. Les candidatures indicaran en el formulari si desitgen participar en aquesta categoria del premi i, en cas afirmatiu, hauran d’aportar una pàgina addicional en què proporcionin la informació rellevant per a la seva candidatura, incloent TOTS els enllaços rellevants a tenir en compte durant aquesta avaluació (només es tindran en compte els enllaços indicats en aquest full resum). Es considerarà com marc d’avaluació el mateix programa de màster seleccionat dins del premi general a millor TFG:

 

No haurà d’aportar-se cap informació confidencial, donat que tot el material aportat podrà ser publicat al web del projecte.

 

Jurat

El Jurat estarà compost per membres directament implicats en el Programa Estratègic d’Investigació Maria de Maeztu, i pot incloure la participació de membres externs.