Actualmente, los sistemas de evaluación más utilizados se basan en la comparación de la propuesta del traductor automático con una referencia humana,  bajo la hipótesis de que cuanto más se parezcan mejor resulta el sistema de traducción automática. Entre los más comunes existe el sistema BLUE (Papineni et al. 2002) que compara cadenas de palabras o el  METEOR (Denkowski and Lavie, 2014) que además incorpora posibles sinónimos en la comparación. Pero aún así, estos sistemas no contemplan que también puede darse un cambio de orden de las palabras, o una expresión lingüística equivalente como el uso de la voz pasiva, etc.

Marina Fomicheva y Núria Bel, investigadoras del Instituto Universitario de Lingüística Aplicada (IULA) del Departamento de Traducción y Ciencias del Lenguaje de la UPF,  han desarrollado el UPF-COBALT, un nuevo sistema de evaluación de traductores automáticos que explota la información sintáctica para estimar una puntuación para cada par de palabras alineadas,  a partir de la información de su similitud léxica y de las diferencias de sus contextos sintácticos. 

Para el cálculo de la similitud léxica, en lugar de recurrir a listas de sinónimos, como hace METEOR, UPF-COBALT utiliza representaciones vectoriales distribuidas de las palabras o "Word Embeddings" (Milolov et al. 2013). Para el cálculo de la equivalencia sintáctica, utiliza análisis de dependencias a partir de los cuales se definen las equivalencias (Sultan et al. 2014).

Las autoras han presentado este nuevo sistema en su trabajo “Using Contextual Information for Machine Translation Evaluation” al congreso internacional LREC 2016 (Language Resources and Evaluation Conference), que se está celebrando del 23 al 28 de Mayo en   Portorož (Slovenia), en el que describen el nuevo sistema de evaluación que discrimina variaciones aceptables entre una referencia y la propuesta del traductor automático. La variación se considera que preserva el significado y, por tanto, es aceptable si contiene palabras semánticamente parecidas y que están en contextos sintácticos equivalentes.

Como ha explicado Núria Bel, “en el caso de producirse errores de traducción, que han de ser penalizados, o la elección de la palabra no es apropiada o los contextos sintácticos no son equivalentes”.

UPF-COBALT demostró estar entre las cuatro mejores métricas (de más de 20 participantes) en el pasado Workshop on Statistical Machine Translation 2015, celebrado en la reunión anual de la Association for Computational Linguistics, ACL 2015, celebrado del 26 al 31 de julio en Lisboa (Portugal).

Trabajo de referencia: