En un trabajo sobre la ópera de Beijing, desde 2010 Patrimonio Cultural Inmaterial de la Humanidad, los investigadores Georgi  Dzhambazov, Yile Yang, Rafael Caro Repetto y Xavier Serra, miembros del Grupo de Investigación en Tecnología Musical (MTG) del Departamento de Tecnologías de la Información y las Comunicaciones (DTIC) de la UPF, han propuesto un nuevo método para el estudio de la alineación de la letra con el audio en la interpretación a capella, un estilo de música vocal o canto sin acompañamiento instrumental que, por sus características, permite estudiar mejor la fonética en la voz cantada. El objetivo de la investigación fue diseñar un algoritmo capaz de obtener mejores resultados que los existentes, y ganó el premio al mejor artículo en la 6a. edición del International Workshop Folk Music Analysis 2016 (FMA 2016)celebrado del 15 al 17 de junio en Dublín (Irlanda).

Algunas características de la ópera de Beijing

El Jingjù 剧京 o también conocido como ópera de Beijing, es interpretada en mandarín estándar con alguna aportación dialectal, y sus letras se basan en principios poéticos. Se estructura en pareados de dos versos y cada uno de ellos se divide en tres dous que a la vez se componen de dos a cuatro caracteres escritos. En general, un aria comienza con una parte más lenta que se va acelerando gradualmente para expresar estados de ánimo más intensos. Así pues, para enfatizar la semántica de una frase o de acuerdo con la trama, el actor tiene la opción de sostener la vocal de la sílaba final del dou.

Como explica Georgi Dzhambazov, primer autor del trabajo, "normalmente, las técnicas para alinear letra y audio en voz cantada se basan en las técnicas desarrolladas para voz hablada. Pero hay un par de problemas: la pronunciación de la voz cantada no es exactamente como la de la voz hablada, y la duración de las vocales, más largas en la voz cantada, afectan a estas técnicas".

Lo que se ha hecho en este trabajo para alcanzar el objetivo del estudio: diseñar un algoritmo capaz de obtener mejores resultados, ha sido usar un modelo estadístico que tenga en cuenta los cambios de duración del habla, concretamente el llamado: "modelo oculto de Markov con duración explícita"(Duration-explícitoHidden Markov Model,DHMM).

Entonces, este modelo se ha empleado en representaciones fonéticas extraídas directamente de muestras de voz cantada, en lugar de usarlo en muestras de voz hablada, como es habitual. Es decir, el DHMM se ha aplicado a grabaciones a capella del jingjù que, por su idiosincrasia, no presenta acompañamiento instrumental que pueda afectar el análisis fonético.

Además, para predecir la duración de las sílabas se ha añadido al modelo una serie de normas que se han obtenido del conocimiento teórico del jingjù, es decir, el hecho de que la última sílaba de un dou normalmente es más larga, y aún más si la sílaba final de un banshi, "los patrones rítmicos en que se estructuran las arias y que normalmente van de más lentos a más rápidos", explica Rafael Caro Repetto, coautor del trabajo y experto en este género musical chino. Y como también ha destacado, "precisamente, este último aspecto es uno de los principios fundamentales del proyecto CompMusic: incluir información cultural específica del género de música objeto de estudio en el desarrollo de las herramientas computacionales".

CompMusic es un proyecto europeo que tiene como objetivo principal desarrollar sistemas de análisis automático de tradiciones musicales diferentes de las occidentales, conforme a las respectivas especificidades culturales. La música tradicional china es una de las tradiciones musicales que estudia el MTG que lidera Xavier Serra, con el apoyo del European Research Council y que está continuando gracias a la ayuda Proof of Concept conseguido en 2015 con el objetivo de comercializar algunas de las tecnologías desarrollaras en el marco del proyecto CompMusic.

Trabajo de referencia:

Georgi Dzhambazov, Yile Yang , Rafael Caro Repetto, Xavier Serra (2016), “Automatic Alignment of Long Syllables in a Cappella Beijing Opera”, Folk Music Analysis: FMA 16: 6th. International Workshop,  15-17 Juny, 2016.