El estudio sobre la gestualidad, la expresión facial, las señales u otros aspectos relacionados con el lenguaje verbal y no verbal tienen aplicaciones en múltiples campos. Por ejemplo, pueden contribuir a desarrollar aplicaciones tecnológicas y de inteligencia artificial que se basan en las pautas del lenguaje humano, a detectar trastornos de aprendizaje entre los niños y niñas o a mejorar las metodologías de aprendizaje de la lengua y otras habilidades comunicativas en las aulas. Estos serán algunos de los temas que se tratarán en el I Simposio Internacional de Comunicación Multimodal (MMSYM), que tendrá lugar en el Auditorio del campus del Poblenou de la UPF entre el miércoles 26 y el viernes 28 de abril.

Los encargados de organizar este I Simposio Internacional de Comunicación Multimodal son el grupo de investigación GrEPG (Grupo de Estudios de Prosodia y Gestualidad) del Departamento de Traducción y Ciencias del Lenguaje de la UPF y la red GEHM (Gestures and Head Movements in Language) de la Universidad de Copenhagen. Esta red agrupa a ocho grupos de investigación europeos sobre el tema.

Pilar Prieto, coordinadora del GrEPG (ICREA-UPF) asegura: “creemos que una perspectiva multimodal del lenguaje humano que incorpore de forma integrada la voz y el cuerpo es crucial para darnos cuenta de la gran importancia que tienen estos componentes para la comunicación y el aprendizaje”.

Patrizia Paggio, coordinadora del GEHM de la Universidad de Copenhague añade: “El Primer Simposio Internacional de Comunicación Multimodal MMSYM 2023 es un foro multidisciplinario importante para los investigadores que trabajan en el campo de la multimodalidad, que hace referencia a la manera en la que se utilizan las modalidades de habla y visuales de la comunicación humana, así como la interacción humanos-máquinas. Este área de investigación está creciendo en popularidad y tiene aplicaciones en muchos ámbitos, como por ejemplo el desarrollo de habilidades comunicativas, la enseñanza de idiomas, los sistemas de tutoría y los agentes artificiales”.

Más de 130 investigadores participan en el simposio, en el que participarán ponentes de prestigio internacional

Más de 130 investigadores de todo el mundo se han inscrito a este simposio internacional, al cual también se ha invitado a ponentes de prestigio internacional. Una de las ponentes invitadas es Catherine Pelachaud, directora de Investigación del Centro Nacional de Francia para la Investigación Científica (CNRS en sus siglas en francés), adscrita al Instituto de los Sistemas Inteligentes y de Robótica (ISIR) del campus Pierre et Marie de la Universidad de la Sorbona. Pelachaud está especializada en ciencia computacional, en la interacción humanos-máquinas y en el desarrollo de asistentes virtuales y de tecnologías de reconocimiento facial, entre otras cuestiones. Otros ponentes invitados al simposio son Alan Cienki, profesor de Lingüística y Cognición y de Lingüística Inglesa en la Vrije Universiteit Ámsterdam (VU Ámsterdam) y coordinador del Ámsterdam Gesture Center; y Jelena Krivokapić, profesora de Lingüística en la Universidad de Michigan. Entre sus campos de investigación, destacan la prosodia, la gestualidad y la planificación en la producción del lenguaje.

Los ejes temáticos del simposio: campos de investigación y aplicación de la comunicación multimodal

El MMSYM es un simposio interdisciplinario que se dirige a investigadores y expertos en diferentes vertientes de la multimodalidad en la comunicación humana y en la interacción humanos-máquinas. Se entiende por comunicación multimodal aquella que engloba las diferentes maneras que usamos para transmitir o recibir mensajes y relacionarnos mutuamente, ya sea de forma verbal o no verbal.

Al simposio, se presentan investigaciones de tres grandes líneas de investigación. En primer lugar, se compartirán investigaciones sobre las características específicas del lenguaje cuando interactúan gestos y discursos, según el perfil de cada uno de los interlocutores. En segundo lugar, se expondrán investigaciones sobre cómo mejorar la efectividad de los discursos a través de la comunicación multimodal, combinando el movimiento del cuerpo con la prosodia (o la entonación). En tercer lugar, se expondrán investigaciones sobre modelos conceptuales y estadísticos para analizar datos relacionados con la comunicación multimodal, especialmente relacionadas con los movimientos de la cabeza y el uso de la mirada.

En el marco de los tres ejes temáticos anteriores, se tratarán cuestiones como:

• La comunicación multimodal en la interacción entre humanos y máquinas, por ejemplo a través de los agentes conversacionales.
• Los sistemas de aprendizaje automático de inteligencia artificial que se pueden aplicar para analizar datos sobre comunicación multimodal
•  Los sistemas de reconocimiento e interpretación automática de diferentes modalidades de comunicación (por ejemplo de reconocimiento facial).
• La relación entre la comunicación multimodal y la adquisición del lenguaje en los niños y  niñas y qué estrategias se pueden seguir para mejorar su proceso aprendizaje, para detectar trastornos de desarrollo y para prevenirlos o tratarlos.
•  Los sistemas de comunicación modal para las personas que usan lenguas de signos.
•  La aplicación de la comunicación multimodal en el sector de la salud.
• Los aspectos interculturales de la comunicación multimodal

Los antecedentes del I Simposio internacional de Comunicación Multimodal

Desde el año 2013, se han celebrado simposios europeos sobre el tema en diferentes países, como por ejemplo Malta, Estonia, Irlanda, Dinamarca, Alemania y Bélgica. Con anterioridad, se había celebrado el Swedish Symposia on Multimodal Communication, entre los años 1997 y 2000, pero la tradición iniciada en el país escandinavo no adquirió una dimensión europea hasta los encuentros iniciados ahora hace una década.