Vés enrere La recerca sobre els gestos i la parla o la seva aplicació en l’àmbit de la IA o l’educació, a debat en un simposi internacional a la UPF

La recerca sobre els gestos i la parla o la seva aplicació en l’àmbit de la IA o l’educació, a debat en un simposi internacional a la UPF

Més de 130 investigadors d’arreu del món participaran al 1r Simposi Internacional de Comunicació Multimodal (MMSYM), que tindrà lloc al campus del Poblenou de la UPF entre el 26 i el 28 d’abril. La recerca sobre les diferents modalitats de la comunicació humana pot contribuir a desenvolupar aplicacions tecnològiques i d’IA que es basen en les pautes del llenguatge humà o a millorar l’aprenentatge de la llengua entre els infants, entre d’altres finalitats.

21.04.2023

Imatge inicial

L’estudi sobre la gestualitat, l’expressió facial, els senyals o d’altres aspectes relacionats amb el llenguatge verbal i no verbal tenen aplicacions en múltiples camps. Per exemple, poden contribuir a desenvolupar aplicacions tecnològiques i d’intel·ligència artificial que es basen en les pautes del llenguatge humà, a detectar trastorns d’aprenentatge entre els infants o a millorar les metodologies d’aprenentatge de la llengua i d’altres habilitats comunicatives a les aules. Aquests seran alguns dels temes que es tractaran al 1r Simposi Internacional de Comunicació Multimodal (MMSYM), que tindrà lloc a l’Auditori del campus del Poblenou de la UPF entre el dimecres 26 i el divendres 28 d’abril.

Els encarregats d’organitzar aquest 1r Simposi Internacional de Comunicació Multimodal són el grup de recerca GrEPG (Grup d’Estudis de Prosòdia i Gestualitat) del Departament de Traducció i Ciències del Llenguatge de la UPF i la xarxa GEHM (Gestures and Head Movements in Language) de la Universitat de Copenhagen. Aquesta xarxa agrupa vuit grups de recerca europeus sobre el tema.

Pilar Prieto, coordinadora del GrEPG (ICREA-UPF) assegura: “creiem que una perspectiva multimodal del llenguatge humà que incorpori de forma integrada la veu i el cos és crucial per adonar-nos de la gran importància que tenen aquests components per a la comunicació i l’aprenentatge”.

Patrizia Paggio, coordinadora del GEHM de la Universitat de Copenhaguen afegeix: “El Primer Simposi Internacional de Comunicació Multimodal MMSYM 2023 és un fòrum multidisciplinari important per als investigadors que treballen en el camp de la multimodalitat, que fa referència a la manera com s'utilitzen les modalitats de parla i visuals de la comunicació humana, així com a la interacció humans-màquines. Aquesta àrea de recerca està creixent en popularitat i té aplicacions en moltes àrees, com ara el desenvolupament d'habilitats comunicatives, l'ensenyament d'idiomes, els sistemes de tutoria i els agents artificials”.

Més de 130 investigadors participen al simposi, en què hi participaran ponents de prestigi internacional

Més de 130 investigadors d’arreu del món s’han inscrit a aquest simposi internacional, al qual també s’ha convidat ponents de prestigi internacional. Una de les ponents convidades és Catherine Pelachaud, directora de Recerca del Centre Nacional de França per a la Recerca Científica (CNRS en les seves sigles en francès), adscrita a l’Institut dels Sistemes Intel·ligents i de Robòtica (ISIR) del campus Pierre et Marie de la Universitat de la Sorbona. Pelachaud està especialitzada en ciència computacional, en la interacció humans-màquines i en el desenvolupament d’assistents virtuals i de tecnologies de reconeixement facial, entre d’altres qüestions. Altres ponents convidats al simposi són Alan Cienki,  professor de Lingüística i Cognició i de Lingüística Anglesa a la Vrije Universiteit Amsterdam (VU Amsterdam) i coordinador de l’Amsterdam Gesture Center; i Jelena Krivokapić, professora de Lingüística a la Universitat de Michigan. Entre els seus camps de recerca, hi destaquen la prosòdia, la gestualitat i la planificació en la producció del llenguatge.

Els eixos temàtics del simposi: camps de recerca i aplicació de la comunicació multimodal

El MSYM és un simposi interdisciplinari que s’adreça a investigadors i experts en diferents vessants de la multimodalitat en la comunicació humana i en la interacció humans-màquines. S’entén per comunicació multimodal aquella que engloba les diferents maneres que fem servir per transmetre o rebre missatges i relacionar-nos mútuament, ja sigui de forma verbal o no verbal.

Al simposi, s’hi presenten investigacions de tres grans línies de recerca. En primer lloc, s’hi compartiran recerques sobre les característiques específiques del llenguatge quan interactuen gestos i discursos, segons el perfil de cadascun dels interlocutors. En segon lloc, s’hi exposaran investigacions sobre com millorar l’efectivitat dels discursos a través de la comunicació multimodal, tot combinant el moviment del cos amb la prosòdia (o l’entonació). En tercer lloc, s’hi exposaran investigacions sobre models conceptuals i estadístics per analitzar dades relacionades amb la comunicació multimodal, especialment relacionades amb els moviments del cap i l’ús de la mirada.

En el marc dels tres eixos temàtics anteriors, es tractaran qüestions com:

  • La comunicació multimodal en la interacció entre humans i màquines, per exemple a través dels agents conversacionals.
  • Els sistemes d’aprenentatge automàtic d’intel·ligència artificial que es poden aplicar per analitzar dades sobre comunicació multimodal
  • Els sistemes de reconeixement i interpretació automàtica de diferents modalitats de comunicació (per exemple de reconeixement facial).
  • La relació entre la comunicació multimodal i l’adquisició del llenguatge en els infants i quines estratègies es poden seguir per millorar el seu procés aprenentatge, per detectar trastorns de desenvolupament i per prevenir-los o tractar-los.
  • Els sistemes de comunicació modal per a les persones que fan servir llengües de signes.
  • L’aplicació de la comunicació multimodal al sector de la salut.
  • Els aspectes interculturals de la comunicació multimodal

Els antecedents del 1r Simposi internacional de Comunicació Multimodal

Des de l’any 2013, s’han celebrat simposis europeus sobre el tema en diferents països, com ara Malta, Estònia, Irlanda, Dinamarca, Alemanya i Bèlgica. Amb anterioritat, s’havia celebrat el Swedish Symposia on Multimodal Communication, entre els anys 1997 i 2000, però la tradició iniciada al país escandinau no va adquirir una dimensió europea fins a les trobades iniciades d’ara fa una dècada.

Multimèdia

Categories:

ODS - Objectius de desenvolupament sostenible:

03. Salut i benestar
04. Educació de qualitat
09. Indústria, innovació i infraestructures
Els ODS a la UPF

Contact

Per a més informació

Notícia publicada per:

Oficina de Comunicació