Quan a l’abril del 2007 Björk va arrencar la seva gira mundial per presentar el seu treball Volta, les imatges del primer concert inaugural a Coachella, Califòrnia, van fer el tomb pel món i van generar molta expectació. Què era allò que hi havia a l’escenari? I és que darrere de la cantant islandesa apareixien dues enormes pantalles que projectaven en temps real el que estava passant sobre una taula rodona lluminosa on dos músics movien objectes estranys per generar sons.

Va ser així com, quatre anys després que un grup d’investigadors del Grup de Recerca en Tecnologia Musical de la Universitat Pompeu Fabra comencés a treballar en la reactable, l’instrument musical electrònic col·laboratiu, finalment saltava al gran públic i es popularitzava. Abans de Björk, però, la reactable ja havia participat en multitud de festivals internacionals, des de l’Ars Electronica a Àustria, fins al Sonar, a Barcelona, o la Transmediale, a Berlín, on havia recollit els premis més prestigiosos.

“Björk estava preparant els visuals de la gira, i Michel Gondry [realitzador de pel·lícules i videoclips] li va parlar de la reactable i l’hi va mostrar a Youtube. A ella, li va agradar i poc després ens reuníem a París per explicar-li com funcionava”, recorda en Sergi Jordà, cocreador –juntament amb Marcos Alonso, Günter Geiger i Martin Kaltenbrunner– d’aquest instrument que permet als usuaris crear topologies sonores complexes i dinàmiques. Com si fos un llenguatge de programació directament manipulable.

Björk va incorporar la reactable, sorgida del MTG, en la seva gira de presentació del seu disc Volta, el 2007.

La reactable és, segurament, un dels projectes més coneguts i reconeguts, tant aquí com internacionalment, del Grup de Recerca en Tecnologia Musical de la Universitat Pompeu Fabra. Però no és l’únic. Al Japó, Hatsune Miku, una cantant virtual que pren la seva veu d’un software de síntesi de veu, Vocaloid, ha esdevingut un autèntic fenomen de masses; és un exemple de tecnologia capdavantera desenvolupada per l’MTG en col·laboració amb Yamaha, una de les empreses del món més importants dedicada a crear instruments musicals i aparells electrònics.

Els dos projectes, tant la reactable com Vocaloid, són una bona mostra de la idiosincràsia singular de l’MTG: recerca pionera multidisciplinària centrada en el so i la música, la col·laboració estreta amb la indústria, la vocació internacional i la transferència de coneixement. “Quan vam arrencar el 1995 érem únics a Espanya i un dels pocs a Europa i al món. Fèiem coses realment capdavanteres en un moment en què pràcticament no hi havia referents”, destaca Jordà.

Segurament, l’MTG va tenir un pes decisiu a l’hora d’inspirar i d’empènyer la creació del DTIC

Neix el DTIC

Aquest esperit, trencador i únic, de l’MTG va inspirar i impulsar en bona manera la posada en marxa uns anys més tard del Departament de Tecnologies de la Informació i les Comunicacions de la UPF, que des dels seus inicis ha exercit un rol de lideratge a escala estatal i europea en recerca en l’àmbit audiovisual.

L’MTG estava integrat a l’Institut Universitari de l’Audiovisual (IUA), un institut de recerca experimental i producció de mitjans digitals, que havia estat promogut per Xavier Berenguer i l’aleshores rector Enric Argullol, amb l’objectiu de fer recerca capdavantera en l’àmbit audiovisual amb l’accent posat en la tecnologia.

Tanmateix, “va arribar un moment en què la UPF volia obrir-se a nous camps i, a partir de la nostra recerca, van veure l’oportunitat de posar en marxa estudis d’informàtica i sistemes audiovisuals”, recorda Xavier Serra, l’alma mater de la singularitat de l’MTG. De fet, dintre de l’IUA ja hi havia d’altres grups que hi treballaven i feien recerca en l’àmbit de la imatge i del vídeo, encara que el més tecnològic era l’MTG. “Vam tenir un pes decisiu en la creació del Departament”, considera Serra.

“Va néixer amb una clara vocació interdisciplinària i era molt obert. Cal pensar que era una universitat jove, amb gent jove, amb una plantilla molt internacionalitzada, i hem captat sempre investigadors de programes d’elit com ICREA o Ramón y Cajal”

Josep Blat va ser la persona sobre qui va recaure l’encàrrec de la UPF de crear un nou departament dedicat a les tecnologies de la informació. Aleshores Blat, matemàtic de formació, investigava a la Universitat de les Illes Balears en temes de gràfics per ordinador i algoritmes relacionats amb qüestions creatives; i ja havia fundat el primer màster europeu d’animació per ordinador. Tenia, doncs, un perfil multidisciplinari i una vocació clara de fer recerca pont entre creativitat i tecnologia, que era el que precisament buscava la Pompeu.

El primer que va fer en agafar les regnes del Departament, el 1999, va ser endegar els estudis de grau d’Enginyeria en Informàtica, especialitzada en l’audiovisual; li van seguir l’Enginyeria de Sistemes Audiovisuals, la de Xarxes de Telecomunicació, i, més endavant, la Biomèdica, i la Matemàtica en Ciència de Dades. Com a part de la seva activitat docent, el DTIC també ofereix sis màsters de recerca i un programa de doctorat TIC.

“Va néixer amb una clara vocació interdisciplinària i era molt obert. Cal pensar que era una universitat jove, amb gent jove, amb una plantilla molt internacionalitzada, i hem captat sempre investigadors de programes d’elit com ICREA o Ramón y Cajal”, afegeix Serra.

“Ja des del primer moment vam arrencar col·laborant amb algunes de les empreses més importants del món d’aquest sector i 25 anys després continuem treballant amb el més innovador que es fa a la indústria audiovisual, tant en tecnologia musical com en efectes visuals”, redobla Blat, al capdavant del Grup de Recerca en Tecnologies Interactives del DTIC.

Des que es va posar en marxa, el DTIC sempre ha tingut un rol de lideratge en tecnologia audiovisual i en recerca en aquest àmbit a escala estatal i europea. Compta amb 24 grups de recerca; 41 professors permanents, entre els quals hi ha professorat d’investigació ICREA; més de 200 investigadors postdocs i altres tipus de col·laboradors de recerca, més del 60% dels quals són estrangers, el que en denota la vocació internacional.

“La gent pensa que els enginyers no poden dedicar-se a l’art i la creativitat, i nosaltres hem demostrat tot el contrari, que es pot experimentar amb eines i tecnologies. Els nostres recercadors són molt oberts i exploren les possibilitats de les tecnologies per a les indústries creatives”

A diferència d’altres departaments TIC més tradicionals, el DTIC ha tingut des del seu començament una relació especial amb el sector de les indústries culturals. De fet, aquesta relació és un dels seus elements identitaris i fundacionals.

“La gent pensa que els enginyers no poden dedicar-se a l’art i la creativitat, i nosaltres hem demostrat tot el contrari, que es pot experimentar amb eines i tecnologies”, apunta Vladimir Estivill, director del Departament, per a qui el DTIC “té una visió més universal i molt moderna. Els nostres recercadors són molt oberts i exploren les possibilitats de les tecnologies per a les indústries creatives. Per exemple, quan vam crear el DTIC els professors treballaven en temes de CD-ROM i ara s’endinsen en temes del metavers”, afegeix.

Així, els investigadors del DTIC comparteixen com a repte comú desenvolupar tecnologies de la informació sensibles a la cultura que facilitin l’accés universal als recursos culturals. És per això que moltes de les línies de recerca del Departament estan vinculades a les ICC, com ara el desenvolupament de tecnologies per al consum i la creació de música i so, d’imatge i contingut digital, el patrimoni cultural, o les relacionades amb l’educació. En aquest sentit, hi han promogut la creació de sis spin-offs.

“Va néixer amb una clara vocació interdisciplinària i era molt obert”, afirma Xavier Serra del DTIC

A més de la recerca en tecnologies per al consum i la creació de música i so, àmbit en què opera l’MTG, el DTIC investiga tecnologies per a imatge i contingut digital a través de tres grups, com ara el Grup de Recerca en Processament d’Imatge (IPG), liderat per Glòria Haro i Coloma Ballester. Aquesta darrera va ser una de les primeres professores i investigadores que es van incorporar al DTIC per fer docència en matemàtiques aplicades i fer recerca en la part visual. Des del 2013 coordina el grup de processament d’imatges i visió per computador, al qual recentment han canviat el nom pel d’Intelligent Multimodal Vision Analysis (IMVA).

“Investiguem com entenem el que veiem, com s’ho fa el cervell per, a partir de la llum que li arriba a la retina, comprendre el que té al davant. I intentem modelitzar això matemàticament”, explica Ballester, que especifica que “m’interessa desenvolupar models matemàtics que tradueixin la complexitat del que veiem a algorismes capaços de reproduir-ho computacionalment. Un dels objectius seria, per exemple, fer arribar processos visuals a persones cegues o amb problemes de visió; sistemes intel·ligents que podrien incloure una càmera i una orellera que descriguin en temps real l’escena que la persona té al davant”.

Tecnologies culturals sensibles a l’educació

A diferència d’altres departaments d’enginyeries d’altres universitats, el DTIC ha centrat la seva activitat en l’àmbit de les indústries culturals i creatives (ICC)

El compromís per desenvolupar tecnologies de la informació sensibles a l'educació i a la cultura, que facilitin l’accés universal als recursos culturals, donin suport a l’enculturació i promoguin la creativitat, ha estat també un dels trets identitaris del Departament des de la seva creació. En aquest sentit, per exemple, el grup que lidera Narcís Parés explora la interacció de cos sencer en àmbits d’aprenentatge i joc, i també de necessitats especials. “La meva recerca parteix de la possibilitat d’incorporar el cos dels usuaris en tot el cicle comunicatiu de la interacció amb el sistema. Portem vint anys treballant en la idea que l’experiència humana ha de ser constantment mediatitzada pel cos”, apunta l’investigador, que ara participa en el projecte europeu del programa Horitzó Europa EMIL (European Media Immersive Lab), finançat amb 8 milions d’euros, l’objectiu del qual serà desenvolupar una xarxa paneuropea de laboratoris de realitat estesa.

Parés –que ja formava part d’aquell IUA des dels anys noranta fent recerca i producció experimental en realitat virtual juntament amb el seu germà Roc, actualment professor del Departament de Comunicació– és professor del DTIC i lidera el Laboratori d’Interacció de Cos Sencer. Ha desenvolupat projectes instal·latius com ara les primeres fonts interactives que s’han fet al món, realitzades per al Fòrum Universal de les Cultures (Barcelona, 2004); o a Ulldecona, el 2008, un projecte en què es projecta en una pantalla una imatge engrandida de les pintures rupestres d’una escena de caça que cobra vida i amb la qual els infants poden controlar els caçadors que hi apareixen. Quan hi actuen en solitari, no aconsegueixen caçar cap animal, només quan els infants desenvolupen estratègies en equip. També han de treballar en equip els menors amb autisme a Lands of Fog (projecte finançat per RecerCaixa), un espai interactiu de realitat mixta amb interacció de cos sencer on nens amb algun trastorn de l’espectre col·laboren amb nens sense autisme.

Trenta anys de lideratge

Bona mostra del rol de lideratge del DTIC en la recerca audiovisual és l’èxit en la convocatòria de projectes europeus de recerca en l’àmbit dels mitjans digitals durant les darreres dècades. Per exemple, en el marc del programa marc Horitzó Europa, que és el nou programa de recerca i innovació de la Unió Europea per al període 2021-2027, el DTIC n’ha aconseguit cinc. Un bon exemple és el projecte MAX-R, coliderat per Josep Blat i Boris Bellalta, centrat en la creació de contingut multimèdia de realitat estesa i augmentada. “MAX-R desenvoluparà les eines per fer possible la realitat estesa a gran escala requerida pel metavers i la producció virtual al plató, molt demandada per la indústria dels mitjans”, apunta Blat.

Un altre cas de projecte que ha estat seleccionat per rebre finançament europeu és FINDHR, en què participa Carlos Castillo. Es tracta d’un consorci de dotze  institucions que pretén lluitar contra la discriminació en l’àmbit de la intel·ligència artificial (IA). I ReSilence, return the soundscape of future cities through art and science collaboration (‘Tornar el paisatge sonor de les futures ciutats a través de l’art i la col·laboració en ciència’), liderat per Leo Wanner, que busca millorar la qualitat del paisatge sonor de les ciutats.

Bona mostra del rol de lideratge del DTIC en la recerca audiovisual és l’èxit en la convocatòria de projectes europeus de recerca en l’àmbit dels mitjans digitals, en què ha aconseguit cinc projectes en el marc del programa marc Horitzó Europa per al període 2021-2027.

A més, el DTIC ha estat recentment reconegut com a unitat d’excel·lència María de Maeztu per segona vegada, després d’haver aconseguit aquesta acreditació a la convocatòria del 2018. Es tracta d’una distinció que atorga l’Agència Estatal de Recerca, organisme adscrit al Ministeri de Ciència i Innovació, i és, juntament amb el distintiu Centre d’Excel·lència Severo Ochoa, el major reconeixement institucional a la recerca científica a l’Estat. Tots dos distintius tenen com a objectiu finançar i acreditar els centres i les unitats públiques de recerca, en qualsevol àrea científica, que demostren impacte i lideratge científic internacional i que col·laboren activament amb el seu entorn social i empresarial.

“Ser reconegut una vegada més com a Unitat María de Maeztu és un assoliment remarcable per a l'esforç col·lectiu i el compromís dels nostres científics i investigadors", valora Vladimir Estivill.

Aquest reconeixement comportarà per al DTIC, que va ser la primera unitat d’enginyeria a rebre’l i que ara consolida la seva posició dins el mapa estatal de l’excel·lència, un finançament de 2 milions d’euros repartits en quatre anys. “Aquest enorme assoliment reconeix sens dubte el DTIC com el primer departament de recerca espanyol en les nostres disciplines transversals en enginyeria, computació, biomedicina, neurociència, sistemes interactius, música, visió per computador o intel·ligència artificial (IA)”, assegura Estivill.