Curs 2015-16

Visió Tridimensional

Titulació: Codi: Tipus:
Grau en Enginyeria Informàtica 21495 Optativa
Grau en Enginyeria Telemàtica 22596 Optativa
Grau en Enginyeria en Sistemes Audiovisuals 21631 Optativa

 

Crèdits ECTS: 4 Dedicació: 100 hores Trimestre: 3r

 

Departament: Dept. de Tecnologies de la Informació i les Comunicacions
Coordinador: Glòria Haro
Professorat:

Gloria Haro.

Idioma:

Anglès

Horari:
Campus: Campus de la Comunicació - Poblenou

 

Presentació de l'assignatura

Aquesta assignatura tracta dels fonaments de la reconstrucció tridimensional d'una escena, objecte o persona a partir de dues o més càmeres posicionades en diferents punts de vista. La visió tridimensional té múltiples aplicacions, com poden ser: generació de nous punts de vista d'una escena, reconstrucció 3D de ciutats reconstrucció 3D de peces de museus i escultures, reconstrucció 3D del cos humà per reconeixement de gestos, seguiment del cos o fins i tot animació de personatges virtuals en cinema digital i videojocs.

Començarem estudiant els conceptes bàsics de geometria projectiva del pla i de l'espai i l'estimació d'homografies en 2D. Veurem alguns models de càmeres, és a dir, com modelar el mapeig entre el món 3D i la imatge 2D. Continuarem amb el calibratge de càmeres i amb la visió estèreo (a partir de dues vistes) i els conceptes implicats: calibratge a partir de patrons, geometria epipolar, matriu fonamental, rectificació, plans de l'escena i homografies. Finalment veurem la geometria de dues o més vistes i la reconstrucció tridimensional d'una escena.

L'assignatura tindrà una forta component pràctica, part de la qual es realitzarà en un laboratori que disposa de vuit càmeres. A les pràctiques els alumnes faran servir algunes llibreries proporcionades i també hauran de programar alguns dels algorismes estudiats.

 

Prerequisits

Es demana com a prerequisit haver cursat amb èxit les següents assignatures: Àlgebra Lineal i Matemàtica Discreta, Càlcul i Mètodes Numèrics, Processament d'Imatge. L'assignatura optativa Anàlisi i Interpretació d'Imatges no és imprescindible però si recomanable.

 

Competències

Competències transversalsCompetències específiques

Instrumentals

G1. Capacitat d'anàlisi i síntesi

G2. Capacitat d'organització i planificació

G3. Capacitat per aplicar els coneixements a l'anàlisi de situacions i la resolució de problemes

G4. Habilitat en la cerca i la gestió de la informació

G5. Habilitat en la presa de decisions

Interpersonals

G8. Capacitat de treball en equip

Sistèmiques

G11. Capacitat d'aplicar amb flexibilitat i creativitat els coneixements adquirits i d'adaptar-los a contextos i situacions noves

G12. Capacitat per progressar en els processos de formació i aprenentatge de manera autònoma i contínua

Competències Específiques de Formació Bàsica

E1. Adquirir els coneixements bàsics de geometria projectiva, afi i euclidea aplicada a càmeres i problemes de reconstrucció 3D.

E2. Coneixement d’algorismes per a calcular homografies.

E3 . Adquirir els coneixements bàsics sobre els models de càmeres.

E4. Coneixement d’algorismes per calcular la matriu d’una càmera. Adquirir els coneixements bàsics sobre calibratge d’una càmera.

E5. Adquirir els coneixements bàsics sobre la geometria de dues vistes, la matriu essencial i la matriu fonamental.

E6. Coneixement d’algorismes per a calcular la matriu fonamental. Rectificació d’imatges.

E7. Adquirir els coneixements bàsics sobre Reconstrucció 3D d’una escena a partir de dues càmeres.

E8. Adquirir els coneixements bàsics sobre la geometria de múltiples vistes, auto- calibratge i reconstrucció 3D a partir de múltiples càmeres.

Competències Específiques d'Enginyeria en Informàtica

IN37. Conèixer i saber aplicar les tècniques bàsiques de creació d'imatges gràfiques per ordinador, incloent els algorismes de geometria computacional i les tècniques de traçat de rajos.

Competències de tecnologia específica: Sistemes Audiovisuals

AU14. Adquirir els coneixements bàsics sobre mètodes numèrics d'optimització de problemes lineals i no lineals sense i amb restriccions. Tenir un coneixement de les aplicacions d'aquests mètodes en l'enginyeria i en particular, en l'enginyeria de la comunicació audiovisual.

AU16. Adquirir els coneixements bàsics d'òptica i entendre el funcionament d'una càmera, en particular, de les càmeres digitals.

AU17. Adquirir els coneixements bàsics del processament d'imatges: Adquisició, color, mostreig i quantització, els mètodes basats en transformades, la morfologia matemàtica. Conèixer la teoria de la informació i la compressió d'imatges.

AU18. Adquirir els coneixements bàsics sobre l'anàlisi d'imatges. Adquirir els coneixements bàsics sobre l'obtenció de forma a partir del moviment, de la visió estereoscòpica, de la textura o de la intensitat.

AU19. Adquirir els coneixements sobre l'estimació de paràmetres d'una càmera. Adquirir els coneixements bàsics sobre les relacions geomètriques entre diverses vistes d'una escena i la geometria de l'escena a partir d'imatges.

AU20. Adquirir els coneixements bàsics de les tècniques de traçat de rajos, del modelatge geomètric i de la generació d'imatges sintètiques.

AU26. Conèixer els fonaments pràctics i teòrics dels equips involucrats en la captura de vídeo, la seva reproducció així com el seu ús i aplicació en els sistemes audiovisuals més habituals avui dia.

 

Avaluació

L’avaluació serà contínua i els mecanismes d’avaluació de les competències seran:

Pràctiques als laboratoris d’ordinadors (40%): sis pràctiques. La realització de les pràctiques en les classes corresponents és un requisit indispensable per a aprovar l’assignatura. Aquesta activitat no és recuperable.

Prova final individual (60%): sobre aspectes teòrics i exercicis similars als realitzats als seminaris o explicats a les classes teòriques i de seminaris. També hi haurà preguntes relacionades amb les pràctiques de l’assignatura. Aquesta prova és recuperable al juliol.

 

Continguts

Bloc 1: Geometria projectiva i transformacions d'imatges.

Conceptes bàsics de geometria projectiva del pla i de l'espai. Transformacions: projectiva (homografia), afí, similaritat, Euclídea.

Rectificació afí i rectificació mètrica.

Estimació d'homografies en 2D: algorisme Direct Linear Transformation (DLT).

Estimació robusta.

 

Bloc 2: Models de càmeres, geometria d'una vista.

Modelització del mapeig entre el món 3D i la imatge 2D. Matriu de projecció de la càmera, paràmetres interns de la càmera, paràmetres externs. Diferents models de càmeres: projectiu, afí, euclidià.

Calibratge de càmeres. Utilització de mires.

La geometria de línies, plans i còniques. Calibratge de càmeres i la imatge de la cònica absoluta (IAC).

 

Bloc 3: Geometria de dues vistes.

La geometria epipolar i la matriu fonamental. Càlcul de les matrius de dues càmeres a partir de la matriu fonamental. La matriu essencial.

Algorismes per a calcular la matriu fonamental. Diferents criteris d'estimació. Algorisme basat en 8 correspondències. Algorisme Gold-Standard. Cálcul de la matriu fonamental a partir d'una homografia i altres dues correspondències.

Reconstrucció 3D d'una escena. Càlcul de profunditats.

 

Bloc 4: Geometria de múltiples vistes.

Introducció a la geometria de múltiples vistes. Mètodes basats en voxels. Structure from motion.

 

Metodologia

La metodologia d'aquesta assignatura combina sessions presencials, treball individual i treball en grup. Les sessions presencials seran tant sessions magistrals d'explicació del professor com sessions de pràctiques de laboratori i sessions de seminari, amb treball individual i en grup realitzat pels alumnes. Les sessions magistrals i de seminaris tindran una durada de dues hores. Les pràctiques tindran una durada d'una hora i mitja.

De forma més detallada, el treball dins i fora de l'aula s'ha organitzat de la forma següent:

• Sessions magistrals o de grup gran: es tracta de nou sessions en les que s'introdueixen els conceptes teòrics i es mostren els procediments adequats per a la resolució de pràctiques i problemes. El professor explicarà els conceptes teòrics bàsics i s'encarregarà de proposar i resoldre exemples de problemes tipus per tal de clarificar la teoria i per tal que els alumnes tinguin una primera aproximació a allò que es trobaran a la classe de seminaris. El pes de la sessió el porta el professor i s'espera dels alumnes que participin realitzant preguntes i comentaris.

• Pràctiques amb ordinador: són 6 sessions en grup mitjà, d'una hora i mitja de duració. Prèviament els alumnes disposaran de l'enunciat i material necessari per a preparar la sessió. La dinàmica d'aquestes sessions és la següent: En primer lloc, el professor fa una explicació breu de la pràctica a desenvolupar i després els alumnes treballen per a la realització de la pràctica que entregaran a l'acabar la classe.

• Sessions de seminari: són 5 sessions, d'una hora i mitja de duració. En aquestes sessions es resoldran exercicis pràctics sobre el contingut del temari explicat a les classes de teoria. Prèviament els alumnes disposaran dels enunciats i material necessari per a preparar la sessió.

 

Recursos

Bibliografia bàsica:

− R. I. HARTLEY, A. ZISSERMAN, Multiple view geometry in computer vision, Cambridge University Press, 2000.

− D. A. FORSYTH, J. PONCE, Computer vision: a modern approach, Prentice Hall, 2003.

Bibliografia complementària:

− O. FAUGERAS, Three-dimensional computer vision: a geometric viewpoint , MIT Press, cop. 1993.

− O. FAUGERAS, Q.T. LUONG, The geometry of multiple images , MIT Press, 2001.

− R. SZELISKI, Computer Vision: Algorithms and Applications , Springer, 2011. (disponible en línia a: http://szeliski.org/Book/ ).

− R.C. GONZALEZ, R.E. WOODS, Digital Image Processing, Addison-Wesley, 1992.

Recursos didàctics i material docent :

Els professors posaran més material a l'abast dels alumnes mitjançant l'aula moodle de l’assignatura. Aquest material anirà des de textos complementàries i articles, per a les sessions de teoria, fulls d'exercicis per a les sessions de seminari, guions de pràctiques i fonts d'informació diversos per a les sessions de pràctiques.