Immersive Multimedia Technologies I

Les technologies de rendu vidéo et audio 3D immersifs décrites dans l'article Google Starline [1] pour la visioconférence holographique, ainsi que le rendu Visuel Volumétrique récemment publié dans les normes MPEG-I (Moving Picture Experts Group – Immersive), seront revisitées. Cela comprend l'étalonnage multi-caméras, la correspondance stéréo, l’alignement de deux nuages de points par « Iterated Closest Point » (ICP), ainsi que l’estimation de la Structure à partir du Mouvement (SfM) pour la reconstruction 3D.

Les approches de capture multi-caméras proposées sont également utilisées dans les studios d'effets spéciaux visuels, dans les récents systèmes d'aide à la conduite automobile qui offrent une image complète de l'environnement du véhicule, ainsi que dans les salles de cinéma immersives offrant une vue à 360 degrés du film. Des extensions vers les affichages 3D en champ lumineux (autostéréoscopie, holographie) seront également étudiées.

Ce cours présente des techniques principalement basées sur l'image (par exemple, créer une illusion de perspective 3D par fusion d'images 2D, extraire la profondeur à partir de la correspondance stéréo, etc.) et est donc complémentaire au cours INFO-H502, axé sur la modélisation graphique 3D et son rendu OpenGL. Les deux approches peuvent être utilisées dans des applications de réalité virtuelle comme le Métavers, mais la première est privilégiée pour la navigation libre dans les films.

Comprendre les techniques de rendu volumétrique basées sur des images (et des vidéos).

Connaissances et compétences pré-requises ou co-requises

Des compétences en programmation C/C++ sont recommandées, bien que les exercices puissent être effectués en Python (mais les exemples d'études de cas seront principalement en C, souvent sans l’utilisation de concepts orientés objets).

Les leçons théoriques expliqueront les principaux ingrédients des technologies de rendu 3D audiovisuel immersif, complétés par des exercices pratiques (des mini-projets) pour maîtriser leurs bases.

Références, bibliographie et lectures recommandées

[1] Jason Lawrence, et. al., “Project Starline: A high-fidelity telepresence system,” ACM Trans. Graph., Vol. 40, No. 6, Article 242, December 2021, https://doi.org/10.1145/3478513.3480490

[2] G. Lafruit, M. Teratani, “Virtual Reality and Light Field Immersive Video Technologies for Real-World Applications,” Institution of Engineering & Technology, ISBN 978-1785615788, 2022.

Support(s) de cours

• Syllabus
• Université virtuelle

Informations complémentaires

Diapositives et notes (presqu'un syllabus complet) inspirées de [1,2] et de leurs références bibliographiques, ainsi que des capsules vidéo pour certains sujets.

Contacts

Pr. Gauthier Lafruit, LISA-VR

Campus

Solbosch

Méthode(s) d'évaluation

• Examen oral

Examen oral

Un rapport d'exercices doit être remis avant la période d'examen.
L'examen oral comprend une question théorique, ainsi que des questions ponctuelles sur le rapport d'exercices.
Il ne s'agit pas d'un examen à livre ouvert, mais une page A4 avec des formules est autorisée (en plus d'une copie de [1]).

Construction de la note (en ce compris, la pondération des notes partielles)

50% sur la question théorique, 50% sur les questions d'exercices (et rapport).

Langue(s) d'évaluation

• anglais
• (éventuellement français, Néerlandais )