Immersive Multimedia Technologies I

Le cours décrit les techniques de représentation volumétrique utilisées pour la capture et le rendu de vidéos spatiales « Apple Vision Pro » [1] et/ou de « Google Starline » [2] pour la visioconférence holographique. La représentation volumétrique et son rendu immersif récemment publiés dans les normes MPEG-I (« Moving Picture Experts Group – Immersive ») seront également abordés (la compression à proprement parler est étudiée dans le cours INFO-H516).

Le cours INFO-H518 présente des techniques principalement basées sur l'image - par exemple, créer une illusion de perspective 3D par fusion d'images 2D, cf. l'image ci-dessous (apd. une seule image à l'entrée), extraire la profondeur à partir de la correspondance stéréo, etc. - et est donc complémentaire au cours INFO-H502, axé sur la représentation graphique 3D et son rendu OpenGL de contenu décrit par des triangles connectés. Les deux approches peuvent être utilisées dans des applications de réalité virtuelle/augmentée comme le Métavers, mais la première est privilégiée pour la navigation libre dans du contenu photoréaliste.

Une telle chaine de traitement capture-rendu immersif et photoréaliste de haute qualité se base sur l'étalonnage précis du système multi-caméras, la suppression de distorsions optiques, l’assemblage d’images afin d’obtenir une image panoramique, la stéréoscopie numérique, l’alignement de deux nuages de points par « Iterated Closest Point » (ICP) et/ou l’estimation de la Structure à partir du Mouvement (SfM = « Structure from Motion ») pour la reconstruction volumétrique (3D) à partir d’images de caméras 2D. Des exercices basés sur des logiciels en ligne liés aux publications IPOL (« Image Processing On-Line ») aideront à la maitrise des différents concepts (l’étudiant.e ne devra guère programmer ; ce sera l’étude scientifique des papiers d’IPOL qui sera primordiale).

Les approches de capture multi-caméras proposées sont également utilisées dans les studios d'effets spéciaux visuels, dans les récents systèmes d'aide à la conduite automobile qui offrent une image complète de l'environnement du véhicule, ainsi que dans les salles de cinéma immersif offrant une vue à 360° du film. Des extensions vers de l’affichage 3D à champ lumineux n’ayant nul besoin de lunettes de visualisation stéréoscopique (autostéréoscopie, holographie) seront également étudiées, et l’étudiant.e implémentera une version simplifiée sur un écran 3D de la marque « Looking Glass » [3] (utilisant ses drivers open source, des modules d’IPOL et/ou d’OpenCV et/ou de la programmation ad-hoc en C/C++ et/ou Python).

Comprendre les techniques de rendu volumétrique basées sur des images (et des vidéos).

Connaissances et compétences pré-requises ou co-requises

Des compétences en programmation C/C++ sont recommandées, bien que les exercices puissent être effectués en Python (mais les exemples d'études de cas seront principalement en C, souvent sans l’utilisation de concepts orientés objets).

Les leçons théoriques expliqueront les principaux ingrédients des technologies de rendu 3D audiovisuel immersif, complétés par des exercices pratiques (des mini-projets) pour maîtriser leurs bases.

Références, bibliographie et lectures recommandées

[1] Apple Vision Pro: The era of spatial computing,  https://www.apple.com/au/apple-vision-pro/

[2] Jason Lawrence, et. al., “Project Starline: A high-fidelity telepresence system,” ACM Trans. Graph., Vol. 40, No. 6, Article 242, December 2021, https://doi.org/10.1145/3478513.3480490

[3] Light Field displays, https://lookingglassfactory.com/displays-overview

Support(s) de cours

• Syllabus
• Université virtuelle

Informations complémentaires

Diapositives et notes (presqu'un syllabus complet) inspirées de [1,2] et de leurs références bibliographiques, ainsi que des capsules vidéo pour certains sujets.

Contacts

Pr. Gauthier Lafruit, LISA-VR

Campus

Solbosch

Méthode(s) d'évaluation

• Examen oral

Examen oral

Un rapport d'exercices doit être remis avant la période d'examen.
L'examen oral comprend une question théorique, ainsi que des questions ponctuelles sur le rapport d'exercices.
Il ne s'agit pas d'un examen à livre ouvert, mais une page A4 avec des formules est autorisée (en plus d'une copie de [2]).

Construction de la note (en ce compris, la pondération des notes partielles)

50% sur la question théorique, 50% sur les questions d'exercices (et rapport).

Langue(s) d'évaluation

• anglais
• (éventuellement français, Néerlandais )