1. Accueil
  2. FR
  3. Étudier
  4. Offre de formation
  5. UE
INFO-H502

Virtual Reality

Discipline(s) : Sciences de l'ingénieur et technologie, Sciences
année académique
2021-2022

Titulaire(s) du cours

Gauthier LAFRUIT (Coordonnateur)

Crédits ECTS

5

Langue(s) d'enseignement

anglais

Contenu du cours

Le cours couvre les techniques de rendu 3D utilisant du contenu synthétique, par exemple dans les jeux 3D, ainsi que le contenu réel/naturel, par exemple la réalité virtuelle en vidéo 360 et la navigation libre en 3D. Des concepts théoriques comme le pipeline graphique 3D sur un GPU (Graphical Processing Unit) avec ses modèles de caméra, de projection et d'éclairage, ainsi que la technologie de capture et de rendu 3D sont présentés.

Sommaire du syllabus (seconde référence plus bas; partiellement partagé avec le cours INFO-H516):

1            Immersive Video introduction

2            Virtual Reality

2.1        Introduction/History

2.2        The challenge of 3 to 6 Degrees of Freedom

2.3        The challenge of stereoscopic to holographic vision

3            3D gaming and VR

3.1        OpenGL in VR

3.2        3D data representations

3.3        OpenGL pipeline

4            Camera and Projection models

4.1        Mathematical preliminaries

4.2        The pinhole camera model

4.3        Intrinsics of the pinhole camera

4.4        Projection Matrices

5            Light Equations

5.1        Light contributions

5.2        Physically correct light models

5.3        Light models for transparent materials

5.4        Shadows rendering

5.5        Mesh-based 3D rendering with light equations

6            Kinematics

6.1        Rigid body animations

6.2        Quaternions

6.3        Deformable body animations

6.4        Collisions in the physics engine

7            Raytracing

8            2D transforms for VR with natural content

8.1        The affine transform

8.2        The homography

8.3        Homography estimation

8.4        Feature points and RANSAC outliers for panoramic stitching

8.5        Homography and Affine transform revisited

8.6        Pose estimation for AR

9            3DoF VR with natural content

9.1        Stereoscopic viewing

9.2        360 panoramas

10         VR goggles

10.1      Wide angle lens distortion

10.2      Asynchronous high frame rate rendering

10.3      Stereoscopic time warping

10.4      Advanced HMD rendering

11         6DoF navigation

11.1      6DoF with Point clouds

11.2      Active depth sensing

11.3      Point cloud registration and densification

11.4      3D rendering of point clouds

12         Towards 6DoF with Image-Based rendering

12.1      Introduction

12.2      Finding relative camera positions

12.3      Depth estimation

12.4      Graph cut

12.5      MPEG reference depth estimation

12.6      Depth estimation challenges

12.7      6DoF View synthesis with Depth Image-Based Rendering

12.8      Use case I: view synthesis in holographic stereograms

12.9      Use case II: view synthesis in Integral Photography

12.10    Difference PCC and DIBR

13         Multi-camera acquisition systems

13.1      Stereo vision

13.2      Multiview vision

13.3      Plenoptic imaging

14         3D Light Field Displays

15         Visual Media Compression

15.1      3D Video compression

15.2      MPEG standardization and compression with 2D video codecs

15.3      Future Challenges in 2D Video Compression

15.4      MPEG codecs for 3D immersion

16         Conclusion and future perspectives

Objectifs (et/ou acquis d'apprentissages spécifiques)

L'étudiant.e apprendra les principaux aspects d'OpenGL, ainsi que les méthodes de capture et de rendu multi-caméras en 3D.

Pré-Requis

Connaissances et compétences pré-requises

Des compétences en programmation C/C++ sont fortement recommandées (niveau moyen).

Méthodes d'enseignement et activités d'apprentissages

La théorie donnera à l'étudiant.e toutes les compétences requises pour comprendre et présenter un article scientifique à l'examen théorique.
Les exercices pratiques aideront l'étudiant.e à développer un jeu 3D en OpenGL/WebGL avec des shaders en GLSL (Graphics Library Shader Language).

Contribution au profil d'enseignement

Techniques de capture et de rendu 3D de nouvelle génération pour les ingénieur.e.s multimédia.

Références, bibliographie et lectures recommandées

Joey de Vries, “Learn OpenGL: Learn modern OpenGL graphics programming in a step-by-step fashion,” Kendall & Wells, 17 June 2020, ISBN: 978-9090332567
Gauthier Lafruit, Mehrdad Teratani, “Virtual Reality and Light Field Immersive Video Technologies for Real-World Applications,” Institution of Engineering and Technology, 1 December 2021, ISBN: 978-1785615788

Support(s) de cours

  • Syllabus
  • Université virtuelle
  • Podcast

Autres renseignements

Contacts

ULB-Solbosch UD5.007
Phone: 02/650 30 82
Email: gauthier.lafruit@ulb.be 

Campus

Solbosch

Evaluation

Méthode(s) d'évaluation

  • Examen oral
  • Projet

Lecture d'articles scientifiques + examen à livre ouvert.

Construction de la note (en ce compris, la pondération des notes partielles)

TH = théorie (livre ouvert + article scientifique)
TP = projet OpenGL/WebGL
Note finale = 2/3 . max(TH,TP) + 1/3 min(TH,TP)

Langue(s) d'évaluation

  • anglais
  • (éventuellement français )

Programmes