Tutoriel RFIA

Réalité augmentée temps réel

Mardi 27 Janvier de 9h à 12 h

Note: cette page est en constante évolution. Merci de la consulter régulièrement!

Objectif du tutoriel

La réalité augmentée (RA) est un concept relativement récent dont l'objectif est d'augmenter la perception visuelle par des éléments virtuels ajoutés de manière réaliste au monde réel. Cette discipline a peuà peu émergé au sein de domaines réservés jusque-là à la {\em réalité virtuelle}. A la différence de la réalité virtuelle qui immerge l'utilisateur dans un monde complètement virtuel, la réalité augmentée viseà laisser l'utilisateur en prise avec le monde réel en y ajoutant des éléments virtuels nécessaires. Les concepts de réalité virtuelle et de réalité augmentée sont donc deux extrêmes d'un continuum visantà créer des mondes virtuels très réalistes.

Les applications du concept de réalité augmentée sont nombreuses et visentà donnerà l'utilisateur une meilleure compréhension de son environnement. Parmi les applications potentielles les plus courantes, on peut citer la conception de systèmes d'aideà la maintenance, de systèmes d'assistance au geste médical, les applications de type héritage culturel, le commerce électronique ou l'utilisateur pourra, par exemple, visualiser ses achats dans sa propre maison...

Construire un système de réalité augmentée nécessite de résoudre plusieurs problèmes fondamentaux:

Ce tutoriel a pour objectif de montrer l'état actuel des recherches en réalité augmentée. Trois interventions sont proposées. L'exposé du Professeur Nassir Navab (Technische Universitaet Muenchen) montrera les demandes industrielles dans le domaine et les prototypes actuellement disponibles. L'exposé de Vincent Lepetit (EPFL) montrera les techniques de pointes actuelles qui visentà résoudre les problèmes de recalage. Enfin, l' exposé de Simon Gibson (Université de Manchester) s'intéressera à la manière de produire des images augmentées très réalistes en y intégrant les interactions lumineuses entre objet réel et virtuel.

Programme

Professor Nassir Navab, Technische Universitaet Muenchen

Industrial Augmented Reality: State of Art & Remaining Challenges

Abstract:

First applications of industrial Augmented Reality (AR) were proposed, designed and developed in the early nineties. As the high expectations for rapid progress and easy adoption of virtual reality (VR) solutions within industrial environment began to fade, AR could be seen as a possible remedy. Advances in wireless communication, global positioning, ubiquitous and wearable computing, as well as optical and video see-through display technologies, supported the idea of augmenting the industrial users rather than forcing them to immerse into an unfamiliar virtual environment. The main hope was to reduce the costs for (a) building comprehensive virtual models of the world, (b) developing new user interaction paradigms, and (c) training the industrial users to work in a totally new environment. At the turn of the new millennium, the German funded ARVIKA project gave a considerable boost to Industrial AR by gathering major industrial partners and creating multi-disciplinary working groups. Progresses have been made during the last decade and many industrial augmented reality demonstration systems have been built. In this talk, we first update the attendees with the state of art in industrial augmented reality. We will then discuss the challenges that need to be faced in order for Augmented Reality to provide appropriate solutions, which will be accepted and adopted within industrial environment. The talk will go into details of a few major applications developed during the last five years, and uses them in order to define the issues and propose alternative solutions.

Pour en savoir plus: http://wwwnavab.in.tum.de

.

Professeur Simon GIBSON, University of Manchester

Illumination capture and rendering for Augmented Reality

Abstract: Augmenting real-world images with synthetic objects is becoming of increasing importance in both research and commercial applications, and encompasses aspects of fields such as mobile camera and display technology, computer graphics, image processing, computer vision and human perception. This tutorial will provide an overview of techniques that are capable of producing visually realistic augmented images at interactive rates, using commonly available digital cameras and computer graphics hardware. Specific topics covered will include geometric and radiometric camera calibration, image-based reconstruction of scene geometry and illumination, hardware accelerated rendering of synthetic objects and shadows, and image compositing.

Pour en savoir plus: http://www.cs.man.ac.uk/~gibsons

Les transparents de la présentation en pdf

Vincent Lepetit, EPFL, Lausanne

Suivi de caméra stable et automatique à partir d'informations acquises en ligne et de connaissances a priori

abstract: Je présenterai un système entièrement automatique de suivi de caméra pour la Réalité Augmentée. Ce système utilise un modèle 3D partiel de la scène, et permet un suivi temps-réel, initialisé automatiquement, de la caméra. Il peut prendre en compte des modèles de scène complexes, et autorise des déplacements de caméra importants, des changements d'aspect et des occultations partielles du modèle. Il utilise des techniques de vision purement passives, et ne nécessite pas de contrôle de l'environnement, comme l'ajoût de marqueurs.

Ce système est rendu possible grâce à deux contributions. Notre première contribution est une méthode de reconnaissance rapide d'objets qui détecte la partie connue de la scène pour retrouver la position de la caméra, ce qui permet d'initialiser l'algorithme de suivi, notre seconde contribution. Le suivi est considéré comme un problème d'ajustement de faisceaux basé modèle, ce qui permet d'éviter les problèmes classiques tels que le glissement (drift) ou le tremblement (jitter) des objets virtuels. Quand le suivi échoue, par exemple en cas d'occultation trop importante, la procédure d'initialisation est invoquée à nouveau. Ce système fonctionne sur une large classe d'objets: des résultats sur des objets rigides, des scènes d'intérieur et également des visages seront présentés.

Je présenterai également une approche similaire appliquée à un modèle articulé, permettant le suivi de corps humains et l'insertion des objets virtuels sur le corps suivi.

Pour en savoir plus: http://cvlab.epfl.ch/~vlepetit

Les transparents de l'exposé: http://cvlab.epfl.ch/~vlepetit