Jessica Colombel (Larsen) will defend her thesis on Monday, 5 December at 10 am in room A008.
Her presentation will be in French and is entitled “Analyse de la dynamique du mouvement humain pour l’assistance à la personne“.
Composition du jury :
Rapporteurs :
Marie BABEL, Professeure des universités, INSA Rennes
Nacim RAMDANI, Professeur des universités, Université d’Orléans
Examinateurs :
Philippe FRAISSE, Professeur des universités, Université de Montpellier
Jérôme DINET Professeur des universités, Université de Lorraine
Directeurs :
François CHARPILLET, Directeur de recherche, Inria
David DANEY, Directeur de recherche, Inria
Résumé
Le mouvement biologique possède de nombreuses informations, qu’elles soient physiques ou cognitives. Des travaux ont montré qu’il était possible de déterminer le genre d’une personne, son émotion, voire même son identité. Ces caractéristiques sont accessibles à partir d’information sur la dynamique du mouvement des corps poly articulés (e.g. le mouvement des points d’articulation). Comprendre et interpréter le comportement d’une personne et son état sont des capacités liées à l’empathie. C’est une faculté commune à l’ensemble des mammifères qui se base sur certains systèmes neuronaux comprenant, entre autres, les neurones miroirs. Étant donné que l’empathie participe grandement aux interactions sociales chez les hommes et plus généralement les animaux, on est en mesure de se demander comment notre relation avec les robots peut s’en inspirer.
Cela nous amène à la problématique suivante: l’assistance robotique à la personne peut-elle se servir de l’interprétation du mouvement humain, riche d’informations physiques et cognitives, comme modalité d’amélioration de l’Interaction Humain-Robot ? Pour répondre à cette problématique, nous nous positionnons sur des outils d’observations et sur une méthode d’analyse du mouvement qui soit exploitable en temps réel par un système robotique.
Dans un premier temps, nous avons travaillé sur les outils d’observation du mouvement humain. Nos objectifs d’assistance robotisée en milieu écologique, nécessitent d’installer des capteurs qui affectent le moins possible les actions de la personne. Nous avons donc choisi d’étudier le capteur Kinect de Microsoft qui est un capteur de profondeur accessible permettant de récupérer les positions cartésiennes des articulations et extrémités du corps. Cependant, ce type de capteur est sujet à des bruits de mesure qui empêcherait une analyse fine du mouvement. Nous avons donc développé deux méthodes pour améliorer la mesure de ce capteur basé sur le Filtre de Kalman Etendu (EKF): un EKF sous contrainte anthropométrique et un EKF de fusion de capteurs. Nous avons fait la première étude sur la Kinect de 2ème générations et la deuxième sur les générations 2 et 3, permettant de mettre en avant les différences entre ces deux capteurs.
Dans un second temps, nous nous sommes intéressés aux méthodes d’analyse du mouvement et plus spécifiquement au problème de Contrôle Optimal Inverse(COI). L’objectif du COI est d’identifier les pondérations associées à un ensemble de fonctions de coûts à optimiser pour générer une trajectoire donnée. Dans le cadre de cette thèse, nous cherchons à analyser en temps réel des trajectoires de mouvement humain dont les mesures, issues de capteurs, sont bruitées. Nous avons étudié la fiabilité de la méthode de résolution du COI dite Approchée, en fonction du bruit de mesure. Nous apportons également une approche originale du COI qui pose une nouvelle vision de l’optimalité de trajectoires et permet de présenter les concepts de Courbes de Singularité et de Projection. Nous montrons dans cette étude des outils permettant de mieux comprendre et prendre en compte les problématiques de robustesse du COI.
Mots clés : Robotique, Mouvement Biologique, Contrôle Optimal Inverse, Empathie Artificielle, Interaction Humain-Robot.
Abstract
Biological motion has a lot of information, both physical and cognitive. Studies have shown that it is possible to determine a person’s gender, emotion and even identity. These characteristics are accessible from information on the dynamics of the movement of polyarticulated bodies (e.g. the movement of the articulation points). Understanding and interpreting a person’s behavior and state are abilities related to empathy. It is a faculty common to all mammals and is based on certain neural systems including, among others, mirror neurons. Given that empathy is an important part of social interactions in humans and more generally in animals, we can ask ourselves how our relationship with robots can be inspired by it.
This leads us to the following problem: can robotic assistance to people use the interpretation of human movement, rich in physical and cognitive information, as a modality to improve the Human-Robot Interaction?
To answer this question, we are working on observation tools and on a method of motion analysis that can be used in real time by a robotic system.
Initially, we worked on the observation tools of human movement. Our objectives of robotic assistance in an ecological environment require the installation of sensors that affect the person’s actions as little as possible. We have therefore chosen to study the Microsoft Kinect sensor which is an accessible depth sensor allowing to recover the Cartesian positions of the joints and extremities of the body. However, this type of sensor is subject to measurement noise that would prevent a fine analysis of the movement. We have therefore developed two methods to improve the measurement of this sensor based on the Extended Kalman Filter (EKF): an anthropometrically constrained EKF and a sensor fusion EKF. We have done the first study on the 2nd generation Kinect and the second on the 2nd and 3rd generations, allowing to highlight the differences between these two sensors.
In a second time, we were interested in motion analysis methods and more specifically in the problem of Inverse Optimal Control (IOC). The objective of IOC is to identify the weights associated with a set of cost functions to be optimized to generate a given trajectory. In this thesis, we seek to analyze in real time human motion trajectories whose measurements, coming from sensors, are noisy. We have studied the reliability of the IOC resolution method called Approached, as a function of the measurement noise. We also provide an original approach to the IOC that poses a new view of the optimality of trajectories and allows us to introduce the concepts of Singularity Curves and Projection. We show in this paper tools to better understand and take into account the robustness issues of IOC.
Keywords : Robotics, Biological Motion, Inverse Optimal Control, Artificial Empathy, Human-Robot Interaction.
