Sujet de thèse : Rythmes, posture et compliance motrice pour faire émerger une synchronie émotionnelle entre une personne humaine et un robot humanoïde

Mots-clés: deep learning, affective sciences, kinematics, human/robot interaction humanoid robotics, central pattern generators, motor coordination,

Responsable du projet : Pr. Yvonne Delevoye-Turrell (yvonne.delevoye@univ-lille.fr)

Co-direction : Y. Delevoye-Turrell (SCALab) & P. Hénaff (LORIA)

Laboratoire : SCALab, UMR 9193 CNRS, Université de Lille

En collaboration avec le laboratoire LORIA UMR 7503 CNRS, Nancy

Financement acquis: CNRS + accès à la plateforme IrDive (EQUIPEX, Tourcoing).

 

Description du projet : Les avancées récentes en matière de deep learning ont permis de développer des outils de reconnaissance des émotions, particulièrement au niveau des expressions faciales. Avec l’arrivée du COVID-19 et l’obligation du port du masque, on se rend compte que les expressions faciales sont plus difficiles à reconnaître et à analyser. Il est donc intéressant de comprendre les autres indices corporels liés à l’émotion comme la cinématique et la dynamique corporelle (i.e., la façon de se déplacer) qui pourraient remplacer les expressions faciales dans le décodage de ces états affectifs. Des études ont déjà montré que les émotions pouvaient transparaître de la cinématique corporelle [1].

Des travaux préliminaires menés au Scalab ont montré qu’on peut déterminer des paramètres qui permettent de percevoir l’état affectif d’une personne, en développant des algorithmes d’apprentissage de deep learning appliqués sur des paramètres de mouvement biologique humain. L’objectif premier de cette thèse est de tester l’hypothèse selon laquelle il est possible de classifier automatiquement les états affectifs à partir de la cinématique et de la dynamique corporelle de mouvements 3D, particulièrement la posture et les mouvements rythmiques. L’objectif second est de valider cette hypothèse par  une expérience d’interaction humain/robot dans laquelle l’humain pourrait percevoir les états affectifs du robot.

Au laboratoire SCALab (UMR9193) de l’Université de Lille, un système de modélisation 3D de la cinématique du corps et une montre physiologique sont utilisés pour caractériser les effets d’une induction émotionnelle sur la posture, le rythme et la compliance motrice chez des participants humains. Deux comportements cibles sont considérés : une tâche de marche spontanée et une tâche de pédalage sur ergo cycle.

L’utilisation combinée de ces deux bases de données obtenues par ce système de capture de mouvements permettra de tester l’hypothèse d’une généralisation possible entre-tâches. La question étant : « est ce qu’un même algorithme peut être utilisé pour décoder la nature de l’état affectif humain lorsque cette personne change de comportement moteur ? ».

Dans ce projet de thèse, les paramètres de perception de l’état affectif seront utilisés pour définir l’architecture du contrôleur bio-inspiré d’un robot humanoïde afin de valider les hypothèses proposées, notamment suivant les échelles d’énergie (éveil) et de valence émotionnelle (positive/négative). Ce contrôleur bio-inspiré sera à base de réseaux de neurones de type central pattern generators (CPGs) qui intègrent des oscillateurs dynamiques ayant la capacité de se synchroniser sur un signal qui leur est appliqué [2]. Des mécanismes de neuro-modulation seront implémentés afin de permettre l’apprentissage des boucles sensori-motrices et donc l’émergence de synchronies favorisant l’interaction homme-robot [4] en fonction des états émotionnels de chaque partenaire.

Cette partie de la thèse sera menée en collaboration avec le laboratoire LORIA (UMR 7503) de Nancy qui possède l’expertise du développement de ce type de contrôleur sur des robots humanoïdes en interaction avec l’humain. Plus particulièrement, l’objectif de thèse sera de tester l’hypothèse selon laquelle les paramètres émotionnels agiront comme des neuromodulateurs qui influenceront les paramètres intrinsèques des CPGs. Cette modulation rendra le robot plus ou moins apte à produire des rythmes endogènes favorisant la synchronisation des mouvements du robot aux signaux exogènes perçus chez l’humain [4]. Deux types d’expériences d’interactions sont envisagés :

  • l’interaction physique : contrôle du handshaking [3] entre l’humain et un bras robotique Franka équipé d’une main Le contrôleur bio-inspiré devra donner au robot la capacité de réaliser cet acte social avec un affect variable, c’est à dire que l’humain devra ressentir différents états affectifs du robot ;
  • l’interaction sociale : contrôle de la gestuelle rythmique et de la posture d’un robot humanoïde (Pepper, Talos). Le contrôleur bio-inspiré devra donner au robot une posture sociale et des gestes qui produiront un affect perceptible par l’humain

Les résultats de la thèse permettront :

  • du point de vue des sciences cognitives: avoir une meilleure connaissance des micro-variants moteurs qui permettent la perception des états affectifs chez un individu,
  • du point de vue de la robotique: proposer des modèles de contrôleurs bio- inspirés qui donneront aux robots humanoïdes des capacités d’interaction sociale apportant une meilleure acceptabilité par l’humain.

Références bibliographiques :

[1] Pollick, F. E., Paterson, H. M., Bruderlin, A., & Sanford, A. J. (2001). Perceiving affect from arm movement. Cognition, 82(2), B51-B61.

[2] Melanie Jouaiti, Patrick Henaff, (2019), Comparative Study of Forced Oscillators for the Adaptive Generation of Rhythmic Movements in Robot Controllers, Biological Cybernetics (Modeling), Springer Verlag, 2019

[3] Artem Melnyk and Patrick Henaff, (2019), Physical Analysis of Handshaking Between Humans: Mutual Synchronisation and Social Context, International Journal of Social Robotics, 2019,  https://doi.org/10.1007/s12369-019-00525-y,

[4] Melanie Jouaiti, Patrick Henaff (2018), CPG-based Controllers can Trigger the Emergence of Social Synchrony in Human-Robot Interactions, in proceedings of the IEEE International Workshop on Advanced Robotics and its Social Impacts (ARSO 2018), Sept 2018, Gênes, Italy

Candidate profile

The future Doctorate candidate must have a strong experience in computer sciences and AI . In particular, the following qualities and skills will be highly valued, if not required:

  • Solid bases in machine learning or data mining;
  • Previous experience in AI data mining ;
  • Programming experience (Python or C/C++);
  • Basic knowledge in robotics and in control of robots
  • Experience in experimental psychology or human biomechanics is a plus;
  • Good English reading/speaking skills.

Typical profile: Master 2 or engineer  in computers sciences, robotics or cognitive science To know more about us

============

https://www.institut-cognition.com/interview/yvonne-delevoye-scalab/   

http://www.theses.fr/fr/156972778  https://www.scalab.cnrs.fr/index.php/fr/ https://neurosys.loria.fr/research/  https://members.loria.fr/PHenaff/ 

How to apply

============

Please send your application (CV, letter of motivation, and the names and email addresses of one or two researchers who can provide recommendation letters) to Pr. Yvonne N. Delevoye-Turrell (yvonne.delevoye@univ-lille.fr) and to Pr. Patrick Henaff (patrick.henaff@loria.fr)

Logo d'Inria