[Thèse] Apprentissage et adaptation pour les essaims robotique

Résumé

Imaginons un essaim de robots miniatures capables d’évoluer dans un environnement pour réaliser une tache (exploration, détection de pannes, nettoyage, etc.). Supposons que l’environnement soit inconnu et que les robots aient un champ de perception et d’action limité. Concevoir un tel dispositif dans le cas général est pour le moment un problème ouvert où les approches classiques peinent à fonctionner et où d’autres approches fondées sur la distribution du calcul, l’aléa et l’échange parcimonieux de données, arrivent à trouver des solutions sous optimales mais fonctionnelles. Élargir les champs d’application des ces algorithmes et mieux comprendre leur fonctionnement seront les questions auxquelles la présente proposition tentera de répondre.

Mots-clés : Robotique évolutionnaire, essaims robotiques, apprentissage et adaptation.

Contexte

Cette proposition rentre dans le cadre l’intelligence artificielle et plus précisément celui de la conception d’agents robotiques dotés de comportements autonomes leur permettant de s’adapter le mieux à leur environnement. Un agent est considéré ici comme une entité robotique dotée de capacités sensorimotrices, capable d’évoluer de manière autonome dans un environnement dynamique et partiellement connu. L’objectif final est de concevoir le comportement des agents qui leur permettent au mieux d’atteindre un objectif donnée. Cette proposition tentera de contribuer à cette thématique en étudiant comment apprendre les comportements d’un ensemble d’agents par apprentissage évolutionnaire (Evolutionary Robotics) [5].

Les essaims de robots sont des systèmes composés d’un grand nombre de robots (de l’ordre de plusieurs dizaines) relativement simples. Du fait du grand nombre d’unités, ces systèmes ont de bonnes propriétés de robustesse et de passage à l’échelle. Néanmoins, concevoir des systèmes de telle nature pour réaliser des tâches intéressantes reste un défi important pour lequel les approches classiques (machine learning, deep learning) ne sont pas utilisables. Des approches automatisées et décentralisés comme l’Embodied Evolutionary Robotics [1] constituent une alternative attirante. Elles ouvrent de nombreuses possibilités, puisque l’apprentissage est mené en parallèle par chaque robot de l’essaim et en ligne pendant l’exécution d’une tâche.

Objectifs

D’un point de vue expérimental, ces approches ont été utilisées avec succès sur un grand nombre de problèmes [1], cependant le type de problèmes sur lesquels elles réussissent reste limité. Plusieurs améliorations restent a faire pour élargir leurs champs d’application, et passer à l’ultime étape : une flottille de robots réels. Ce passage nécessite d’analyser finement les algorithmes existants et d’en concevoir de nouveaux.

Pour améliorer l’adaptation et permettre l’apprentissage en ligne, nous envisageons d’explorer deux pistes : 1) favoriser la diversité comportementale [4] et 2) exploiter les mécanismes de motivation intrinsèque [6]. A travers ces deux mécanismes, les conditions pour permettre à une flottille de faire face et s’adapter à un environnement dynamique et imprévisible, seront favorisées. Ils permettrons de plus de ne pas avoir à concevoir des solutions rigides dont la robustesse serait mise en échec devant des obstacles ou des difficultés imprévues.

Pour améliorer l’analyse de l’approche évolutionnaire, afin de mieux identifier ses avantages et ses limites, nous envisagions d’utiliser des modèles connus dans le domaine des systèmes distribués ainsi que des modèles stochastiques en biologie computationnelle [3]. Ces résultats semblent très prometteurs pour analyser les dynamiques internes de ces algorithmes ainsi que pour identifier les conditions nécessaires pour leur réussite. Les algorithmes de robotique évolutionnaire en essaim partagent plusieurs aspects avec les systèmes distribués (accès partiel aux données ou l’état global du système, échanges par communications locales, aléa etc.), certaines méthodes ou modèles d’analyse des systèmes distribués (convergence, fiabilité etc.) pourraient être envisagés pour étudier [2] les algorithmes que nous souhaitons développer.

Informations additionnelles

Le travail de recherche proposé ici alliera l’analyse algorithmique et l’expérimentation en simulation. Nous recherchons un candidat avec de bonnes connaissances en probabilités et processus stochastiques, et avec un intérêt pour l’apprentissage automatique et la robotique, ainsi que de bonnes compétences en algorithmique et programmation.

  • Financement : contrat doctoral (coucours)
  • Date limite de candidature : 25 mai 2021
  • Sélection et classement par le laboratoire : 8 juin 2021

Encadrants :

  • Alain Dutech, Chargé de Recherche HDR à l’INRIA et membre de l’équipe Biscuit du Loria (https://members.loria.fr/ADutech/)
  •  Amine Boumaza, Maître de conférence à l’Université de Lorraine membre de l’équipe Larsen du Loria (https://members.loria.fr/ABoumaza/

Références

[1]  Nicolas Bredeche, Evert Haasdijk, and Abraham Prieto. Embodied evolution in collective robotics : A review. Front, in Robo. and AI, 5 :12, 2018.

[2]  Benjamin Doerr, Philipp Fischbeck, Clemens Frahnow, Tobias Friedrich, Timo Kötzing, and Martin Schirneck. Island models meet rumor spreading. In Proceedings of the Genetic and Evolutionary Computation Conference, GECCO ’17, pages 1359–1366, New York, NY, USA, 2017. ACM.

[3] Jotun Hein, Mikkel H. Schierup, and Carsten Wiuf. Gene Genealogies, Variation and Evolution A Primer in Coalescent Theory. Oxford University Pres, 2005.

[4]  Joel Lehman and Kenneth O. Stanley. Abandoning objectives : Evolution through the search for novelty alone. Evolutionary Computation, 19(2) :189–223, June 2011.

[5]  Stefano Nolfi and Dario Floreano. Evolutionary Robotics : The Biology, Intelligence, and Technology. MIT Press, Cambridge, MA, USA, 2000.

[6]  Pierre-Yves Oudeyer and Frederic Kaplan. What is intrinsic motivation ? a typology of computational approaches. Frontiers in Neurorobotics, 1(6) :1–14, 2009.

Logo d'Inria