[Thèse] Vers une architecture neuronale décentralisée de cartes auto-organisatrices
Encadrement : Hervé Frezza-Buet (HDR), Yann Boniface
Contact : Herve.Frezza-Buet AT centralesupelec.fr & Yann.Boniface AT loria.fr
Contexte
Calcul non conventionnel pour la robotique
L’équipe BISCUIT (Bio-Inspired Situated Cellular and Unconventional Information Technology) rassemble des chercheurs intéressés par l’informatique non conventionnelle, considérant en particulier les modèles d’intelligence artificielle bio-inspirés, tout en s’attachant à « faire réellement quelque chose avec des Populations de calcul Spatialisées et Décentralisées (SDP) », plutôt que de modéliser avec précision les structures du cerveau. Cette équipe souhaite étudier de nouveaux paradigmes computationnels pour s’attaquer à des problèmes difficiles comme la robotique autonome, le calcul cognitif situé, etc. La pertinence de ces paradigmes non conventionnels vient de l’idée que le cerveau est plus performant que la technologie humaine pour contrôler des agents autonomes (les animaux par exemple). De plus, même si cela prête à controverse (Jones, 2000), lorsque des architectures du système nerveux plus récentes dans l’évolution, comme le cortex, sont prises en compte, il apparaı̂t que la génétique code le développement anatomique de systèmes assez homogènes, systèmes qui sont ensuite adaptés, par apprentissage, lorsque l’animal interagit avec le monde (Miller et al., 2001; Ballard, 1986; Stavrinou et al., 2007). Lorsqu’ils sont considérés comme des solutions biologiques à des problèmes de robotique, les cerveaux montrent que calculer en rassemblant une grande population de petits circuits élémentaires de calcul (par exemple les micro-colonnes dans le cortex (Mountcastle, 1997)) est un moyen robuste et efficace de contrôler les agents artificiels. Mais, la reproduction des modes et capacités de calcul des cerveaux n’étant pas encore atteinte, les chercheurs en informatique ne comprennent pas totalement ces phénomènes.
Auto-organisation
Parmi toutes les caractéristiques qui peuvent être transférées de la biologie à l’informatique, ce doctorat souhaite mettre l’accent sur l’auto-organisation, à la suite de la démarche fondatrice de Kohonen (Kohonen, 1997). Kohonen s’est inspiré de la biologie du cortex pour son modèle de cartes auto-organisatrices (SOM), modèle qui est aujourd’hui un algorithme d’apprentissage artificiel éprouvé pour l’apprentissage non supervisé. Les travaux antérieurs des membres de l’équipe portent également sur l’auto-organisation, en insistant sur une approche plus spécifiquement SPD (Ménard, 2006; Alecu, 2011; Lefort, 2012; Khouzam, 2014), approche qui n’est pas centrale dans les SOMs classiques. L’idée est de considérer les modules SPD auto-organisateurs comme des blocs élémentaires de calcul pour les architectures multi-cartes (Ménard and Frezza-Buet, 2005). La manière dont plusieurs modules d’auto-organisation doivent être connectés reste un problème crucial de cette approche, sachant qu’ils peuvent également être connectés à eux-mêmes. Ils deviennent alors en mesure de traiter des séquences de données, donc la nature temporelle de l’information (Khouzam and Frezza-Buet, 2013). Nos travaux antérieurs ont montré deux limitations principales. Ils n’ont été appliqués qu’à des problèmes jouets de « preuve de concept » et ils nécessitent une grande quantité de calculs parallèles (Gustedt et al., 2010), puisque les mécanismes intrinsèques reposent sur des populations à grande échelle d’unités de calcul élémentaires. Cela restreint fortement la possibilité d’explorer des architectures composées de nombreux modules SPD et d’espérer une utilisation temps-réel, en robotique autonome par exemple. Plus récemment, une thèse qui se termine dans l’équipe a ouvert la voie sur ces questions, au niveau d’une approche intermédiaire qui définit une méthodologie de construction d’architectures complexes. Il s’agit, à base d’une adaptation des SOMs, de définir des briques élémentaires et leurs échanges pour permettre un passage à l’échelle. Ces briques auto-organisatrices forment un système dynamique dont la relaxation vers des bassins d’attraction constitue l’établissement d’un consensus (Gonnier et al., 2021; Gonnier et al., 2020). Cette méthodologie, pour le moment prometteuse, reste toutefois à stabiliser, à expérimenter sur des problèmes temporels et à décliner au delà des approches jouets qui ont guidé ses validations.
C’est l’objet de la thèse proposée.
Expérimentation
Nous proposons de décliner la partie expérimentale de cette thèse dans un contexte robotique. Ce doctorat n’est pas une contribution directe à la robotique, puisque le but est d’aborder le calcul SPD plutôt que de fournir à un robot des capacités qui dépassent celles de l’état de l’art. Néanmoins, un défi pour cette thèse sera d’utiliser un véritable robot comme plate-forme de validation. Pour ce faire, la smartroom de CentralSupélec sera disponible : les applications aux drones (Quadricoptères Parrots), pour lesquels nous avons de premiers résulats (Gonnier et al., 2021), ou aux robots roulants ( Kheperas, turtlebots) peuvent être facilement accessibles, en utilisant ROS.
Objectifs
Comme nous l’avons déjà écrit, les modules d’auto-organisation ont déjà été abordés au sein de l’équipe, en se concentrant sur le calcul de populations à grains fins. Un virage récent a été pris vers des architectures plus mésoscopiques à base de SOMs adaptées à la prise en charge d’un consensus pour diriger les processus d’auto-organisation. Il reste toutefois aujourd’hui à construire des architectures multi-cartes avec de nombreux composants et à analyser leur comportement dynamique. Des approches multicartes de l’auto-organisation ont été proposées dans la littérature (Johnsson et al., 2009), ainsi que des approches récurrentes pour le traitement temporel (Voegtlin, 2002; Hagenbuchner et al., 2001), mais le nombre de modules impliqués reste faible : dans les contributions où il est supérieur à un, il reste toujours inférieur à trois. Le type de calculs que peuvent réaliser des architectures auto-organisatrices composées d’un grand nombre de modules reste à investiguer, même après la définition de la méthodologie posée par les travaux en cours dans l’équipe.
Conditions de travail et compétences souhaitées
Le doctorant ou la doctorante sera accueilli(e) au Loria, laboratoire bi-localisé à Nancy et Metz (campus de CentralSupelec). Il ou elle travaillera sur les deux sites, à sa convenance, sous la supervision de Hervé Frezza-Buet et Yann Boniface. Une collaboration scientifique avec les autres membres de l’équipe est attendue, ainsi que des discussions scientifiques plus générales et des collaborations avec d’autres membres du laboratoire. La durée prévue du doctorat est de trois ans.
Des références à la biologie devant être prises en compte, un goût pour l’innovation et les approches pluridisciplinaires est attendu. De bonnes compétences en programmation sont également requises, les outils que nous mettons à disposition pour l’étude étant écrits dans les langages C++ et Python en particulier.
L’équipe fournira un ensemble d’outils de programmation, de plates-formes robotiques et tout le soutien humain nécessaire pour les aspects techniques, ce qui permettra au doctorant ou à la doctorante de se concentrer sur les questions scientifiques. Voir par exemple la suite cxsom (https://github.com/HerveFrezza-Buet/cxsom).
Références
Ballard, D. H. (1986). Cortical connections and parallel processing : Structure and function. Behavioral Brain Science, 9 :67–129.
Gonnier, N., Boniface, Y., and Frezza-Buet, H. (2020). Consensus Driven Self-Organization : Towards Non Hierarchical Multi-Map Architectures. In Communications in Computer and Information Science, Neural Information Processing, ICONIP 2020, pages 526–534.
Gonnier, N., Boniface, Y., and Frezza-Buet, H. (2021). Input Prediction Using Consensus Driven SOMs. In ISCMI 2021 :8th Intl. Conference on Soft Computing & Machine Intelligence.
Gustedt, J., Vialle, S., Frezza-Buet, H., Sitou, D. B., and Fressengeas, N. (2010). InterCell : a Software Suite for Rapid Prototyping and Parallel Execution of Fine Grained Applications. In PARA 2010 conference : State of the Art in Scientific and Parallel Computing.
Hagenbuchner, M., Tsoi, A. C., and Sperduti, A. (2001). A supervised self-organizing map for structured data. In Advances in Self-Organising Maps, pages 21–28.
Johnsson, M., Balkenius, C., and Hesslow, G. (2009). Associative self-organizing map. In proceedings of the International Joint Conference on Computational Intelligence (IJCCI), pages 363–370.
Jones, E. G. (2000). Microcolumns in the cerebral cortex. PNAS, 97(10) :5019–5021.
Khouzam, B. (2014). Neural networks as cellular computing models for temporal sequence processing. PhD thesis, Supélec.
Khouzam, B. and Frezza-Buet, H. (2013). Distributed recurrent self-organization for tracking the state of non-stationary partially observable dynamical systems. Biologically Inspired Cognitive Architectures, 3 :87–104.
Kohonen, T. (1997). Self Organizing Maps. Springer. Second Edition.
Lefort, M. (2012). Apprentissage spatial de corrélations multimodales par des mécanismes d’inspiration corticale. Theses, Université de Lorraine.
Ménard, O. (2006). Mécanismes d’inspiration corticale pour l’apprentissage et la représentation d’asservissements sensori-moteurs en robotique. PhD thesis, Université Henri Poincaré – Nancy I.
Ménard, O. and Frezza-Buet, H. (2005). Model of multi-modal cortical processing : Coherent learning in self-organizing modules. Neural Networks, 18(5-6) :646–655. extended version of Coherent learning in cortical maps : A generic approach, IJCNN’05.
Miller, K. D., Simons, D. J., and Pinto, D. J. (2001). Processing in layer 4 of the neocortical circuit : New insights from visual and somatosensory cortex. Current Opinion in Neurobiology, 11 :488–497.
Mountcastle, V. B. (1997). The columnar organization of the neocortex. Brain, 120 :701–722. Stavrinou, M. L., Penna, S. D., Pizzella, V., Torquati, K., Cianflone, F., Franciotti, R., Bezerianos, A., Romani, G. L., and Rossini, P. M. (2007). Temporal dynamics of plastic changes in human primary somatosensory cortex after finger webbing. Cerebral Cortex, 17(9) :2134–2142.
Voegtlin, T. (2002). Recursive self-organizing maps. Neural Networks, 15(8-9) :979–992.