[thèse] Auto-organisation et apprentissage guidé sur circuit neuromorphique
Encadrement
équipe BISCUIT, Loria
Encadrement : Bernard Girau (HDR)
Bernard.Girau@loria.fr
Mots clés
Réseaux de neurones, cartes auto-organisatrices, circuits neuromorphiques, apprentissage par renforcement
Description
Contexte scientifique
Parmi les différentes alternatives aux architectures de Von Neumann, les approches neuromorphiques bénéficient actuellement des récents succès du deep learning et de l’implication croissante des principaux fabricants de semi-conducteurs grâce à des puces neuromorphiques impressionnantes telles que l’IBM TrueNorth et les puces d’Intel Loihi et Loihi 2 ([1,2]). Avec un système basé sur des circuits Loihi, jusqu’à 8 milliards de neurones peuvent être implantés de manière totalement parallèle. L’émergence de ces puces neuromorphiques est étroitement liée aux atouts que présentent les neurones dits de troisième génération pour des implantations matérielles. Ces neurones communiquent de manière temporelle par des impulsions, de façon directement inspirée par les potentiels d’action échangés par les neurones biologiques, permettant ainsi de transmettre l’information et de la traiter à la volée de façon asynchrone. Les architectures Intel Loihi et Loihi 2 attirent plus spécifiquement notre attention, notamment en raison de certaines spécificités comme un apprentissage embarqué programmable de type STDP (Spike-Timing Dependent Plasticity, [3]) et la présence de spikes de récompense.
Notre équipe de recherche développe différents modèles de réseaux de neurones bio-inspirés, avec pour certains la nécessité de s’adapter à une implantation finale sur circuit neuromorphique. Nous avons notamment défini dans [4] une version impulsionnelle de cartes auto-organisatrices (SOM, self-organizing map), dont l’apprentissage est obtenu par une règle STDP que nous avons définie de façon à coder l’information dans le temps des spikes et non dans leur fréquence. A l’instar des cartes de Kohonen ([5]), un modèle connu d’auto-organisation inspiré du cortex, nos SOM impulsionnelles permettent une quantification vectorielle non supervisée de données dans laquelle les prototypes s’organisent selon des règles de voisinage pré-fixées. Par ailleurs, nous développons actuellement un modèle d’apprentissage par renforcement (RL, reinforcement learning, voir [6]) utilisant des populations de neurones impulsionnels jouant le rôle d’acteur et de critique, sous une forme suffisamment simplifiée pour envisager une implantation sur l’architecture Loihi.
Le sujet proposé ici vise à approfondir et combiner ces modèles afin d’explorer davantage l’apport de l’auto-organisation guidée dans le cadre du calcul matériel neuromorphique.
Description détaillée
Les cartes auto-organisatrices impulsionnelles sont au coeur de cette thèse. L’objectif est de les adapter et de les enrichir de manière à les exploiter dans un contexte neuromorphique notamment lié à l’architecture Intel Loihi. Différents aspects doivent être traités.
1- Prise en compte de stimuli neuromorphiques directs : le codage temporel utilisé dans notre modèle actuel de SOM traduit des réels en spikes. Avec l’avènement des capteurs neuromorphiques tels que les caméras événementielles ([7]), il faut prendre en compte des stimuli directement fournis sous la forme d’impulsions non contrôlées. Ces capteurs, comme les caméras DVS (Dynamic Vision Sensor), fonctionnent en effet de manière analogue à la rétine en transmettant l’information sous forme d’impulsion uniquement lorsqu’un changement local de luminosité est détecté au niveau d’un pixel. Ces caméras étant avant tout sensibles aux mouvements, on peut par exemple étudier comment les principes des SOM impulsionnelles peuvent en extraire le flot optique.
2- Même si la puce Loihi propose un apprentissage programmable des poids synaptiques basé sur la STDP, de nombreuses adaptations devront être proposées pour aboutir à des SOM impulsionnelles implantables sur ce circuit neuromorphique, avec l’objectif final de le coupler directement avec des caméras événementielles. Différentes caméras impulsionnelles ainsi qu’un accès aux plateformes de développement Loihi et Loihi 2 (au travers d’un accord avec Intel) seront à disposition pour la poursuite de ces recherches.
3- L’apprentissage actuel des SOM suppose que tous les stimuli se valent. Pour aller vers un apprentissage davantage situé dans un contexte réel, nous proposons de guider, moduler, motiver, l’auto-organisation selon une évaluation de la pertinence des stimuli courants grâce à un mécanisme de RL. Compte tenu du contexte neuromorphique visé, il s’agit donc de coupler les mécanismes STDP utilisés par nos modèles de SOM impulsionnelles et par les populations de neurones jouant les rôles d’acteur et de critique dans le RL neuromorphique que nous développons.
Compétences requises
Le candidat doit avoir l’équivalent d’un Master en informatique, de préférence dans une spécialité liée à l’intelligence artificielle et/ou au calcul numérique distribué. Une connaissance adéquate de la conception de circuit numérique sera prise en compte, ainsi qu’une expérience solide en conception logicielle. D’éventuels travaux déjà réalisés autour du calcul neuromorphique seront un atout important. Le candidat doit parler couramment l’anglais et/ou le français.
Bibliographie
[1] M. Davies, N. Srinivasa, T.-H. Lin, Tsung-Han, G. Chinya, Y. Cao, S.H. Choday, G. Dimou, P. Joshi, N. Imam, S. Jain, Y. Liao, C.-K. Lin, A. Lines, R. Liu, D. Mathaikutty, S. McCoy, A. Paul, J. Tse, G. Venkataramanan, Y.H. Weng,A. Wild, Y. Yang and H. Wang. Loihi : A Neuromorphic Manycore Processor with On-Chip Learning. IEEE Micro, 38 (1), 2018.
[2] https://www.intel.com/content/www/us/en/research/neuromorphic-computing.html
[3] Markram, H., Lubke, J., Frotscher, M., and Sakmann, B. (1997). Regulation of synaptic efficacy ¨ by coincidence of postsynaptic aps and epsps. Science, 275(5297) :213–215.
[4] A. Fois and B. Girau. A Spiking Neural Architecture for Vector Quantization and Clustering. 27th International Conference on Neural Information Processing (ICONIP), 2020.
[5] T. Kohonen. The self-organizing map. Neurocomputing, 21(1-3), 1998.
[6] Sutton, R. and Barto, A. (1998). Reinforcement Learning. Bradford Book, MIT Press, Cambridge, MA.
[7] G. Gallego, T. Delbruck, G. Orchard, C. Bartolozzi, B. Taba and A. Censi, S. Leutenegger, A. Davison, J. Conradt, K. Daniilidis, D. Scaramuzza. Event-Based Vision : A Survey. IIEEE Transactions on Pattern Analysis and Machine Intelligence , 2020.
