[thèse] Cartes auto-organisatrices sur circuit neuromorphique
Encadrement
équipe BISCUIT, Loria
Encadrement : Bernard Girau (HDR)
Bernard.Girau@loria.fr
Mots clés
Réseaux de neurones, cartes auto-organisatrices, circuits neuromorphiques
Description
Contexte scientifique
Parmi les différentes alternatives aux architectures de Von Neumann, les approches neuromorphiques bénéficient actuellement des récents succès du deep learning et de l’implication croissante des principaux fabricants de semi-conducteurs grâce à des puces neuromorphiques impressionnantes telles que l’IBM TrueNorth et les puces d’Intel Loihi et Loihi 2 ([1,2]). La puce Loihi 2 intègre par exemple un million de neurones impulsionnels et 120 millions de connexions synaptiques programmables. L’émergence de ces puces neuromorphiques est étroitement liée aux atouts que présentent les neurones dits de troisième génération pour des implantations matérielles. Ces neurones communiquent de manière temporelle par des impulsions, de façon directement inspirée par les potentiels d’action échangés par les neurones biologiques, permettant ainsi de transmettre l’information et de la traiter à la volée de façon asynchrone.
Dans la même veine bio-inspirée, les caméras événementielles gagnent en popularité [3]. Les caméras événementielles comme DVS (Dynamic Vision Sensor) fonctionnent de manière analogue à la rétine en transmettant l’information sous forme d’impulsion uniquement lorsqu’un changement local de luminosité – au niveau du pixel – est détecté. Ce traitement asynchrone de l’information visuelle apporte de grands avantages : 1) une vitesse d’échantillonnage près d’un million de fois supérieure à celle des caméras standard, 2) une latence d’une microseconde et 3) une plage dynamique de 130 décibels (les caméras standards n’ont que 60 dB). Le tout pour une consommation énergétique significativement inférieure à celle des caméras standards.
Description détaillée
Notre équipe de recherche étudie différents modèles de réseaux de neurones bio-inspirés, avec pour certains la perspective d’une implantation finale sur circuit neuromorphique. Nous avons notamment défini dans [4] une version impulsionnelle de cartes auto-organisatrices (SOM, self-organizing map), dont l’apprentissage est obtenu par une règle STDP (Spike-Timing Dependent Plasticity, [5]) déterminée de façon à coder l’information dans le temps des spikes et non dans leur fréquence. A l’instar des cartes de Kohonen ([6]), un modèle connu d’auto-organisation inspiré du cortex, nos SOM impulsionnelles permettent une quantification vectorielle non supervisée de données dans laquelle les prototypes s’organisent selon des règles de voisinage pré-fixées. Les cartes auto-organisatrices impulsionnelles sont au coeur de cette thèse. L’objectif est de les adapter et de les enrichir de manière à les exploiter dans un contexte neuromorphique notamment lié à l’architecture Intel Loihi. Différents aspects doivent être traités.
1- Prise en compte de stimuli neuromorphiques directs : le codage temporel utilisé dans notre modèle actuel de SOM traduit des réels en spikes. Avec l’avènement des caméras événementielles, il faut prendre en compte des stimuli directement fournis sous la forme d’impulsions non contrôlées. Ces caméras étant avant tout sensibles aux mouvements, on peut par exemple étudier comment en extraire le flot optique au travers du codage temporel et de l’apprentissage que nous avons définis.
2- Même si la puce Loihi propose un apprentissage programmable des poids synaptiques basé sur la STDP, les règles que notre modèle utilise ne peuvent pas être directement exprimées dans le modèle de calcul Loihi. Par conséquent de nombreuses adaptations devront être proposées pour aboutir à des SOM impulsionnelles implantables sur ce circuit neuromorphique, avec l’objectif final de le coupler directement avec des caméras événementielles.
Différentes caméras impulsionnelles ainsi qu’un accès aux plateformes de développement Loihi et Loihi 2 (au travers d’un accord avec Intel) seront à disposition pour la poursuite de ces recherches.
Compétences requises
Le candidat doit avoir l’équivalent d’un Master en informatique, de préférence dans une spécialité liée à l’intelligence artificielle et/ou au calcul numérique distribué. Une connaissance adéquate de la conception de circuit numérique sera prise en compte, ainsi qu’une expérience solide en conception logicielle. D’éventuels travaux déjà réalisés autour du calcul neuromorphique seront un atout important. Le candidat doit parler couramment l’anglais et/ou le français.
Bibliographie
[1] M. Davies, N. Srinivasa, T.-H. Lin, Tsung-Han, G. Chinya, Y. Cao, S.H. Choday, G. Dimou, P. Joshi, N. Imam, S. Jain, Y. Liao, C.-K. Lin, A. Lines, R. Liu, D. Mathaikutty, S. McCoy, A. Paul, J. Tse, G. Venkataramanan, Y.H. Weng,A. Wild, Y. Yang and H. Wang. Loihi : A Neuromorphic Manycore Processor with On-Chip Learning. IEEE Micro, 38 (1), 2018.
[2] https://www.intel.com/content/www/us/en/research/neuromorphic-computing.html
[3] G. Gallego, T. Delbruck, G. Orchard, C. Bartolozzi, B. Taba and A. Censi, S. Leutenegger, A. Davison, J. Conradt, K. Daniilidis, D. Scaramuzza. Event-Based Vision : A Survey. IIEEE Transactions on Pattern Analysis and Machine Intelligence , 2020.
[4] A. Fois and B. Girau. A Spiking Neural Architecture for Vector Quantization and Clustering. 27th International Conference on Neural Information Processing (ICONIP), 2020.
[5] Markram, H., Lubke, J., Frotscher, M., and Sakmann, B. (1997). Regulation of synaptic efficacy ¨ by coincidence of postsynaptic APs and EPSPs. Science, 275(5297) :213–215.
[6] T. Kohonen. The self-organizing map. Neurocomputing, 21(1-3), 1998.
