Adrien Fois (Biscuit) will defend his thesis entitled “Plasticité et codage temporel dans les réseaux impulsionnels appliqués à l’apprentissage de représentations” on Thursday, 15 December at 2pm in room C005.
Composition du jury:
Rapporteurs:
Timothée Masquelier, Directeur de recherche, Centre de recherche Cerveau et Cognition (CERCO), France
Madalina Olteanu, Professeure, Université Paris Dauphine (PSL), France
Examinateurs:
Laurent Perrinet, Directeur de recherche, Université Aix-Marseille, France
Olivier Bichler, Ingénieur chercheur, CEA Saclay, France
Jean Martinet, Professeur, Université Nice Sophia Antipolis, France
Directeur de thèse:
Bernard Girau, Professeur, Université de Lorraine, France
Résumé :
Le calcul neuromorphique est un domaine de l’informatique en plein essor. Il cherche à définir des modèles de calculs s’inspirant des propriétés du cerveau. Le calcul neuromorphique redéfinit la nature des trois composants clés de l’apprentissage : 1) données, 2) substrat de calcul et 3) algorithmes, en se fondant sur le fonctionnement du cerveau.
Premièrement, les données sont représentées avec des événements tout ou rien distribués dans l’espace et le temps : les impulsions neuronales.
Deuxièmement, le substrat de calcul efface la séparation entre calcul et mémoire introduite par les architectures de Von Neumann en les co-localisant, comme dans le cerveau. En outre, le calcul est massivement parallèle et asynchrone permettant aux unités computationnelles d’être activées à la volée, de façon indépendante.
Troisièmement, les algorithmes d’apprentissage sont adaptés au substrat en exploitant les informations disponibles localement, au niveau du neurone.
Ce vaste remaniement dans la manière d’appréhender la représentation et le transfert de l’information, le calcul et l’apprentissage, permettent aux processeurs neuromorphiques de promettre notamment un gain d’énergie d’un facteur considérable de 100 à 1000 par rapport aux CPU.
Dans cette thèse, nous explorons le versant algorithmique du calcul neuromorphique en proposant des règles d’apprentissage événementielles répondant aux contraintes de localité et capables d’extraire des représentations de flux de données impulsionnels, épars et asynchrones. En outre, alors que la plupart des travaux connexes se basent sur des codes par taux de décharge où l’information est exclusivement représentée dans le nombre d’impulsions, nos règles d’apprentissage exploitent des codes temporels beaucoup plus efficients, où l’information est contenue dans les temps d’impulsions.
Nous proposons d’abord une analyse approfondie d’une méthode de codage temporel par population de neurones, en proposant une méthode de décodage, et en analysant l’information délivrée et la structure du code.
Puis nous introduisons une nouvelle règle événementielle et locale capable d’extraire des représentations de codes temporels en stockant des centroïdes de manière distribuée dans les poids synaptiques d’une population de neurones.
Nous accentuons ensuite la nature temporelle de l’apprentissage en proposant d’apprendre des représentations non pas dans les poids synaptiques, mais dans les délais de transmission opérant intrinsèquement dans la dimension temporelle. Cela a engendré deux nouvelles règles événementielles et locales. Une règle adapte les délais de sorte à stocker des représentations, l’autre règle adapte les poids de sorte à filtrer les caractéristiques en fonction de leurs variabilité temporelle. Ces deux règles opèrent de manière complémentaire.
Dans un dernier modèle, ces règles adaptant poids et délais sont augmentées par un nouveau neuromodulateur spatio-temporel. Ce neuromodulateur permet au modèle de reproduire le comportement des cartes auto-organisatrices dans un substrat impulsionnel, aboutissant ainsi à la génération de cartes ordonnées lors de l’apprentissage de représentations.
Enfin nous proposons une nouvelle méthode générique d’étiquetage et de vote conçue pour des réseaux de neurones impulsionnels traitant des codes temporels. Cette méthode nous permet d’évaluer notre dernier modèle sur des tâches de catégorisation.
