Les progrès récents de l’apprentissage profond et des réseaux de neurones ont permis d’aborder des tâches complexes de traitement du langage naturel, qui sont appliquées à une pléthore de problèmes réels allant des assistants intelligents dans les appareils mobiles à la prédiction du cancer. Néanmoins, les systèmes modernes basés sur ces approches présentent plusieurs limitations qui peuvent compromettre leurs performances et leur fiabilité, les rendre injustes envers les minorités ou exposer des données personnelles. Nous sommes convaincus que l’intégration de connaissances et de raisonnement symboliques dans le cadre de l’apprentissage profond est une étape nécessaire vers la résolution de ces limitations. Par exemple, les ressources lexicales peuvent enrichir les réseaux de neurones profonds avec des connaissances sémantiques ou syntaxiques, et les règles logiques peuvent fournir des mécanismes d’apprentissage et de raisonnement. Par conséquent, l’objectif de cette thèse est de développer et d’évaluer des moyens d’intégrer différents types de connaissances et de raisonnement symboliques dans un modèle de langage largement utilisé, le Bidirectional Encoder Representations from Transformers (BERT).
Dans un premier temps, nous considérons le retrofitting , une technique simple et populaire pour raffiner les plongements lexicaux de mots grâce à des relations provenant d’un lexique sémantique. Nous présentons deux méthodes inspirées par cette technique pour incorporer ces connaissances dans des plongements contextuels de BERT. Nous évaluons ces méthodes sur trois jeux de données biomédicales pour l’extraction de relations et un jeu de données de critiques de films pour l’analyse des sentiments, et montrons qu’elles n’ont pas d’impact substantiel sur les performances pour ces tâches. En outre, nous effectuons une analyse qualitative afin de mieux comprendre ce résultat négatif.
Dans un second temps, nous intégrons le raisonnement analogique à BERT afin d’améliorer ses performances sur la tâche de vérification du sens d’un mot, et de le rendre plus interprétable. Pour cela, nous reformulons la vérification du sens d’un mot comme une tâche de détection d’analogie. Nous présentons un modèle hybride qui combine BERT pour encoder les données d’entrée en quadruplets et un classifieur neuronal convolutif pour décider s’ils constituent des analogies valides. Nous testons notre système sur un jeu de données de référence et montrons qu’il peut surpasser les approches existantes. Notre étude empirique montre l’importance de l’encodage d’entrée pour BERT, et comment cette dépendance est atténuée en intégrant les propriétés axiomatiques des analogies lors de l’apprentissage, tout en préservant les performances et en améliorant l’interprétabilité.
