Les modèles de génération de langage naturel (NLG) ont récemment atteint de très hautes performances. Les textes qu’ils produisent sont généralement corrects sur le plan grammatical et syntaxique, ce qui les rend naturels. Bien que leur sens soit correct dans la grande majorité des cas, même les modèles de NLG les plus avancés produisent encore des textes avec des significations partiellement inexactes.
Dans cette thèse, en nous concentrons sur le cas particulier des problèmes liés au contenu des textes générés, nous proposons d’évaluer et d’analyser les modèles utilisés dans les tâches de verbalisation de graphes RDF (Resource Description Framework) et de génération de questions conversationnelles.
Tout d’abord, nous étudions la tâche de verbalisation des graphes RDF et en particulier les omissions et hallucinations d’entités RDF, c’est-à-dire lorsqu’un texte généré automatiquement ne mentionne pas toutes les entités du graphe RDF d’entrée ou mentionne d’autres entités que celles du graphe d’entrée. Nous évaluons 25 modèles de verbalisation de graphes RDF sur les données WebNLG. Nous développons une méthode pour détecter automatiquement les omissions et les hallucinations d’entités RDF dans les sorties de ces modèles. Nous proposons une métrique basée sur le nombre d’omissions ou d’hallucinations pour quantifier l’adéquation sémantique des modèles NLG avec l’entrée.
Nous constatons que cette métrique est corrélée avec ce que les annotateurs humains considèrent comme sémantiquement correct et nous montrons que même les modèles les plus globalement performants sont sujets à des omissions et à des hallucinations.
Suite à cette observation sur la tendance des modèles de verbalisation RDF à générer des textes avec des problèmes liés au contenu, nous proposons d’analyser l’encodeur de deux de ces modèles, BART et T5. Nous utilisons une méthode d’explicabilité par sondage et introduisons deux sondes de classification, l’une paramétrique et l’autre non paramétrique, afin de détecter les omissions et les déformations des entités RDF dans les plongements lexicaux des modèles encodeur-décodeur. Nous constatons que ces classifieurs sont capables de détecter ces erreurs dans les encodages, ce qui suggère que l’encodeur des modèles est responsable d’une certaine perte d’informations sur les entités omises et déformées.
Enfin, nous proposons un modèle de génération de questions conversationnelles basé sur T5 qui, en plus de générer une question basée sur un graphe RDF d’entrée et un contexte conversationnel, génère à la fois une question et le triplet RDF correspondant. Ce modèle nous permet d’introduire une procédure d’évaluation fine évaluant automatiquement la cohérence avec le contexte de la conversation et l’adéquation sémantique avec le graphe RDF d’entrée.
Nos contributions s’inscrivent dans les domaines de l’évaluation en NLG et de l’explicabilité. Nous empruntons des techniques et des méthodologies à ces deux domaines de recherche afin d’améliorer la fiabilité des modèles de génération de texte.