La soutenance d’Ilias Benjelloun (Synalp), intitulée « Impact du bruit d’annotation sur l’évaluation de classifieurs », se déroulera le Lundi 22 novembre 2021 à 10h30 en salle C005. La présentation sera faite en français.
Résumé :
Les récents progrès de l’intelligence artificiel ont permis de construire des systèmes autonomes dans presque tous les secteurs de la société humaine. Des voitures autonomes jusqu’à la police prédictive, des domaines pouvant impliquer des conséquences critiques commencent à mettre en application cette technologie. Devant cette précipitation, des questionnements éthiques et légaux apparaissent dans la communauté. Quelles sont les potentielles dérives d’une mauvaise conception d’une IA? Comment s’en protéger? En effet, celle-ci apprend une tâche en regar- dant comment nous, humains, l’accomplissons. Cela signifie que les erreurs que nous commettons peuvent influencer leur apprentissage. Concrètement, nous annotons manuellement des données, exemplifiant la tâche que nous voulons que la machine apprenne, et nous les lui présentons dans l’objectif qu’elle comprenne par elle-même la nature de cette tâche. Ces données contiennent cependant de potentielles erreurs commises lors de l’annotation : on parle de bruit d’annotation. Non seulement ces erreurs perturbent l’apprentissage de la machine, mais la situation est en réa- lité plus grave. Ces données erronées sont également utilisées pour vérifier si l’apprentissage s’est bien déroulé : l’évaluation du système est ainsi biaisée, et n’indique pas sa véritable performance. Dans cette thèse, nous nous concentrons sur l’étude de l’évaluation de systèmes de classification sur un ensemble de test contenant du bruit d’annotation. Nous modélisons le problème d’un point de vue théorique, et nous montrons en pratique l’impact négatif du bruit d’annotation lors d’une procédure de test, et les compromis à accepter pour s’en défaire.
Abstract
The recent progress of artificial intelligence allowed to build autonomous systems in al- most every sector of human society. From autonomous cars to predictive policing, many critical domains are now welcoming machine learning technology. This has risen ethic and legal concern among the scientific community with respect to the danger of misconceptions in an AI. What are the risks? How can we reduce them? It is all the more concerning that recent examples of AI misuse can be found in the news, such as an autonomous car from Uber company that killed a pedestrian, or a face recognition systems published online by Google, that made racist predictions. Indeed, an AI cannot be perfect : it directly learns from us doing the task, and that includes our mistakes, which can impact its learning quality. Concretely, we manually label data that show how the task must be performed, and we give them to the machine for it to understand what is the nature of that task. These data contain however potential errors that we made during the labelling : this is named label noise. Label noise degrades the quality of the learning. The problem is even more serious when the testing data we use to make sure the machine learned correctly is also noisy. In that case, the evaluation is biased, and we do not see the true performance of the AI. This thesis focuses on studying the evaluation of classification systems on a test set containing label noise. We modelise the problem in a theoretical framework, and we show in practice the negative impact of label noise during classifier testing, together with the compromises we must make in order to dispose of it.
