[sujet de thèse] Détection multimodale des contenus haineux

Equipe Multispeech                                

Encadrants :

Irina Illina, MdC, HDR, UL   illina@loria.fr

Dominique Fohr, CR CNRS   dominique.fohr@loria.fr

Contexte et motivation

Les discours de haine expriment un comportement antisocial. Dans de nombreux pays, les discours de haine sont un délit et sont punis par la loi. Dans ce cas, les médias sociaux sont tenus responsables s’ils ne suppriment pas rapidement les contenus haineux. L’analyse manuelle des contenus publiés et leur modération sont impossibles en raison de l’énorme quantité de données circulant sur Internet. Une solution efficace à ce problème serait la détection automatique des commentaires haineux.

La détection automatique des discours haineux est un problème difficile du traitement du langage naturel (TAL). Les approches proposées pour la détection automatique des discours de haine sont basées sur des représentations du texte sous forme numérique et sur l’utilisation de modèles statistiques.

Les techniques d’apprentissage profond se sont révélées très puissantes pour classer les discours de haine. Récemment, un modèle basé sur les transformers a été proposé par Devlin : BERT (Devlin et al., 2020). Ce modèle est pré-entraîné en utilisant d’énormes corpus de texte. Le modèle BERT a obtenu les meilleurs résultats sur plusieurs tâches de traitement du langage naturel.

Dans l’équipe Multispeech depuis 3 ans, nous avons commencé à travailler sur la détection automatique des discours de haine (D’Sa et al., 2021 ; Bose et al, 2021). Dans de nombreux travaux de recherche sur la détection des discours de haine, seuls les documents textuels ont été utilisés. Nous aimerions faire progresser les connaissances sur la détection des discours de haine en explorant un nouveau type de document : les documents audios.

Multimodalité

Sur les plateformes de médias sociaux, les données sont multimodales par nature. En effet, le contenu publié sur ces plateformes peut être un mélange de texte, de vidéo, d’audio et de diverses méta-informations. Au-delà de ces contenus, les données sont encore plus riches, car les utilisateurs peuvent interagir de différentes manières : commenter, partager, aimer/ne pas aimer, etc. Nous visons à concevoir des architectures capables d’exploiter la diversité de ces données multimodales et interconnectées pour détecter et caractériser le discours de haine. Ensuite, nous aimerions développer une nouvelle méthodologie pour détecter automatiquement les discours de haine, basée sur l’apprentissage automatique (machine learning) et les réseaux de neurones profonds (DNN, deep neural networks) en utilisant les modalités textuelles et audio.

Seuls très peu de travaux commencent à utiliser l’audio (Yousef, 2019) pour détecter les contenus haineux. Nous proposons de développer une approche innovante, basée sur les DNN, pour combiner les informations audio et textuelles dans une approche multi-caractéristiques (audio, caractéristiques lexicales et sémantiques, etc). Les DNN seront utilisés car ils ont conduit à des améliorations majeures dans le traitement du langage naturel. Les données multimodales seront prises en compte pour la détection des discours de haine. Une approche multi-caractéristiques sera conçue pour intégrer toutes ces informations.

La modalité texte est en mesure d’apporter des informations complémentaires pertinentes : graphie (ponctuations répétées, majuscule, etc.), catégories lexicales, caractéristiques sémantiques. Une possibilité pour représenter ces caractéristiques linguistiques consiste à utiliser des modèles basés sur les transformers, comme BERT ou GPT-2.

Nous prévoyons d’utiliser des corpus disponibles avec des données vocales et textuelles, par exemple IEMOCAP (Busso et al., 2008) ou HSDVD (Rana et al., 2022).

Compte tenu de la nature de ce projet axé sur l’étude du contenu généré par les utilisateurs, nous veillerons à garantir que les procédures éthiques soient correctement suivies afin d’assurer la confidentialité et de respecter les droits individuels dans le cadre de la RGPD.

Compétences

• Master 2 ou diplôme d’ingénieur en informatique.
• Expérience avec l’apprentissage profond incluant une bonne maitrise de python ainsi que ses librairies.
• Des compétences en traitement du langage naturel ou du signal sont un plus.

Références

Bose, N. Aletras, I. Illina, D. Fohr « Dynamically Refined Regularization for Improving Cross-domain Hate Speech Detection » Conference of the North American Chapter of the Association for Computational Linguistics, 2022.

Busso, M. Bulut, C.-C. Lee, A. Kazemzadeh, E. Mower, S. Kim, J. N. Chang, S. Lee and S. S. Narayanan “IEMOCAP: Interactive emotional dyadic motion capture database”, Journal of Language Resources and Evaluation, vol. 42, N°4 pp 335-359, 2008.

Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019, pp. 4171–4186.

Rana, S. Jha “Emotion Based Hate Speech Detection using Multimodal Learning” arXiv:2202.06218, 2022.

A.G. D’Sa, I Illina, D. Fohr, D. Klakow, D. Ruiter « Exploring Conditional Language Model Based Data Augmentation Approaches For Hate Speech Classification » International Conference on Text, Speech, and Dialogue, 135-146, 2021.

Yousef, D. Emmanouilidou « Audio-based Toxic Language Classification using Self-attentive Convolutional Neural Network »,European Signal Processing Conference (EUSIPCO), 2019.