Offre de thèse : Outils d’identification et de rééducation des disfluences chez les personnes qui bégaient

[Offre de Thèse 2019] Outils d’identification et de rééducation des disfluences chez les personnes qui bégaient

Encadrant : Slim Ouni (slim.ouni@loria.fr)

Lieu : LORIA (équipe Multispeech), Nancy

Date de début : septembre 2019

Contexte

Ce projet doctoral s’insère dans le cadre de l’ANR BENEPHIDIRE (Le Bégaiement : la Neurologie, la Phonétique, l’Informatique pour son Diagnostic et sa Rééducation). L’objectif de ce projet doctoral est de proposer une aide au diagnostic et à la prise en charge du bégaiement par les orthophonistes. En effet, les patients, qu’ils soient enfants ou adultes, éprouvent souvent des difficultés pour trouver un thérapeute ou pour avoir un nombre suffisant de séances de rééducation. C’est la raison pour laquelle l’objectif de ce projet est de développer des outils d’identification des disfluences qui pourront être utilisés dans le futur par les patients, sous le contrôle d’un thérapeute.

Missions

Dans le cadre de ce projet doctoral, l’identification automatique des disfluences typiques du bégaiement sera menée dans le but de cibler les indices acoustiques et visuels permettant leur détection automatique. Les travaux menés dans ce cadre se feront à partir de l’extraction d’indices visuels se fondant sur des algorithmes de détection de repères spatiaux (détection des contours des yeux, du nez, de la bouche, des sourcils, du menton, etc.) Les indices visuels et les caractéristiques acoustiques seront combinés et utilisés pour faire de l’apprentissage automatique. Des techniques du deep learning par réseaux de neurones qui prennent en compte l’évolution temporelle des gestes articulatoires et le signal acoustique seront considérés.  Ces outils d’identification se basent sur l’analyse des données articulatoires dynamiques qui seront acquises dans le cadre de l’ANR BENEPHIDIRE de personnes qui bégaient et des personnes normo-fluents. Ces données articulatoires seront analysées et exploitées pour développer des méthodes d’identification automatique d’indices suffisamment robustes pour pouvoir affirmer et caractériser des disfluences typiques du bégaiement.
En parallèle, nous nous appuierons sur les résultats obtenus par les autres partenaires de l’ANR (phonéticiens, orthophonistes et neurologues) pour mieux intégrer les caractéristiques acoustiques et articulatoires des disfluences typiques du bégaiement. Les indices visuels et les caractéristiques acoustiques seront combinés et utilisés pour faire de l’apprentissage automatique. Des techniques du deep learning par réseaux de neurones qui prennent en compte l’évolution temporelle des gestes articulatoires et le signal acoustique seront considérés. L’apprentissage automatique s’appuiera également  sur les résultats de la modélisation des patrons articulatoires propres aux disfluences, pour une reconnaissance automatique : l’objectif sera d’étudier le comportement de la mandibule et des lèvres durant les phases de disfluence sévère afin d’observer ce qui les caractérise le plus. Cet apprentissage s’appuiera sur des données articulatoires dynamiques. Ces données seront acquises par deux techniques : Electromagnétographie et IRM.  Enfin, les algorithmes développés dans le cadre de ce projet doctoral seront évalués d’un point de vue de précision et de robustesse, et d’un point de vue d’efficacité.

Bibliographie

• Didirkova I., Le Maguer S., Gbedahou D., Hirsch F. (2017) What happens during stuttering-like disfluencies ? An EMA study. Proceedings of the 11th International Seminar on Speech Production, octobre 2017, Tianjin (Chine), communication orale, 182-183
• Drayna, D., & Kang, C. (2011) Genetic Approaches to Understanding the Causes of Stuttering. Journal of Neurodevelopmental Disorders, 3(4):374-380.
• Dumont A. & Julien M. (2004) Le bégaiement : Comprendre et faire accepter le bégaiement, traiter ce trouble et le prendre en charge au quotidien. Paris : Ed. Solar, 276 p.
• Dutrey C. (2014) Analyse et détection automatique de disfluences dans la parole spontanée conversationnelle. Thèse de Doctorat soutenue à l’Université Paris Sud – Paris XI, 190 p.
• Monfrais-Pfauwadel, M.-C. (2014). Bégaiement, bégaiements: [un manuel clinique et thérapeutique]. Paris: De Boeck-Solal.
• Gizatdinova, Y., & Surakka, V. (2006). Feature-based detection of facial landmarks from neutral and expressive facial images. IEEE transactions on pattern analysis and machine intelligence, 28(1), 135-139.
• Zhang, Z., Luo, P., Loy, C. C., & Tang, X. (2014, September). Facial landmark detection by deep multi-task learning. In European conference on computer vision (pp. 94-108). Springer, Cham.
• Ramanan, D., & Zhu, X. (2012, June). Face detection, pose estimation, and landmark localization in the wild. In 2012 IEEE conference on computer vision and pattern recognition (pp. 2879-2886). IEEE.
• Ranjan, R., Patel, V. M., & Chellappa, R. (2019). Hyperface: A deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(1), 121-135.

Logo du CNRS

Logo d'Inria

Logo Université de Lorraine