Les travaux de recherche ont été développés dans le cadre du projet AMIS (Access to Multilingual Information and opinionS) dont l’objectif est d’aider les personnes à comprendre l’idée générale d’une vidéo dans une langue étrangère. Dans le cadre de cette thèse, nous nous sommes concentrés sur la reconnaissance et la traduction automatique de la parole de vidéos arabes et dialectales.
Nous avons développé dans un premier temps un système de reconnaissance automatique de la parole arabe. Ensuite, Nous l’avons adapté pour reconnaître le dialecte algérien. Le texte résultant de la reconnaissance de la parole arabe a alors été utilisé pour la traduction automatique. Nous nous sommes particulièrement intéressés à l’apprentissage de modèles à partir de peu de données et à la traduction de texte \textit{code-switché}.
Pour palier les différents problèmes dus à la propagation des erreurs dans le système séquentiel, nous avons travaillé sur l’adaptation du vocabulaire du système de reconnaissance automatique de la parole et sur la proposition d’une nouvelle modélisation transformant directement un signal de la parole dans une langue A en une séquence de mots dans une autre langue B.
This research has been developed in the framework of the AMIS project, (Access to Multilingual Information and opinionS) which aims to help people to understand the main idea of a video in a foreign language. Our work in this thesis focused on the automatic recognition and translation of the speech of Arabic and dialectal videos.
We first developed an automatic speech recognition system for Arabic. We then adapted this system to recognize the Algerian dialect. The resulting text from Arabic speech recognition system was then used for machine translation. We were particularly interested in training models from limited data and in translating code-switched text.
In order to prevent the error propagation in the pipeline system, we worked on the adaptation of the vocabulary of the automatic speech recognition system and on the proposition of a new model that directly transforms a speech signal in language A into a sequence of words in another language B.
