Dynalips, solution de lipsync de pointe, anime MetaHuman !

11 juillet 2022

La technologie Dynalips permet de synchroniser précisément les mouvements des lèvres d’un personnage 3D et les paroles qu’il est censé prononcer. Cette technologie de lipsync, basée sur les travaux de recherche de Slim Ouni, maître de conférences en informatique et membre de l’équipe Multispeech (CNRS, Inria, Université de Lorraine), offre une solution rapide pour synchroniser précisément et automatiquement les mouvements des lèvres d’un personnage 3D avec la parole.

Synchronisation automatique de la parole et des mouvements des lèvres d’un personnage 3D hautement réaliste de MetaHuman (Epic Games).

Dynalips, une solution de lipsync automatique et réaliste.

Forte de l’expertise de l’équipe en modélisation de la parole, Dynalips s’appuie sur des résultats de recherche pionniers dans le domaine de la synthèse vocale audiovisuelle et de la production de la parole articulatoire. Cette technologie de pointe fournit aux professionnels une solution pour synchroniser précisément et automatiquement les mouvements des lèvres d’un personnage virtuel en 3D avec la parole.

Cette technologie est basée sur des algorithmes d’intelligence artificielle fondés sur l’analyse de données réelles enregistrées sur des locuteurs humains, permettant de développer des modèles fidèles à l’anatomie et au comportement dynamique du visage du locuteur. Ses modèles prenant en compte le phénomène de coarticulation, largement étudié dans le domaine de la communication parlée, garantissent une synchronisation plus fluide et plus naturelle entre la voix et les mouvements des lèvres des personnages. Dynalips permet ainsi d’animer de manière réaliste presque n’importe quel modèle 3D de manière quasi-instantanée.

Des jeux vidéo aux systèmes d’apprentissage des langues étrangères, en passant par l’assistance aux malentendants, Dynalips couvre un large spectre d’applications et s’ouvre à de nombreux professionnels. « Dans le domaine des films d’animation notamment, les développeurs peuvent gagner un temps considérable : notre technologie leur permet de modéliser la parole des personnages en quelques secondes, contre une journée en studio lorsque ce processus est fait manuellement », précise Slim Ouni, qui est à l’origine de Dynalips. « Notre outil de lipsync ouvre aussi la voie au développement d’assistants virtuels pour les malentendants, où la précision des mouvements des lèvres est très importante pour que le message oral soit intelligible. »

 

Vers un réalisme dynamique et visuel grâce à MetaHuman d’Epic Games

Très récemment, Slim Ouni a remporté une bourse Epic MegaGrants, qui ouvre de nouveaux horizons à Dynalips. L’objectif est de porter cette technologie innovante de synchronisation labiale à Unreal Engine d’Epic Games, pour animer les MetaHuman, des modèles 3D d’humains hautement réalistes créés par Epic Games. Unreal Engine est une suite complète d’outils 3D de création pour le développement de jeux, de visualisation, de création du contenu pour le cinéma et la télévision, et d’autres applications en temps réel.

Les premiers résultats prometteurs d’intégration de la technologie Dynalips dans Unreal Engine pour animer les modèles de MetaHuman sont d’ores et déjà visibles en ligne :

L’alliance de Dynalips et de MetaHuman, l’application d’Unreal Engine, ouvre de nouvelles voies à l’animation 3D pour une expérience utilisateur toujours plus immersive.