Un Prix du Meilleur Article pour Estelle Zheng

 

Toutes nos félicitations à Estelle Zheng, doctorante dans l’équipe MosAIk, encadrée par Christophe Cerisara, lauréate d’un Prix du Meilleur Article lors de la conférence TALN (Traitement Automatique des Langues Naturelles) !

Ce prix, qui récompense son papier intitulé « Oui à l’Échelle, Non à la Mémoire : Affinage Léger des LLMs par Réseaux Latéraux » lui a été décerné le jeudi 2 juillet 2026, lors de la conférence qui se déroulait cette année à Nantes.

 

Après une Licence bi-disciplinaire Sciences & Chinois (Ingénierie Électronique Automatique et Mandarin et Civilisation Chinoise), puis un master Maths Appliquées Data Sciences, Estelle Zheng s’est engagée dans une thèse CIFRE au Loria.

« Je suis en thèse CIFRE, c’est-à-dire que je fais ma thèse avec une entreprise qui la finance, pour remplir une problématique de l’entreprise. Dans mon cas le sujet est très appliqué. J’aime avoir un pied dans le monde académique et un pied en entreprise. Avec Alcatel-Lucent Enterprise, Je réalise ma thèse intitulée « l’Affinage des Grands Modèles de Langues, la Planification et l’Action via des API ». Un des enjeux est de réaliser de l’affinage en interne sans forcément posséder des cartes graphiques hyper performantes. »

Cette thèse répond à une problématique industrielle : rendre l’affinage des grands modèles de langues (LLM) accessible sans nécessiter de cartes graphiques haut de gamme. Les LLMs, modèles d’IA entraînés sur de vastes corpus textuels, doivent en effet être spécialisés pour des usages spécifiques. Or, les méthodes traditionnelles, comme LoRA (Low-Rank Adaptation), sont très coûteuses en mémoire computationnelle…

« Les LLMs généralistes ont besoin d’être affinés pour les spécialiser. Je travaille pour savoir comment les spécialiser de façon peu coûteuse en mémoire, et donc moins onéreuse et plus accessible. »

Estelle Zheng étudie une alternative plus légère déjà existante : « Ladder » (pour échelle en français), qui permettrait de réduire significativement la consommation mémoire tout en conservant des performances comparables. L’objectif est de déterminer si cette méthode offre un compromis viable entre efficacité et accessibilité, notamment pour des GPU (cartes graphiques) grand public.

 

À terme, ses recherches pourraient contribuer à démocratiser l’affinage des LLMs, en le rendant accessible à un public plus large, y compris aux structures disposant de ressources de mémoires limitées.

 

Pour en savoir plus :