Gestion et Usages Informatiques des Ressources Langagières
pour la Diffusion et l’Étude du Français

Cadre	Action Concertée Incitative 2001 Globalisation des Ressources Informatiques et des Données
Catégorie	Projet pluridisciplinaire
Référence et titre	PPL11-Guirlande-fr
Durée	24 mois
Coordinateur	Laurent Romary (LORIA-CNRS)

Les objectifs

Le développement actuel de l'ingénierie des langues et de la linguistique de corpus nécessite l'usage de corpus textuels de plus en plus étendus et d'outils de traitement de plus en plus performants. Le but de GUIRLANDE-fr est la mise en place d'une grille de serveurs distribués permettant de fédérer des ressources (textes codés et annotés) sur la langue française mais aussi un ensemble d'outils de traitement de ces ressources qui soient accessibles pour tout chercheur ou enseignant travaillant sur notre langue. Ces ressources et outils distribués sur divers serveurs seront accessibles de façon transparente à leur localisation physique.

Le projet que nous proposons s'inscrit complètement dans la logique d'un environnement client-serveur puisqu'il offrira un accès aux données, mais également aux applications par le biais d'un véritable réseau informatique de serveurs. Le réseau GUIRLANDE-fr peut être défini comme étant la mise en relation d'un certain nombre de serveurs GUIRLANDE-fr spécifiques. Il est en effet important pour assurer la pérennité des ressources et des outils de les laisser aussi proches que possible des équipes les ayant développés, c'est en effet elles et elles seules qui sauront effectivement les faire évoluer. Mais ce réseau doit être entièrement transparent pour l'utilisateur qui ne doit pas avoir à se soucier de l'implantation géographique de ces divers serveurs.

Description
La période est aujourd'hui idéale pour mener à bien des expérimentations à vraie grandeur pour diverses raisons :

• Acquis des projets SILFIDE et ELAN, dont l'équipe LED du LORIA fut respectivement coordinateur et responsable technique.
• Restructuration de l'INaLF avec émergence à Nancy d'un nouveau laboratoire CNRS en sciences du langage, co-dirigé par J.M. Pierrel et B. Combettes qui dispose d'un nombre de ressources (Textes codés - base frantext de 1,3 Milliard d'octets -, dictionnaires et lexiques informatiques - TLFi, dictionnaires de l'Académie -, moteur spécifique de recherche pour bases textuelles - Stella -) unique sur notre langue tant par leurs volumes que leurs diversités.
• Volonté de coopération pluridisciplinaire entre le LORIA, l'ATILF et la nouvelle fédération ILF (Institut de linguistique française) qui, elle-même, dispose d'importantes ressources linguistiques au sein de ses laboratoires.
• Stabilisation à un niveau international des propositions de normalisation de ressources linguistique suite au projet EAGLES et aux travaux de l'ISO.
• Coopération avec l'OLAC - Open Language Archive Consortium (http://www.language-archives.org/) - créé à l'initiative de l'Université de Pennsylvanie, et dont le but est de mettre en oeuvre un point d'accès unique vers des serveurs de descripteurs de ressources linguistiques ("méta-données").

Dans ce cadre, il a été décidé de faire parler les laboratoires européens d'une seule voix pour faire des propositions concrètes de sorte que l'initiative OLAC soit un peu plus ambitieuse et surtout ne réinvente pas ce qui existe déjà. L'ATILF (ex INALF) a été chargé de travailler à la mise en oeuvre d'un point d'entrée compatible avec les spécifications d'OLAC pour l'ensemble des ressources sur le français.

Réutilisation et exploitation de la coquille actuelle du serveur SILFIDE
Dans le cadre de SILFIDE, l'équipe LED du LORIA a proposé un service pouvant se greffer sur la plupart des serveurs HTTP standards permettant d'effectuer des opérations de base telles que :

• Navigation hyper textuelle au sein même des pages HTML statiques et dynamiques, avec la plupart des navigateurs présents actuellement sur le marché ;
• Interrogation d'une base de données de ressources linguistiques, insertion de nouveaux textes, exécution, sur le serveur, de programmes de type traitement linguistique (concordances, ...) par le biais de programmes CGI ;
• Gestion d'un espace de travail par utilisateur et désigné par le panier avec utilisation de la technologie Java.

Cette coquille servira de moule pour l'élaboration et la distribution des futurs serveurs GUIRLANDE-fr qui seront la charpente du réseau GUIRLANDE-fr. Pour une véritable réussite et pérennité du réseau, l'accent sera mis, sur l'intégration d'outils linguistiques au niveau du client, mais également sur le partage des outils et des données entre les différents serveurs du réseau et sur une normalisation minimale tant des données que des outils proposés.

Intégration d'applications
Transporter purement et simplement une application d'un serveur vers un autre n'est pas faire de l'intégration. En effet, la complexité des applications client serveur, le nombre de produits utilisés directement ou indirectement, le cumul des couches réseaux et les différents systèmes font qu'un téléchargement pur et simple ne répond plus aux besoins des utilisateurs de l'Internet. Les procédures d'installation, de configuration et de compilation ne sont pas toujours évidentes à mettre en œuvre (surtout pour des non-informaticiens, or ici nous visons essentiellement des linguistes) et l'utilisation de ce type de programmes peut être à l'origine de dysfonctionnement, voir d'un blocage total de la machine cliente. De plus, il est absolument indispensable de tenir compte de la spécificité des diverses plates-formes et architectures présentes dans le milieu informatique. Par ailleurs, il faut uniformiser l'environnement utilisateur, les procédures d'accès et d'exploitation du côté du client et de diffusion du côté du serveur.

Partage et mise en réseau
Le partage de l'information est au cœur même de la mise en place du projet GUIRLANDE-fr. Une telle architecture permet aux utilisateurs d'effectuer des requêtes sur le réseau sans savoir, à priori, de quel serveur proviennent les réponses. Ce partage des informations, qui s'applique principalement sur les ressources, peut s'étendre également aux applications. Ainsi il est tout à fait envisageable pour un utilisateur d'effectuer un traitement linguistique X, sur des données provenant d'un serveur Y avec un programme fourni par un serveur Z. Le principal intérêt de cette architecture est de facilité la gestion des ressources linguistiques et de leurs différentes versions (dans le cadre d'une mise à jour par exemple) en évitant leur duplication. Cette approche s'appuie sur l'exploitation de nouvelles technologies :

• Internet, le réseau des réseaux : Le Web est une véritable infrastructure facilitant l'accès aux données et leur distribution pour tout utilisateur muni d'un ordinateur personnel, d'un modem ou d'une carte réseau et d'un navigateur hypertexte de type Netscape ou Internet Explorer.
• Java pour des outils indépendants des architectures : depuis l'avènement de Java, un serveur HTTP peut envoyer un programme au client (de la même manière qu'une image ou du texte) qui est chargé de l'exécuter. Le langage de programmation Java permet de développer des applications indépendantes de l'architecture sur laquelle ils seront exécutés. L'utilisation de la technologie Java offre des possibilités supplémentaires qui sont loin d'être négligeables lorsque l'on touche au multilinguisme et aux bases de données. En effet, les dernières versions du langage Java intègrent en totalité la norme UNICODE et offre, par exemple, un nombre de passerelles considérables vers la majorité des systèmes de base de données SQL.
• CORBA pour distribuer des objets et des programmes sur Internet CORBA est une réponse aux besoins d'interopérabilité parmi la rapide prolifération des architectures et des produits logiciels disponibles actuellement. CORBA permet aux applications de communiquer entre elles sans savoir où elles se trouvent et par qui elles ont été développées. Le fait de s'appuyer sur Java, pour les clients et serveurs, offre une transition vers un système distribué d'objets Java qui serait beaucoup plus simple à mettre en œuvre.
• Vers une utilisation poussée de XML : en plus du codage des documents et des ressources linguistiques, nous envisageons d'utiliser la recommandation du W3C XML pour la spécification du protocole d'interaction et de communication.

L'utilisation des composantes techniques Java, CORBA et XML permet de définir un environnement complètement ouvert, indépendant de toute architecture matérielle et de tout système d'exploitation. Cette homogénéité logicielle offre l'assurance d'une pérennité au niveau de ses fonctionnalités, de ses outils et de ses données pour les années à venir.

Rôle des divers partenaires

• Les équipes nancéiennes (LORIA et ATILF) assureront conjointement le développement de l'infrastructure logicielle du projet et éditeront des normes de codage des ressources mises en œuvre dans GUIRLANDE-fr, compatibles avec les dernières normes internationales. Elles assureront par ailleurs les liaisons avec les organismes de normalisation (LORIA) et le consortium OLAC (ATILF).
• Les équipes de l'ILF seront des pourvoyeurs de ressources et assureront les tests d'usage indispensables pour permettre à une communauté large d'informaticiens et de linguistes d'accéder sans problèmes aux fonctionnalités mise en œuvre.

Principes généraux
Les objectifs ambitieux du projet GUIRLANDE-fr rejoignent l'architecture proposée dans GRID-ASP et concernent les applications de type client-serveurs. Il s'agit de déployer un ensemble de serveurs de calcul/traitement sur des grappes et des machines parallèles et d'en offrir l'accès à des clients répartis sur le réseau. La localisation de ressources et l'équilibrage de charge entre les serveurs se fait grâce à un ensemble d'agents eux-mêmes disposés à des emplacements stratégiques sur la grille.

Cette architecture est proche du concept d'ASP (Application Service Provider) dans lequel des clients accèdent à des ressources logicielles à distance. Nous pensons que, dans plusieurs applications du métacomputing, la location de services de calculs à distance permettra de faire sauter plusieurs verrous limitant l'accès du plus grand nombre à la puissance de calcul :

• On pourra avoir accès à des machines de fortes puissances de calcul et à grande capacité mémoire à distance sans forcement être un expert du parallélisme ;
• Il ne sera plus nécessaire d'installer sur sa machine des logiciels compliqués et aux interfaces hermétiques ;
• Des codes (et des données) confidentielles pourront rester sur les serveurs de ceux qui les développent et ceci de manière sécurisée.

Le projet GRID-ASP s'appuie sur le projet RNRT VTHD (et VTHD++) et le Centre Charles-Hermite pour l'architecture matérielle et sur la proposition GASP pour le RNTL pour l'architecture logicielle.
Une idée forte de GASP est de porter des applications réelles de grande envergure sur les logiciels développés dans le cadre de nos projets de recherche et surtout de réutiliser des logiciels existants, portables et " standards ".
La technologie GASP est composée d'un ensemble de trois modules :

• Le module GASP/Client est l'entité qui demande la résolution d'un problème ou d'un ensemble de calculs/traitement qui pour diverses raisons ne peuvent être effectués localement sur le client lui même ;
• Le module GASP/Agent est l'entité " intelligente " qui doit permettre à un client de rentrer en relation avec les ressources logicielles et matérielles requises pour résoudre le problème posé par le client ;
• Le module GASP/Serveur est l'entité de calcul qui est chargé in fine de résoudre de façon la plus efficace possible les problèmes soumis par les clients.

Le concept GASP doit permettre aux utilisateurs d'exploiter, via Internet, toute la puissance technologique de GASP. Où qu'ils soient dans le monde et quelles que soient les ressources (high-end ou low-end) dont ils disposent, ils pourront effectuer des requêtes, tester de nouveaux outils, modifier de façon interactive leur modèle même si toutes ces opérations s'effectuent sur des données de très grande taille. Les opérations ainsi déportées peuvent être de toute sorte et nous désirons montrer que cela ne se restreint pas uniquement au domaine numérique/algébrique puisque GUIRLANDE-fr se propose de traiter l'ingénierie des langues et de la linguistique de corpus.

Une vision unifiée des ressources linguistiques
La notion de ressource linguistique couvre un large spectre de données mono- ou multilingues qui peuvent couvrir tout aussi bien des versions électroniques de textes écrits (prose, pièces de théâtre, poésie, journaux), des dictionnaires ou terminologies informatisés ou encore la transcription de données orales (recueil de données en ethnolinguistique, radiodiffusions etc.). On peut qualifier ces ressources de " primaires " dans le sens où elles correspondent à un matériau de base pour d'éventuelles consultations ou traitements.
A partir de ces ressources, il est possible de dériver des ressources secondaires suite à des traitements spécifiques manuels (annotation par des experts), semi-automatiques (passage d'un outil et correction manuelle), ou automatique. On peut ainsi distinguer différents types de traitements :

• Extraction d'information dans le cadre par exemple d'études de concordances (contexte contenant un mot, une expression ou une construction linguistique particulière) ou de calculs statistiques (e.g. fréquences lexicales) ;
• Enrichissement d'une ressource par l'identification d'éléments linguistiques particuliers (e.g. repérage des noms propres, dates ou nombres, identification de terminologies) ;
• Annotation spécifique permettant de structurer et de qualifier le contenu linguistique (étiquetage morpho-syntaxique, annotation des composants syntaxiques, désambiguïsation sémantique, annotation multilingue, identification des chaînes référentielles (e.g. pronom)).

Ces traitements peuvent être représentés soit par modification de la ressource primaire (quand cela est possible), soit par un fichier d'annotation externe ("stand-off mark-up", cf. Ide etc.), qui peut être produit à la demande par un module de traitement.

Guirlande-fr : un réseau de serveurs
La mise en œuvre d'un réseau décentralisé de serveurs de ressources linguistiques correspond à deux impératifs technique et éditorial :

• Sur un plan technique, un tel réseau permet d'une part de répartir la charge de calculs qui porteraient sur des corpus importants entre différentes unités et d'autre part de garantir à tout utilisateur un volume de ressources en ligne important, quand bien même tel ou tel serveur se retrouverait non-opérationnel. Sur ce point, la mise en place d'un système de miroirs entre plusieurs serveurs pour des ressources particulièrement stratégiques (e.g. lexique de référence du français, corpus équilibré de français contemporain) doit permettre d'assurer une qualité de service encore meilleure ;
• Sur un plan éditorial, il est indispensable d'identifier des sites où certains types de ressources sont plus à même d'être correctement produites, gérées et maintenues. Même si dans un premier temps l'accent sera mis sur la faisabilité technique du réseau, on pourra envisager à très courte échéance le lancement de serveurs spécialisés dans les manuscrits anciens (en lien avec la BNF par exemple), certaines périodes littéraires ou encore la validation de certains types d'annotations linguistiques (définition d'une base de structures syntaxiques validées manuellement, ou " tree-bank "). Dans certains cas la gestion de problèmes de diffusions de données récentes (copyright) imposera la mise en place d'un serveur spécifique .

Rem. : les traitements envisagés, sauf peut-être pour certains calculs en statistique lexicale, sont de fait extrêmement localisés. Il est donc particulièrement intéressant de les distribuer.

Dans un tel contexte, chaque " serveur " correspond en fait à la réalisation de trois fonctions différentes :

• Un point d'accès à l'ensemble du réseau, où sont répertoriés un certain nombre d'utilisateurs et à partir duquel il est possible d'interroger l'ensemble des autres nœuds du réseau par distribution (" multicast") des requêtes et de récupérer l'ensemble des résultats correspondants ;
• Un serveur de ressources donnant accès à une base spécifique de ressources primaires ou secondaires gérées localement et visibles au travers de l'interface normalisée d'interrogation (XML query) unique défini pour l'ensemble du réseau (que ces ressources soient implantées localement sous forme native XML ou non) ;
• Un serveur d'outils de consultation ou de traitement permettant de créer au travers d'une interface logicielle standardisée (CORBA/JAVA) de traiter tout ensemble données qui lui est transmise (locales ou distantes) et de fournir des résultats compatibles avec le format de ressource unifié du réseau (pour être éventuellement combinés avec des résultats issus d'autres serveurs).

La seule fonction centralisée est ici assurée, pour reprendre la terminologie employée dans le cadre du projet ELAN, par le NMU (Network Management Unit) qui prend en charge la connaissance des serveurs affiliés au réseau et leur disponibilité à un moment donné pour fournir des ressources ou un service particulier. D'un point de vue technique, le rôle du NMU va être pris en charge par la notion de GASP/Agent qui existe dans la plate-forme de métacomputing. Il est l'élément qui fait le lien entre un client ayant un problème à résoudre et un serveur de ressource et/ou d'outils sachant résoudre ce problème. Cet agent doit permettre de localiser à la fois les serveurs par rapport aux problèmes à résoudre mais aussi les données déjà présentes sur les serveurs. Il permet, de plus, de connaître quel est le serveur le plus performant face à un problème particulier à résoudre. Un agent est découpé en deux sous-tâches :

• Agent : c'est l'architecture logicielle du GASP/Agent. Il gère les protocoles de communications entre les diverses entités de GASP et l'ordonnancement des tâches sur les serveurs ;
• FAST : Ce module fait une cartographie de la plate-forme en termes de performances et de capacités à résoudre un problème.

Lors de l'enregistrement d'un nouveau serveur, il récupère les performances statiques de ce serveur (performances en communication et en calcul) ; Il installe des processus d'évaluation de performance sur divers points de la plate-forme pour être capable dynamiquement de récupérer les performances en communication et la charge des diverses machines. Il range ces informations dans une base de données accessible par l'Agent.

Le réseau GUIRLANDRE-fr du point de vue de l'utilisateur
La mise en place du réseau GUIRLANDE-fr vise à répondre types d'utilisation très divers :

• Observation de phénomènes statistiques (linguistes, lexicographes) ;
• Fouille de données pour des activités professionnelles (enseignement, traduction) ;
• Paramétrisation ou validation de modules d'ingénierie linguistique.

A cette fin, il est important de préserver un haut niveau de généricité qui permettent de s'adapter à l'ensemble des besoins. On peut malgré tout concevoir un scénario de travail de base qui peut être décomposé en différentes étapes :

• Initiation de la session de travail par une identification de l'utilisateur et la récupération par celui-ci de son espace de travail contenant ses paramètres de configuration, ainsi qu'un historique de ses anciennes sessions ;
• Premier choix d'un sous-ensemble de serveurs avec lesquels il souhaite interagir. Il peut par exemple avoir identifié que certains serveurs spécialisés correspondent au type de travail qu'il souhaite effectuer, à partir de profils fournis par les différents serveurs ;
• Interrogation itérative du réseau (ou du sous-ensemble choisi) pour identifier les ressources utiles et sélection de celles-ci dans le " panier " courant de l'utilisateur ;
• Travail effectif sur les ressources du panier par appels des outils nécessaires, les résultats étant intégrés à l'espace de travail de l'utilisateur pour faire l'objet par exemple de traitements ultérieurs ;
• Visualisation des résultats par le biais des filtres de visualisation associés aux différents types de ressources sélectionnées ou calculées.