Programme d'extraction en Pur Perl

Extraction avec des regexp

Ce programme parcourt l'arborescence de fils RSS et produit deux fichiers de sortie qui seront traités par les programmes d'étiquetage. %dico :

Ce programme cherche à extraire uniquement la surface de l'article (ie, le contenu du fil RSS) :

Le texte correspondant à la surface de l'article entre les balises <title> et <description>. On utilise des expressions régulières pour le récupérer et pour le nettoyer et ensuite on l'imprime dans les fichiers de sortie (directement pour la sortie txt et entoure de balises pour la sortie xml). Avant d'imprimer le texte dans le fichier de sortie, on contrôle grâce à un dictionnaire qu'il n'ait pas été récupéré avant :

Résultat txt

Texte de la surface obtenu avec des regexp

La première sortie du programme en pur Perl est un fichier texte contenant les titres et les résumés de chaque article de la rubrique "International" :

Ce fichier sera étiqueté avec Cordial dans l'étape suivante.

Résultat xml

Texte de la surface obtenu avec des regexp et organisé dans des balises.

Chaque article correspond à une balise item. Le titre et la description sont rangés dans les balises correspondantes :

Ce résultat est provisoire et ne sera pas tenu en compte pour les étapes suivantes. Il sera remplacé par la sortie xml de l'outil 2.

Programme d'extraction avec XML::RSS

Extraction avec la bibliothèque Perl XML::RSS

Comme la version en pur Perl, ce programme parcourt l'arborescence de fils RSS et produit deux fichiers de sortie qui seront traités par les programmes d'étiquetage. Mais dans cette version, le travail de repérage du texte dans les balises est fait par le module. Une autre différence avec l'autre version est que le nettoyage du texte récupéré a été incorporé comme procédure (&nettoyage) :

Comme on peut voir dans l'image, nous avons oublié d'ajouter le texte extrait dans le dictionnaire de contrôle de doublons (voir version pur Perl). En conséquence, la longueur des fichiers de cette version dépassait largement celle des fichiers obtenus avec pur Perl :

Cette erreur a été corrigée dans le script XML::RSS de l'étape suivante.

Résultat txt

Texte de la surface obtenu avec XML::RSS

La première sortie du programme XML::RSS est un fichier texte à la première vue, identique à celui de la version pur Perl :

Une comparaison des fichiers montre pourtant des différences qui prouvent qu'il n'est pas banal de tester plusieurs méthodes d'extraction :

Cette sortie txt sera étiqueté par Cordial dans l'étape suivante.

Résultat xml

Texte de la surface obtenu avec XML::RSS

La deuxième sortie du script XML::RSS est un fichier structuré :

Ce résultat est provisoire et ne sera pas tenu en compte pour les étapes suivantes. Il sera remplacé par la sortie xml de l'outil 2.

Programme d'extraction en Pur Perl

Extraction avec des regexp

Le programme d'extraction de la profondeur très similaire au programme d'extraction de la surface. Il utilise la même procédure de parcours mais appliquée à une entrée différente :

Comme l'extraction de la profondeur est effectuée sur un fichier txt contenant non seulement les articles mais aussi des liens et du code javascript, le nettoyage est plus laborieux :

Ce programme produit deux sorties, une en txt et l'autre en xml.

Résultat txt

Texte intégral des articles

Les articles associés au texte du fil RSS :

Une partie de ce fichier sera étiquetée par Cordial dans l'étape suivante.

Résultat xml

Texte intégral des articles

La sortie xml de la profondeur a été organisé par fichier. À l'intérieur de chaque balise <file>, la balise <nom> indique le nom du fichier traité en entrée et la balise <contenu> regroupe le contenu des articles de la journée indiquée par le nom du fichier.

Comme dans le cas de la sortie xml de la surface, ce fichier est provisoire, il sera remplacé par la sortie xml de l'Outil 2.

Programme d'étiquetage en Pur Perl

Étiquetage avec Treetagger

Ce programme est identique au programme d'extraction en pur Perl mais il incorpore une procédure d'étiquetage. Cette procédure lance d'abord un programme de tokenisation et ensuite le programme treetagger2xml grâce à la commande "system" :

La procédure d'étiquetage est lancée après l'extraction du texte et avant l'impression dans le fichier résultat :

Ce script produit une sortie étiquetée en format xml uniquement.

Résultat xml Treetagger

Texte de la surface étiqueté par Treetagger

Nos fichiers étiquetés par Treetagger ont l'allure suivante :

Les informations de catégorie, lemme et token sont des attributs de la balise <data> ("type", "lemma" et "string").

Étiquetage Cordial

Texte de la surface étiqueté par Cordial

Pour l'étiquetage avec Cordial, nous avons réencodé nos fichiers txt issus de l'étape 1 en iso-8859-1. Le résultat est un fichier en format cnr structuré en trois colonnes (token, lemme, étiquette morphosyntaxique) séparées par un Tab.

Ce fichier contient l'annotation morphosyntaxique de tous les mots de tous les titres et résumés de tous articles. Ce résultat sera traité par un programme en pur Perl dans l'étape suivante.

Programme d'étiquetage sur extraction XML::RSS

Extraction XML::RSS et étiquetage Treetagger

Ce programme est identique au programme d'extraction XML::RSS mais il incorpore la procédure d'étiquetage déjà utilisé pour le script d'étiquetage en pur Perl.

Sa particularité est dans le temps qu'il met à effectuer le traitement (2h environ). S'il avait été plus efficace que le programme pur Perl au niveau de l'extraction, il l'a été moins pour le temps d'étiquetage. Cela prouve l'importance de connaître plusieurs méthodes de traitement afin d'utiliser le plus performant pour chaque tâche.

Résultat xml Treetagger

Extraction XML::RSS étiquetée par Treetagger

L'étiquetage Treetagger obtenu avec le script XML::RSS est est le même que celui obtenu avec pur Perl :

Pourtant, comme dans l'étape 1 l'extraction de ce programme avait prouvé être plus efficace, nous avons utilisé ce fichier pour l'étape 3. Il sera traité par un script pur Perl spécialement adapté à la structure et les étiquettes de Treetagger.

Étiquetage Cordial

Etiquetage Cordial de l'extraction XML::RSS

Le script XML::RSS de l'étape 1 avait produit une première sortie en txt. L'étiquetage de ce fichier par Cordial n'a pas produit de différences remarquables par rapport au fichier obtenu avec pur Perl

Programme d'étiquetage en Pur Perl

Étiquetage Treetagger de la profondeur

Le programme d'étiquetage de la profondeur est très similaire au programme d'extraction mais il incorpore une procédure d'étiquetage (simplification de la procédure d'étiquetage de la surface) :

Ce programme produit une sortie xml contenant l'étiquetage de Treetagger.

Résultat xml Treetagger

Texte de la profondeur étiqueté par Treetagger

Ce fichier remplace la sortie xml provisoire de l'étape 1. Il est très lourd et difficilement traitable par plusieurs programmes :

Ce fichier sera traité dans l'étape suivante par un script pur Perl spécialement adapté à la structure et les étiquettes de Treetagger.

Étiquetage Cordial

Etiquetage Cordial de la profondeur

Comme Cordial n'est pas capable de gérer des fichiers de grande taille, la sortie txt de l'étape 1 n'a pas pu être étiquetée avec ce programme. Nous avons effectué l'étiquetage d'une partie du fichier à manière d'illustration.

Programme d'extraction en Pur Perl

Extraction de patrons de fichiers Cordial

Ce programme a été conçu par Jean Michel Daube. Il se base sur la structure du fichier Cordial pour extraire les tokens qui correspondent aux étiquettes exprimés par un patron qui est traité comme une liste. Il capture les éléments du fichier Cordial avec une regexp et les stocke dans une liste pour ensuite appliquer une procédure de comparaison de listes :

Pour extraire différents patrons il suffit de modifier les étiquettes dans le premier fichier passé en argument au programme. Il est possible d'exprimer le patron avec une expression régulière. L’étiquetage de Cordial est plus détaillé que celui de Treetagger (par exemple, où Treetagger indique la catégorie, Cordial distingue entre nom commun/propre, féminin/masculin, singulier/pluriel). Pour pouvoir comparer les resultats de Treetager et de Cordial, il faut utiliser des expressions régulières pour exprimer le patron.

Par exemple, pour extraire tous les syntagmes nom suivi d'adjectif, nous avons utilisé l'expression regulière N(C|P).+ ADJ.+ et pour extraire les syntagmes nom suivi de préposition, suivie de nom, nous avons utilisé NC.+ PREP NC.+

Ce script a été appliqué uniquement à la surface des articles parce que la profondeur n'a pas pu être étiqueté par Cordial dans sa totalité. Le résultat est résultat une liste de tous les syntagmes correspondant au patron recherché.

Liste NOM ADJ

Liste de syntagmes répondant au patron

Le résultat de l'extraction de patrons avec le programme de Jean Michel Daube est un fichier txt encodé en iso-8859-1 contenant une liste de syntagmes répondant au patron recherché.

Pour exprimer le résultat désiré, il faut bien exprimer le patron à rechercher dans le script. Dans notre première exécution du script, nous avons obtenu une beaucoup plus courte que la liste de patrons trouvés dans le fichier Treetager. Le fichier n'avait que 96 lignes :

C'était parce que nous avions utilisé le patron NCMS ADJMS. Quand nous avons changé notre patron par l'expression regulière N(C|P).+ ADJ.+, nous avons obtenu un résultat plus proche à celui de la liste Treetagger :

Liste NOM PREP NOM

Liste de syntagmes répondant au patron

Nous avons également utilisé le script JMD pour chercher le patron nom + préposition + nom avec l'expression régulière NC.+ PREP NC.+

Programme d'extraction en Pur Perl

Extraction de patrons de fichiers Treetagger

Pour l'extraction de patron à partir des fichiers Treetagger, nous avons modifié un script conçu par Serge Fleury pour Cordial (voir programme de base). Notre proposition reproduit la structure du fichier Treetagger avec les étiquettes recherchées :

Ces lignes de code peuvent être ajoutés au programme de l'étape 2 pour faire tout le traitement avec un seul script.

Le résultat de ce programme est un fichier txt contenant une liste de syntagmes répondant au patron. Il est important de produire une sortie iso-8859-1 pour le traitement de l'étape suivante.

Nous avons également modifié une autre proposition de Serge Fleury pour les fichiers Cordial (voir programme de base) qui procède par comparaison de listes et qui prend le patron comme variable. Les lignes modifiées sont celles qui correspondent à la regexp de recherche dans le fichier Treetagger:

Liste NOM ADJ

Liste de syntagmes répondant au patron

Le résultat de l'extraction de patrons avec notre programme est un fichier txt encodé en iso-8859-1 contenant une liste de syntagmes répondant au patron recherché.

Le premier résultat obtenu contenait des séquences très atypiques :

C'était parce que le programme d'origine, répondant a la structure des fichiers Cordial qui traitent un mot par ligne, adapte l'extraction d'une ligne à la suivante. Mais dans les fichiers Treetagger tout un titre se trouve dans la même ligne. On a modifié la regexp dans notre programme et le résultat est beaucoup plus satisfaisant :

Liste NOM PREP NOM

Liste de syntagmes répondant au patron

Nous avons également adapté notre script pour chercher le patron nom + préposition + nom.

Programme d'extraction en Pur Perl

Extraction de patrons de la profondeur

Pour l'extraction de patrons de la profondeur nous avons utilisé comme entrée la fichier étiqueté par Treetagger. Le script utilisé a été notre adaptation du script de Serge Fleury déjà utilisé pour extraire les patrons de la surface.

Liste NOM ADJ

Liste de syntagmes répondant au patron

Le résultat de l'extraction de patrons avec notre programme est un fichier txt encodé en iso-8859-1. Il contient une liste de syntagmes répondant au patron recherché.

Liste NOM PREP NOM

Liste de syntagmes répondant au patron

Nous avons également adapté notre script pour chercher le patron nom + préposition + nom. Le résultat est un fichier txt encodé en iso-8859-1 qui contient les syntagmes qui matchent le patron.

Patron2graphe

Programme de génération de graphes

Ce programme permet de créer des graphes à partir des listes de patrons. Il s'exécute en ligne de commande Windows (nous avons utilisé le shell de Crossover pour l'exécuter sous Mac OS).

Patron2graphe prend en entrée l'encodage des fichiers passés en argument et le fichier de la liste de patrons. L'exécution sans motif de filtrage n'a pas grand intérêt parce qu'elle affiche toutes les relations entre tous les mots de la liste, donc le graphe n'est pas lisible.

Une exécution intelligente prend donc trois arguments : encodage, fichier à interroger, motif de filtrage. Pour notre travail nous avons choisi le motif "migr"

Patron2graphe est une fonctionnalité du programme le Trameur.

Graphe NOM ADJ

Graphe de la liste générée à partir de Treetagger

Dans ce graphe on peut apprécier les différents tokens correspondant au stem "migr" : "migrante", "migrants", "migratoire", "migratoires", "migrations". On observe que les syntagmes les plus nombreux sont "crise migratoire" (6 occurrences) et "migrants fuyant" (4 occurrences). Ce graphe nous permet de constater notre hypothèse de choix du stem: l'arrivée de migrants en Europe, leurs motivations et les problématiques générées par cette arrivée ont été des sujets importants dans la rubrique internationale en 2015.

Graphe NOM ADJ

Graphe de la liste générée à partir de Cordial

Si on compare ce graphe avec le précédent, on peut affirmer que la liste recueillie à partir de Cordial est beaucoup moins représentative du corpus.

Graphe NOM PREP NOM

Graphe de la liste générée à partir de Treetagger

Dans ce graphe on peut lire une multitude de relations, telles que : "campement de migrants", "entrée de migrants", "afflux de migrants", "bateau de migrants", "bus de migrants", "camion de migrants" ou "navire de migrants". On voit que les migrants sont très souvent associés au mouvement (afflux, entrée, moyens de transport).

On observe quelques constructions qui présentes aux migrants dans un rôle plus actif, comme "migrants en quête" ou "migrants devant l'entrée" mais elles sont moins fréquentes.

Graphe NOM PREP NOM

Graphe de la liste générée à partir de Cordial

Le patron NOM PREP NOM affiche des relations plus intéressantes. On observe que les constructions préférées quantifient le nom "migrants" : "centaines de migrants" (13 occurrences), "milliers de migrants" (27 occurrences), "cinquantaine de migrants", "millier de migrants", "dizaines de migrants".

Cela nous permet de remarquer le manque de précision des journalistes sur le nombre des migrants dont il est question. On observe également que le mot est toujours utilisé au pluriel : les migrants sont représentés comme une multitude, ils sont jamais mentionnés individuellement.

Il faut cependant noter que ces reflexions sont des interprétations partielles qu'il faudrait contraster avec une lecture du contexte en question.