Script de l'étape 3 :

• Extraction du texte des pages web enregistrées


Afin d'extraire le texte seulement, nous utilisons la commande LYNX avec l'option DUMP.
LYNX est un navigateur web en ligne de commande. L'option -DUMP permet de ne récupérer que le contenu texte.


lynx -dump -nolist $url > ../DUMP/$dossier/sens$j/$i.txt;


LYNX -DUMP prend l'option -nolist qui permet d'éliminer les doublons. La commande prend 1 argument : l'url, puis nous avons fait une redirection d'output. L'output, c'est là où s'affiche le résultat de la commande. Par défaut, ce sera l'écran de l'invite de commande. Qu'on appalle de façon barbare STDOUT. (STD pour standard). Rediriger cet output, c'est lui indiquer de "déverser" le résultat de la commande dans un fichier dont on lui indique le chemin. Pour faire ça, on utilise un chevron fermant > puis le chemin du fichier de destination.

Ensuite, ça se complique un peu. LYNX-DUMP produit un résultat qu'il encode automatiquement en Latin 1 Pour les pages anglaises et françaises, l'encodage ne pose pas vraiment de problème puisqu'elles sont encodées en ASCII ou Latin-1 (ISO-8859-1). En revanche, pour les pages en Vietnamien, rien à voir. 99% d'entres elles sont encodées en UTF-8, avec la possibilité de trouver de l'encodage spécifiquement vietnamien. Le défi, va donc consister en la conservation de l'encodage de ces pages dans un premier temps dans la génération des fichiers DUMP (texte pur), puis de convertir ces pages en UTF-8 (par mesure de précaution). Alors c'est parti on y va, ça nous donne ces lignes de code :


if egrep -qi "(charset ?=.*?(\"|\')|encoding ?=.*?(\"|\'))" ../PAGES-ASPIREES/$dossier/sens$j/$i.html ;
then
encodage=$(egrep -m 1 -o '(((utf|UTF)-(8|16|32))|(iso|ISO|Iso)-8859-(\w)(\w)?|(WINDOWS|windows)-1252|((m|M)(a|A)(c|C)(R|r)(O|o)(M|m)(a|A)(n|N))|us-ascii)' ../PAGES-ASPIREES/$dossier/sens$j/$i.html | sort -u) ;
else
encodage=$(echo UTF-8);
fi



Je dois ces lignes de code qui ont sauvé la vie exotique de notre projet à un groupe de notre promo de cette année, qui a travaillé sur le mot "sens". J'en profite pour vous inviter chaleureusement à aller consulter leur site à l'esthétique agréable, au ton très sympa et au contenu exhaustif : cliquer ici. Un grand merci et toute mon estime à Marjorie Seizou, Axel Court et Kun Jin.
Voici ce que ces lignes demandent :
si EGREP trouve un encodage (qui prend la forme écrite de charset = xxx ou encoding =xxx),
alors :
entrer dans la variable nommée "encodage" : ce qui suit est, sous la forme d'une expression régulière, tous les encodages qu'on peut trouver dans les pages web sélectionnées.
le cas échéant,
définir la variable encodage comme étant de valeur : UTF-8.

Ensuite, pour la commande LYNX -DUMP, on va avoir :


lynx -dump -nolist -display_charset=$encodage ../PAGES-ASPIREES/$dossier/sens$j/$i.html
| iconv -f $encodage -t UTF-8 -c > ../DUMP/$dossier/sens$j/$i.txt;


Nous avons deux commandes l'une à la suite de l'autre : LYNX -DUMP avec l'option -display_charset qui définit l'encodage d'arrivée, et la commande ICONV qui convertit le résultat de la commande précédente (ceci se fait grâce au tube |) en UTF-8. Le résultat d'ICONV est redirigé vers nos répertoires créés à cet effet.



• Création d'une colonne supplémentaire


Ici, il s'agit du même mécanisme que dans l'étape 2 : il faut se mettre à l'intérieur de la boucle. Donc à la suite de la commande ECHO qui affichait une colonne supplémentaire avec le contenu de chaque page web en lien activable, nous avons les lignes suivantes :

<td><a href=\"../DUMP/$dossier/sens$j/$i.txt\" target=\"_blank\">$i.txt</a></td>