Script de l'étape 2 :

• Enregistrement du contenu de chaque page web en local


Il faut, avant de lancer la commande, s'assurer qu'il existe bien les répertoires de destination. S'ils n'existent pas, on peut les créer avec la commande mkdir en une seule ligne .
Puisque nous sommes dans la création de répertoire, anticipons un peu et créons tous les répertoires dont nous aurons besoin pour les prochaines étapes. Comme nous sommes dans une boucle, nous pouvons faire ça de façon automatique, en utilisant un compteur qui va permettre d'attribuer un numéro pour chaque dossier créé à chaque tour de boucle.
Ce compteur prend le nom de la variable j (comme tout nom de variable, ça aurait pu être n'importe quoi d'autre).
Avant la 2e boucle for fichier in `ls ../URLS/$dossier`; on place le compteur que l'on définit j=1. Puis avant la 3e boucle for url in `cat ../URLS/$dossier/$fichier`; on place le compteur i=1.
Afin que le compteur puisse tourner, c'est-à-dire qu'il augmente d'1 à chaque tour de boucle, il faut rajouter cette petite ligne :
let j+=1. Ca veut dire que j = j+1 pour chaque tour. C'est une ligne qui autorise l'incrémentation. Cette ligne s'ajoute à la fin d'une boucle. On a deux possibilités :
Si on laisse l'incrémentation à l'intérieur de la boucle, on aurait une valeur de j qui ne repartirait jamais à 1 pour chaque dossier. Concrètement, on obtiendrait donc pour l'Anglais des fichiers sens1 à sens4, puis pour le Français des fichiers sens5 à sens9 et ainsi de suite.
Si on laisse cette incrémentation se faire en dehors de la boucle, alors $j reprend sa valeur initiale 1 à chaque fois qu'on sort de la boucle. C'est exactement ce qu'on veut : on veut que sens$j corresponde à sens1 pour chaque premier fichier de chaque dossier.
Créons donc nos dossiers maintenant :


mkdir -p ../PAGES-ASPIREES/$dossier/sens$j/ ../DUMP/$dossier/sens$j/ ../CONTEXTES/$dossier/sens$j/;


La commande mkdir prend l'option -p ce qui lui permet de créer en une seule fois plusieurs niveaux de répertoires : p = parent. La commande peut également multiplier les arguments, séparés par un espace.

Pour enregistrer la page web en local : la commande wget et l'option -O.


wget -O ../PAGES-ASPIREES/$dossier/sens$j/$i.html $url;


wget permet de se connecter au web. L'option -O permet d'enregistrer cette page. wget -O prend alors deux arguments : la destination, et l'url de la page à aspirer. Pour plus d'infos sur la commande wget et ses options : cliquer ici.



• Création d'une colonne supplémentaire, en rendant les pages aspirées accessibles en activant un lien hypertexte


Il ne faut pas oublier de se placer à l'intérieur de la boucle, afin que la cellule et la ligne soit créée à chaque tour de boucle pour chaque valeur.

echo "<tr><td><a href=\"$url\" target=\"_blank\">$url</a></td><td> <a href=\"../PAGES-ASPIREES/$dossier/sens$j/$i.html\" target=\"_blank\">$i.html</a>


target="blank" : affichage de la page dans un nouvel onglet.
Petite astuce pour indiquer l'emplacement de la page html : ne pas mettre un chemin absolu si le site doit se loger sur un serveur.
On va demander à la commande ECHO de ne pas nous afficher ça dans l'écran de l'invite de commande qui est la sortie par défaut (qu'on appelle de façon barbare STDOUT, STD pour standard). Au contraire, on va rediriger l'output, en lui indiquant de "déverser" le résultat de la commande dans un fichier dont on lui indique le chemin. Pour faire ça, on utilise un chevron fermant > puis le chemin du fichier de destination. Pour nous, ce sera ECHO "blablabla">tablo1.html. Comme il existe déjà des éléments qu'on ne veut pas supprimer dans notre fichier .html, on va utiliser un double chevron fermant, qui va indiquer une concaténation des éléments. Nous obtenons donc finalement :


ECHO "blablabla" >> tablo1.html