PROJET

Auteurs :  Wu Li-Chi, Chachaty Edmond (Paris 3)

Préambule :

Commandes utilisées

Le projet s'est déroulé en plusieurs étapes et s'est déroulé de manière semi-automatique, des ajustements manuels étant nécessaires notamment pour :
- Avoir un alignement des fichiers correspondants dans le tableau principal
- Modifier le nom de quelques fichiers n'ayant pas l'extension "html"
- Modifier le nom des fichiers dans le tableau principal
Ces modifications ont eu lieu avec des commandes du shell

Etape 1
Créer un fichier texte contenant les URL des pages à aspirer
Récupérer les fichiers sur Internet
wget --http-user="plurital" --http-passwd="monmotdepasse" -i DocsLeMonde.txt :      Documents Le Monde
wget -i DocsGoogle.txt        barrage -hydraulique -réservoir politique :                 Documents Google  
wget -i DocsAltavista.txt     période un an :                                                          Documents Altavista

Créer les fichiers html correspondant avec le programme : tache1.txt                   
Documents Le Monde       
Documents Google  
Documents Altavista                                            
Créer les liens sur les fichiers dumpés en utilisant le programme : tache1.txt 
Documents Le Monde       
Documents Google  
Documents Altavista

Etape 2
Créer les fichiers lynxés avec le programme : tache2.txt                   

Créer les liens sur les fichiers lynxés en utilisant le programme : tache1.txt
Documents Le Monde       
Documents Google  
Documents Altavista

Etape 3
Créer les fichiers egrep avec le programme :   tache3.txt

Créer les liens sur les fichiers egrep en utilisant le programme : tache1.txt
          Documents Le Monde       
Documents Google  
Documents Altavista

Etape 4
Intégration des différents tableaux dans un seul tableau par copier / coller directement dans "NVU" , en modifiant les adresses des fichiers avec la fonction "Rechercher / Remplacer"
Commentaire 
Il serait possible de regrouper ces étapes successives en moins d'étapes  en affinant les trois programmes et / ou en utilisant la commande "pipe |" dans le shell.
De même, les commandes egrep pourraient être affinées en leur donnant plus d'arguments.

Tableau synthétique :


Usage du mot "barrage" dans Le Monde
Fichiers téléchargés Fichiers sur le disque dur Fichiers textes Fichiers contextes
article_316426
article_316513
article_316849
article_316897
article_317445
article_332625
article_369567
article_389033
article_393386
article_401894
article_404536
article_411977
article_417812
article_422156
article_422225
selection_14
article_316426
article_316513
article_316849
article_316897
article_317445
article_332625
article_369567
article_389033
article_393386
article_401894
article_404536
article_411977
article_417812
article_422156
article_422225
selection_14
article_316426
article_316513
article_316849
article_316897
article_317445
article_332625
article_369567
article_389033
article_393386
article_401894
article_404536
article_411977
article_417812
article_422156
article_422225
selection_14
article_316426
article_316513
article_316849
article_316897
article_317445
article_332625
article_369567
article_389033
article_393386
article_401894
article_404536
article_411977
article_417812
article_422156
article_422225
selection_14
Usage du mot "barrage" dans la politique sur Google
1249
2002-04-26-32880
2002-05-03-33243
A55149
IDC1256E4C0057
a4149
article4155
article_34822
article_36952
edito249
67
89
news434
Article=315137
plateforme2004
1249
2002-04-26-32880
2002-05-03-33243
A55149
IDC1256E4C0057
a4149
article4155
article_34822
article_36952
edito249
67
89
news434
Article=315137
plateforme2004
1249
2002-04-26-32880
2002-05-03-33243
A55149
IDC1256E4C0057
a4149
article4155
article_34822
article_36952
edito249
67
89
news434
Article=315137
plateforme2004
1249
2002-04-26-32880
2002-05-03-33243
A55149
IDC1256E4C0057
a4149
article4155
article_34822
article_36952
edito249
67
89
news434
Article=315137
plateforme2004
Usage général du mot "barrage" sur Altavista
64_120_124_357_363
2070368823
article=102
Barrage
barrage
barrage
Barrage_des_Trois_Gorges
Barrage_d'Itaipu
barrage02
Agly
NettoyageEDF
hydroelectricite
rizzanese
lessalles
LE BARRAGE DE VILLEREST
malpasset
malpasset
nubie04a
pageLibre0001006b
rubrique=152
_64_120_124_357_363
2070368823
article=102
Barage
barrage
barrage
Barrage_des_Trois_Gorges
Barrage_d'Itaipu
barrage02
Agly
NettoyageEDF
hydroelectricite
rizzanese
lessales
LE_BARRAGE_DE_VILLEREST
malpasset
malpasset
nubie04a
pageLibre0001006b
rubrique=152
_64_120_124_357_363
2070368823
article=102
Barage
barrage
barrage
Barrage_des_Trois_Gorges
Barrage_d'Itaipu
barrage02
Agly
NettoyageEDF
hydroelectricite
rizzanese
lessales
LE_BARRAGE_DE_VILLEREST
malpasset
malpasset
nubie04a
pageLibre0001006b
rubrique=152
_64_120_124_357_363_
2070368823
article=102
Barage
barrage
Barrage
Barrage_des_Trois_Gorges
Barrage_d'Itaipu
barrage02
Agly
NettoyageEDF
hydroelectricite
rizzanese
Lessales
LE_BARRAGE_DE_VILLEREST
malpasset
malpasset
nubie04a
pageLibre0001006b
rubrique=152