#!/bin/perl # script pour créer le tableau des liens #ne pas oublier de créer un fichier txt avec le langue et l'adresse des url et du futur tableau : ; #lecture de ce que l'utilisateur entre au clavier et association à une variable chomp($listehttp); #on supprime le retour chariot print "Donnez un nom de fichier html où stocker ces liens \n"; #c'est la liste des pages à aspirer $filehtml=; chomp($filehtml); open FILEIN, "$listehttp" or die; # ouverture du fichier des listes open FILEOUT,">>$filehtml"; # ouverture du fichier HTML en écriture print FILEOUT "\n\nEcriture\n"; print FILEOUT " \n\n";# fin en-tete html $i=0; #traitement langues while (defined ($langue = )) #tant qu'il y a des langues { print "$langue";#on lit la langue open FILEBIS, "../URLS/$langue" or die; print FILEOUT ""; #on commence le tableau en récupérant la langue du fichier pour l'image et le titre print $langue; print FILEOUT ""; print FILEOUT ""; `touch ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt` ; `touch ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt` ; $nbdump=0; #tant qu'il y a des urls while (defined ($ligne = )) { print $ligne;#on lit la ligne chomp($ligne); my $ua = LWP::UserAgent->new (); my $url = $ligne; get ($ua, $url); $i=$i+1; #cherche url et encodage sub get { my ($ua, $url) = @_; my $response = $ua->get ($url); if ($response->is_success ()) #si on a aspiré { my $content_encoding = $response->headers_as_string; $retourasp=$response->code; $content_encoding =~ /\bcharset\s*=\s*([\w-]+)/i;#cherche encodage $encodage_page = uc($1); print "$encodage_page\n"; if ($encodage_page ne " ") { #si utf8 if ($encodage_page =~ /utf\-?8/i) { #on enregistre `curl -o ../PAGES-ASPIREES/$i.html \"$ligne\"`;# on curl `lynx -dump -nolist -display_charset=$encodage_page ../PAGES-ASPIREES/$i.html > ../DUMP-TEXT/$i-utf8.txt` ; } #sinon recodage en utf8 et enregistrement else { print "on vient d'enregistrer la page $i.html en $encodage_page"; `curl -o ../PAGES-ASPIREES/$i.html \"$ligne\"`;# on curl `lynx -dump -nolist -display_charset=$encodage_page ../PAGES-ASPIREES/$i.html > ../DUMP-TEXT/$i.txt` ; `iconv -f $encodage_page -t UTF-8 ../DUMP-TEXT/$i.txt > ../DUMP-TEXT/$i-utf8.txt`; traite($langue); } sub traite { if ($langue eq "hindi") #si c'est du hindi { $motif="लिपि|लिपि|लिखावट|रचना"; print "egrep $motif hindi"; `egrep -i "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt` ; $nbOccur=0; $nbOccur=`egrep -o "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt | sort | uniq -c`; print $nbOccur; print FILEOUT ""; print FILEOUT ""; `cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt` ; `cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt` ; $nbdump=$nbdump+1; } elsif ($langue eq "francais") #si c'est du français { $motif="écriture|criture"; `egrep -i "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt` ; $nbOccur=0; $nbOccur=`egrep -o -i "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt | wc -l`; print $nbOccur; print FILEOUT ""; print FILEOUT ""; `cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt` ; `cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt` ; $nbdump=$nbdump+1; } elsif ($langue eq "japonais") #si c'est du japonais { $motif="文字|作文|執筆|字|書体|構成|筆跡|習字|聖典|著述業|記載事項"; `egrep "$motif" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt` ; $nbOccur=0; $nbOccur=`egrep -o "$motif" ../DUMP-TEXT/$i-utf8.txt | sort | uniq -c`; print $nbOccur; print FILEOUT "" ; print FILEOUT ""; `cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt` ; `cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt` ; $nbdump=$nbdump+1; } elsif ($langue == "anglais") #si c'est de l'anglais { $motif="writing|Writing|WRITING"; `egrep -i "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt` ; $nbOccur=0; $nbOccur=`egrep -o "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt | wc -l`; print $nbOccur; print FILEOUT "" ; print FILEOUT ""; `cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt` ; `cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt` ; $nbdump=$nbdump+1; } else #si c'est du chinois { $motif="文字|字體|書法|字跡|筆跡|文體|風格|寫作|書法|文書|字據|入賬|賬簿|賬目|聖經|写入|文体|风格|证书"; `egrep "$motif" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt` ; print "egrep $motif chinois"; $nbOccur=0; $nbOccur=`egrep -o "$motif" ../DUMP-TEXT/$i-utf8.txt | sort | uniq -c`; print $nbOccur; print FILEOUT ""; print FILEOUT ""; `cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt` ; `cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt` ; $nbdump=$nbdump+1; } }#fin du sub traite } else { print FILEOUT "" } } else #si erreur aspiration { print FILEOUT ""; } } #fin du traitement d'une URL }#fin while liste url print FILEOUT ""; print FILEOUT "\n
Liste des URLs en $langue
NumURL
NumURLAspiréesRetour curlCodageDumpContexteNBoccur
$iPage$i$i.html$retourasp$encodage_page$i-utf8.txt$i-Cutf8.txt$nbOccur
$iPage$i$i.html$retourasp$encodage_page$i-utf8.txt$i-Cutf8.txt$nbOccur
$iPage$i$i.html$retourasp$encodage_page$i-utf8.txt$i-Cutf8.txt$nbOccur
$iPage$i$i.html$retourasp$encodage_page$i-utf8.txt$i-Cutf8.txt$nbOccur
$iPage$i$i.html$retourasp$encodage_page$i-utf8.txt$i-Cutf8.txt$nbOccur
$iPage$i$i.html$retouraspEncodage non détecté;Encodage non détecté----
$iPage$i-$retourasp----
 Fichier DUMP
global
$nbdump fichier(s)		Fichier CONTEXTES
global
$nbdump fichier(s)		 
\n"; }#fin while liste langues print FILEOUT "\n\n"; #code de fin de tableau close(FILEIN); close(FILEBIS); close(FILEOUT);