" >> $TABLEAU ;
echo "| tableau n° $cpttableau |
" >> $TABLEAU ;
echo "| N° | Lien | CODE CURL | statut CURL | Page Aspirée | Encodage Initial | DUMP initial | DUMP UTF-8 | CONTEXTE UTF-8 | CONTEXTE HTML UTF-8 | Fq MOTIF |
" >> $TABLEAU ;
#-------------------------------------------------
# traitement de chacun des URLs
for line in `cat $DOSSIER_URL/$fichier`
{
if [ $cpttableau -eq 1 ];
then
motif=$motif_fr
elif [ $cpttableau -eq 2 ];
then
motif=$motif_en
elif [ $cpttableau -eq 3 ];
then
motif=$motif_es
else
echo "erreur critique"
fi
# ==> ASPIRATION DE LA PAGE
echo "TELECHARGEMENT de $line vers ./Pages_ASP/$cpttableau-$compteur.html" ;
# 1. RECUPERATION DU HEADER HTTP
status1=$(curl -sI $line | head -n 1);
# 2. RECUPERATION DU CODE RETOUR HTTP ET DE LA PAGE
status2=$(curl --silent --output ./Pages_ASP/"$cpttableau-$compteur".html --write-out "%{http_code}" $line);
echo "STATUT CURL : $status2" ;
if [ $status2 == "200" ];
then
echo "Le téléchargement est un succès"
else
echo "Le téléchargement n'a pas fonctionné"
fi
echo "DETECTION encodage de $line ";
encodage=$(curl -sI $line | egrep -i "charset=" | cut -f2 -d= | tr -d "\n" | tr -d "\r" | tr "[:upper:]" "[:lower:]");
echo "ENCODAGE $line : <$encodage>" ;
if [[ $encodage == "utf-8" ]]
then
echo "DUMP de $line via lynx" ;
lynx -dump -nolist -assume_charset=$encodage -display_charset=$encodage $line > ./DUMP/$cpttableau-$compteur.txt ;
# ajouter ici l'extraction de contexte autour des mots choisis
egrep -i $motif ./DUMP/$cpttableau-$compteur.txt > ./CONTEXTES/$cpttableau-$compteur.txt ;
nbmotif=$(egrep -coi $motif ./DUMP/$cpttableau-$compteur.txt);
echo "ECRITURE RESULTAT dans le tableau" ;
echo "| $compteur | lien n°$compteur | $status2 | $status1 | P.A n° $cpttableau-$compteur | $encodage | - | DUMP n° $cpttableau-$compteur | CONTEXTE n° $cpttableau-$compteur | CONTEXTE n° $cpttableau-$compteur | $nbmotif |
" >> $TABLEAU ;
else
if [[ $encodage != "" ]]
then
VERIFENCODAGEDANSICONV=$(iconv -l | egrep -o "[-A-Z0-9\_\:]+" |egrep -i $encodage) ;
#------------------------------------------
# ici il faut s'assurer que l'encodage est bien connu de iconv !!!!
#------------------------------------------
if [[ $VERIFENCODAGEDANSICONV == "" ]]
then
#------------- On ne fait rien... -------------------------------------------------
echo "| $compteur | lien n°$compteur | $status2 | $status1 | PA n° $cpttableau-$compteur | $encodage
via curl
inconnu de iconv | - | - | - | - | - |
" >> $TABLEAU ;
else
echo "DUMP (via $encodage) de $line via lynx" ;
lynx -dump -nolist -assume_charset=$encodage -display_charset=$encodage $line > ./DUMP/$cpttableau-$compteur.txt ;
iconv -f $encodage -t utf-8 ./DUMP/$cpttableau-$compteur.txt > ./DUMP/$cpttableau-$compteur-utf8.txt ;
egrep -i $motif ./DUMP/$cpttableau-$compteur-utf8.txt > ./CONTEXTES/$cpttableau-$compteur.txt ;
nbmotif=$(egrep -coi $motif ./DUMP/$cpttableau-$compteur-utf8.txt);
mv resultat-extraction.html ./CONTEXTES/$cpttableau-$compteur.html ;
echo "ECRITURE RESULTAT dans le tableau" ;
echo "| $compteur | lien n°$compteur | $status2 | $status1 | PA n° $cpttableau-$compteur | $encodage
via curl | DUMP n° $cpttableau-$compteur | DUMP n° $cpttableau-$compteur | CONTEXTE n° $cpttableau-$compteur | CONTEXTE n° $cpttableau-$compteur | $nbmotif |
" >> $TABLEAU ;
fi
else
isthereacharset=$(egrep -i -o "meta(.*)?charset" ./Pages_ASP/"$cpttableau-$compteur".html);
if [[ $isthereacharset != "" ]]
then
encodage=$(egrep -i -o "meta(.*)charset[^=]*?=[^\"]*?\"?[^\"]+?\"" ./Pages_ASP/$cpttableau-$compteur.html | egrep -i -o "charset[^=]*?= *?\"?[^\"]+?\"" | cut -f2 -d= | sed "s/\"//g" | sed "s/>//g" | sed "s/ //g" | sed "s/\///g" | sort -u | tr [A-Z] [a-z] );
echo "ENCODAGE EXTRAIT DE LA PAGE ASPIREE : $encodage" ;
if [[ $encodage == "utf-8" ]]
then
echo "DUMP de $line via lynx" ;
lynx -dump -nolist -assume_charset=$encodage -display_charset=$encodage $line > ./DUMP/$cpttableau-$compteur.txt ;
egrep -i $motif ./DUMP/$cpttableau-$compteur.txt > ./CONTEXTES/$cpttableau-$compteur.txt ;
nbmotif=$(egrep -coi $motif ./DUMP/$cpttableau-$compteur.txt);
mv resultat-extraction.html ./CONTEXTES/$cpttableau-$compteur.html ;
echo "ECRITURE RESULTAT dans le tableau" ;
echo "| $compteur | lien n°$compteur | $status2 | $status1 | P.A n° $cpttableau-$compteur | $encodage
via charset | - | DUMP n° $cpttableau-$compteur | CONTEXTE n° $cpttableau-$compteur | CONTEXTE n° $cpttableau-$compteur | $nbmotif |
" >> $TABLEAU ;
else
VERIFENCODAGEDANSICONV=$(iconv -l | egrep -o "[-A-Z0-9\_\:]+" |egrep -i $encodage) ;
if [[ $VERIFENCODAGEDANSICONV == "" ]]
then
echo "| $compteur | lien n°$compteur | $status2 | $status1 | PA n° $cpttableau-$compteur | $encodage
via charset
inconnu de iconv | DUMP n° $cpttableau-$compteur | - | - | - | - |
" >> $TABLEAU ;
else
lynx -dump -nolist -assume_charset=$encodage -display_charset=$encodage $line > ./DUMP/$cpttableau-$compteur.txt ;
iconv -f $encodage -t utf-8 ./DUMP/$cpttableau-$compteur.txt > ./DUMP/$cpttableau-$compteur-utf8.txt
egrep -i $motif ./DUMP/$cpttableau-$compteur-utf8.txt > ./CONTEXTES/$cpttableau-$compteur.txt ;
#-------------------------------------------------------------------------------------------------------------------------
echo "ECRITURE RESULTAT dans le tableau" ;
echo "| $compteur | lien n°$compteur | $status2 | $status1 | PA n° $cpttableau-$compteur | $encodage
via charset | DUMP n° $cpttableau-$compteur | DUMP n° $cpttableau-$compteur | CONTEXTE n° $cpttableau-$compteur | CONTEXTE n° $cpttableau-$compteur | $nbmotif |
" >> $TABLEAU ;
fi
fi
else
echo "| $compteur | lien n°$compteur | $status2 | $status1 | PA n° $cpttableau-$compteur | Aucun encodage extrait... | - | - | - | - | - |
" >> $TABLEAU ;
fi
fi
fi
# il faut ajouter 1 au compteur de lignes
let "compteur=compteur+1"; # let "compteur+=1";
}
#----------------------------------------------------
echo "
" >> $TABLEAU ;
let "cpttableau=cpttableau+1";
}
echo "" >> $TABLEAU ;
#=============================================