#!/bin/bash read REP; read tablo; echo "tableaux de liens" > $tablo; echo " " >> $tablo; echo "" >> $tablo; echo "" >> $tablo; eecho "
" >> $tablo; echo "

Les TABLEAUX de données

" >> $tablo; #Variable pour compter les tableaux j=1; for fic in `ls $REP` { echo "" >> $tablo; echo "" >> $tablo; # Variable i pour compter les URLs i=1; nbdump=0; mkdir -p CONTEXTES/$j ; mkdir -p DUMP-TXT/$j ; mkdir -p PAGES-ASPIREES/$j ; for nom in `cat $REP/$fic` { echo "================================================================"; echo "==========TRAITEMENT : $nom "; #------- on CURL et on determine l'encodage ----------------------------------------- curl -o ./PAGES-ASPIREES/$j/$i.html "$nom"; retourcurl=$? ; contenupageaspiree=$(egrep -i -o "(400 )?Bad request|Moved Permanently|s interdit" ./PAGES-ASPIREES/$j/$i.html | sort -u); if [[ $contenupageaspiree != "" ]] then retourcurl="$retourcurl
$contenupageaspiree"; fi echo "RETOUR CURL : $retourcurl"; if [[ $retourcurl == 0 ]] then encodage=$(file -i ./PAGES-ASPIREES/$j/$i.html | cut -d= -f2); echo "ENCODAGE initial : $encodage"; #------- on continue en tenant compte de l'encodage fourni par curl--------------------- if [[ $encodage == "utf-8" ]] then lynx -dump -nolist -display_charset=$encodage ./PAGES-ASPIREES/$j/$i.html > ./DUMP-TXT/$j/$i-utf8.txt ; echo "" >> $tablo; else #----------------------------------------------------- # la page n'est pas en utf-8, on cherche un charset... #-----------------------------------------------------echo "on cherche un charset dans la page aspiree..."; if egrep -qi "(charset ?=.*?(\"|\')|encoding ?=.*?(\"|\'))" ./PAGES-ASPIREES/$j/$i.html ; then #---------------------------------------------- # on a peut-etre trouve un charset..... #---------------------------------------------- echo "Presence d'un charset..."; encodage=$(egrep -m 1 -o '(((utf|UTF)-(8|16|32))|(gb|GB)(k|K|2312|18030)|(iso|ISO|Iso)-8859-(\w)(\w)?|(WINDOWS|windows)-1252|(WINDOWS|windows)-1256|((m|M)(a|A)(c|C)(R|r)(O|o)(M|m)(a|A)(n|N))|us-ascii)' ./PAGES-ASPIREES/$j/$i.html | sort -u) ; echo "charset extrait : $encodage "; #------------------------------------------------------------------- # avant de continuer on va vérifier si le charset est connu de iconv #------------------------------------------------------------------- VERIFENCODAGEDANSICONV=$(iconv -l | egrep -io $encodage | sort -u); if [[ $VERIFENCODAGEDANSICONV == "" ]] then #------------------------------------------- # le charset n'est pas connu de iconv : on fait rien.... #------------------------------------------- echo "VERIF : <$VERIFENCODAGEDANSICONV> ==> inconnu par inconv, on ne fait rien" echo "" >> $tablo; else #------------------------------------------- # le charset extrait est connu de iconv : on lynxe et on dump !!! #------------------------------------------- echo "VERIF : <$VERIFENCODAGEDANSICONV> ==> connu par inconv, c'est parti ==> lynx, iconv..." lynx -dump -nolist -display_charset=$encodage ./PAGES-ASPIREES/$j/$i.html > ./DUMP-TXT/$j/$i.txt ; echo "ENCODAGE final : $encodage (avant conversion vers utf-8)"; iconv -f $encodage -t utf-8 ./DUMP-TXT/$j/$i.txt > ./DUMP-TXT/$j/$i-utf8.txt echo "" >> $tablo; fi else echo "Pas de charset detecte : on ne fait rien pour le DUMP... "; echo "" >> $tablo; fi fi # fin curl OK else echo "" >> $tablo; fi let "i+=1"; } echo "

Tableau n° $j

fichier : $fic
n°URLURLPAGES ASPIREESRet. CURLDUMP initial
(non utf-8)		DUMP utf-8
$i$nom$i.html$retourcurl - $i-utf8.txt
$i$nom$i.html$retourcurlEncodage
non détecté		Encodage
non détecté		Encodage
non détecté
$i$nom$i.html$retourcurl$i.txt
($encodage)		$i-utf8.txt
$i$nom$i.html$retourcurlEncodage
non détecté		Encodage
non détecté
$i$nomPage non aspiree...$retourcurlPage
non \"aspirée\"		Page
non \"aspirée\"
" >> $tablo; let "j+=1"; echo "

" >> $tablo; } echo "" >> $tablo;