#!/bin/bash read rep; read resultat; read motif; echo "INPUT : le nom du fichier contenant les liens http : $rep"; echo "OUTPUT : le nom du fichier html en sortie : $resultat"; echo "Le motif est $motif"; #debut page echo -e "Tableau d'URLS" > $resultat; #balises html compteurtableau=0; #compteur=0 car dès qu'on recommence un tableau, on repart de 0 rm ./CONCATENATION/*; for fic in $(ls $rep) #pour chaque fichier du répertoire URLS # ou : `ls $rep` do let "compteurtableau=compteurtableau+1"; #on incrémente le compteur : un tableau pour chaque fichier echo "" >> $resultat; #caractéristiques du tableau compteurligne=0; nbdump=1; #tableau final echo "
" >> $resultat; echo "" >> $resultat; echo "" >> $resultat; for ligne in $(cat $rep/$fic) #pour chaque ligne du fichier d'urls #ou : for ligne in `cat $rep/$fic` { #ou : do let "compteurligne=compteurligne+1"; #on incrémente le compteur de lignes encodage=$(curl -sIL $ligne | egrep -i "charset=" | cut -d"=" -f2 | tr "a-z" "A-Z" | tr --delete '\n' | tr --delete '\r'); #on crée une variable encodage : renvoie l'encodage en majuscules #encodage=$(curl -sI $ligne | egrep -i "charset=" |cut -f2 -d= | tr -d "\n" | tr -d "\r" | tr "[:upper:]" "[:lower:]"); echo "1.ENCODAGE extrait : <$encodage>"; #wget $ligne -O ./PAGES_ASPIREES/$compteurtableau-$compteurligne.html; http_code=$(curl -o ./PAGES_ASPIREES/$compteurtableau-$compteurligne.html -w "%{http_code}" $ligne); #on cherche l'url et on la met dans un fichier + on récupère le code http if [[ $encodage == "UTF-8" ]] then echo "EI UTF8" #curl $ligne > ./PAGES_ASPIREES/$compteurtableau-$compteurligne.html; #on stocke chaque ligne du fichier, càd les urls, dans le répertoire PAGES_ASPIREES lynx -dump -nolist -assume_charset="$encodage" -display_charset=$encodage $ligne > ./DUMP_TEXT/$compteurtableau-$compteurligne.txt; #on récupère uniquement le texte de chaque url et on l'envoie dans le répertoire DUMP_TEXT egrep -i $motif ./DUMP_TEXT/$compteurtableau-$compteurligne.txt > ./CONTEXTES/$compteurtableau-$compteurligne.txt; nbmotif=$(egrep -coi $motif ./DUMP_TEXT/$compteurtableau-$compteurligne.txt); perl ./PROGRAMMES/minigrepmultilingue/minigrepmultilingue.pl "utf-8" ./DUMP_TEXT/$compteurtableau-$compteurligne.txt ./PROGRAMMES/minigrepmultilingue/motif.txt; mv resultat-extraction.html ./CONTEXTES/$compteurtableau-$compteurligne.html; egrep -o "\w+" ./DUMP_TEXT/$compteurtableau-$compteurligne.txt | sort | uniq -c | sort -r > ./DUMP_TEXT/index-$compteurtableau-$compteurligne.txt ; encodagecontexte=$(file -i ./CONTEXTES/$compteurtableau-$compteurligne.txt | cut -f2 -d"=" | tr "a-z" "A-Z" | tr --delete '\n' | tr --delete '\r') encodagedump=$(file -i ./DUMP_TEXT/$compteurtableau-$compteurligne.txt | cut -f2 -d"=" | tr "a-z" "A-Z" | tr --delete '\n' | tr --delete '\r') if [[ $encodagecontexte == "UTF-8" ]] then echo "" >> ./CONCATENATION/CONCATCONTEXTES-$compteurtableau.txt ; cat ./CONTEXTES/$compteurtableau-$compteurligne.txt >> ./CONCATENATION/CONCATCONTEXTES-$compteurtableau.txt ; echo "" >> ./CONCATENATION/CONCATCONTEXTES-$compteurtableau.txt ; fi if [[ $encodagedump == "UTF-8" ]] then echo "" >> ./CONCATENATION/CONCATDUMP-$compteurtableau.txt ; cat ./DUMP_TEXT/$compteurtableau-$compteurligne.txt >> ./CONCATENATION/CONCATDUMP-$compteurtableau.txt ; echo "" >> ./CONCATENATION/CONCATDUMP-$compteurtableau.txt ; fi echo -e "" >> $resultat; let "nbdump+=1"; else echo "EI pas UTF8" if [[ $encodage == "" ]] then echo "EI VIDE" if [ -e ./PAGES_ASPIREES/$compteurtableau-$compteurligne.html ] then echo "PA OK" #A REMPLACER #encodagePG=$(./PROGRAMMES/detect-encoding/detect-encoding.exe #./PAGES_ASPIREES/$compteurtableau-$compteurligne.html | tr "a-z" "A-Z" | sed "s/\n//"); encodage2=$(file -i ./PAGES_ASPIREES/$compteurtableau-$compteurligne.html | cut -f2 -d"=" | tr "a-z" "A-Z" | tr --delete '\n' | tr --delete '\r') #encodage extrait echo "2.ENCODAGE extrait : <$encodage2>"; verifencodagedansiconv2="" if [[ $encodage2 != "" ]] then echo "encodage extrait OK" verifencodagedansiconv2=$(iconv -l | egrep -io $encodage2 | sort -u); fi if [[ $verifencodagedansiconv2 == "" ]] then echo "inconnu" #RIEN echo -e "" >> $resultat; else echo "reconnu" ###encodage2=$(file -i ./PAGES_ASPIREES/$compteurtableau-$compteurligne.html | cut -f2 -d=) lynx -dump -nolist -assume_charset="$encodage2" -display_charset=$encodage2 $ligne > ./DUMP_TEXT/$compteurtableau-$compteurligne.txt; iconv -f $encodage2 -t UTF-8 ./DUMP_TEXT/$compteurtableau-$compteurligne.txt > ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF8.txt encodageC=$(file -i ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF8.txt | cut -f2 -d"=" | tr "a-z" "A-Z" | tr --delete '\n' | tr --delete '\r') egrep -i $motif ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF8.txt > ./CONTEXTES/$compteurtableau-$compteurligne.txt; nbmotif=$(egrep -coi $motif ./DUMP_TEXT/$compteurtableau-$compteurligne.txt); perl ./PROGRAMMES/minigrepmultilingue/minigrepmultilingue.pl "utf-8" ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF8.txt ./PROGRAMMES/minigrepmultilingue/motif.txt; mv resultat-extraction.html ./CONTEXTES/$compteurtableau-$compteurligne.html; egrep -o "\w+" ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF8.txt | sort | uniq -c | sort -r > ./DUMP_TEXT/index-$compteurtableau-$compteurligne.txt ; encodagecontexte=$(file -i ./CONTEXTES/$compteurtableau-$compteurligne.txt | cut -f2 -d"=" | tr "a-z" "A-Z" | tr --delete '\n' | tr --delete '\r') encodagedump=$(file -i ./DUMP_TEXT/$compteurtableau-$compteurligne.txt | cut -f2 -d"=" | tr "a-z" "A-Z" | tr --delete '\n' | tr --delete '\r') if [[ $encodagecontexte == "UTF-8" ]] then echo "" >> ./CONCATENATION/CONCATCONTEXTES-$compteurtableau.txt ; cat ./CONTEXTES/$compteurtableau-$compteurligne.txt >> ./CONCATENATION/CONCATCONTEXTES-$compteurtableau.txt ; echo "" >> ./CONCATENATION/CONCATCONTEXTES-$compteurtableau.txt ; fi if [[ $encodagedump == "UTF-8" ]] then echo "" >> ./CONCATENATION/CONCATDUMP-$compteurtableau.txt ; cat ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF-8.txt >> ./CONCATENATION/CONCATDUMP-$compteurtableau.txt ; echo "" >> ./CONCATENATION/CONCATDUMP-$compteurtableau.txt ; fi echo -e "" >> $resultat; let "nbdump+=1"; fi else #PA n'existe pas #RIEN echo "PA NON" echo -e "" >> $resultat; fi else #encodage initial pas vide echo "EI PAS vide" verifencodagedansiconv=$(iconv -l | egrep -io $encodage | sort -u) if [[ $verifencodagedansiconv == "" ]] then echo "inconnu" if [ -e ./PAGES_ASPIREES/$compteurtableau-$compteurligne.html ] then echo "PA OK" encodage2=$(file -i ./PAGES_ASPIREES/$compteurtableau-$compteurligne.html | cut -f2 -d"=" | tr "a-z" "A-Z" | tr --delete '\n' | tr --delete '\r') echo "3.ENCODAGE extrait : <$encodage2>"; verifencodagedansiconv3="" if [[ $encodage2 != "" ]] then echo "encodage extrait OK" verifencodagedansiconv3=$(iconv -l | egrep -io $encodage2 | sort -u) fi if [[ $verifencodagedansiconv3 == "" ]] then echo "inconnu" #RIEN echo -e "" >> $resultat; else echo "connu" lynx -dump -nolist -assume_charset="$encodage2" -display_charset=$encodage2 $ligne > ./DUMP_TEXT/$compteurtableau-$compteurligne.txt; iconv -f $encodage2 -t UTF-8 ./DUMP_TEXT/$compteurtableau-$compteurligne.txt > ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF8.txt encodageC=$(file -i ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF8.txt | cut -f2 -d"=" | tr "a-z" "A-Z" | tr --delete '\n' | tr --delete '\r') egrep -i $motif ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF8.txt > ./CONTEXTES/$compteurtableau-$compteurligne.txt; nbmotif=$(egrep -coi $motif ./DUMP_TEXT/$compteurtableau-$compteurligne.txt); perl ./PROGRAMMES/minigrepmultilingue/minigrepmultilingue.pl "utf-8" ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF8.txt ./PROGRAMMES/minigrepmultilingue/motif.txt; mv resultat-extraction.html ./CONTEXTES/$compteurtableau-$compteurligne.html; egrep -o "\w+" ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF8.txt | sort | uniq -c | sort -r > ./DUMP_TEXT/index-$compteurtableau-$compteurligne.txt ; encodagecontexte=$(file -i ./CONTEXTES/$compteurtableau-$compteurligne.txt | cut -f2 -d"=" | tr "a-z" "A-Z" | tr --delete '\n' | tr --delete '\r') encodagedump=$(file -i ./DUMP_TEXT/$compteurtableau-$compteurligne.txt | cut -f2 -d"=" | tr "a-z" "A-Z" | tr --delete '\n' | tr --delete '\r') if [[ $encodagecontexte == "UTF-8" ]] then echo "" >> ./CONCATENATION/CONCATCONTEXTES-$compteurtableau.txt ; cat ./CONTEXTES/$compteurtableau-$compteurligne.txt >> ./CONCATENATION/CONCATCONTEXTES-$compteurtableau.txt ; echo "" >> ./CONCATENATION/CONCATCONTEXTES-$compteurtableau.txt ; fi if [[ $encodagedump == "UTF-8" ]] then echo "" >> ./CONCATENATION/CONCATDUMP-$compteurtableau.txt ; cat ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF-8.txt >> ./CONCATENATION/CONCATDUMP-$compteurtableau.txt ; echo "" >> ./CONCATENATION/CONCATDUMP-$compteurtableau.txt ; fi echo -e "" >> $resultat; let "nbdump+=1"; fi else echo "PA NON" echo -e "" >> $resultat; fi else echo "connu" encodage=$(file -i ./PAGES_ASPIREES/$compteurtableau-$compteurligne.html | cut -f2 -d"=" | tr "a-z" "A-Z" | tr --delete '\n' | tr --delete '\r') lynx -dump -nolist -assume_charset="$encodage" -display_charset=$encodage $ligne > ./DUMP_TEXT/$compteurtableau-$compteurligne.txt; iconv -f $encodage -t UTF-8 ./DUMP_TEXT/$compteurtableau-$compteurligne.txt > ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF8.txt encodageC=$(file -i ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF8.txt | cut -f2 -d"=" | tr "a-z" "A-Z" | tr --delete '\n' | tr --delete '\r') egrep -i $motif ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF8.txt > ./CONTEXTES/$compteurtableau-$compteurligne.txt; nbmotif=$(egrep -coi $motif ./DUMP_TEXT/$compteurtableau-$compteurligne.txt); perl ./PROGRAMMES/minigrepmultilingue/minigrepmultilingue.pl "utf-8" ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF8.txt ./PROGRAMMES/minigrepmultilingue/motif.txt; mv resultat-extraction.html ./CONTEXTES/$compteurtableau-$compteurligne.html; egrep -o "\w+" ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF8.txt | sort | uniq -c | sort -r > ./DUMP_TEXT/index-$compteurtableau-$compteurligne.txt ; encodagecontexte=$(file -i ./CONTEXTES/$compteurtableau-$compteurligne.txt | cut -f2 -d"=" | tr "a-z" "A-Z" | tr --delete '\n' | tr --delete '\r') encodagedump=$(file -i ./DUMP_TEXT/$compteurtableau-$compteurligne.txt | cut -f2 -d"=" | tr "a-z" "A-Z" | tr --delete '\n' | tr --delete '\r') if [[ $encodagecontexte == "UTF-8" ]] then echo "" >> ./CONCATENATION/CONCATCONTEXTES-$compteurtableau.txt ; cat ./CONTEXTES/$compteurtableau-$compteurligne.txt >> ./CONCATENATION/CONCATCONTEXTES-$compteurtableau.txt ; echo "" >> ./CONCATENATION/CONCATCONTEXTES-$compteurtableau.txt ; fi if [[ $encodagedump == "UTF-8" ]] then echo "" >> ./CONCATENATION/CONCATDUMP-$compteurtableau.txt ; cat ./DUMP_TEXT/$compteurtableau-$compteurligne-UTF-8.txt >> ./CONCATENATION/CONCATDUMP-$compteurtableau.txt ; echo "" >> ./CONCATENATION/CONCATDUMP-$compteurtableau.txt ; fi echo -e "" >> $resultat; let "nbdump+=1"; fi fi fi } #ou : done egrep -o "\w+" ./CONCATENATION/CONCATDUMP-$compteurtableau.txt | sort | uniq -c | sort -r > ./CONCATENATION/indexdump-$compteurtableau.txt ; egrep -o "\w+" ./CONCATENATION/CONCATCONTEXTES-$compteurtableau.txt | sort | uniq -c | sort -r > ./CONCATENATION/indexcontextes-$compteurtableau.txt ; echo "
FICHIER URL : $rep/$fic | MOTIF : $motif
N°ENCODAGEHTTP CODEURLPAGE ASPIREEDUMP ENCODAGE DUMPCONTEXTE EGREPENCODAGE CONTEXTECONTEXTE MINIGREPFREQUENCE MOTIFINDEX DUMP
$compteurligneEI :$encodage$http_code$lignePage aspirée $compteurtableau-$compteurligneDP $compteurtableau-$compteurligne Encodage Dump : $encodagedump Contextes egrep $compteurtableau-$compteurligne Encodage Contexte : $encodagecontexte Contextes minigrep $compteurtableau-$compteurligne$nbmotif Index-$compteurtableau-$compteurligne
$compteurlignePas utf8, vide, E inconnu$http_code$lignePage aspirée $compteurtableau-$compteurlignePas de dump---Pas de contexte egrep---Pas de contexte minigrepIndisponible
$compteurligneEI : $encodage2 - EC : $encodageC $http_code$lignePage aspirée $compteurtableau-$compteurligneDP $compteurtableau-$compteurligneEncodage Dump : $encodagedump Contextes egrep $compteurtableau-$compteurligneEncodage Contexte : $encodagecontexte Contextes minigrep $compteurtableau-$compteurligne$nbmotif Index-$compteurtableau-$compteurligne
$compteurlignePA n'existe pas$lignePas de PAPas de dump---Pas de contexte egrep---Pas de contexte minigrepIndisponible
$compteurlignePas utf8, vide, E inconnu$http_code$lignePage aspirée $compteurtableau-$compteurlignePas de dump---Pas de contexte egrep---Pas de contexte minigrepIndisponible
$compteurligneEI : $encodage2 - EC : $encodageC $http_code$lignePage aspirée $compteurtableau-$compteurligneDP $compteurtableau-$compteurligneEncodage Dump : $encodagedump Contextes egrep $compteurtableau-$compteurligneEncodage contexte : $encodagecontexte Contextes minigrep $compteurtableau-$compteurligne$nbmotif Index-$compteurtableau-$compteurligne
$compteurlignePA n'existe pas$lignePas de PAPas de dump---Pas de contexte egrep---Pas de contexte minigrepIndisponible
$compteurligneEI : $encodage - EC : $encodageC $http_code$lignePage aspirée $compteurtableau-$compteurligneDP $compteurtableau-$compteurligneEncodage Dump : $encodagedump Contextes egrep $compteurtableau-$compteurligneEncodage Contexte : $encodagecontexte Contextes minigrep $compteurtableau-$compteurligne$nbmotif Index-$compteurtableau-$compteurligne
" >> $resultat; echo "
" >> $resultat; #ajoute une ligne vide entre chaque tableau done echo -e "" >> $resultat; #fin de la page