Ecriture

#!/bin/bash # script pour créer le tableau des liens #ne pas oublier de créer un fichier txt avec le nom et l'adresse des url et du futur tableau : #taper en ligne commande sh nom_fichier < input.txt #si pas MAC Changer le I majuscule de la ligne 35 file en i minuscule read fic; #les diverses langues liste read tablo;#nom du tableau tablo echo $fic; echo $tablo; echo " Ecriture" > $tablo; echo " " >> $tablo; echo "" >> $tablo; i=0; #__________________________lit les langues de liste 1/1 while read langue do echo $langue; echo "" >> $tablo; echo "" >> $tablo; echo "" >> $tablo; touch ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt ; touch ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt ; nbdump=0; #________________________lit une url while read ligne do let "i=i + 1"; echo $ligne; retourcurl=`curl -w %{http_code} -o ../PAGES-ASPIREES/$i.html "$ligne"`; if [[ $retourcurl -ne 200 ]]; #si curl pas bon# then #on sort echo "" >> $tablo; else #on vérifie si l'encodage dans file est UTF-8 encodage=$(file -I ../PAGES-ASPIREES/$i.html | cut -d= -f2 | tr 'a-z' 'A-Z'); # cherche encodage et passe en majuscule echo $encodage; VERIFEGREP=$(egrep -i " ../DUMP-TEXT/$i-utf8.txt ; if [[ $langue == "francais" ]] #si c'est du français then motif="écriture|Ecriture|ECRITURE"; egrep -i "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt ; nbOccur=0; nbOccur=`egrep -o "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt | wc -l`; echo $nbOccur; echo "" >> $tablo; echo "" >> $tablo; cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt ; cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt ; let "nbdump+=1"; fi if [[ $langue == "anglais" ]] #si c'est de l'anglais then motif="writing|Writing|WRITING"; egrep -i "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt ; nbOccur=0; nbOccur=`egrep -o "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt | wc -l`; echo $nbOccur; echo "" >> $tablo; echo "" >> $tablo; cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt ; cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt ; let "nbdump+=1"; fi if [[ $langue == "hindi" ]] #si c'est du hindi then motif="लिपि|लिपि|लिखावट|रचना"; egrep "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt ; nbOccur=0; nbOccur=`egrep -o "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt | sort | uniq -c`; echo $nbOccur; echo "" >> $tablo; echo "" >> $tablo; cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt ; cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt ; let "nbdump+=1"; fi if [[ $langue == "japonais" ]] #si c'est du japonais then motif="文字|作文|執筆|字|書体|構成|筆跡|習字|聖典|著述業|記載事項"; egrep -i "$motif" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt ; nbOccur=0; nbOccur=$(egrep -o "$motif" ../DUMP-TEXT/$i-utf8.txt | sort | uniq -c ); echo $nbOccur; echo "" >> $tablo; echo "" >> $tablo; cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt ; cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt ; let "nbdump+=1"; fi if [[ $langue == "chinois" ]] #si c'est du chinois then motif="文字|字體|書法|字跡|筆跡|文體|風格|寫作|書法|文書|字據|入賬|賬簿|賬目|聖經|写入|文体|风格|证书"; egrep "$motif" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt ; nbOccur=0; nbOccur=$(egrep -o -i "$motif" ../DUMP-TEXT/$i-utf8.txt | sort | uniq -c ); echo "" >> $tablo; echo "" >> $tablo; cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt ; cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt ; let "nbdump+=1"; fi #__________________________ #si encodage Big-5 elif [[ $encodage == "BIG-5" || $encodage == "big5" ]] then echo "charset extrait : Big5 "; lynx -dump -nolist -display_charset=$encodage ../PAGES-ASPIREES/$i.html > ../DUMP-TEXT/$i.txt ; iconv -f $encodage -t utf-8 ../DUMP-TEXT/$i.txt > ../DUMP-TEXT/$i-utf8.txt motif="文字|字體|書法|字跡|筆跡|文體|風格|寫作|書法|文書|字據|入賬|賬簿|賬目|聖經|写入|文体|风格|证书"; egrep "$motif" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt ; nbOccur=0; nbOccur=$(egrep -o "$motif" ../DUMP-TEXT/$i-utf8.txt | sort | uniq -c ); echo "" >> $tablo; echo "" >> $tablo; cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt ; cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt ; let "nbdump+=1" ; #fin traitement big5 #_______________________si autre encodage egrep elif [[ $VERIFEGREP != "" ]] then # on a peut-etre trouve un charset..... encodage=$(egrep -i "" >> $tablo; else # le charset extrait est connu de iconv : on lynxe et on dump !!! lynx -dump -nolist -display_charset=$encodage ../PAGES-ASPIREES/$i.html > ../DUMP-TEXT/$i.txt ; iconv -f $encodage -t utf-8 ../DUMP-TEXT/$i.txt > ../DUMP-TEXT/$i-utf8.txt if [[ $langue == "francais" ]] #si c'est du français then motif="écriture|Ecriture|ECRITURE"; egrep -i "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt ; nbOccur=0; nbOccur=`egrep -o "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt | wc -l`; echo $nbOccur; echo "" >> $tablo; echo "" >> $tablo; cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt ; cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt ; let "nbdump+=1"; fi if [[ $langue == "anglais" ]] #si c'est de l'anglais then motif="writing|Writing|WRITING"; egrep -i "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt ; nbOccur=0; nbOccur=`egrep -o "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt | wc -l`; echo $nbOccur; echo "" >> $tablo; echo "" >> $tablo; cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt ; cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt ; let "nbdump+=1"; fi if [[ $langue == "hindi" ]] #si c'est du hindi then motif="लिपि|लिपि|लिखावट|रचना"; egrep "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt ; nbOccur=0; nbOccur=`egrep -o "\b$motif\b" ../DUMP-TEXT/$i-utf8.txt | sort | uniq -c`; echo $nbOccur; echo "" >> $tablo; echo "" >> $tablo; cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt ; cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt ; let "nbdump+=1"; fi if [[ $langue == "japonais" ]] #si c'est du japonais then motif="文字|作文|執筆|字|書体|構成|筆跡|習字|聖典|著述業|記載事項"; egrep -i "$motif" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt ; nbOccur=0; nbOccur=$(egrep -o "$motif" ../DUMP-TEXT/$i-utf8.txt | sort | uniq -c ); echo $nbOccur; echo "" >> $tablo; echo "" >> $tablo; cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt ; cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt ; let "nbdump+=1"; fi if [[ $langue == "chinois" ]] #si c'est du chinois then motif="文字|字體|書法|字跡|筆跡|文體|風格|寫作|書法|文書|字據|入賬|賬簿|賬目|聖經|写入|文体|风格|证书"; egrep "$motif" ../DUMP-TEXT/$i-utf8.txt > ../CONTEXTES/$i-cont.txt ; nbOccur=0; nbOccur=$(egrep -o "$motif" ../DUMP-TEXT/$i-utf8.txt | sort | uniq -c ); echo "" >> $tablo; echo "" >> $tablo; cat ../CONTEXTES/$i-cont.txt >> ../FICHIERSGLOBAUX/CONTEXTES-GLOBAUX_$langue.txt ; cat ../DUMP-TEXT/$i-utf8.txt >> ../FICHIERSGLOBAUX/DUMP-GLOBAUX_$langue.txt ; let "nbdump+=1" fi fi #fin caractère connu par iconv else # pas de charset extrait echo "" >> $tablo; fi # fin egrep fi # fin langue done < "../URLS/"$langue; #___________________Fin Langue echo "" >> $tablo; echo "

Liste des URLs en $langue
Num	URL	Aspirées	Retour curl	Codage	Dump	Contexte	NBoccur
$i	Page$i	-	$retourcurl	-	-	-	-
$i	Page$i	$i.html	$retourcurl	$encodage	$i-utf8.txt	$i-Cutf8.txt		$nbOccur
$i	Page$i	$i.html	$retourcurl	$encodage	$i-utf8.txt	$i-Cutf8.txt		$nbOccur
$i	Page$i	$i.html	$retourcurl	encodage	$i-utf8.txt	$i-Cutf8.txt		$nbOccur
$i	Page$i	$i.html	$retourcurl	$encodage	$i-utf8.txt	$i-Cutf8.txt		$nbOccur
$i	Page$i	$i.html	$retourcurl	$encodage	$i-utf8.txt	$i-Cutf8.txt		$nbOccur
$i	Page$i	$i.html	$retourcurl	$encodage	$i-utf8.txt	$i-Cutf8.txt		$nbOccur
$i	Page$i	$i.html	$retourcurl	Encodage non détecté	Encodage non détecté	-	-	-	-
$i	Page$i	$i.html	$retourcurl	$encodage	$i-utf8.txt	$i-Cutf8.txt		$nbOccur
$i	Page$i	$i.html	$retourcurl	$encodage	$i-utf8.txt	$i-Cutf8.txt		$nbOccur
$i	Page$i	$i.html	$retourcurl	encodage	$i-utf8.txt	$i-Cutf8.txt		$nbOccur
$i	Page$i	$i.html	$retourcurl	$encodage	$i-utf8.txt	$i-Cutf8.txt		$nbOccur
$i	Page$i	$i.html	$retourcurl	$encodage	$i-utf8.txt	$i-Cutf8.txt		$nbOccur
$i	Page$i	$i.html	$retourcurl	Encodage non détecté	Encodage non détecté	-	-	-	-
	Fichier DUMP global $nbdump fichier(s)	Fichier CONTEXTES global $nbdump fichier(s)

">>$tablo; done < $fic; #________________Fin de la page HTML echo " " >> $tablo; # fin page