#!/usr/bin/python
#!-*-coding:utf8-*-
import urllib
import urllib2
import os
import socket
import nltk
from bs4 import UnicodeDammit
import re
dos=raw_input("Donnez le nom du dossier contenant les fichiers url : ")
tableau=raw_input("Donnez le nom du fichier html ou stocker ces liens : ")
#Commencer a ecrire dans le tableau (ouverture des balises html et body)
fichierin =open(tableau, "w")
fichierin.write("Americanisation")
#creation d'un dossier pour les fichiers globaux s'il n'existe pas deja
if not os.path.exists("./FICHIERSGLOBAUX"):
os.mkdir("./FICHIERSGLOBAUX")
j=1 #variable pour compter les tableaux
#------Lire le contenu du dossier et traiter chaque fichier URL------#
for filename in (os.listdir(dos)):
#ouvrir le fichier url
fichierout=open("%s/%s"%(dos,filename), "r")
#-------Création des noms de sous-dossiers------#
(filename, extension) = os.path.splitext(filename)
#----------Création de sous-dossiers------------#
if not os.path.exists("./PAGES-ASPIREES/"+filename):
os.mkdir("./PAGES-ASPIREES/"+filename)
if not os.path.exists("./DUMP-TEXT/"+filename):
os.mkdir("./DUMP-TEXT/"+filename)
if not os.path.exists("./CONTEXTES/"+filename):
os.mkdir("./CONTEXTES/"+filename)
if not os.path.exists("./FICHIERSGLOBAUX/"+filename):
os.mkdir("./FICHIERSGLOBAUX/"+filename)
#-----creation du titre du tableau------#
title = filename.replace ("_", " ")
#----Commencer a ecrire le tableau, et ses headers----#
print>>fichierin, "
Tableau numero",j, "(",title,") :
"
print>>fichierin, "
No.
Lien
Page aspirée
Erreur
DUMP
DUMP UTF-8
Contextes
Contextes Html
Nbr Occs
"
j+=1
i=1 #compteur pour les URLs
countglobal=0 #compteur pour le nombre de fichiers dans les fichiers globaux
#--------Lire le contenu du fichier URL et traiter chaque URL --------#
for ligne in (fichierout.readlines()):
print>>fichierin, "
"#7eme colonne
#-------Extraction des contextes---------#
fichierdmp=open("./DUMP-TEXT/"+filename+"/page"+str(i)+"utf8.txt", "r")
conx=fichierdmp.read()
fichierdmp.close()
conx=conx.decode("utf-8",errors="ignore") #decoder le texte
conx=conx.replace("#","") #supprimer les croisillons
expr = re.compile(ur"(?:([^\t\n]{,150})(([Aa]m.ricani[sz].*?\W)|(\W[Aα]μερικανοπο[ίι].*?\W)|(εξαμερ[ίι]καν[ίι]σ.*?\W)|(\W[Aα]μερικανισμός))([^\t\n]{,150}\W))", re.I) #motif pour les contextes
res=re.findall(expr,conx)#chercher les contextes selon le motif ci-dessus
fichiercontextes=open("./CONTEXTES/"+filename+"/page"+str(i)+".txt", "w")
#ecrire les contextes dans le fichier contextes.txt
for found in res:
print>>fichiercontextes, found[0].encode("utf-8")+found[1].encode("utf-8")+found[6].encode("utf-8")+"#"
fichiercontextes.close()
print>>fichierin, "