#!/usr/bin/perl
<<DOC;
----------------------------------------------------------------------------------
Format d\'entree : un texte étiqueté et lemmatisé par Talismane + un fichier 
				   de patrons syntaxiques avec un patron par ligne (ex: DET NC ADJ)
Format de sortie : un fichier avec pour chaque patron sa liste de termes triés 
				   par fréquence

Mode d'emploi : perl extract.pl sortie_talismane.txt termino
----------------------------------------------------------------------------------
DOC

use utf8;
use Time::HiRes qw(gettimeofday tv_interval);
my $timepg = [gettimeofday];

#------------------------
# Lecture des arguments 
my $filetalismane=$ARGV[0];
my $filetermino=$ARGV[1];
#------------------------
# Ouverture en lecture des fichiers 
open my $fileT,"<:encoding(UTF-8)",$filetalismane;
open my $fileTer,"<:encoding(UTF-8)",$filetermino;
#------------------------
# Chargement en mémoire des patrons (termino)
my @TERMINO=<$fileTer>,
close $fileTer;

my %dicotmp=();
my %dicoPatron=();
my $nbTerme=0;
my $nbMotInPhrase=0;
#------------------------
# Lecture ligne à ligne du fichier Talismane
while (my $ligne=<$fileT>) {
	#------------------------
	# Ignorer les commentaires, le début et la fin de chaque item, les lignes vides...
	next if (($ligne=~/^1\t££/) or ($ligne=~/^\#\#/) or ($ligne=~/^$/));
	#------------------------
	# ... et aussi le symbole de fin de phrase §
	if ($ligne!~/^\d+\t§/) {
		$ligne=~/^\d+\t(.+)$/;
		#------------------------
		# On s'intéresse que aux tagging
		my $reste=$1;
		$nbMotInPhrase++;
		my $cle=$nbMotInPhrase;
		#------------------------
		# Et on stocke dans une liste les items séparés par des tab
		my @listereste=split(/\t/,$reste);
		# On crée un dicotmp {nbMotInPhrase : phrase}
		$dicotmp{$cle}=\@listereste;
	}
	else {
		#------------------------
		# Fin de phrase, on passe à l'extraction
		my $phrase=" ";
		my $longueur = scalar (keys %dicotmp);
		for (my $i=1;$i<=$longueur;$i++) {
			my $LISTE=$dicotmp{$i};
			my @listedeferencee = @$LISTE;
			#------------------------
			# on stocke la forme et son POS
			my $mot=$listedeferencee[0];
			my $pos=$listedeferencee[2];
			$phrase=$phrase.$mot."/".$pos." ";
		}
		foreach my $patron (@TERMINO) {
			my $patron2=$patron;
			chomp($patron2);
			$patron2=~s/([^ ]+)/\[\^ \]\+\/\\b$1/g;
			while ($phrase=~/(?=\s($patron2))/g) { 
				my $terme=$1;
				$terme=~s/\/[^ ]+//g;
				$dicoPatron{$patron}->{$terme}++;
				$nbTerme++;
			}
		}
		%dicotmp=();
		$nbMotInPhrase=0;
	}
}
close($fileT);

open my $fileResu,">:encoding(UTF-8)","perlIsTheBigOneOne.txt";
print $fileResu "$nbTerme éléments trouvés\n";
foreach my $patron (keys %dicoPatron) {
	print $fileResu "\nType de pattern: ".$patron." \n\n";
	foreach my $terme (sort {$dicoPatron{$patron}->{$b} <=> $dicoPatron{$patron}->{$a} } keys %{$dicoPatron{$patron}}) {
		# impréssion du dico des patrons selon un tri de fréquence
		print $fileResu $dicoPatron{$patron}->{$terme}."\t".$terme."\n";
	}
}
print $fileResu "\nScript execution time: " . tv_interval($timepg) . " seconds.";
close($fileResu);
