De plus en plus de ressources électroniques sont disponibles sur le Web et celui-ci constitue un corpus unique en son genre, dont la diversité et la taille en font un objet de choix pour l'étude du fonctionnement de la langue.
Dans le cadre de notre projet, le corpus utilisé est composé de fils rss issues du journal "le Monde". Il est constitué des fichiers au format .xml et leurs équivalents au format .txt, recueillis au quotidien durant toute l’année 2010 :
Un fil RSS désigne un fil d'informations au contenu structuré en XML. Il rassemble les dernières informations mises en ligne d'un site et peut être affiché sous divers formats : RSS, RSS2, ATOM. Le lien vers le fil d'informations d'un site est généralement affiché sous la forme de l'icône Syndication de contenu.
La syndication de contenu est une des premières utilisations des fils RSS. Les informations d'un site peuvent être affichées sous forme de liens cliquables sur un autre site, et mises à jour en temps réel. La diffusion de l'information est ainsi décuplée.
Cette première étape consiste à mettre au point un processus de traitement permettant d'extraire les textes issus des balises <description>.
Nous avons élaboré un script perl qui parcourt dans un premier temps l'arborescence à la recherche des fichiers XMl de la catégorie choisie, pour procéder ensuite à un nettoyage du texte.
Le parcours de l'arborescence est effectué grâce à une procédure récursive tandis que l'extraction, le filtrage et le nettoyage des textes ont été réalisés à travers des expressions régulières.