Elizia : son fonctionnement et ses problèmes
La consigne : Dialoguer avec Elizia, relever des
problèmes.
Faire une rédaction de vos remarques
détaillées sur l’Elizia. (5 lignes
minimum)
Comment peut-on déterminer si l'interlocuteur est un
être-humain?
Classer les réponses d’Elizia par TB, B, M et Nul.
Enregistrer vos 30 échanges avec Elizia, tentez de
comprendre
son fonctionnement, pourquoi elle a réagi de cette
manière-là?
Pour celà, j'ai donc été sur le site d'Elizia, afin de dialoguer avec elle. Voici un extrait du dialogue avec le classement de la qualité des réponses d'Elizia :
Résultats
L'identification des réponses par qualité (TB, B, M, N) nous démontre qu'Elizia fonctionne par reconnaissance de mots-clés. Ainsi, elle identifie le mot-clé de la phrase humaine et choisit un thème de réponse en fonction.
Toutefois il y des fois où Elizia choisit le mauvais mot-clé, et produit des réponses nulles.
Problèmes
De plus, on se rend compte très rapidement à l'aide du corpus qu'Elizia est une machine puisqu'elle ne détecte pas l'ironie.
Elle ne comprend pas les ambiguïté sémantique de la langueEnfin, elle n'a pas de mémoire de la conversation.
Son fonctionnement en détail
> Dans l’interface d’Elizia, comment peut-on afficher :
- les cas reconnus dans l'historique,
- une liste en ordre alphabétique de tous les mots qu’Elizia teste contre les mots clés,
- les lemmes,
- les mots
>Améliorer 3 cas concrets de l’Interface parmi les cas reconnus (cas normaux). Autrement dit, repérer 3 réponses que vous jugez non pertinentes parmi tous les cas enregistrés dans Supervision Elizia.
>Proposer des cas d’études. C’est-à-dire, y a-t-il des cas qu'on peut ajouter dans Supervision Elizia?
Si oui, comment ? Justifier vos réponses.
Sinon, pourquoi ?
Résultats
- les cas reconnus dans l'historique : « ::: »
- une liste en ordre alphabétique de tous les mots qu’Elizia teste contre les mots clés : « all : (suivi d’une phrase) » ex : « all :j'ai attrapé un rhume »
- les lemmes : « lemmas : (suivi d’une phrase) » ex : « lemmas : la fille portait une veste rouge et des chaussures bleues »
- les mots : « words : (suivi d’une phrase) » ex : « words : j’aime aller en week-end dans ma grande maison de campagne. »
Supervision d'Elizia
Voici l'envers du décor du chatbot Elizia. En effet, on sait déjà qu'elle fonctionne par mots-clé, mais on apprends ici que ces mots-clé sont classés dans des "cas" qui sont des thèmes de conversation que peut aborder le chatbot. Ces cas sont classé par un idice de qualité qui permet à Elizia de choisir un thème de réponse plutôt qu'un autre après la reconnaissance des mots-clé.
Vous trouverez ici le fichier du devoir 2 dans son intégralité, avec les réponses aux questions et des exemples qui illustrent mon propos.
Ajout de trois nouveaux "cas"
La consigne :
I. Observations, remarques, solutions à
travailler avec Elizia :
1. Parcourir le document « Historique_Elizia »,
trouver 5 cas mauvais (c’est-à-dire où
Elizia n'a pas bien répondu). Listez-les, proposez des
solutions.
2. L’améliorer en ajoutant au moins 3 nouveaux
cas. Re-tester avec plusieurs dialogues imaginés qui font
appel à ces nouveaux cas. (Si cela n’a pas
été réalisé dans vos
travaux.)
3. Vérifier si les réponses proposées
tiennent la route. Donner d'autres phrases pour lesquelles vos jeux de
réponses marchent bien, ainsi que pour les cas contraires
(C’est-à-dire, les cas où cela ne
marche pas bien.).
4. Trouver au moins un cas dans un dialogue enregistré
où on ne sait pas comment améliorer les
réponses d'Elizia, parce que justement le système
est basé sur les mots clés. (Si cela
n’a pas été
réalisé dans vos travaux.)
II. Propositions des cas/réponses ou d’autres
solutions :
1. Existe-t-il d’autre(s) connaissance(s) linguistique(s)
pour améliorer le Système Elizia, si oui,
laquelle/lesquelles, et comment ? Sinon, proposez des solutions que
vous jugez pertinentes.
2. Préparer un thème/domaine précis
sur lequel vous envisagez d'augmenter la qualité de
réponses.
Afin de mieux comprendre le travail effectué, vous pouvez télécharger le document Historique d'Elizia
Les cas proposés
J'ai proposé trois nouveaux cas :- un cas dictionnaire
- un cas thérapie
- un cas actualités
Propositions d'amélioration
On se rend compte ici que proposer de nouveaux cas n'est pas toujours pertinent. En effet parfois Elizia choisit un mauvais cas plutôt que le bon pour répondre car ils ont le même indice de qualité, ainsi la pertinence des réponses et des choix de cas devrait être améliorée par d'autres critères que celui de la qualité. De plus l'ajout d'un module d'analyse morphosyntaxique serait le bienvenu pour éviter les contre-sens, ou pour interpréter les formes polysémiques.
Voici une idée d'amélioration concernant le problème de la polysémie chez Elizia. Il pourrait y avoir un module formel de ce type permettant de choisir le bon thème de réponse :
Le fichier du devoir 3 est disponible ici, avec les propositions de cas et d'améliorations détaillés.
Travailler sur un cas précis
La consigne :
Élaborer puis présenter une série de discussions(questions/réponses/mots clés) à tester avec Elizia, les améliorations(si c'est le cas) ainsi que les interprétations de chaque ligne de réponse autour d'un thème bien précis.
Pour celà, j'ai choisi de travailler sur le cas précédent de la thérapie afin de rendre Elizia plus humaine et surtout plus cohérente.
Résultats
En se concentrant sur un seul cas, il a été possible d'améliorer la cohérence et la pertinence de la conversation avec Elizia, en jouant sur les indices de qualité. En effet, le cas choisi se recoupe avec plusieurs autres cas présents dans la supervision d'Elizia, il était donc nécessaire d'ajuster leur qualité entre eux.A relativiser
Toutefois, si la conversation est plus fluide (les réponses nulles sont en nette diminution.), les remarques faites précédemment sont toujours valables. Le travail effectué ne l'a été que dans la mesure des possibilités limitées proposées dans la supervision.