Informatiques et Télécommunications

Évaluations humaine et comparaison des décodeurs de traduction

6.3 Évaluations et comparaison des décodeurs

Nous mesurons la performance des algorithmes de recherche que nous avons décrits dans le chapitre précédent.

On utilise ici deux corpus de test. Chacun contient 1210 phrases françaises dont la longueur maximale est de 20 mots. L’un présent dans le corpus d’entraînement et l’autre est constitué de phrases qui n’ont jamais été vues à l’entraînement.

Les deux corpus sont extraits des textes Hansard. Aucune stratégie particulière n’a été appliquée dans le but de sélectionner, dans le second corpus, des phrases proches des phrases vues à l’entraînement.

Les mots inconnus, c’est-à-dire que le modèle de traduction n’a pas ces mots parmi ses vocabulaires, sont remplacés par UNK. (Le premier corpus contient 23 mots inconnus tandis que le second contient 197 mots inconnus)

Les métriques décrites dans les sections précédentes sont utilisées sur nos corpus et montrées dans la table 16. On observe que DP obtient la meilleure performance (pour les 3 scores).

Continuer la lecture

Le nombre d’itérations et les temps de traduction, Greedy

5.2.5 Le nombre d’itérations et les temps de traduction

Nous avons utilisé notre algorithme pour traduire 2376 phrases dont la longueur n’excédait pas 30 mots (français). La figure 33 montre le nombre d’itérations (moyen) effectué en fonction du nombre de mots de la phrase à traduire. L’accroissant du nombre d’itérations suit une courbe linéaire.

Figure 33: La moyenne d’itérations, le nombre de substitutions et permutations augmentent linéairement avec la longueur de la phrase à traduire.

On observe, d’après la figure 33 que la plupart des itérations sont des substitutions (72%), viennent au deuxième rang les permutations (19%); cependant les deux autres opérations s’appliquent moins souvent (6% pour l’opération de la fertilité et 3% pour l’insertion).

Par exemple, une phrase française de dix mots est traitée par notre algorithme en 5 itérations (en moyenne). 4 de ces itérations font intervenir une substitution. (Figure 34)

Continuer la lecture

Implémentation des opérations, Algorithme de recherche Greedy

5.2.3 Implémentation des opérations

Nous utilisons les logarithmes (à base deux) pour remplacer les probabilités du score IBM2 (voir équation 5.7) et nous faisons des factorisations afin de simplifier les calculs et éviter certains termes à chaque modification d’alignement.

(‎5.10)

La première opération que nous avons considérée est la substitution d’un mot par un autre. Cette opération peut se produire à tout endroit dans la traduction en cours. Nous limitons la nature des mots “remplaçables” à ceux qui appartiennent au vocabulaire actif (section 5.1.5) calculé pour chaque mot.

Substituer ()

Pour toutes les positions cibles i=1,…,I

Pour tous les mots e, les traductions du mot fi (parmi le vocabulaire actif).

Substituer le mot ei par e.

Calculer le score de la phrase.

Garder le meilleur score, la position et le mot e correspondants.

Retourner le score, la position et le mot e.

Comme nous l’avons déjà vu, le modèle 2 introduit une probabilité d’alignement P(i|j,J,I) qui est la probabilité qu’un mot anglais en position i soit associé à un mot français en position j.

Continuer la lecture

Algorithme de recherche “Greedy” : Principe et Description

5.2 L’algorithme de recherche “Greedy”

5.2.1 Principe

L’idée de l’algorithme “greedy” est d’appliquer un ensemble d’opérations en vu d’améliorer, au sens des modèles, une traduction initiale. L’idée a été proposée par [Germann U. et al, 2001] dans le cadre d’un modèle IBM4.

Cette idée sacrifie l’exhaustivité de l’exploration faite par l’algorithme DP avec un pari que la solution trouvée ne s’éloignera pas trop de la solution optimale (au sens des modèles).

On peut argumenter que cet algorithme de recherche est plus souple à adapter à un nouveau modèle que les formulations par programmation dynamique. Il suffit en effet de redéfinir l’ensemble des opérations à considérer.

L’algorithme greedy tente de manière systématique toutes les opérations partout où elles s’appliquent et retient l’opération et son emplacement qui améliorent plus la probabilité P(e|f). On itère alors le processus sur la nouvelle solution jusqu’à ce qu’aucune application d’une opération n’améliore la solution courante.

Plus formellement,

Soit f la phrase source, e sa traduction initiale et a l’alignement associé.

Fonction A

o O, l’ensemble des opérations valides

c, le contexte d’application de o.

Soit (e’,a’)=l’application de (o,c,(e,a)).

Si P(e’,a’|f)>P(e,a|f).

Max_o=o

Continuer la lecture

Mesure de la qualité d’un modèle de traduction

4.5 Mesure de la qualité d’un modèle de traduction

Il existe différentes manières d’évaluer la qualité d’un modèle de traduction. Une possibilité consiste à évaluer globalement la performance d’un engin de traduction au complet.

Nous reviendrons sur ce mode d’évaluation dans le chapitre 6 et nous intéressons dans cette section à l’évaluation directe bien que critiquable du seul modèle de traduction.

Nous utilisons pour cela la perplexité qui représente le nombre moyen d’ »hésitations » qu’aurait le modèle s’il devait traduire un texte de manière identique à une traduction de référence. Formellement, la perplexité est donnée par :

(‎4.1)

Où la probabilité P(fi|ei) est donnée par le modèle de traduction évalué. N est le nombre de mots du corpus, S le nombre de paires de phrases. Les algorithmes d’entraînements implémentés dans GIZA optimisent les paramètres des modèles de manière à minimiser la perplexité.

Il est important de noter que la perplexité d’un modèle ne reflète que très indirectement son aptitude à bien traduire ; elle nous donne une indication de son aptitude à reconnaître que deux phrases sont (ou ne sont pas) en relation de traduction selon un modèle mesuré sur le corpus d’entraînement.

Continuer la lecture

Expériences de traduction avec GIZA : Paramètres et Temps

Chapitre 4 :

Les expériences avec GIZA

Le corpus des débats parlementaires canadiens (connu sous le nom de Hansard) a été utilisé dans notre étude pour entraîner les paramètres des modèles de traduction.

Ce corpus est constitué de 1 639 250 paires de phrases, 29 547 933 mots anglais et 31 826 112 mots français. Les tailles des vocabulaires anglais et français sont respectivement de 103’830 et de 83 106 mots différents.

Dans ce chapitre, nous décrivons les expériences réalisées avec GIZA (décrit dans le chapitre précédent) et comparons la qualité des trois modèles que nous avons entraînés à l’aide de ce package. Nous nous intéressons également aux temps d’entraînement et à l’espace mémoire requis par ce package.

Ce type de considération à priori secondaire, prend toute son importance lorsqu’on sait que les tables utilisées peuvent facilement dépasser l’espace mémoire disponible sur une machine performante et rendre l’apprentissage inopérationnel.

Nous comparons enfin l’outil GIZA avec l’outil RMTTK (RALI Machine Translation Tool kit ) développé au RALI en terme de performance, de temps de calculs et d’occupation mémoire.

Continuer la lecture