Pour que la traduction automatique (TA) faite de façon satisfaisante les phénomènes discursifs, les modèles de TA doivent être capables à utiliser le contexte linguistique extra-phrastiques. Récemment il y a beaucoup d'intérêt dans la modélisation de contexte pour la TA neuronale, mais les modèles sont en général évalués avec des métriques d'évaluation standards, qui sont inadaptés pour évaluer les phénomènes discursifs. Ces jeux de test fournissent une façon alternative pour évaluer les modèles de TA neuronale selon plusieurs phénomènes pertinent pour la traduction de l'anglais vers le français. Ce sont des jeux de test contrastifs, contenant pour chaque phrase source une traduction correcte et une traduction incorrecte, qui sont à classer par les modèles de TA: les modèles sont évalués sur leurs capacités à classer les traductions correctes devant les traductions incorrectes.
La particularité de ces jeux de test est que la validité des traductions dépend entièrement du context linguistique contenu dans la phrase précédente, qui doit donc être utilisé par les modèles pour qu'ils soient bien évalués. Les jeux sont équilibrés afin qu'un modèle baseline ne tenant pas compte du context ait forcément une précision de 50%. Les jeux testent deux types de phénomènes: (i) les anaphores et (ii) les choix lexicaux, ce qui inclut la cohésion lexicale et la cohérence lexicale. Les exemples (200 exemples pour chaque type de phénomène) sont construits à la main sur la base d'exemples similaires trouvés dans le corpus parallèle OpenSubtitles2016 (similaires en termes de vocabulaire, de style et de constructions syntaxiques).
DiscEvalMT est distribué sous une licence CC-BY-SA-4.0.
Si vous utilisez ce travail, merci de citer :
@inproceedings{bawden_Evaluating-Discourse-Phenomena-in_2018,
author = {Bawden, Rachel and Sennrich, Rico and Birch, Alexandra and Haddow, Barry},
title = {{Evaluating Discourse Phenomena in Neural Machine Translation}},
year = {2018}
booktitle = {{16th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies}},
address = {New Orleans, United States},
pages = {1304-1313},
url = {https://hal.archives-ouvertes.fr/hal-01800739},
pdf = {https://hal.archives-ouvertes.fr/hal-01800739/file/contextNMT.pdf},
}