Human Evaluation of NMT & Annual Progress Report

This paper proposes the first evaluation of NMT in the Spanish-Korean language pair. Four types of human evaluation -Direct Assessment, Ranking Comparison and MT Post-Editing(MTPE) time/effort- and one semi-automatic methods are applied. The NMT engine is represented by Google Translate in newswire...

Descripción completa

Detalles Bibliográficos
Autores: Kim, Ahrii|||0000-0003-2989-3220, Colominas Ventura, Carme|||0000-0002-0058-294X
Tipo de recurso: artículo
Fecha de publicación:2020
País:España
Institución:Universitat Autònoma de Barcelona
Repositorio:Dipòsit Digital de Documents de la UAB
Idioma:inglés
OAI Identifier:oai:ddd.uab.cat:235673
Acceso en línea:https://ddd.uab.cat/record/235673
https://dx.doi.org/urn:doi:10.5565/rev/tradumatica.241
Access Level:acceso abierto
Palabra clave:Traducción automática neuronal
TAN
Evaluación de TA
Tape
Posedición de traducción automática
Traducción español-coreano
Traducció automàtica neuronal
Avaluació de TA
Postedició de traducció automàtica
Traducció espanyol-coreà
NMT
MT evaluation
MT post-editing
Spanish-korean translation
Descripción
Sumario:This paper proposes the first evaluation of NMT in the Spanish-Korean language pair. Four types of human evaluation -Direct Assessment, Ranking Comparison and MT Post-Editing(MTPE) time/effort- and one semi-automatic methods are applied. The NMT engine is represented by Google Translate in newswire domain. After assessed by six professional translators, the engine demonstrates 78% of performance and 37% productivity gain in MTPE. Additionally, 40.249% of the outputs of the engine are modified with an interval of 15 months, showing 11% of progress rate.