Human Evaluation of NMT & Annual Progress Report

This paper proposes the first evaluation of NMT in the Spanish-Korean language pair. Four types of human evaluation -Direct Assessment, Ranking Comparison and MT Post-Editing(MTPE) time/effort- and one semi-automatic methods are applied. The NMT engine is represented by Google Translate in newswire...

Descripción completa

Detalles Bibliográficos
Autores: Kim, Ahrii|||0000-0003-2989-3220, Colominas Ventura, Carme|||0000-0002-0058-294X
Tipo de recurso: artículo
Fecha de publicación:2020
País:España
Institución:Universitat Autònoma de Barcelona
Repositorio:Dipòsit Digital de Documents de la UAB
Idioma:inglés
OAI Identifier:oai:ddd.uab.cat:235673
Acceso en línea:https://ddd.uab.cat/record/235673
https://dx.doi.org/urn:doi:10.5565/rev/tradumatica.241
Access Level:acceso abierto
Palabra clave:Traducción automática neuronal
TAN
Evaluación de TA
Tape
Posedición de traducción automática
Traducción español-coreano
Traducció automàtica neuronal
Avaluació de TA
Postedició de traducció automàtica
Traducció espanyol-coreà
NMT
MT evaluation
MT post-editing
Spanish-korean translation
id ES_021a3737da8f155c74a6b02c101fbcba
oai_identifier_str oai:ddd.uab.cat:235673
network_acronym_str ES
network_name_str España
repository_id_str
spelling Human Evaluation of NMT & Annual Progress Reporta Case Study on Spanish to KoreanEvaluación humana de traducción automática neuronal e informe de progreso anualAvaluació humana de traducció automàtica neuronal i informe de progrés anualKim, Ahrii|||0000-0003-2989-3220Colominas Ventura, Carme|||0000-0002-0058-294XTraducción automática neuronalTANEvaluación de TATapePosedición de traducción automáticaTraducción español-coreanoTraducció automàtica neuronalAvaluació de TAPostedició de traducció automàticaTraducció espanyol-coreàNMTMT evaluationMT post-editingSpanish-korean translationThis paper proposes the first evaluation of NMT in the Spanish-Korean language pair. Four types of human evaluation -Direct Assessment, Ranking Comparison and MT Post-Editing(MTPE) time/effort- and one semi-automatic methods are applied. The NMT engine is represented by Google Translate in newswire domain. After assessed by six professional translators, the engine demonstrates 78% of performance and 37% productivity gain in MTPE. Additionally, 40.249% of the outputs of the engine are modified with an interval of 15 months, showing 11% of progress rate.Aquest article proposa la primera avaluació de traducció automàtica neuronal en la combinació lingüística espanyol-coreà. Per fer-ho s'han aplicat quatre mètodes d'avaluació humana: l'avaluació directa, la comparació a través de la classificació dels segments i l'anàlisi del temps i de l'esforç de postedició del text traduït automàticament (en anglès, MTPE), i un mètode d'avaluació semiautomàtica.El motor detraducció automàtica neuronal utilitzat ha estat Google Translate, en concret en el seu domini de notícies. Després de ser avaluat per sis traductors professionals es constata que el motor augmenta el rendiment en un 78% i la productivitat en un 37%. A més, el 40,249% dels resultats del motor es modifiquen amb un interval de 15 mesos, de manera que mostra un índex de millora del 11%.Este artículo propone la primera evaluación de traducción automática neuronal en la combinación lingüística español-coreano. Se han utilizado cuatro métodos de evaluación humana: la evaluación directa, la comparación mediante ranking y el análisis de tiempo y de esfuerzo de la posedición del texto traducido automáticamente (en inglés, MTPE), y un método de evaluación semiautomática. El motor de traducción automática neuronal utilizado ha sido Google Translate, en concreto el dominio de noticias. Después de ser evaluado por seis traductores profesionales se constata que el motor aumenta el rendimiento en un 78% y la productividad en un 37%. Además, el 40,249% de los resultados del motor se modifican con un intervalo de 15 meses, mostrando así un índice de mejora del 11%. 22020-01-0120202020-01-01Articlehttp://purl.org/coar/resource_type/c_6501VoRhttp://purl.org/coar/version/c_970fb48d4fbd8a85info:eu-repo/semantics/articleapplication/pdfhttps://ddd.uab.cat/record/235673https://dx.doi.org/urn:doi:10.5565/rev/tradumatica.241reponame:Dipòsit Digital de Documents de la UABinstname:Universitat Autònoma de BarcelonaInglésengopen accesshttp://purl.org/coar/access_right/c_abf2Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, la comunicació pública de l'obra i la creació d'obres derivades, fins i tot amb finalitats comercials, sempre i quan es reconegui l'autoria de l'obra original.https://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessoai:ddd.uab.cat:2356732026-06-06T12:50:31Z
dc.title.none.fl_str_mv Human Evaluation of NMT & Annual Progress Report
a Case Study on Spanish to Korean
Evaluación humana de traducción automática neuronal e informe de progreso anual
Avaluació humana de traducció automàtica neuronal i informe de progrés anual
title Human Evaluation of NMT & Annual Progress Report
spellingShingle Human Evaluation of NMT & Annual Progress Report
Kim, Ahrii|||0000-0003-2989-3220
Traducción automática neuronal
TAN
Evaluación de TA
Tape
Posedición de traducción automática
Traducción español-coreano
Traducció automàtica neuronal
Avaluació de TA
Postedició de traducció automàtica
Traducció espanyol-coreà
NMT
MT evaluation
MT post-editing
Spanish-korean translation
title_short Human Evaluation of NMT & Annual Progress Report
title_full Human Evaluation of NMT & Annual Progress Report
title_fullStr Human Evaluation of NMT & Annual Progress Report
title_full_unstemmed Human Evaluation of NMT & Annual Progress Report
title_sort Human Evaluation of NMT & Annual Progress Report
dc.creator.none.fl_str_mv Kim, Ahrii|||0000-0003-2989-3220
Colominas Ventura, Carme|||0000-0002-0058-294X
author Kim, Ahrii|||0000-0003-2989-3220
author_facet Kim, Ahrii|||0000-0003-2989-3220
Colominas Ventura, Carme|||0000-0002-0058-294X
author_role author
author2 Colominas Ventura, Carme|||0000-0002-0058-294X
author2_role author
dc.subject.none.fl_str_mv Traducción automática neuronal
TAN
Evaluación de TA
Tape
Posedición de traducción automática
Traducción español-coreano
Traducció automàtica neuronal
Avaluació de TA
Postedició de traducció automàtica
Traducció espanyol-coreà
NMT
MT evaluation
MT post-editing
Spanish-korean translation
topic Traducción automática neuronal
TAN
Evaluación de TA
Tape
Posedición de traducción automática
Traducción español-coreano
Traducció automàtica neuronal
Avaluació de TA
Postedició de traducció automàtica
Traducció espanyol-coreà
NMT
MT evaluation
MT post-editing
Spanish-korean translation
description This paper proposes the first evaluation of NMT in the Spanish-Korean language pair. Four types of human evaluation -Direct Assessment, Ranking Comparison and MT Post-Editing(MTPE) time/effort- and one semi-automatic methods are applied. The NMT engine is represented by Google Translate in newswire domain. After assessed by six professional translators, the engine demonstrates 78% of performance and 37% productivity gain in MTPE. Additionally, 40.249% of the outputs of the engine are modified with an interval of 15 months, showing 11% of progress rate.
publishDate 2020
dc.date.none.fl_str_mv 2
2020-01-01
2020
2020-01-01
dc.type.none.fl_str_mv Article
http://purl.org/coar/resource_type/c_6501
VoR
http://purl.org/coar/version/c_970fb48d4fbd8a85
dc.type.openaire.fl_str_mv info:eu-repo/semantics/article
format article
dc.identifier.none.fl_str_mv https://ddd.uab.cat/record/235673
https://dx.doi.org/urn:doi:10.5565/rev/tradumatica.241
url https://ddd.uab.cat/record/235673
https://dx.doi.org/urn:doi:10.5565/rev/tradumatica.241
dc.language.none.fl_str_mv Inglés
eng
language_invalid_str_mv Inglés
language eng
dc.rights.none.fl_str_mv open access
http://purl.org/coar/access_right/c_abf2
https://creativecommons.org/licenses/by/4.0/
dc.rights.openaire.fl_str_mv info:eu-repo/semantics/openAccess
rights_invalid_str_mv open access
http://purl.org/coar/access_right/c_abf2
https://creativecommons.org/licenses/by/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Dipòsit Digital de Documents de la UAB
instname:Universitat Autònoma de Barcelona
instname_str Universitat Autònoma de Barcelona
reponame_str Dipòsit Digital de Documents de la UAB
collection Dipòsit Digital de Documents de la UAB
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869402631057702913
score 15,300719

Similares en LA Referencia