Gender bias in multilingual neural machine translation: The architecture matters

Multilingual Neural Machine Translation architectures mainly differ in the amount of sharing modules and parameters among languages. In this paper, and from an algorithmic perspective, we explore if the chosen architecture, when trained with the same data, influences the gender bias accuracy. Experi...

Descripción completa

Detalles Bibliográficos
Autores: Ruiz Costa-Jussà, Marta|||0000-0002-5703-520X, Escolano Peinado, Carlos|||0000-0001-6657-673X, Basta, Christine Raouf Saad, Ferrando Monsonís, Javier|||0000-0002-2637-0961, Batlle, Roser, Kharitonova, Ksenia
Tipo de recurso: informe técnico
Fecha de publicación:2020
País:España
Institución:Universitat Politècnica de Catalunya (UPC)
Repositorio:UPCommons. Portal del coneixement obert de la UPC
Idioma:inglés
OAI Identifier:oai:upcommons.upc.edu:2117/348079
Acceso en línea:https://hdl.handle.net/2117/348079
Access Level:acceso abierto
Palabra clave:Sexism in language
Machine translating
Natural language processing (Computer science)
Sexisme en el llenguatge
Traducció automàtica
Tractament del llenguatge natural (Informàtica)
Àrees temàtiques de la UPC::Enginyeria de la telecomunicació::Processament del senyal::Processament de la parla i del senyal acústic
id ES_c756d9f77d93b2bac567d27647ef67ff
oai_identifier_str oai:upcommons.upc.edu:2117/348079
network_acronym_str ES
network_name_str España
repository_id_str
spelling Gender bias in multilingual neural machine translation: The architecture mattersRuiz Costa-Jussà, Marta|||0000-0002-5703-520XEscolano Peinado, Carlos|||0000-0001-6657-673XBasta, Christine Raouf SaadFerrando Monsonís, Javier|||0000-0002-2637-0961Batlle, RoserKharitonova, KseniaSexism in languageMachine translatingNatural language processing (Computer science)Sexisme en el llenguatgeTraducció automàticaTractament del llenguatge natural (Informàtica)Àrees temàtiques de la UPC::Enginyeria de la telecomunicació::Processament del senyal::Processament de la parla i del senyal acústicMultilingual Neural Machine Translation architectures mainly differ in the amount of sharing modules and parameters among languages. In this paper, and from an algorithmic perspective, we explore if the chosen architecture, when trained with the same data, influences the gender bias accuracy. Experiments in four language pairs show that Language-Specific encoders-decoders exhibit less bias than the Shared encoder-decoder architecture. Further interpretability analysis of source embeddings and the attention shows that, in the LanguageSpecific case, the embeddings encode more gender information, and its attention is more diverted. Both behaviors help in mitigating gender bias.This work is supported by the European Research Council (ERC) under the European Union’s Horizon 2020 research and innovation programme (grant agreement No. 947657).20202020-12-2420212021-06-29reporthttp://purl.org/coar/resource_type/c_93fcAOhttp://purl.org/coar/version/c_b1a7d7d4d402bcceinfo:eu-repo/semantics/reportapplication/pdfhttps://hdl.handle.net/2117/348079reponame:UPCommons. Portal del coneixement obert de la UPCinstname:Universitat Politècnica de Catalunya (UPC)InglésengEuropean Commission http://doi.org/10.13039/100010661 Horizon 2020 Framework Programme 947657 Lifelong UNiversal lAnguage Representationopen accesshttp://purl.org/coar/access_right/c_abf2info:eu-repo/semantics/openAccessoai:upcommons.upc.edu:2117/3480792026-05-27T15:37:01Z
dc.title.none.fl_str_mv Gender bias in multilingual neural machine translation: The architecture matters
title Gender bias in multilingual neural machine translation: The architecture matters
spellingShingle Gender bias in multilingual neural machine translation: The architecture matters
Ruiz Costa-Jussà, Marta|||0000-0002-5703-520X
Sexism in language
Machine translating
Natural language processing (Computer science)
Sexisme en el llenguatge
Traducció automàtica
Tractament del llenguatge natural (Informàtica)
Àrees temàtiques de la UPC::Enginyeria de la telecomunicació::Processament del senyal::Processament de la parla i del senyal acústic
title_short Gender bias in multilingual neural machine translation: The architecture matters
title_full Gender bias in multilingual neural machine translation: The architecture matters
title_fullStr Gender bias in multilingual neural machine translation: The architecture matters
title_full_unstemmed Gender bias in multilingual neural machine translation: The architecture matters
title_sort Gender bias in multilingual neural machine translation: The architecture matters
dc.creator.none.fl_str_mv Ruiz Costa-Jussà, Marta|||0000-0002-5703-520X
Escolano Peinado, Carlos|||0000-0001-6657-673X
Basta, Christine Raouf Saad
Ferrando Monsonís, Javier|||0000-0002-2637-0961
Batlle, Roser
Kharitonova, Ksenia
author Ruiz Costa-Jussà, Marta|||0000-0002-5703-520X
author_facet Ruiz Costa-Jussà, Marta|||0000-0002-5703-520X
Escolano Peinado, Carlos|||0000-0001-6657-673X
Basta, Christine Raouf Saad
Ferrando Monsonís, Javier|||0000-0002-2637-0961
Batlle, Roser
Kharitonova, Ksenia
author_role author
author2 Escolano Peinado, Carlos|||0000-0001-6657-673X
Basta, Christine Raouf Saad
Ferrando Monsonís, Javier|||0000-0002-2637-0961
Batlle, Roser
Kharitonova, Ksenia
author2_role author
author
author
author
author
dc.subject.none.fl_str_mv Sexism in language
Machine translating
Natural language processing (Computer science)
Sexisme en el llenguatge
Traducció automàtica
Tractament del llenguatge natural (Informàtica)
Àrees temàtiques de la UPC::Enginyeria de la telecomunicació::Processament del senyal::Processament de la parla i del senyal acústic
topic Sexism in language
Machine translating
Natural language processing (Computer science)
Sexisme en el llenguatge
Traducció automàtica
Tractament del llenguatge natural (Informàtica)
Àrees temàtiques de la UPC::Enginyeria de la telecomunicació::Processament del senyal::Processament de la parla i del senyal acústic
description Multilingual Neural Machine Translation architectures mainly differ in the amount of sharing modules and parameters among languages. In this paper, and from an algorithmic perspective, we explore if the chosen architecture, when trained with the same data, influences the gender bias accuracy. Experiments in four language pairs show that Language-Specific encoders-decoders exhibit less bias than the Shared encoder-decoder architecture. Further interpretability analysis of source embeddings and the attention shows that, in the LanguageSpecific case, the embeddings encode more gender information, and its attention is more diverted. Both behaviors help in mitigating gender bias.
publishDate 2020
dc.date.none.fl_str_mv 2020
2020-12-24
2021
2021-06-29
dc.type.none.fl_str_mv report
http://purl.org/coar/resource_type/c_93fc
AO
http://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.openaire.fl_str_mv info:eu-repo/semantics/report
format report
dc.identifier.none.fl_str_mv https://hdl.handle.net/2117/348079
url https://hdl.handle.net/2117/348079
dc.language.none.fl_str_mv Inglés
eng
language_invalid_str_mv Inglés
language eng
dc.relation.none.fl_str_mv European Commission http://doi.org/10.13039/100010661 Horizon 2020 Framework Programme 947657 Lifelong UNiversal lAnguage Representation
dc.rights.none.fl_str_mv open access
http://purl.org/coar/access_right/c_abf2
dc.rights.openaire.fl_str_mv info:eu-repo/semantics/openAccess
rights_invalid_str_mv open access
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:UPCommons. Portal del coneixement obert de la UPC
instname:Universitat Politècnica de Catalunya (UPC)
instname_str Universitat Politècnica de Catalunya (UPC)
reponame_str UPCommons. Portal del coneixement obert de la UPC
collection UPCommons. Portal del coneixement obert de la UPC
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869419148740657152
score 15.301603

Similares en LA Referencia