Incorporating prosody into neural speech processing pipelines: applications on automatic speech transcription and spoken language machine translation

In this dissertation, I study the inclusion of prosody into two applications that involve speech understanding:~automatic speech transcription and spoken language translation. In the former case, I propose a method that uses an attention mechanism over parallel sequences of prosodic and morphosyntac...

Full description

Bibliographic Details
Author: Öktem, Alp
Format: doctoral thesis
Status:Published version
Publication Date:2019
Country:España
Institution:CBUC, CESCA
Repository:TDR. Tesis Doctorales en Red
OAI Identifier:oai:www.tdx.cat:10803/666222
Online Access:http://hdl.handle.net/10803/666222
Access Level:Open access
Keyword:Prosody
Automatic speech transcription
Punctuation restoration
Spoken language machine translation
Bilingual spoken corpus
Prosòdia
Transcripció automàtica de la parla
Restauració de la puntuació
Traducció automàtica de llenguatge oral
Corpus bilingües
62
id ES_6a131cbe34d3ff1f6ea4fa6bd5ad7c20
oai_identifier_str oai:www.tdx.cat:10803/666222
network_acronym_str ES
network_name_str España
repository_id_str
spelling Incorporating prosody into neural speech processing pipelines: applications on automatic speech transcription and spoken language machine translationÖktem, AlpProsodyAutomatic speech transcriptionPunctuation restorationSpoken language machine translationBilingual spoken corpusProsòdiaTranscripció automàtica de la parlaRestauració de la puntuacióTraducció automàtica de llenguatge oralCorpus bilingües62In this dissertation, I study the inclusion of prosody into two applications that involve speech understanding:~automatic speech transcription and spoken language translation. In the former case, I propose a method that uses an attention mechanism over parallel sequences of prosodic and morphosyntactic features. Results indicate an $F_1$ score of 70.3\% in terms of overall punctuation generation accuracy. In the latter problem I deal with enhancing spoken language translation with prosody. A neural machine translation system trained with movie-domain data is adapted with pause features using a prosodically annotated bilingual dataset. Results show that prosodic punctuation generation as a preliminary step to translation increases translation accuracy by 1\% in terms of BLEU scores. Encoding pauses as an extra encoding feature gives an additional 1\% increase to this number. The system is further extended to jointly predict pause features in order to be used as an input to a text-to-speech system.En aquesta tesi estudio la inclusió de la prosòdia en dues aplicacions que involucren la comprensió de la parla:~la transcripció automàtica de la parla i la traducció de la llengua oral. En el primer cas, proposo un mètode que utilitza un mecanisme d’atenció sobre seqüències paral·leles de característiques prosòdiques i morfosintàctiques. Els resultats indiquen una precisió de $F_1$=70.3\% en la generació de la puntuació. En el segon cas m'ocupo de la millora de la traducció de la llengua oral utilitzant la prosòdia. Un sistema neural de traducció automàtica format amb un corpus de text en el domini del cinema s’adapta amb característiques de pauses afegides utilitzant un conjunt de dades bilingües prosòdicament anotada. Els resultats mostren que la generació de puntuació prosòdica com a pas previ a la traducció augmenta la precisió de la traducció en un 1\% en termes de BLEU. La codificació de les pauses com a característica addicional encara incrementa la precisió en un altre 1\%. A més a més, amplio el sistema de traducció per a predir conjuntament les característiques de pausa i poder-les utilitzar com a entrada en un sistema de síntesi de veu.Programa de doctorat en Tecnologies de la Informació i les ComunicacionsUniversitat Pompeu FabraFarrús, MireiaBonafonte Cávez, AntonioUniversitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions201920192019info:eu-repo/semantics/doctoralThesisinfo:eu-repo/semantics/publishedVersion139 p.application/pdfapplication/pdfhttp://hdl.handle.net/10803/666222TDX (Tesis Doctorals en Xarxa)reponame:TDR. Tesis Doctorales en Redinstname:CBUC, CESCAInglésL'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-sa/4.0/http://creativecommons.org/licenses/by-sa/4.0/info:eu-repo/semantics/openAccessoai:www.tdx.cat:10803/6662222026-06-14T12:46:07Z
dc.title.none.fl_str_mv Incorporating prosody into neural speech processing pipelines: applications on automatic speech transcription and spoken language machine translation
title Incorporating prosody into neural speech processing pipelines: applications on automatic speech transcription and spoken language machine translation
spellingShingle Incorporating prosody into neural speech processing pipelines: applications on automatic speech transcription and spoken language machine translation
Öktem, Alp
Prosody
Automatic speech transcription
Punctuation restoration
Spoken language machine translation
Bilingual spoken corpus
Prosòdia
Transcripció automàtica de la parla
Restauració de la puntuació
Traducció automàtica de llenguatge oral
Corpus bilingües
62
title_short Incorporating prosody into neural speech processing pipelines: applications on automatic speech transcription and spoken language machine translation
title_full Incorporating prosody into neural speech processing pipelines: applications on automatic speech transcription and spoken language machine translation
title_fullStr Incorporating prosody into neural speech processing pipelines: applications on automatic speech transcription and spoken language machine translation
title_full_unstemmed Incorporating prosody into neural speech processing pipelines: applications on automatic speech transcription and spoken language machine translation
title_sort Incorporating prosody into neural speech processing pipelines: applications on automatic speech transcription and spoken language machine translation
dc.creator.none.fl_str_mv Öktem, Alp
author Öktem, Alp
author_facet Öktem, Alp
author_role author
dc.contributor.none.fl_str_mv Farrús, Mireia
Bonafonte Cávez, Antonio
Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
dc.subject.none.fl_str_mv Prosody
Automatic speech transcription
Punctuation restoration
Spoken language machine translation
Bilingual spoken corpus
Prosòdia
Transcripció automàtica de la parla
Restauració de la puntuació
Traducció automàtica de llenguatge oral
Corpus bilingües
62
topic Prosody
Automatic speech transcription
Punctuation restoration
Spoken language machine translation
Bilingual spoken corpus
Prosòdia
Transcripció automàtica de la parla
Restauració de la puntuació
Traducció automàtica de llenguatge oral
Corpus bilingües
62
description In this dissertation, I study the inclusion of prosody into two applications that involve speech understanding:~automatic speech transcription and spoken language translation. In the former case, I propose a method that uses an attention mechanism over parallel sequences of prosodic and morphosyntactic features. Results indicate an $F_1$ score of 70.3\% in terms of overall punctuation generation accuracy. In the latter problem I deal with enhancing spoken language translation with prosody. A neural machine translation system trained with movie-domain data is adapted with pause features using a prosodically annotated bilingual dataset. Results show that prosodic punctuation generation as a preliminary step to translation increases translation accuracy by 1\% in terms of BLEU scores. Encoding pauses as an extra encoding feature gives an additional 1\% increase to this number. The system is further extended to jointly predict pause features in order to be used as an input to a text-to-speech system.
publishDate 2019
dc.date.none.fl_str_mv 2019
2019
2019
dc.type.none.fl_str_mv info:eu-repo/semantics/doctoralThesis
info:eu-repo/semantics/publishedVersion
format doctoralThesis
status_str publishedVersion
dc.identifier.none.fl_str_mv http://hdl.handle.net/10803/666222
url http://hdl.handle.net/10803/666222
dc.language.none.fl_str_mv Inglés
language_invalid_str_mv Inglés
dc.rights.none.fl_str_mv http://creativecommons.org/licenses/by-sa/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-sa/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 139 p.
application/pdf
application/pdf
dc.publisher.none.fl_str_mv Universitat Pompeu Fabra
publisher.none.fl_str_mv Universitat Pompeu Fabra
dc.source.none.fl_str_mv TDX (Tesis Doctorals en Xarxa)
reponame:TDR. Tesis Doctorales en Red
instname:CBUC, CESCA
instname_str CBUC, CESCA
reponame_str TDR. Tesis Doctorales en Red
collection TDR. Tesis Doctorales en Red
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869410074938572800
score 15.300719

Similar Items