Descripción automática de imágenes

[ES] El propósito de este Trabajo es el estudio, implementación, y desarrollo de sistemas, basados en Deep Learning, orientados a la generación automática de descripciones de imágenes o Image Captioning. Este campo aúna las áreas del Procesamiento del Lenguaje Natural (PLN), y de la Visión por Compu...

Descripción completa

Detalles Bibliográficos
Autor: Pallarés-Font de Mora, Pablo|||0000-0002-0120-3251
Tipo de recurso: tesis de maestría
Fecha de publicación:2021
País:España
Institución:Universitat Politècnica de València (UPV)
Repositorio:RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Idioma:español
OAI Identifier:oai:riunet.upv.es:10251/175035
Acceso en línea:https://riunet.upv.es/handle/10251/175035
Access Level:acceso abierto
Palabra clave:Visión por computador
Descripción de imágenes
Arquitectura codificador-decodificador
Procesamiento del lenguaje natural
Aprendizaje automático.
Image captioning
Natural language processing
Computer vision
Machine learning
Encoder-decoder architecture
LENGUAJES Y SISTEMAS INFORMATICOS
Máster Universitario en Inteligencia Artificial, Reconocimiento de Formas e Imagen Digital-Màster Universitari en Intel·ligència Artificial, Reconeixement de Formes i Imatge Digital
id ES_70e11c86ac93430e526deca7e8ea6521
oai_identifier_str oai:riunet.upv.es:10251/175035
network_acronym_str ES
network_name_str España
repository_id_str
spelling Descripción automática de imágenesPallarés-Font de Mora, Pablo|||0000-0002-0120-3251Visión por computadorDescripción de imágenesArquitectura codificador-decodificadorProcesamiento del lenguaje naturalAprendizaje automático.Image captioningNatural language processingComputer visionMachine learningEncoder-decoder architectureLENGUAJES Y SISTEMAS INFORMATICOSMáster Universitario en Inteligencia Artificial, Reconocimiento de Formas e Imagen Digital-Màster Universitari en Intel·ligència Artificial, Reconeixement de Formes i Imatge Digital[ES] El propósito de este Trabajo es el estudio, implementación, y desarrollo de sistemas, basados en Deep Learning, orientados a la generación automática de descripciones de imágenes o Image Captioning. Este campo aúna las áreas del Procesamiento del Lenguaje Natural (PLN), y de la Visión por Computador (VPC). Antes proceder a la implementación, se ha realizado un análisis de los diferentes enfoques utilizados para abordar esta tarea, los corpus disponibles formato: [Imagen - Caption/s], y las arquitecturas o modelos utilizados. Tras este análisis, se ha optado, inicialmente, por abordarlo desde el enfoque más usual: basado en modelos del lenguaje, con una arquitectura Codificador-Decodificador. Para ello, se realiza una codificación de: las descripciones (captions) a un espacio vectorial de Embeddings Word2Vec, por una parte, y, por otra, las imágenes haciendo uso redes convolucionales CNN. Con esta información codificada, el Decodificador es el encargado de aprender un Modelo del Lenguaje con redes neuronales recurrentes RNN capaz de Generar descripciones. Las diferentes implementaciones de este trabajo se han realizado bajo la plataforma de software Python, empleando la biblioteca de código abierto TensorFlow, orientada al entrenamiento de modelos de Aprendizaje automático, y el framework de alto nivel para el aprendizaje, Keras.[EN] The purpose of this work is the study, implementation, and development of Deep Learning systems, oriented to Image Captioning. This field combines the areas of Natural Language Processing (NLP) and Computer Vision (CV). Before proceeding to the implementation, an analysis of the different approaches used to tackle this task has been carried out, the available corpora with format: [Image - Caption/s], and the architectures or models used. After this analysis, it has been chosen, initially, to approach it from the most usual approach: based on language models, with an Encoder-Decoder architecture. For this purpose, the descriptions (captions) are encoded in a vector space of Word2Vec Embeddings on the one hand, and on the other hand, the images using CNN convolutional networks. With this encoded information, the Decoder is in charge of learning a Language Model with Recurrent Neural Network RNN capable of generating descriptions. The different implementations of this work have been carried out under the Python software platform, using the open-source library TensorFlow, oriented to the training of Machine Learning models, and the high-level framework for learning, Keras.Universitat Politècnica de ValènciaCasacuberta Nolla, FranciscoParedes Palacios, RobertoDepartamento de Informática de Sistemas y ComputadoresDepartamento de Sistemas Informáticos y ComputaciónEscuela Técnica Superior de Ingeniería InformáticaGrupo de Arquitecturas ParalelasCentro de Investigación Pattern Recognition and Human Language TechnologyRepositorio Institucional de la Universitat Politècnica de València Riunet20212021-10-2020212021-09-23master thesishttp://purl.org/coar/resource_type/c_bdccinfo:eu-repo/semantics/masterThesisapplication/pdfhttps://riunet.upv.es/handle/10251/175035reponame:RiuNet. Repositorio Institucional de la Universitat Politécnica de Valénciainstname:Universitat Politècnica de València (UPV)Españolspaopen accesshttp://purl.org/coar/access_right/c_abf2Reconocimiento (by)http://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessoai:riunet.upv.es:10251/1750352026-06-13T07:49:27Z
dc.title.none.fl_str_mv Descripción automática de imágenes
title Descripción automática de imágenes
spellingShingle Descripción automática de imágenes
Pallarés-Font de Mora, Pablo|||0000-0002-0120-3251
Visión por computador
Descripción de imágenes
Arquitectura codificador-decodificador
Procesamiento del lenguaje natural
Aprendizaje automático.
Image captioning
Natural language processing
Computer vision
Machine learning
Encoder-decoder architecture
LENGUAJES Y SISTEMAS INFORMATICOS
Máster Universitario en Inteligencia Artificial, Reconocimiento de Formas e Imagen Digital-Màster Universitari en Intel·ligència Artificial, Reconeixement de Formes i Imatge Digital
title_short Descripción automática de imágenes
title_full Descripción automática de imágenes
title_fullStr Descripción automática de imágenes
title_full_unstemmed Descripción automática de imágenes
title_sort Descripción automática de imágenes
dc.creator.none.fl_str_mv Pallarés-Font de Mora, Pablo|||0000-0002-0120-3251
author Pallarés-Font de Mora, Pablo|||0000-0002-0120-3251
author_facet Pallarés-Font de Mora, Pablo|||0000-0002-0120-3251
author_role author
dc.contributor.none.fl_str_mv Casacuberta Nolla, Francisco
Paredes Palacios, Roberto
Departamento de Informática de Sistemas y Computadores
Departamento de Sistemas Informáticos y Computación
Escuela Técnica Superior de Ingeniería Informática
Grupo de Arquitecturas Paralelas
Centro de Investigación Pattern Recognition and Human Language Technology
Repositorio Institucional de la Universitat Politècnica de València Riunet
dc.subject.none.fl_str_mv Visión por computador
Descripción de imágenes
Arquitectura codificador-decodificador
Procesamiento del lenguaje natural
Aprendizaje automático.
Image captioning
Natural language processing
Computer vision
Machine learning
Encoder-decoder architecture
LENGUAJES Y SISTEMAS INFORMATICOS
Máster Universitario en Inteligencia Artificial, Reconocimiento de Formas e Imagen Digital-Màster Universitari en Intel·ligència Artificial, Reconeixement de Formes i Imatge Digital
topic Visión por computador
Descripción de imágenes
Arquitectura codificador-decodificador
Procesamiento del lenguaje natural
Aprendizaje automático.
Image captioning
Natural language processing
Computer vision
Machine learning
Encoder-decoder architecture
LENGUAJES Y SISTEMAS INFORMATICOS
Máster Universitario en Inteligencia Artificial, Reconocimiento de Formas e Imagen Digital-Màster Universitari en Intel·ligència Artificial, Reconeixement de Formes i Imatge Digital
description [ES] El propósito de este Trabajo es el estudio, implementación, y desarrollo de sistemas, basados en Deep Learning, orientados a la generación automática de descripciones de imágenes o Image Captioning. Este campo aúna las áreas del Procesamiento del Lenguaje Natural (PLN), y de la Visión por Computador (VPC). Antes proceder a la implementación, se ha realizado un análisis de los diferentes enfoques utilizados para abordar esta tarea, los corpus disponibles formato: [Imagen - Caption/s], y las arquitecturas o modelos utilizados. Tras este análisis, se ha optado, inicialmente, por abordarlo desde el enfoque más usual: basado en modelos del lenguaje, con una arquitectura Codificador-Decodificador. Para ello, se realiza una codificación de: las descripciones (captions) a un espacio vectorial de Embeddings Word2Vec, por una parte, y, por otra, las imágenes haciendo uso redes convolucionales CNN. Con esta información codificada, el Decodificador es el encargado de aprender un Modelo del Lenguaje con redes neuronales recurrentes RNN capaz de Generar descripciones. Las diferentes implementaciones de este trabajo se han realizado bajo la plataforma de software Python, empleando la biblioteca de código abierto TensorFlow, orientada al entrenamiento de modelos de Aprendizaje automático, y el framework de alto nivel para el aprendizaje, Keras.
publishDate 2021
dc.date.none.fl_str_mv 2021
2021-10-20
2021
2021-09-23
dc.type.none.fl_str_mv master thesis
http://purl.org/coar/resource_type/c_bdcc
dc.type.openaire.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
dc.identifier.none.fl_str_mv https://riunet.upv.es/handle/10251/175035
url https://riunet.upv.es/handle/10251/175035
dc.language.none.fl_str_mv Español
spa
language_invalid_str_mv Español
language spa
dc.rights.none.fl_str_mv open access
http://purl.org/coar/access_right/c_abf2
Reconocimiento (by)
http://creativecommons.org/licenses/by/4.0/
dc.rights.openaire.fl_str_mv info:eu-repo/semantics/openAccess
rights_invalid_str_mv open access
http://purl.org/coar/access_right/c_abf2
Reconocimiento (by)
http://creativecommons.org/licenses/by/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universitat Politècnica de València
publisher.none.fl_str_mv Universitat Politècnica de València
dc.source.none.fl_str_mv reponame:RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
instname:Universitat Politècnica de València (UPV)
instname_str Universitat Politècnica de València (UPV)
reponame_str RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
collection RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869410612551876608
score 15,300719

Similares en LA Referencia