Indoor Scene Understanding using Non-Conventional Cameras

Los seres humanos comprendemos los entornos que nos rodean sin esfuerzo y bajo una amplia variedad de condiciones, lo cual es debido principalmente a nuestra percepción visual. Desarrollar algoritmos de Computer Vision que logren una comprensión visual similar es muy deseable, para permitir que las...

ver descrição completa

Detalhes bibliográficos
Autores: Fernández Labrador, Clara, Guerrero Campo, José Jesús, Demonceaux, Cédric
Formato: tesis de maestría
Estado:Versión publicada
Fecha de publicación:2020
País:España
Recursos:Universidad de Zaragoza
Repositorio:Zaguán. Repositorio Digital de la Universidad de Zaragoza
OAI Identifier:oai:zaguan.unizar.es:100733
Acesso em linha:http://zaguan.unizar.es/record/100733
Access Level:acceso abierto
Palavra-chave:vision artificial
id ES_8732432b8a3312eae2e3e4ac8f887fe8
oai_identifier_str oai:zaguan.unizar.es:100733
network_acronym_str ES
network_name_str España
repository_id_str
spelling Indoor Scene Understanding using Non-Conventional CamerasFernández Labrador, ClaraGuerrero Campo, José JesúsDemonceaux, Cédricvision artificialLos seres humanos comprendemos los entornos que nos rodean sin esfuerzo y bajo una amplia variedad de condiciones, lo cual es debido principalmente a nuestra percepción visual. Desarrollar algoritmos de Computer Vision que logren una comprensión visual similar es muy deseable, para permitir que las máquinas puedan realizar tareas complejas e interactuar con el mundo real, con el principal objectivo de ayudar y entretener a los seres humanos. <br />En esta tesis, estamos especialmente interesados en los problemas que surgen durante la búsqueda de la comprensión visual de espacios interiores, ya que es dónde los seres humanos pasamos la mayor parte de nuestro tiempo, así como en la búsqueda del sensor más adecuado para logar dicha comprensión. Con respecto a los sensores, en este trabajo proponemos utilizar cámaras no convencionales, en concreto imágenes panorámicas y sensores 3D. Con respecto a la comprensión de interiores, nos centramos en tres aspectos clave: estimación del diseño 3D de la escena (distribución de paredes, techo y suelo); detección, localización y segmentación de objetos; y modelado de objetos por categoría, para los que se proporcionan soluciones novedosas y eficientes. El enfoque de la tesis se centra en los siguientes desafíos subyacentes. <br />En primer lugar, investigamos métodos de reconstrucción 3D de habitaciones a partir de una única imagen de 360, utilizado para lograr el nivel más alto de modelado y comprensión de la escena. Para ello combinamos ideas tradicionales, como la asunción del mundo Manhattan por la cual la escena se puede definir en base a tres direcciones principales ortogonales entre si, con técnicas de aprendizaje profundo, que nos permiten estimar probabilidades en la imagen a nivel de pixel para detectar los elementos estructurales de la habitación. Los modelos propuestos nos permiten estimar correctamente incluso partes de la habitación no visibles en la imágen, logrando reconstrucciones fieles a la realidad y generalizando por tanto a modelos de escena más complejos. Al mismo tiempo, se proponen nuevos métodos para trabajar con imágenes panorámicas, destacando la propuesta de una convolución especial que deforma el kernel para compensar las distorsiones de la proyección equirrectangular propia de dichas imágenes.<br />En segundo lugar, considerando la importancia del contexto para la comprensión de la escena, estudiamos el problema de la localización y segmentación de objetos, adaptando el problema para aprovechar todo el potencial de las imágenes de $360^\circ$. También aprovechamos la interacción escena-objetos para elevar las detecciones 2D en la imagen de los objetos al modelo 3D de la habitación.<br />La última línea de trabajo de esta tesis se centra en el análisis de la forma de los objetos directamente en 3D, trabajando con nubes de puntos. Para ello proponemos utilizar un modelado explícito de la deformación de los objetos e incluir una noción de la simetría de estos para aprender, de manera no supervisada, puntos clave de la geometría de los objetos que sean representativos de los mismos. Dichos puntos estan en correspondencia, tanto geométrica como semántica, entre todos los objetos de una misma categoría.<br />Nuestros modelos avanzan el estado del arte en las tareas antes mencionadas, siendo evaluados cada uno de ellos en varios datasets y en los benchmarks correspondientes.<br /><br />Universidad de Zaragoza, Prensas de la Universidad2020info:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/publishedVersionapplication/pdfhttp://zaguan.unizar.es/record/100733reponame:Zaguán. Repositorio Digital de la Universidad de Zaragozainstname:Universidad de ZaragozaEspañolhttp://creativecommons.org/licenses/by-nc-nd/3.0/esinfo:eu-repo/semantics/openAccessoai:zaguan.unizar.es:1007332026-05-29T13:59:51Z
dc.title.none.fl_str_mv Indoor Scene Understanding using Non-Conventional Cameras
title Indoor Scene Understanding using Non-Conventional Cameras
spellingShingle Indoor Scene Understanding using Non-Conventional Cameras
Fernández Labrador, Clara
vision artificial
title_short Indoor Scene Understanding using Non-Conventional Cameras
title_full Indoor Scene Understanding using Non-Conventional Cameras
title_fullStr Indoor Scene Understanding using Non-Conventional Cameras
title_full_unstemmed Indoor Scene Understanding using Non-Conventional Cameras
title_sort Indoor Scene Understanding using Non-Conventional Cameras
dc.creator.none.fl_str_mv Fernández Labrador, Clara
Guerrero Campo, José Jesús
Demonceaux, Cédric
author Fernández Labrador, Clara
author_facet Fernández Labrador, Clara
Guerrero Campo, José Jesús
Demonceaux, Cédric
author_role author
author2 Guerrero Campo, José Jesús
Demonceaux, Cédric
author2_role author
author
dc.subject.none.fl_str_mv vision artificial
topic vision artificial
description Los seres humanos comprendemos los entornos que nos rodean sin esfuerzo y bajo una amplia variedad de condiciones, lo cual es debido principalmente a nuestra percepción visual. Desarrollar algoritmos de Computer Vision que logren una comprensión visual similar es muy deseable, para permitir que las máquinas puedan realizar tareas complejas e interactuar con el mundo real, con el principal objectivo de ayudar y entretener a los seres humanos. <br />En esta tesis, estamos especialmente interesados en los problemas que surgen durante la búsqueda de la comprensión visual de espacios interiores, ya que es dónde los seres humanos pasamos la mayor parte de nuestro tiempo, así como en la búsqueda del sensor más adecuado para logar dicha comprensión. Con respecto a los sensores, en este trabajo proponemos utilizar cámaras no convencionales, en concreto imágenes panorámicas y sensores 3D. Con respecto a la comprensión de interiores, nos centramos en tres aspectos clave: estimación del diseño 3D de la escena (distribución de paredes, techo y suelo); detección, localización y segmentación de objetos; y modelado de objetos por categoría, para los que se proporcionan soluciones novedosas y eficientes. El enfoque de la tesis se centra en los siguientes desafíos subyacentes. <br />En primer lugar, investigamos métodos de reconstrucción 3D de habitaciones a partir de una única imagen de 360, utilizado para lograr el nivel más alto de modelado y comprensión de la escena. Para ello combinamos ideas tradicionales, como la asunción del mundo Manhattan por la cual la escena se puede definir en base a tres direcciones principales ortogonales entre si, con técnicas de aprendizaje profundo, que nos permiten estimar probabilidades en la imagen a nivel de pixel para detectar los elementos estructurales de la habitación. Los modelos propuestos nos permiten estimar correctamente incluso partes de la habitación no visibles en la imágen, logrando reconstrucciones fieles a la realidad y generalizando por tanto a modelos de escena más complejos. Al mismo tiempo, se proponen nuevos métodos para trabajar con imágenes panorámicas, destacando la propuesta de una convolución especial que deforma el kernel para compensar las distorsiones de la proyección equirrectangular propia de dichas imágenes.<br />En segundo lugar, considerando la importancia del contexto para la comprensión de la escena, estudiamos el problema de la localización y segmentación de objetos, adaptando el problema para aprovechar todo el potencial de las imágenes de $360^\circ$. También aprovechamos la interacción escena-objetos para elevar las detecciones 2D en la imagen de los objetos al modelo 3D de la habitación.<br />La última línea de trabajo de esta tesis se centra en el análisis de la forma de los objetos directamente en 3D, trabajando con nubes de puntos. Para ello proponemos utilizar un modelado explícito de la deformación de los objetos e incluir una noción de la simetría de estos para aprender, de manera no supervisada, puntos clave de la geometría de los objetos que sean representativos de los mismos. Dichos puntos estan en correspondencia, tanto geométrica como semántica, entre todos los objetos de una misma categoría.<br />Nuestros modelos avanzan el estado del arte en las tareas antes mencionadas, siendo evaluados cada uno de ellos en varios datasets y en los benchmarks correspondientes.<br />
publishDate 2020
dc.date.none.fl_str_mv 2020
dc.type.none.fl_str_mv info:eu-repo/semantics/masterThesis
info:eu-repo/semantics/publishedVersion
format masterThesis
status_str publishedVersion
dc.identifier.none.fl_str_mv http://zaguan.unizar.es/record/100733
url http://zaguan.unizar.es/record/100733
dc.language.none.fl_str_mv Español
language_invalid_str_mv Español
dc.rights.none.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/es
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/es
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidad de Zaragoza, Prensas de la Universidad
publisher.none.fl_str_mv Universidad de Zaragoza, Prensas de la Universidad
dc.source.none.fl_str_mv reponame:Zaguán. Repositorio Digital de la Universidad de Zaragoza
instname:Universidad de Zaragoza
instname_str Universidad de Zaragoza
reponame_str Zaguán. Repositorio Digital de la Universidad de Zaragoza
collection Zaguán. Repositorio Digital de la Universidad de Zaragoza
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869412428892078080
score 15,301603

Registos relacionados