Geometric Computer Vision Techniques for Scene Reconstruction
Des dels inicis de la Visió per Computador, la reconstrucció d’escenes ha estat un dels temes més estudiats que ha portat a una àmplia varietat de nous descobriments i aplicacions. La manipulació d’objectes, la localització i mapeig, o fins i tot la generació d’efectes visuals són diferents exemples...
| Autor: | |
|---|---|
| Formato: | tesis doctoral |
| Estado: | Versión publicada |
| Fecha de publicación: | 2021 |
| País: | España |
| Recursos: | CBUC, CESCA |
| Repositorio: | TDR. Tesis Doctorales en Red |
| OAI Identifier: | oai:www.tdx.cat:10803/671624 |
| Acesso em linha: | http://hdl.handle.net/10803/671624 |
| Access Level: | acceso abierto |
| Palavra-chave: | Visió per computador Visión por computador Computer vision Tecnologies 004 |
| id |
ES_6da89dffcc671cc35cd20593c0103a55 |
|---|---|
| oai_identifier_str |
oai:www.tdx.cat:10803/671624 |
| network_acronym_str |
ES |
| network_name_str |
España |
| repository_id_str |
|
| dc.title.none.fl_str_mv |
Geometric Computer Vision Techniques for Scene Reconstruction |
| title |
Geometric Computer Vision Techniques for Scene Reconstruction |
| spellingShingle |
Geometric Computer Vision Techniques for Scene Reconstruction Riba Pi, Edgar Visió per computador Visión por computador Computer vision Tecnologies 004 |
| title_short |
Geometric Computer Vision Techniques for Scene Reconstruction |
| title_full |
Geometric Computer Vision Techniques for Scene Reconstruction |
| title_fullStr |
Geometric Computer Vision Techniques for Scene Reconstruction |
| title_full_unstemmed |
Geometric Computer Vision Techniques for Scene Reconstruction |
| title_sort |
Geometric Computer Vision Techniques for Scene Reconstruction |
| dc.creator.none.fl_str_mv |
Riba Pi, Edgar |
| author |
Riba Pi, Edgar |
| author_facet |
Riba Pi, Edgar |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Ponsa Mussarra, Daniel |
| dc.subject.none.fl_str_mv |
Visió per computador Visión por computador Computer vision Tecnologies 004 |
| topic |
Visió per computador Visión por computador Computer vision Tecnologies 004 |
| description |
Des dels inicis de la Visió per Computador, la reconstrucció d’escenes ha estat un dels temes més estudiats que ha portat a una àmplia varietat de nous descobriments i aplicacions. La manipulació d’objectes, la localització i mapeig, o fins i tot la generació d’efectes visuals són diferents exemples d’aplicacions en les que la reconstrucció d’escenes ha pres un paper important per a indústries com la robòtica, l’automatització de fàbriques o la producció audiovisual. No obstant això, la reconstrucció d’escenes és un tema extens que es pot abordar de moltes formes diferents amb solucions ja existents que funcionen de manera efectiva en entorns controlats. Formalment, el problema de la reconstrucció d’escenes pot formular-se com una seqüència de processos independents. En aquesta tesi, analitzem algunes parts de la seqüència de reconstrucció a partir de les quals contribuïm amb nous mètodes que fan servir Convolutional Neural Networks (CNN), proposant solucions innovadores que consideren l’optimització dels mètodes de forma conjunta. En primer lloc, revisem l’estat de l’art dels detectors i descriptors de característiques local clàssiques i contribuïm amb dos mètodes nous que milloren intrínsecament les solucions preexistents al problema de reconstrucció d’escenes. És un fet que la informàtica i l’enginyeria del software són dos camps que solen anar de la mà i evolucionen segons necessitats mútues facilitant el disseny d’algoritmes complexos i eficients. Per aquesta raó, contribuïm amb Kornia, un llibreria dissenyada específicament per treballar amb tècniques clàssiques de visió per computador conjuntament amb xarxes neuronals profundes. En essència, hem creat un marc que facilita el disseny de processos complexes per algoritmes de visió per computador perquè es puguin incloure dins les xarxes neuronals i usar-se per propagar gradients dins d’un marc d’optimització comú. Finalment, en l’últim capítol d’aquesta tesi desenvolupem el concepte abans esmentat de dissenyar sistemes de forma conjunta amb geometria projectiva clàssica. Per tant, proposem una solució a el problema de la generació de vistes sintètiques mitjançant l’al·lucinació de vistes noves d’objectes altament deformables utilitzant un sistema conjunt amb la geometria de l’escena. En resum, en aquesta tesi demostrem que amb un disseny adequat que combini els mètodes clàssics de visió geomètrica per computador amb tècniques d’aprenentatge profund pot conduir a la millora de solucions per al problema de la reconstrucció d’escenes. |
| publishDate |
2021 |
| dc.date.none.fl_str_mv |
2021 2021 2021 |
| dc.type.none.fl_str_mv |
info:eu-repo/semantics/doctoralThesis info:eu-repo/semantics/publishedVersion |
| format |
doctoralThesis |
| status_str |
publishedVersion |
| dc.identifier.none.fl_str_mv |
http://hdl.handle.net/10803/671624 |
| url |
http://hdl.handle.net/10803/671624 |
| dc.language.none.fl_str_mv |
Inglés |
| language_invalid_str_mv |
Inglés |
| dc.rights.none.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/4.0/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/4.0/ |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
132 p. application/pdf application/pdf |
| dc.publisher.none.fl_str_mv |
Universitat Autònoma de Barcelona |
| publisher.none.fl_str_mv |
Universitat Autònoma de Barcelona |
| dc.source.none.fl_str_mv |
TDX (Tesis Doctorals en Xarxa) reponame:TDR. Tesis Doctorales en Red instname:CBUC, CESCA |
| instname_str |
CBUC, CESCA |
| reponame_str |
TDR. Tesis Doctorales en Red |
| collection |
TDR. Tesis Doctorales en Red |
| repository.name.fl_str_mv |
|
| repository.mail.fl_str_mv |
|
| _version_ |
1869410368126713856 |
| spelling |
Geometric Computer Vision Techniques for Scene ReconstructionRiba Pi, EdgarVisió per computadorVisión por computadorComputer visionTecnologies004Des dels inicis de la Visió per Computador, la reconstrucció d’escenes ha estat un dels temes més estudiats que ha portat a una àmplia varietat de nous descobriments i aplicacions. La manipulació d’objectes, la localització i mapeig, o fins i tot la generació d’efectes visuals són diferents exemples d’aplicacions en les que la reconstrucció d’escenes ha pres un paper important per a indústries com la robòtica, l’automatització de fàbriques o la producció audiovisual. No obstant això, la reconstrucció d’escenes és un tema extens que es pot abordar de moltes formes diferents amb solucions ja existents que funcionen de manera efectiva en entorns controlats. Formalment, el problema de la reconstrucció d’escenes pot formular-se com una seqüència de processos independents. En aquesta tesi, analitzem algunes parts de la seqüència de reconstrucció a partir de les quals contribuïm amb nous mètodes que fan servir Convolutional Neural Networks (CNN), proposant solucions innovadores que consideren l’optimització dels mètodes de forma conjunta. En primer lloc, revisem l’estat de l’art dels detectors i descriptors de característiques local clàssiques i contribuïm amb dos mètodes nous que milloren intrínsecament les solucions preexistents al problema de reconstrucció d’escenes. És un fet que la informàtica i l’enginyeria del software són dos camps que solen anar de la mà i evolucionen segons necessitats mútues facilitant el disseny d’algoritmes complexos i eficients. Per aquesta raó, contribuïm amb Kornia, un llibreria dissenyada específicament per treballar amb tècniques clàssiques de visió per computador conjuntament amb xarxes neuronals profundes. En essència, hem creat un marc que facilita el disseny de processos complexes per algoritmes de visió per computador perquè es puguin incloure dins les xarxes neuronals i usar-se per propagar gradients dins d’un marc d’optimització comú. Finalment, en l’últim capítol d’aquesta tesi desenvolupem el concepte abans esmentat de dissenyar sistemes de forma conjunta amb geometria projectiva clàssica. Per tant, proposem una solució a el problema de la generació de vistes sintètiques mitjançant l’al·lucinació de vistes noves d’objectes altament deformables utilitzant un sistema conjunt amb la geometria de l’escena. En resum, en aquesta tesi demostrem que amb un disseny adequat que combini els mètodes clàssics de visió geomètrica per computador amb tècniques d’aprenentatge profund pot conduir a la millora de solucions per al problema de la reconstrucció d’escenes.Desde los inicios de la Visión por Computador, la reconstrucción de escenas ha sido uno de los temas más estudiados que ha llevado a una amplia variedad de nuevos descubrimientos y aplicaciones. La manipulación de objetos, la localización y mapeo, o incluso la generación de efectos visuales son diferentes ejemplos de aplicaciones en las que la reconstrucción de escenas ha tomado un papel importante para industrias como la robótica, la automatización de fábricas o la producción audiovisual. Sin embargo, la reconstrucción de escenas es un tema extenso que se puede abordar de muchas formas diferentes con soluciones ya existentes que funcionan de manera efectiva en entornos controlados. Formalmente, el problema de la reconstrucción de escenas puede formularse como una secuencia de procesos independientes. En esta tesis, analizamos algunas partes del pipeline de reconstrucción a partir de las cuales contribuimos con métodos novedosos utilizando Redes Neuronales Convolucionales (CNN) proponiendo soluciones innovadoras que consideran la optimización de los métodos de forma end-to-end. En primer lugar, revisamos el estado del arte de los detectores y descriptores de características locales clásicas y contribuimos con dos métodos novedosos que mejoran las soluciones preexistentes en el problema de reconstrucción de escenas. Es un hecho que la informática y la ingeniería de software son dos campos que suelen ir de la mano y evolucionan según necesidades mutuas facilitando el diseño de algoritmos complejos y eficientes. Por esta razón, contribuimos con Kornia, una libreria diseñada específicamente para trabajar con técnicas clásicas de visión por computadora conjuntamente con redes neuronales profundas. En esencia, creamos un marco que facilita el diseño de procesos complejos para algoritmos de visión por computadora para que puedan incluirse dentro de las redes neuronales y usarse para propagar gradientes dentro de un marco de optimización común. Finalmente, en el último capítulo de esta tesis desarrollamos el concepto antes mencionado de diseñar sistemas de forma conjunta con geometría proyectiva clásica. Por lo tanto, proponemos una solución al problema de la generación de vistas sintéticas mediante la alucinación de vistas novedosas de objetos altamente deformables utilizando un sistema conjunto con la geometría de la escena. En resumen, en esta tesis demostramos que con un diseño adecuado que combine los métodos clásicos de visión geométrica por computador con técnicas de aprendizaje profundo puede conducir a mejores soluciones para el problema de la reconstrucción de escenas.From the early stages of Computer Vision, scene reconstruction has been one of the most studied topics leading to a wide variety of new discoveries and applications. Object grasping and manipulation, localization and mapping, or even visual effect generation are different examples of applications in which scene reconstruction has taken an important role for industries such as robotics, factory automation, or audio visual production. However, scene reconstruction is an extensive topic that can be approached in many different ways with already existing solutions that effectively work in controlled environments. Formally, the problem of scene reconstruction can be formulated as a sequence of independent processes which compose a pipeline. In this thesis, we analyse some parts of the reconstruction pipeline from which we contribute with novel methods using Convolutional Neural Networks (CNN) proposing innovative solutions that consider the optimisation of the methods in an end-to-end fashion. First, we review the state of the art of classical local features detectors and descriptors and contribute with two novel methods that inherently improve pre-existing solutions in the scene reconstruction pipeline. It is a fact that computer science and software engineering are two fields that usually go hand in hand and evolve according to mutual needs making easier the design of complex and efficient algorithms. For this reason, we contribute with Kornia, a library specifically designed to work with classical computer vision techniques along with deep neural networks. In essence, we created a framework that eases the design of complex pipelines for computer vision algorithms so that can be included within neural networks and be used to backpropagate gradients throw a common optimisation framework. Finally, in the last chapter of this thesis we develop the aforementioned concept of designing end-to-end systems with classical projective geometry. Thus, we contribute with a solution to the problem of synthetic view generation by hallucinating novel views from high deformable cloths objects using a geometry aware end-to-end system. To summarize, in this thesis we demonstrate that with a proper design that combine classical geometric computer vision methods with deep learning techniques can lead to improve pre-existing solutions for the problem of scene reconstruction.Universitat Autònoma de Barcelona. Programa de Doctorat en InformàticaUniversitat Autònoma de BarcelonaPonsa Mussarra, Daniel202120212021info:eu-repo/semantics/doctoralThesisinfo:eu-repo/semantics/publishedVersion132 p.application/pdfapplication/pdfhttp://hdl.handle.net/10803/671624TDX (Tesis Doctorals en Xarxa)reponame:TDR. Tesis Doctorales en Redinstname:CBUC, CESCAInglésL'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-nd/4.0/http://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessoai:www.tdx.cat:10803/6716242026-06-14T12:46:07Z |
| score |
15,300719 |