Non-Rigid Monocular SLAM Inside the Human Body

El auge de la inteligencia artificial está acelerando rápidamente la automatización de muchas tareas a través de robots autónomos. Las técnicas de Localización y Mapeo Simultáneo (SLAM) son clave para dotar a los robots de la capacidad de crear mapas de su entorno y localizarse utilizando sensores i...

ver descrição completa

Detalhes bibliográficos
Autores: Gómez Rodríguez, Juan José, Tardos Solano, Juan Domingo
Formato: tesis de maestría
Estado:Versión publicada
Fecha de publicación:2023
País:España
Recursos:Universidad de Zaragoza
Repositorio:Zaguán. Repositorio Digital de la Universidad de Zaragoza
OAI Identifier:oai:zaguan.unizar.es:133189
Acesso em linha:http://zaguan.unizar.es/record/133189
Access Level:acceso abierto
Palavra-chave:robótica
visión artificial
inteligencia artificial
id ES_454a3c2e1f779f5a2d006cd2daea5874
oai_identifier_str oai:zaguan.unizar.es:133189
network_acronym_str ES
network_name_str España
repository_id_str
dc.title.none.fl_str_mv Non-Rigid Monocular SLAM Inside the Human Body
title Non-Rigid Monocular SLAM Inside the Human Body
spellingShingle Non-Rigid Monocular SLAM Inside the Human Body
Gómez Rodríguez, Juan José
robótica
visión artificial
inteligencia artificial
title_short Non-Rigid Monocular SLAM Inside the Human Body
title_full Non-Rigid Monocular SLAM Inside the Human Body
title_fullStr Non-Rigid Monocular SLAM Inside the Human Body
title_full_unstemmed Non-Rigid Monocular SLAM Inside the Human Body
title_sort Non-Rigid Monocular SLAM Inside the Human Body
dc.creator.none.fl_str_mv Gómez Rodríguez, Juan José
Tardos Solano, Juan Domingo
author Gómez Rodríguez, Juan José
author_facet Gómez Rodríguez, Juan José
Tardos Solano, Juan Domingo
author_role author
author2 Tardos Solano, Juan Domingo
author2_role author
dc.subject.none.fl_str_mv robótica
visión artificial
inteligencia artificial
topic robótica
visión artificial
inteligencia artificial
description El auge de la inteligencia artificial está acelerando rápidamente la automatización de muchas tareas a través de robots autónomos. Las técnicas de Localización y Mapeo Simultáneo (SLAM) son clave para dotar a los robots de la capacidad de crear mapas de su entorno y localizarse utilizando sensores integrados. Una de las ramas más desarrolladas es el SLAM Visual (V-SLAM), que tiene como objetivo replicar la capacidad humana de percibir el entorno y localizarse en ´el, usando principalmente cámaras como sensores.<br />En esta tesis, nuestro objetivo es ampliar las aplicaciones de SLAM a nuevos ámbitos donde antes no era factible aplicarlo. En este caso, nos enfocamos en la robótica médica, que presenta desafíos significativos para el SLAM visual, pero también una gran cantidad de oportunidades. Las principales dificultades encontradas incluyen el uso de cámaras de gran angular, texturas deficientes y cambios de iluminación que dificultan la asociación de datos, y la presencia de deformaciones que impiden la aplicación de técnicas SLAM convencionales. <br />En primer lugar, abordamos el uso de cámaras de gran angular en sistemas SLAM, clásicamente diseñados en torno a cámaras estenopeicas. Hemos estudiado y rediseñado los diferentes componentes de una libreria V-SLAM para permitir el uso no solo de cámaras de gran angular, sino también de cualquier tipo de cémara en general. Estos resultados se han integrado en un nuevo sistema SLAM denominado ORB-SLAM3. Este sistema de SLAM visual y visual-inercial de código abierto es el más completo hasta la fecha, capaz de funcionar con cámaras monoculares o estéreo, con lentes convencionales, gran angular u ojo de pez, y con capacidades multi-mapa.<br />En segundo lugar, exploramos cómo realizar la asociación de datos en entornos con baja textura y cambios abruptos de iluminación, como imágenes médicas. Con este propósito, hemos desarrollado un método de flujo óptico fotométrico que permite una asociación de datos robusta y precisa en entornos donde otros métodos fallan.<br />Finalmente, hemos investigado métodos deformables de SLAM monocular capaces de reconstruir escenas en las que las superficies se deforman. Hemos estudiado diferentes modelos de deformación y representaciones del mapa, analizando sus ventajas y limitaciones.<br />Para el mapa, hemos investigado representaciones globales (mallas de triángulos), representaciones dispersas (surfels) y representaciones híbridas (nubes de puntos con interrelaciones), siendo estas últimas las más efectivas, ya que son fácilmente escalables y altamente expresivas. Para las deformaciones, hemos estudiado modelos isométricos, modelos planos cuasi-isométricos y modelos físicos, siendo este último el más general y preciso. El resultado final es NR-SLAM, el sistema de SLAM monocular deformable más completo, capaz de modelar cualquier superficie con topologías cambiantes, que logra los mejores resultados de reconstrucción hasta la fecha en escenarios médicos reales.<br />
publishDate 2023
dc.date.none.fl_str_mv 2023
dc.type.none.fl_str_mv info:eu-repo/semantics/masterThesis
info:eu-repo/semantics/publishedVersion
format masterThesis
status_str publishedVersion
dc.identifier.none.fl_str_mv http://zaguan.unizar.es/record/133189
url http://zaguan.unizar.es/record/133189
dc.language.none.fl_str_mv Inglés
language_invalid_str_mv Inglés
dc.rights.none.fl_str_mv http://creativecommons.org/licenses/by-nc/3.0/es
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc/3.0/es
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidad de Zaragoza, Prensas de la Universidad
publisher.none.fl_str_mv Universidad de Zaragoza, Prensas de la Universidad
dc.source.none.fl_str_mv reponame:Zaguán. Repositorio Digital de la Universidad de Zaragoza
instname:Universidad de Zaragoza
instname_str Universidad de Zaragoza
reponame_str Zaguán. Repositorio Digital de la Universidad de Zaragoza
collection Zaguán. Repositorio Digital de la Universidad de Zaragoza
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869407151070380032
spelling Non-Rigid Monocular SLAM Inside the Human BodyGómez Rodríguez, Juan JoséTardos Solano, Juan Domingorobóticavisión artificialinteligencia artificialEl auge de la inteligencia artificial está acelerando rápidamente la automatización de muchas tareas a través de robots autónomos. Las técnicas de Localización y Mapeo Simultáneo (SLAM) son clave para dotar a los robots de la capacidad de crear mapas de su entorno y localizarse utilizando sensores integrados. Una de las ramas más desarrolladas es el SLAM Visual (V-SLAM), que tiene como objetivo replicar la capacidad humana de percibir el entorno y localizarse en ´el, usando principalmente cámaras como sensores.<br />En esta tesis, nuestro objetivo es ampliar las aplicaciones de SLAM a nuevos ámbitos donde antes no era factible aplicarlo. En este caso, nos enfocamos en la robótica médica, que presenta desafíos significativos para el SLAM visual, pero también una gran cantidad de oportunidades. Las principales dificultades encontradas incluyen el uso de cámaras de gran angular, texturas deficientes y cambios de iluminación que dificultan la asociación de datos, y la presencia de deformaciones que impiden la aplicación de técnicas SLAM convencionales. <br />En primer lugar, abordamos el uso de cámaras de gran angular en sistemas SLAM, clásicamente diseñados en torno a cámaras estenopeicas. Hemos estudiado y rediseñado los diferentes componentes de una libreria V-SLAM para permitir el uso no solo de cámaras de gran angular, sino también de cualquier tipo de cémara en general. Estos resultados se han integrado en un nuevo sistema SLAM denominado ORB-SLAM3. Este sistema de SLAM visual y visual-inercial de código abierto es el más completo hasta la fecha, capaz de funcionar con cámaras monoculares o estéreo, con lentes convencionales, gran angular u ojo de pez, y con capacidades multi-mapa.<br />En segundo lugar, exploramos cómo realizar la asociación de datos en entornos con baja textura y cambios abruptos de iluminación, como imágenes médicas. Con este propósito, hemos desarrollado un método de flujo óptico fotométrico que permite una asociación de datos robusta y precisa en entornos donde otros métodos fallan.<br />Finalmente, hemos investigado métodos deformables de SLAM monocular capaces de reconstruir escenas en las que las superficies se deforman. Hemos estudiado diferentes modelos de deformación y representaciones del mapa, analizando sus ventajas y limitaciones.<br />Para el mapa, hemos investigado representaciones globales (mallas de triángulos), representaciones dispersas (surfels) y representaciones híbridas (nubes de puntos con interrelaciones), siendo estas últimas las más efectivas, ya que son fácilmente escalables y altamente expresivas. Para las deformaciones, hemos estudiado modelos isométricos, modelos planos cuasi-isométricos y modelos físicos, siendo este último el más general y preciso. El resultado final es NR-SLAM, el sistema de SLAM monocular deformable más completo, capaz de modelar cualquier superficie con topologías cambiantes, que logra los mejores resultados de reconstrucción hasta la fecha en escenarios médicos reales.<br />The boom of artificial intelligence is rapidly accelerating the automation of many tasks through autonomous robots. Simultaneous Localization and Mapping (SLAM) techniques are key to equipping robots with the capability to create maps of their environment and localize themselves using onboard sensors. One of the most developed branches of SLAM is Visual SLAM (V-SLAM), which aims to replicate human ability to perceive the environment and self-localize in it, primarily through cameras as sensors. In this thesis, we aim to extend the applications of SLAM to new domains where it was previously unfeasible to apply. In this case, our focus is on medical robotics, which presents significant challenges in terms of visual SLAM but also a wealth of opportunities. The main difficulties encountered include the use of wide-angle cameras, poor textures and illumination changes that hinder visual data association, and the presence of deformations that prevent the application of conventional SLAM techniques. Firstly, we address the use of wide-angle cameras in SLAM systems, classically de- signed around pinhole cameras. We have studied and redesigned the different components of a V-SLAM library to enable the use of not only wide-angle cameras but also any cam- era type in general. These results have been integrated into a new SLAM system coined as ORB-SLAM3. This open-source visual and visual-inertial SLAM system is the most comprehensive to date, able to work with monocular or stereo cameras, with conventional, wide-angle or fisheye lenses, and with multi-map capabilities. Secondly, we explore how to perform data association in environments with low texture and abrupt lighting changes, such as medical images. For this purpose, we developed a photometric optical flow method that allows for robust and accurate data association in environments where other methods fail. Finally, we have researched deformable monocular SLAM methods capable of recon- structing scenes in which surfaces deform continuously. We have studied different de- formation models and map representations, analysing their advantages and limitations. For map representation, we have investigated global representations (continuous triangle meshes), sparse representations (surfels), and hybrid representations (point clouds with interrelations), with the latter proving to be the most effective as they are easily scalable, and highly expressive. Regarding deformation models, we have studied isometric models, quasi-isometric planar models, and physical models, being the latter the more general and accurate. The final results is NR-SLAM, the most comprehensive deformable monocular SLAM system, capable of modeling any surface with changing topologies, that achieves the best reconstruction results to date in real medical scenarios.<br />Universidad de Zaragoza, Prensas de la Universidad2023info:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/publishedVersionapplication/pdfhttp://zaguan.unizar.es/record/133189reponame:Zaguán. Repositorio Digital de la Universidad de Zaragozainstname:Universidad de ZaragozaIngléshttp://creativecommons.org/licenses/by-nc/3.0/esinfo:eu-repo/semantics/openAccessoai:zaguan.unizar.es:1331892026-05-29T13:59:51Z
score 15,301603

Registos relacionados