Dense 3D Reconstruction and Visual Localization in Rigid and Deforming Scenes
La visión por computador permite a las máquinas interpretar y reconstruir la estructura tridimensional de escenas, así como determinar con precisión la posición y orientación de la cámara utilizando únicamente información visual. En este ámbito persisten dos retos principales: generar reconstruccion...
| Autores: | , |
|---|---|
| Formato: | tesis de maestría |
| Estado: | Versión publicada |
| Fecha de publicación: | 2025 |
| País: | España |
| Recursos: | Universidad de Zaragoza |
| Repositorio: | Zaguán. Repositorio Digital de la Universidad de Zaragoza |
| OAI Identifier: | oai:dnet:zaguan______::1c8afd375f10096af86b868620bb7b93 |
| Acesso em linha: | http://zaguan.unizar.es/record/171017 |
| Access Level: | acceso abierto |
| Palavra-chave: | visión por computador reconstrucción 3d densa gaussian splatting imagen médica endoscopia deep learning |
| Resumo: | La visión por computador permite a las máquinas interpretar y reconstruir la estructura tridimensional de escenas, así como determinar con precisión la posición y orientación de la cámara utilizando únicamente información visual. En este ámbito persisten dos retos principales: generar reconstrucciones tridimensionales detalladas a partir de imágenes y estimar de forma fiable el movimiento de la cámara, especialmente en entornos deformables como los tejidos humanos. Superar estos desafíos resulta fundamental para avanzar en campos como la robótica, la realidad aumentada y la imagen médica, en particular en cirugía mínimamente invasiva.<br />La primera parte de esta tesis aborda la reconstrucción densa en 3D. Presentamos una técnica basada en pixel-aligned Gaussian splatting que permite refinar mapas de profundidad multivista de manera eficiente en cuestión de segundos, alcanzando una precisión a escala milimétrica y con un uso reducido de memoria.<br />En situaciones que requieren navegación en entornos deformables, la reconstrucción precisa de la profundidad no es suficiente. Proponemos un enfoque unificado, denominado Endo-Depth-and-Motion, que estima simultáneamente la pose de la cámara en seis grados de libertad y la geometría densa tridimensional directamente a partir de secuencias monoculares de vídeo endoscópico. Aplicando coherencia fotométrica sobre la profundidad estimada, el método permite calcular de forma robusta tanto el movimiento de la cámara como la reconstrucción densa global.<br />Cuando no se dispone de visión estéreo ni de indicios del movimiento de la cámara, es necesario recurrir a estimaciones de profundidad a partir de una única imagen. Para ello, empleamos redes bayesianas profundas entrenadas para predecir tanto la profundidad como su incertidumbre a partir de imágenes individuales de colonoscopia. La incertidumbre obtenida permite identificar regiones poco fiables. Combinando técnicas de aprendizaje supervisado y auto-supervisado, determinamos las configuraciones óptimas en función de los datos disponibles.<br />Finalmente, desarrollamos una técnica de odometría visual denominada Drunkard’s Odometry, que separa explícitamente los movimientos inducidos por la cámara de las deformaciones no rígidas de la escena. Esta separación permite obtener trayectorias de movimiento estables incluso ante deformaciones significativas, superando a los métodos clásicos de odometría. Además, presentamos un conjunto de datos sintéticos de navegación visual a gran escala, con deformaciones de escena controladas, que se libera de manera pública para facilitar futuras investigaciones en este campo.<br /> |
|---|