Learning Image Representations for Geometric and Semantic Real-World Endoscopy Scene Understanding
Muchas de las aplicaciones más estudiadas de visión por computador procesan imágenes y generan representaciones comprimidas de las mismas que posteriormente son analizadas por algoritmos de toma de decisiones. Para optimizar los algoritmos que producen estas representaciones, se procesan grandes can...
| Autores: | , |
|---|---|
| Tipo de recurso: | tesis de maestría |
| Estado: | Versión publicada |
| Fecha de publicación: | 2025 |
| País: | España |
| Institución: | Universidad de Zaragoza |
| Repositorio: | Zaguán. Repositorio Digital de la Universidad de Zaragoza |
| OAI Identifier: | oai:zaguan.unizar.es:162668 |
| Acceso en línea: | http://zaguan.unizar.es/record/162668 |
| Access Level: | acceso abierto |
| Palabra clave: | inteligencia artificial tratamiento digital de imágenes informática |
| Sumario: | Muchas de las aplicaciones más estudiadas de visión por computador procesan imágenes y generan representaciones comprimidas de las mismas que posteriormente son analizadas por algoritmos de toma de decisiones. Para optimizar los algoritmos que producen estas representaciones, se procesan grandes cantidades de datos con señales de supervisión que guían la optimización. Sin embargo, las aplicaciones médicas de estas técnicas de visión por computador se enfrentan a varios desafíos específicos que dificultan la investigación en este ámbito. Debido a restricciones de privacidad y al conocimiento requerido para filtrar y anotar los datos, los datasets públicos y a gran escala de datos médicos reales son escasos. Esta tesis tiene como uno de los objetivos abordar este problema, colaborando en la creación y publicación de un nuevo conjunto de datos real de gran escala de grabaciones de endoscopia. El conjunto de datos construido dentro del proyecto EndoMapper contiene grabaciones completas de endoscopias correspondientes a procedimientos médicos reales, y se publica para facilitar el desarrollo de aplicaciones basadas en aprendizaje automático en este campo. Aprovechando este conjunto de datos, se han abordado otros desafíos de investigación relacionados con el aprendizaje de representaciones de imágenes para el análisis de escenas en endoscopia.<br />La primera parte de esta tesis aborda el problema de la detección y descripción de características locales en imágenes de endoscopia. La intuición respecto a la detección de características locales ha sido tradicionalmente encontrar esquinas y bordes o regiones destacadas (es decir, cambios bruscos o distintivos de color en la imagen) que sean fáciles de volver a identificar en diferentes vistas de la misma escena. El entorno cerrado y húmedo en el que se capturan las imágenes de endoscopia provoca la aparición frecuente de reflejos especulares (brillos blancos) que, a pesar de presentar gradientes de color muy elevados, también son espacialmente inconsistentes. Estos reflejos, junto con otros desafíos de visibilidad como deformaciones frecuentes, oclusiones y desenfoque por movimiento, suponen grandes retos para los detectores de características locales habituales. Para mejorar la localización de características locales y evitar los efectos negativos de los reflejos especulares<br />en endoscopia, formulamos una nueva función de pérdida para el entrenamiento de un método bien conocido de detección y descripción de características [DeTone et al., 2018b].<br />La segunda parte de esta tesis se centra en la mejora de la detección y descripción de características específicamente adaptadas a la reconstrucción 3D en endoscopia. En lugar de a priori definir qué constituye una característica fiable, aprovechamos unas pocas reconstrucciones 3D obtenidas en tramos cortos de las endoscopias para entrenar nuestro método. El modelo resultante, SuperPoint-E, se evalúa como el componente que realiza la detección y descripción de características dentro de un sistema de Structure-from-Motion, obteniendo reconstrucciones 3D más largas, densas y precisas en las endoscopias.<br />La tercera y última parte de esta tesis se centra en la generación automatizada de resúmenes basados en el contenido visual de grabaciones de endoscopia. El entorno tan estrecho donde se realiza la endoscopia hace que las grabaciones contengan numerosos segmentos no informativos en los que el profesional intenta avanzar por el interior del cuerpo sin visibilidad alguna. Desarrollamos un método que aprovecha técnicas de aprendizaje de representaciones para segmentar automáticamente las grabaciones de endoscopia en fragmentos semánticamente coherentes, lo que ayuda a identificar las partes más informativas y, además, actúa como un primer filtro para mejorar o acelerar tareas posteriores como la reconstrucción 3D.<br />En resumen, esta tesis estudia la aplicabilidad de métodos de representación de imágenes basados en aprendizaje profundo en endoscopias reales: desde la detección de características locales hasta la generación automática de resúmenes de vídeo. Para abordar la falta de datos públicos en este dominio, una parte de la tesis se ha dedicado a la colaboración en la creación de un conjunto de datos público de grabaciones de endoscopia. Estos datos se han utilizado para desarrollar y proponer soluciones a los desafíos técnicos mencionados, abriendo nuevas vías para aplicaciones médicas en el futuro.<br /> |
|---|