Single sensor multi-spectral imaging
Actualmente el sensor de imagen está normando la industria del teléfono inteligente. Mientras algunas marcas de telefonía exploran añadiendo más cámaras, otros como Google, le mantienen con un solo sensor a sus teléfonos inteligentes; pero este sensor está equipado con Deep Learning (DL) para mejora...
| Autor: | |
|---|---|
| Tipo de recurso: | tesis doctoral |
| Fecha de publicación: | 2019 |
| País: | España |
| Institución: | Universitat Autònoma de Barcelona |
| Repositorio: | Dipòsit Digital de Documents de la UAB |
| Idioma: | inglés |
| OAI Identifier: | oai:ddd.uab.cat:240728 |
| Acceso en línea: | https://ddd.uab.cat/record/240728 |
| Access Level: | acceso abierto |
| Palabra clave: | Càmera multiespectral de sensor únic Camara multiespectral de sensor única Multispectral single sensor camera Aprenentatge profund Aprendizaje profundo Deep learning Detecció de vores Detección de bordes Edge detection Tecnologies |
| Sumario: | Actualmente el sensor de imagen está normando la industria del teléfono inteligente. Mientras algunas marcas de telefonía exploran añadiendo más cámaras, otros como Google, le mantienen con un solo sensor a sus teléfonos inteligentes; pero este sensor está equipado con Deep Learning (DL) para mejorar la calidad de imagen. Sin embargo, en lo que todas las marcas estan de acuerdo es en la necesidad de investigar en los nuevos sensores de imagen; por ejemplo, Omnivisión y PixelTeq (fabricantes de sensores de imagen) presentaron en el 2015 nuevos sensores basados en la tecnología CMOS denominado multispectral single sensors (SSCs). Esta disertación presenta los beneficios de usar un SSC multiespectral que como se mencionó arriba, simultáneamente adquiere imágenes de las bandas visible e infrarrojo cercano (NIR). El principal beneficio cuando se trabajó con imágenes del rango espectral desde 400 a 1100 nanómetros, es la reducción de costo en la configuración del hardware. Solo se requiere una cámara SSC en vez de dos; además, la calibración de cámaras y el registrado de imágenes ya no son requeridas. Con relación a la banda espectral NIR, aunque esta banda es la más cercana a la banda visible y comparte algunas propiedades, la sensibilidad del sensor depende del material de la escena debido a que el comportamiento en la absorción/reflejo capturada de una escena es distinta al canal visible. Muchos trabajos en la literatura han probado los beneficios de trabajar con NIR (por ejemplo para mejorar la calidad de imágenes RGB, remover sombras, quitar neblina, etc). A pesar de las ventajas de usar SSC (por ejemplo baja latencia) existen inconvenientes a ser resueltos. Uno de esos inconvenientes corresponde a la naturaleza del sensor, que además de capturar imagen RGB, cuando no tiene instalado en filtro NIR, también captura información del espectro NIR. Este fenómeno es conocido como RGB y NIR cruzado. Esta tesis primeramente aborda este problema en imágenes complejas y seguidamente muestra las bondades de usar imágenes multiespectrales en la tarea de detección de bordes. La restauración de color desde una imagen RGBN es el tema relacionado al fenómeno RGB y NIR cruzado. Aunque en la literatura se propone un conjunto de procesos para resolver este problema, en esta tesis se proponen distintos enfoques, basados en DL, para sustraer la información NIR adicional que está en los canales RGB. Más precisamente, se propone una Artificial Neural Network (ANN) y dos Convolutional Neural Networks (CNN); como los métodos son basados en DL, se genera una base de datos con pares de imágenes (RGB infectada con NIR y solo RGB). Las imágenes adquiridas son de escenarios complejos con suficiente radiación solar para estudiar las propiedades de absorción/reflejo a las escenas consideradas. Se ha llevado acabo una evaluación profunda del modelo CNN, las diferencias de muchas de las imágenes restauradas son casi imperceptible al ojo humano. La siguiente propuesta de esta tesis es la validación del uso de las imágenes obtenidas en SSC en la tarea de detección de bordes. Tres métodos basados en CCN son propuestos. Mientras el primero se basa en uno de los modelos más usados en la literatura, Hollistically-nested edge detection (HED) denominado multispectral HED (MS-HED), los otros dos son propuestos luego de observar las limitaciones de MS-HED. Estas dos nuevas arquitecturas han sido diseñadas desde cero para usar solo esa configuración (entrenando desde cero); una vez que la primera arquitectura es válida en el dominio visible, un pequeño rediseño es propuesto al modelo original para abordar el problema multiespectral. Al igual que en el caso anterior, una base de datos es generada para abordar el problema de la detección de bordes. Aunque la detección de bordes es abordada en el dominio multiespectral, sus resultados cuantitativos y cualitativos demuestran la generalización en otros conjuntos de datos usados para detección de bordes, alcanzando resultados del estado del arte. |
|---|