Towards end-to-end vetworks for visual tracking in RGB and TIR videos
Siendo un tema de investigación fundamental, el seguimiento visual juega un importante papel en la visión por computador. Se ha aplicado extensamente en diversos campos, incluyendo la conducción autónoma, navegación y robótica. El objetivo del seguimiento visual es estimar la trayectoria de un objet...
| Autor: | |
|---|---|
| Tipo de recurso: | tesis doctoral |
| Estado: | Versión publicada |
| Fecha de publicación: | 2019 |
| País: | España |
| Institución: | CBUC, CESCA |
| Repositorio: | TDR. Tesis Doctorales en Red |
| OAI Identifier: | oai:www.tdx.cat:10803/669696 |
| Acceso en línea: | http://hdl.handle.net/10803/669696 |
| Access Level: | acceso abierto |
| Palabra clave: | Visió per computador Visión por computador Aprenentatge profund Aprendizaje profundo Deep learning Seguiment visual Seguimiento visual Visual tracking Computer vision Tecnologies 004 |
| Sumario: | Siendo un tema de investigación fundamental, el seguimiento visual juega un importante papel en la visión por computador. Se ha aplicado extensamente en diversos campos, incluyendo la conducción autónoma, navegación y robótica. El objetivo del seguimiento visual es estimar la trayectoria de un objeto en una secuencia de imágenes, habiendo seleccionado manualmente el objeto en el primer fotograma del video. El seguimiento se considera una tarea compleja debido a la gran grama de variaciones que presentan los videos del mundo real. En los últimos años, los métodos de aprendizaje profundo entrenados de extremo-a-extremo han dominado la investigación sobre seguimiento. El seguimiento visual se puede aplicar a diferentes modalidades tales como RGB o infrarrojo térmico (TIR). En esta tesis, identificamos varios problemas de los sistemas de seguimiento actuales. La falta de conjuntos de datos etiquetados a gran escala dificulta el uso del aprendizaje profundo, especialmente en relación al entrenamiento de extremo-a-extremo para el seguimiento de imágenes TIR. Por lo tanto, numerosos métodos para el seguimiento en TIR todavía se basan en representaciones diseñadas manualmente. Esta situación también ocurre en el seguimiento multimodal, como por ejemplo, el seguimiento en RGB-T. Otra razón que dificulta el desarrollo del seguimiento RGB-T es que existe poca investigación sobre los mecanismos de fusión para combinar imágenes de modalidades RGB y TIR. Por otra parte, uno de los componentes más importantes de la mayoría de los seguidores es el módulo de actualización. En las arquitecturas de seguimiento de extremo-a-extremo actuales, como por ejemplo los seguidores Siameses, la actualización en línea del modelo no se tiene en cuenta durante la etapa de entrenamiento. Suelen utilizar una estrategia de actualización lineal durante la etapa de inferencia, o no actualizan el modelo en absoluto. A pesar de los positivos resultados obtenidos mediante esta actualización diseñada a mano, su simplicidad limita la ganancia potencial que se podría obtener al aprender a actualizar de manera automática. Para abordar la escasez de datos para el seguimiento TIR y RGB-T, proponemos la traducción de imagen-a-imagen para generar un conjunto de datos TIR sintéticos a gran escala. Este conjunto de datos nos permite realizar una entrenamiento de extremo-a-extremo para el seguimiento TIR. Además, investigamos varios mecanismos de fusión para el seguimiento RGB-T. Los seguidores multimodales también reciben entrenamiento de extremo-a-extremo sobre los datos sintéticos. Para mejorar la actualización en línea estándar, planteamos la tarea de actualización como un problema de optimización que puede resolverse mediante el entrenamiento de una red neuronal. Por lo tanto, nuestro enfoque reduce los componentes diseñados a mano en el proceso de seguimiento y da un paso más en la dirección de una red de seguimiento entrenada de extremo-a-extremo que incluye la actualización durante la optimización. Extensos experimentos en varios conjuntos de datos de referencia de las modalidades RGB, TIR y RGB-T demuestran la eficacia de los métodos propuestos. Específicamente, los datos sintéticos de TIR son efectivos para el entrenamiento de extremo-a-extremo, nuestros mecanismos de fusión superan a los equivalentes de modalidad única, y nuestra red de actualización supera a la actualización lineal estándar. |
|---|