Estimating Light Effects from a Single Image: Deep Architectures and Ground-Truth Generation
En aquesta tesi explorem com estimar els efectes de la llum que interactua amb els objectes d’una escena a partir d’una sola imatge. Per assolir aquest objectiu, ens centrem en la recuperació de components intrínseques com ara la reflectància, les ombres o altres propietats de la llum, com el color...
| Autor: | |
|---|---|
| Tipo de recurso: | tesis doctoral |
| Estado: | Versión publicada |
| Fecha de publicación: | 2021 |
| País: | España |
| Institución: | CBUC, CESCA |
| Repositorio: | TDR. Tesis Doctorales en Red |
| OAI Identifier: | oai:www.tdx.cat:10803/673963 |
| Acceso en línea: | http://hdl.handle.net/10803/673963 |
| Access Level: | acceso abierto |
| Palabra clave: | Imatges intrínseques Imágenes intrínsecas Intrinsic images CNN Generació de ground-truth Generación de ground-truth Ground-truth generation Tecnologies 004 |
| Sumario: | En aquesta tesi explorem com estimar els efectes de la llum que interactua amb els objectes d’una escena a partir d’una sola imatge. Per assolir aquest objectiu, ens centrem en la recuperació de components intrínseques com ara la reflectància, les ombres o altres propietats de la llum, com el color i la posició, tot això fent servir arquitectures de xarxes neuronals profundes. L’èxit d’aquest enfocament es basa en bona part en la formació de bases de dades d’imatges grans i diversificades. Les contribucions que presentem són les següents: (a) una tècnica d’augment de dades per a l’entranament; (b) un Ground-truth per a un conjunt de dades multi-il·luminant ja existent; (c) una família de bases de dades sintètiques, SID (Surreal Intrinsic Dataset), amb fons molt diversos i condicions de llum coherents; i (d) una metodologia pràctica per a crear Ground-Truths híbrids per superar la complexitat d’adquirir escenes físiques reals de manera massiva. Paral·lelament a la creació de bases de dades d’imatges, hem construït diferents arquitectures profundes de tipus codificador-descodificador molt flexibles i que incorporen restriccions físiques dels models de formació d’imatges. A la darrera part de la tesi, apliquem tota l’experiència anterior a dos problemes diferents. En primer lloc, creem una gran base de dades d’imatges, Doc3DShade, híbrid amb ombres reals i reflectància sintètica sota condicions d’il·luminació complexes, i que s’utilitza per entrenar una arquitectura de dues fases que millora la tasca de reconeixement de caràcters en condicions d’il·luminació complexa de documents arrugats. En segon lloc, abordem el problema de la re-il·luminació d’escenes a partir d’una sola imatge, això es fa ampliant el conjunt de dades SID per representar múltiples efectes d’ombres i estudiant diverses arquitectures profundes que inclouen l’ús de components intrínseques per millorar la generació de les re-il·luminacions. |
|---|