Towards Efficient and Robust Convolutional Neural Networks for Single Image Super-Resolution
La superresolució d'imatge única (SISR) és una tasca important en el processament d'imatges, que té com a objectiu millorar la resolució dels sistemes d'imatges. Recentment, SISR ha estat testimoni de grans avenços amb el desenvolupament ràpid de l'aprenentatge profund. Els benef...
| Autor: | |
|---|---|
| Tipo de recurso: | tesis doctoral |
| Fecha de publicación: | 2022 |
| País: | España |
| Institución: | Universitat Autònoma de Barcelona |
| Repositorio: | Dipòsit Digital de Documents de la UAB |
| Idioma: | inglés |
| OAI Identifier: | oai:ddd.uab.cat:266126 |
| Acceso en línea: | https://ddd.uab.cat/record/266126 |
| Access Level: | acceso abierto |
| Palabra clave: | Aprenentatge màquina profund Aprendizaje máquina profundo Deep learning Imatges multi-resolució Imágenes multi-resolución Multi-resolution images Processament d'imatges Procesado de imagenes Image processing Tecnologies |
| Sumario: | La superresolució d'imatge única (SISR) és una tasca important en el processament d'imatges, que té com a objectiu millorar la resolució dels sistemes d'imatges. Recentment, SISR ha estat testimoni de grans avenços amb el desenvolupament ràpid de l'aprenentatge profund. Els beneficis dels mètodes basats en l'aprenentatge profund provenen principalment dels seus dos factors clau, és a dir, de la profunditat de la xarxa i de poder saltar connexions (residuals o denses) entre neurones. El primer proporciona una poderosa capacitat per representar i establir un mapeig de baixa resolució a alta resolució més complex, alhora que permet treballar amb característiques jeràrquiques. El segon factor pot alleujar de manera eficient el problema de la desaparició/explosió del gradient, problemes causats simplement per tenir en compte xarxes amb moltes capes de profunditat. No obstant això, a mesura que augmenta la profunditat de les xarxes aplicades a problemes SISR, aquests mètodes s'enfronten a la pràctica amb el desafiament de la complexitat computacional. A més, els mètodes de SISR basats en xarxes neuronals més profunds poques vegades aprofiten les característiques jeràrquiques de les imatges originals de baixa resolució, i tampoc presten prou atenció a la (encara que limitada) informació d'alta freqüència que esxiti en aquestes imatges, aconseguint així un baix rendiment. A banda dels problemes abans esmentats, una altra limitació dels mètodes SISR és poder augmentar la mostra d'imatges a escales arbitràries, a partir d'un sol model. Així, actualment els mètodes basats en aprenentatge profund entrenen un model dedicat per a cada resolució objectiu, perdent generalitat i augmentant els requisits de memòria. En aquesta Tesi, proposem diferents mètodes SISR basats en aprenentatge profund que permeten fer front als problemes esmentats anteriorment, en concret: (i) presentem un nou extractor de funcions molt eficient que permet una reutilització efectiva dinformació a través duna nova proposta destructura recursiva de salt i connexions denses. (ii) També presentem un procediment nou per utilitzar els mecanismes d'atenció juntament amb els blocs residuals, seguint dos camins computacionals independents però paral·lels per fer un ús eficient de les característiques a les primeres capes. (iii) Introduïm un mecanisme direccional d'atenció de variància, específicament optimitzat per a SISR, per millorar les característiques als diferents canals i en diferents regions espacials. (iv) Presentem una nova millora basada en blocs de freqüència que descomponen eficientment les característiques en baixa i alta freqüències, i assigna més còmput als d'alta freqüència, ajudant així la xarxa a generar representacions més discriminatives en ser capaços de recuperar explícitament detalls més fins. (v) Proposem un nou mòdul de sobreescala (OSM) que genera mapes sobreescalats a partir d'escales arbitràries. (vi) Presentem una nova funció de pèrdua multiescala per a SISR, que permet l'entrenament simultani de tots els factors d'escala alhora fent servir un sol model. I finalment, (vii) demostrem que les propostes generades pels nostres enfocaments permeten assolir un rendiment considerablement millor que l'estat de l'art actual a SISR, amb unes exigències de computació més baixes. |
|---|