Self-supervised learning for image-to-image translation in the small data regime
La irrupció a gran escala de Xarxes Neuronals Convolucionals Profundes (CNNs) a la visió per computador des de 2012 ha duït a un paradigma predominant d’interpretació de la imatge consistent en un procés d’aprenentage completament supervisat amb conjunts massius de dades etiquetades. Aquesta aproxim...
| Author: | |
|---|---|
| Format: | doctoral thesis |
| Status: | Published version |
| Publication Date: | 2022 |
| Country: | España |
| Institution: | CBUC, CESCA |
| Repository: | TDR. Tesis Doctorales en Red |
| OAI Identifier: | oai:www.tdx.cat:10803/675446 |
| Online Access: | http://hdl.handle.net/10803/675446 |
| Access Level: | Open access |
| Keyword: | Visió per computador Visión por computador Computer vision Xarxes neuronals Redes neuronales Neural networks Aprenentatge auto-supervisat Aprendizaje auto-supervisado Self-supervised learning Tecnologies 004 |
| Summary: | La irrupció a gran escala de Xarxes Neuronals Convolucionals Profundes (CNNs) a la visió per computador des de 2012 ha duït a un paradigma predominant d’interpretació de la imatge consistent en un procés d’aprenentage completament supervisat amb conjunts massius de dades etiquetades. Aquesta aproximació ha resultat ser útil per a solucionar una miríada de tasques de visió per computador, amb resultats sense precedents, a costa d’emprar grans quantitats de dades anotades, recursos computacionals de gran magnitud, i tot el coneixement previ possible sobre la tasca a resoldre. Tot i que tècniques senzilles com el fine tuning han obtingut un gran impacte, el seu èxit quan la quantitat de dades etiquetades al domini objectiu és petita es manté limitat. A més a més, el caràcter no estàtic de les fonts de generació de dades resulta en canvis inesperats en la distribució d’aquestes dades, degradant el rendiment dels models. Com a conseqüència, hi ha una demanda de mètodes que puguin explotar elements de coneixement previ i fonts d’informació més enllà del conjunt d’etiquetes generades per un humà expert, per a que puguin adaptar-se a nous dominis que constitueixen un règim d’escasses dades etiquetades. Aquesta tesi s’adreça a aquesta classe d’escenaris en tres problemes de transformació imatge a imatge. Contribueix amb una sèrie de metodologies basades en coneixement a priori dels diferents elements del procés de formació de la imatge. Primer introduïm un marc conceptual, eficient en l’ús de dades, per al tractament del desenfocament, basat en un model capaç de produir degradacions locals sintètiques però realistes. Aquest marc es pot instanciar de tres maneres diferents: en tècnica auto-supervisada, feblement supervisada, o semi-supervisada, i resulta ser superior a les corresponent versions completament supervisades. El coneixement del procés de formació del color en la imatge és aprofitat després per a recopilar parelles entrada/objectiu d’imatges en el context de reconstrucció hiperespectral de la imatge. Emprem una CNN per a resoldre aquest problema, la qual cosa ens permet per primera vegada explotar context espacial i aconseguir resultats que estableixen un nou estat de l’art a partir de un conjunt reduït d’imatges hiperespectrals. En la nostra darrera contribució a l’àmbit de la transformació d’imatge a imatge en problemes amb poques dades anotades, presentem la nova tasca semi-supervisada de segmentació semàntica amb zero parells i amb vistes creuades: considerem el cas de recol·locació de camera en un sistema de segmentació semàntica desplegat. Assumint que podem obtenir un conjunt adicional de pars d’imatges, no etiquetades però sí sincronitzades, de noves escenes emprant la posició de càmera original i nova, presentem ZPCVNet, un model que possibilita la generació de prediccions semàntiques denses tant en vistes de inici com vistes objectiu. La carència de bases de dades públiques per a poder desenvolupar la metodolgia proposta ens condueix a la creació de MVMO, una base de dades pública de gran escala, multi-vista, multi-objecte, renderitzada mitjançant path tracing, amb anotacions per-vista de segmentació semàntica. Pensem que MVMO promourà futura recerca en la molt interessant però poc explorada àrea de la segmentació semàntica multi-vista i amb vistes creuades. Finalment, en una peça de recerca aplicada amb aplicació directa en un context de Forn d’Arc Elèctric (EAF) en una acereria, considerem el problema d’estimació simultània de la temperatura i la emissivitat espectral de mostres emissives calentes. Dissenyem el nostre propi sistema de captura, capaç de registrar senyal radiant entrant per un forat de 8cm de diàmetre localitzat fins a 20m de distància. Llavors definim un model físicament precís de transferència radiant. Resolem aquest problema invers sense la necessitat de dades anotades, mitjançant una aproximació Bayesiana basada en programació probabilística, que proporciona estimacions consistents amb mesures de nivell de laboratori. |
|---|