The Analysis and Continual Learning of Deep Feature Representations
La Intel·ligència Artificial (IA) està tenint un impacte enorme en diversos camps d'aplicació, des de la conducció autònoma fins al descobriment de fàrmacs. Aquest progrés està impulsat predominantment per l'aprenentatge profund, una tecnologia el rendiment de la qual escala amb la disponi...
| Autor: | |
|---|---|
| Tipo de recurso: | tesis doctoral |
| Estado: | Versión publicada |
| Fecha de publicación: | 2024 |
| País: | España |
| Institución: | CBUC, CESCA |
| Repositorio: | TDR. Tesis Doctorales en Red |
| OAI Identifier: | oai:www.tdx.cat:10803/692896 |
| Acceso en línea: | http://hdl.handle.net/10803/692896 |
| Access Level: | acceso abierto |
| Palabra clave: | Aprenentatge continu Continual learning Aprendizaje continuo Tecnologies 004 |
| Sumario: | La Intel·ligència Artificial (IA) està tenint un impacte enorme en diversos camps d'aplicació, des de la conducció autònoma fins al descobriment de fàrmacs. Aquest progrés està impulsat predominantment per l'aprenentatge profund, una tecnologia el rendiment de la qual escala amb la disponibilitat de dades. A mesura que creix la demanda de grans conjunts de dades, els investigadors han desenvolupat l'aprenentatge per transferència com una estratègia alternativa per aprofitar els models preentrenats. No obstant això, l'aprenentatge per transferència s'enfronta a diversos reptes, incloent la necessitat de dades anotades extenses, la dificultat d'adaptar-se a dominis altament disjunts i la manca d'acumulació de coneixement en adaptar-se a nous dominis. L'aprenentatge continu sorgeix com un enfocament prometedor per abordar aquests problemes, permetent que els models aprenguin de distribucions de dades canviants sense oblidar el coneixement adquirit prèviament. L'aprenentatge autosupervisat ha mostrat un èxit notable en la mitigació de problemes d'escassetat de dades en aprofitar dades no etiquetades per aprendre representacions significatives. Aquest paradigma ofereix interessants reptes i oportunitats per a l'aprenentatge continu, potencialment conduint a models més generalitzables i adaptables. Per tant, aquesta tesi explora la combinació de l'aprenentatge autosupervisat i continu. Mentre que la teoria existent de l'aprenentatge continu s'ha centrat predominantment en l'aprenentatge supervisat, nosaltres estenem la teoria de l'aprenentatge continu a escenaris no supervisats. Això permet l'aprenentatge de representacions d'alta qualitat a partir d'un flux de dades no etiquetades. A la primera part de la tesi, introduïm un mètode que aprofita la destil·lació de característiques per combinar els paradigmes de l'aprenentatge continu i autosupervisat per permetre l'aprenentatge continu de representacions no supervisades. Després, aprofundim en el dilema d'estabilitat-plasticitat, proposant estratègies per optimitzar aquest equilibri en el context de l'aprenentatge continu no supervisat sense exemples, particularment per a escenaris que involucren nombroses tasques. En l'àmbit dels enfocaments d'aprenentatge continu basats en prototips, trobem que la deriva de característiques és una causa principal de la disminució del rendiment. Per tant, desenvolupem una tècnica de correcció de prototips basada en un projector que mapeja entre els espais de característiques de tasques consecutives. Demostrem que el nostre mètode es pot aplicar a qualsevol mètode d'aprenentatge continu autosupervisat per crear el primer mètode d'aprenentatge continu semisupervisat sense exemples. Finalment, explorem l'impacte de les transformacions de color en l'aprenentatge autosupervisat i introduïm un mètode de transformacion de color basat en la física. Aquesta tècnica demostra ser efectiva per a tasques on el color intrínsec de l'objecte és crucial. Millorem l'aprenentatge general de representacions combinant informació de color i forma a través de diferents modalitats d'autosupervisió. |
|---|