Advancing Transfer Learning and Control of Generative Image Models
Els models generatius profunds han revolucionat la síntesi d'imatges, possibilitant capacitats sense precedents en la creació de contingut a través de diversos àmbits. Malgrat els avenços significatius, aquests models s'enfronten a diversos reptes fonamentals que limiten les seves aplicaci...
| Author: | |
|---|---|
| Format: | doctoral thesis |
| Publication Date: | 2025 |
| Country: | España |
| Institution: | Universitat Autònoma de Barcelona |
| Repository: | Dipòsit Digital de Documents de la UAB |
| Language: | English |
| OAI Identifier: | oai:ddd.uab.cat:317266 |
| Online Access: | https://ddd.uab.cat/record/317266 |
| Access Level: | Open access |
| Keyword: | Xarxes generatives antagònique Generative adversarial network Redes generativas antagónicas Models de difusió Diffusion models Modelos de difusión Aprenentatge per transferència Transfer learning Aprendizaje por transferencia Tecnologies |
| Summary: | Els models generatius profunds han revolucionat la síntesi d'imatges, possibilitant capacitats sense precedents en la creació de contingut a través de diversos àmbits. Malgrat els avenços significatius, aquests models s'enfronten a diversos reptes fonamentals que limiten les seves aplicacions pràctiques, incloent la transferència eficient de coneixement, la generació coherent amb consciència 3D, la robustesa davant la personalització i el control precís d'atributs. Aquesta tesi investiga i aborda aquests reptes, amb l'objectiu d'avançar en l'estat de l'art dels models generatius per a la síntesi d'imatges. En primer lloc, explorem la transferència eficient de coneixement des de GANs incondicionals a condicionals, una direcció sovint menystinguda donada la disponibilitat de models incondicionals preentrenats d'alta qualitat. Introduïm la hipermodulació, una tècnica que aprofita les xarxes hiperneturals per generar eficientment paràmetres de modulació de pesos sobre la marxa, permetent sortides específiques per a cada classe mentre es preserva la qualitat de generació i s'exploten les similituds entre classes. El nostre enfocament demostra un rendiment superior en múltiples conjunts de dades, superant significativament els mètodes existents. En segon lloc, abordem la integració de la consciència 3D amb les capacitats d'edició guiada per text en models generatius. Presentem NeRF-Diffusion, un marc que combina un Camp de Radiància Neuronal per a les formes prèvies amb un model de difusió per a la generació de contingut, enllaçats per un token de consistència compartit. Aquest enfocament manté la coherència d'identitat a través de diferents punts de vista mentre permet l'edició basada en text, equilibrant eficaçment la consistència geomètrica amb la flexibilitat creativa. En tercer lloc, investiguem l'oblit en la personalització de models de difusió, on fins i tot adaptacions mínimes al model original poden causar una degradació generalitzada del coneixement. Mitjançant una anàlisi exhaustiva, caracteritzem tant la deriva semàntica com la d'aparença, i introduïm un enfocament de regularització funcional que preserva les capacitats originals mentre s'adapta a nous conceptes. El nostre mètode redueix significativament la degradació del coneixement sense comprometre la qualitat de generació o l'eficàcia de la personalització. Finalment, abordem el repte del control precís del color en models de difusió. En descobrir i aprofitar la vinculació d'atributs semàntics dins dels marcs IP-Adapter, desenvolupem ColorWave, un enfocament sense necessitat d'entrenament que permet l'especificació exacta del color a nivell RGB durant la inferència. Aquest mètode elimina la necessitat de processos d'optimització computacionalment costosos mentre manté la qualitat de generació i respecta altres aspectes de les consignes d'entrada. Les nostres contribucions avancen l'estat de l'art en la síntesi generativa d'imatges mitjançant la millora de la transferibilitat, consistència, robustesa i controlabilitat dels models, fent en última instància que aquestes poderoses tecnologies siguin més accessibles i fiables per a aplicacions pràctiques. |
|---|