Towards Practical Neural Image Compression
Les imatges i els vídeos són pervasius en les nostres vides i comunicacions. Amb el avenços en dispositius portables i intel·ligents, xarxes de comunicació d’alta capacitat i cine d’alta definició, la compressió d’imatges i vídeos es més rellevant que mai. Els còdecs de transformació lineals tradici...
| Autor: | |
|---|---|
| Formato: | tesis doctoral |
| Estado: | Versión publicada |
| Fecha de publicación: | 2021 |
| País: | España |
| Recursos: | CBUC, CESCA |
| Repositorio: | TDR. Tesis Doctorales en Red |
| OAI Identifier: | oai:www.tdx.cat:10803/675178 |
| Acesso em linha: | http://hdl.handle.net/10803/675178 |
| Access Level: | acceso abierto |
| Palavra-chave: | Compressió d'imatges neuronals Compresión de imágenes neuronales Neuronal image compression Compressió de videos neuronals Compresión de videos neuronales Neural video compression Aprenentatge profund Aprendizaje profundo Deep learning Ciències Experimentals 004 |
| Resumo: | Les imatges i els vídeos són pervasius en les nostres vides i comunicacions. Amb el avenços en dispositius portables i intel·ligents, xarxes de comunicació d’alta capacitat i cine d’alta definició, la compressió d’imatges i vídeos es més rellevant que mai. Els còdecs de transformació lineals tradicionals basats en block com JPEG, H.264/AVC o el recent H.266/VVC són acuradament designats per satisfer no tan sols criteris de distorsió, sinó a mes a mes el requisits pràctics de les aplicacions. Recentment, un nou paradigma basat en xarxes neuronals (p.e. compressió neuro nal de vídeo i imatge) ha anat incrementant la seva popularitat degut a la habilitat per aprendre potents transformacions no lineals i altres eines de codi directament de les dades en comptes de ser dissenyades per humans, com era habitual en format de còdecs anteriors. Mentre que obtenen un rendiment excel·lent de distorsió, aquest sistemes estan limitats al àmbit de la recerca degut a l’alta densitat del models, cost computa cionals i de memòria. En aquesta tesis estudiarem aquestes limitacions pràctiques i proposarem dissenys de xarxes per compressió de imatges més eficients. Després d’analitzar les diferencies entre models de compressió d’imatge tradicio nals i neuronals, la nostre primera contribució es un “autoencoder” modulat (MAE), un framework que inclou un mecanisme que proporciona múltiples mesures de distorsió dintre un sól model amb un rendiment comparable a models independents. En la segona contribució, proposem el que anomenen “slimmable compressive autoencoder (SlimCAE)”, que afegint un mesurament variable podem optimitzar la complexitat del model i per tant reduir de manera significativa la memòria utilitzada i la carrega computacional. Un model generatiu modern pot aprendre transformacions d’imatge personalitza des directament de datasets adients seguint arquitectures encoder-decoder, aquestes tasques son conegudes com translació imatge-a-imatge. Desenvolupant el nostre tre ball anterior, estudiem el problema de distribució de translació d’imatge-a-imatge, on la representació latent es transmesa a través d’un canal binari i descodificada en una banda receptora remota. També proposem una variant que pot dur a terme la translació i l’usual funcionalitat d’autoencoding. Finalment, també considerem compressió de vídeo neuronal, on l’autoencoder vii es típicament augmentat amb prediccions temporals per mitjà de compensació de moviment. Un del principals cul de sac del framework es el mòdul de flux òptic que estima el desplaçament per predir la següent imatge en el vídeo. Prestant atenció en aquest mòdul, proposem un mètode que millora la precisió del flux òptic i una variant que redueix el cost computacional. Paraules clau: compressió neuronal de imatge, compressió neuronal de vídeo, flux òptic, pràctica compressió neuronal de imatge, autoencoders compressius, traducció d’imatge a imatge, aprenentatge profund. |
|---|