Astronomical Data Compression

El progrés exponencial del camp de l'astronomia va unit a un progrés exponencial de la tecnologia. L'augment dels telescopis terrestres, de les missions espacials i de la qualitat i la mida de les seves òptiques i detectors està generant i generarà dades a un ritme igualment exponencial. M...

Descripción completa

Detalles Bibliográficos
Autor: Maireles Gonzalez, Oscar
Tipo de recurso: tesis doctoral
Estado:Versión publicada
Fecha de publicación:2025
País:España
Institución:CBUC, CESCA
Repositorio:TDR. Tesis Doctorales en Red
OAI Identifier:oai:www.tdx.cat:10803/693907
Acceso en línea:http://hdl.handle.net/10803/693907
Access Level:acceso abierto
Palabra clave:Compressió de Dades
Data compression
Compresión de Datos
Dades Astronòmiques
Astronomical data
Datos Astronómicos
Tecnologies
04
Descripción
Sumario:El progrés exponencial del camp de l'astronomia va unit a un progrés exponencial de la tecnologia. L'augment dels telescopis terrestres, de les missions espacials i de la qualitat i la mida de les seves òptiques i detectors està generant i generarà dades a un ritme igualment exponencial. Malauradament, l'augment del volum de dades no es correspon amb els avenços en la capacitat demmagatzematge i transmissió. El volum astronòmic de dades pronostica sobrecostos computacionals. Afortunadament, hi ha una manera plausible de gestionar tot l'ingrés de dades sense gastar recursos econòmics i materials en hardware. Les dades poden ser codificades, reduint el nombre de símbols necessaris per expressar un missatge i, per tant, comprimint-ne el volum. L'objectiu d'aquesta investigació és proporcionar tècniques alternatives de compressió amb pèrdues i sense, que superin fpack (el compressor per defecte en els observatoris més importants), per ajudar la comunitat astronòmica a afrontar el futur repte de l'allau de dades. Per assolir l'objectiu, s'ha dut a terme una investigació exhaustiva de l'estat de l'art de les tècniques de compressió amb pèrdues i sense. Les estratègies de compressió s'han provat en un conjunt de dades representatives i amb una mida sense precedents. S'ha comprovat que els mètodes de compressió sense pèrdues superen tant el rendiment de la compressió fpack com els temps de compressió i descompressió. S'ha comprovat que JPEG 2000 o LPAQ9M tenen un Ràtio de Compressió (RC) més gran i, en el cas del primer, fins i tot menors temps de compressió. Les tècniques proposades podrien implementar-se a la llibreria CFITSIO per ser suportades per fpack i treballar directament amb dades FITS. Aquestes tècniques podrien ser les tècniques de compressió sense pèrdues per defecte per reduir de manera més eficient els arxius dels observatoris. La investigació sobre la compressió amb pèrdues combina no només els resultats de la compressió, sinó una anàlisi addicional sobre els efectes de la pèrdua d'informació a l'anàlisi científic. Els resultats van revelar que el millor compressor sense pèrdues trobat, LPAQ9M, combinat amb un procés previ de quantització a dues regions, per introduir pèrdues i millorar l'eficiència de compressió de LPAQ9M, supera fpack. La nova tècnica de compressió amb pèrdues presentada manté una major fidelitat amb l'anàlisi fotomètrica astronòmica alhora que iguala o fins i tot supera els resultats de RC de fpack. Igualment, el mètode amb pèrdues proposat també podria implementar-se a CFITSIO per ser suportat per fpack, com a alternativa de compressió amb pèrdues en cas que els requisits de compressió siguin més restrictius. Com suggereixen els resultats, la pèrdua dinformació encara pot garantir la fidelitat fotomètrica per a la majoria de les anàlisis científiques. L'ús d'aquestes noves tècniques proposades permet a la comunitat científica reduir els costos d'emmagatzematge i de transmissió de dades.