Leveraging image noise: source camera identification and increased robustness of convolutional neural networks

Esta tesis ha sido defendida en cotutela con la universidad de Groninga (Países Bajos)

Detalles Bibliográficos
Autor: Bennabhaktula, Guru Swaroop
Tipo de recurso: tesis doctoral
Fecha de publicación:2023
País:España
Institución:Universidad de León
Repositorio:BULERIA. Repositorio Institucional de la Universidad de León
OAI Identifier:oai:buleria.unileon.es:10612/26000
Acceso en línea:https://hdl.handle.net/10612/26000
Access Level:acceso abierto
Palabra clave:Ingeniería de sistemas
2209.17 Fotografía
6310.02 Delincuencia
id ES_4d6becb1fccfd8361cbff9d1ce9dd59a
oai_identifier_str oai:buleria.unileon.es:10612/26000
network_acronym_str ES
network_name_str España
repository_id_str
dc.title.none.fl_str_mv Leveraging image noise: source camera identification and increased robustness of convolutional neural networks
title Leveraging image noise: source camera identification and increased robustness of convolutional neural networks
spellingShingle Leveraging image noise: source camera identification and increased robustness of convolutional neural networks
Bennabhaktula, Guru Swaroop
Ingeniería de sistemas
2209.17 Fotografía
6310.02 Delincuencia
title_short Leveraging image noise: source camera identification and increased robustness of convolutional neural networks
title_full Leveraging image noise: source camera identification and increased robustness of convolutional neural networks
title_fullStr Leveraging image noise: source camera identification and increased robustness of convolutional neural networks
title_full_unstemmed Leveraging image noise: source camera identification and increased robustness of convolutional neural networks
title_sort Leveraging image noise: source camera identification and increased robustness of convolutional neural networks
dc.creator.none.fl_str_mv Bennabhaktula, Guru Swaroop
author Bennabhaktula, Guru Swaroop
author_facet Bennabhaktula, Guru Swaroop
author_role author
dc.contributor.none.fl_str_mv Karastoyanova, Dimka
Alegre Gutiérrez, Enrique
Azzopardi, George
Ingenieria de Sistemas y Automatica
Escuela de Ingenierias Industrial, Informática y Aeroespacial
dc.subject.none.fl_str_mv Ingeniería de sistemas
2209.17 Fotografía
6310.02 Delincuencia
topic Ingeniería de sistemas
2209.17 Fotografía
6310.02 Delincuencia
description Esta tesis ha sido defendida en cotutela con la universidad de Groninga (Países Bajos)
publishDate 2023
dc.date.none.fl_str_mv 2023
info
dc.type.none.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
dc.identifier.none.fl_str_mv https://hdl.handle.net/10612/26000
url https://hdl.handle.net/10612/26000
dc.language.none.fl_str_mv Inglés
language_invalid_str_mv Inglés
dc.relation.none.fl_str_mv info:eu-repo/grantAgreement/EC/ Internal Security Fund - Police/ 821966
dc.rights.none.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:BULERIA. Repositorio Institucional de la Universidad de León
instname:Universidad de León
instname_str Universidad de León
reponame_str BULERIA. Repositorio Institucional de la Universidad de León
collection BULERIA. Repositorio Institucional de la Universidad de León
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869407690777690112
spelling Leveraging image noise: source camera identification and increased robustness of convolutional neural networksBennabhaktula, Guru SwaroopIngeniería de sistemas2209.17 Fotografía6310.02 DelincuenciaEsta tesis ha sido defendida en cotutela con la universidad de Groninga (Países Bajos)[ES] Esta tesis aborda dos aplicaciones importantes de la identificación de la cámara de origen y la mejora de la robustez de ConvNets aprovechando el ruido de la imagen. La primera parte de la tesis se centra en el análisis forense de imágenes y vídeos digitales. Esto ayuda a las LEAs a reunir inteligencia adicional para identificar a la persona que se esconde tras dichos contenidos. Este trabajo tiene una importante aplicación social en la lucha contra el abuso sexual infantil. La segunda parte se centra en hacer que una ConvNets sea robusta frente a corrupciones invisibles de imágenes, cuyas técnicas pueden utilizarse para diversas aplicaciones. Ambas partes se ocupan del ruido en la imagen de entrada, siendo crucial en el primer caso la presencia de ruido, mientras que en el segundo se suprime. La primera parte de la tesis se centra en la identificación de la cámara de origen, donde el ruido en la imagen de entrada se aprovecha en nuestro beneficio para la identificación de la cámara de origen a partir de imágenes o fotogramas de vídeo. En comparación con los enfoques tradicionales (Goljan, 2008), los métodos recientes basados en ConvNets (Cozzolino and Verdoliva, 2019) han mostrado avances significativos. Por ello, esta tesis se limita al estudio de ConvNets para la identificación de cámaras de origen. Además, este trabajo se limita a identificar la cámara de origen basándose únicamente en los datos de píxeles (sin tener en cuenta los metadatos de la imagen que la acompañan). Esto se ha hecho para evitar que el sistema dependa de los metadatos, cuya manipulación podría pasar desapercibida. Los capítulos 2 y 3 tratan sobre la identificación de la cámara de origen a partir de imágenes. Los investigadores forenses podrían necesitar determinar si dos imágenes proceden del mismo dispositivo de cámara. Para responder a esta pregunta, se propone un diseño de sistema (Capítulo 2) y se valida con experimentos para la comparación de imágenes basada en dispositivos. Consiste en una red de dos partes, la primera extrae la firma forense de una imagen de entrada y la segunda red toma un par de firmas para calcular la puntuación de similitud entre ellas. Los experimentos con el subconjunto jpeg del conjunto de datos de Dresde demostraron el potencial de este enfoque, con margen para interesantes trabajos futuros. El capítulo 3 plantea la siguiente pregunta: “¿Algunas regiones de una imagen tienen una mayor presencia de ruido de cámara en comparación con otras?” Basándose en las observaciones de que el ruido del sensor se puede extraer cuando se expone a una escena uniformemente iluminada y el contenido de la escena distorsiona el ruido del sensor, se planteó la hipótesis de preferir regiones homogéneas en una imagen para el análisis forense. Se demostró que cuando tales datos de entrada se entrenan de forma jerárquica, se obtiene un clasificador que es modular y más eficaz que un enfoque plano (clasificador único). Mediante experimentos exhaustivos en el subconjunto natural del conjunto de datos de Dresde, logramos la mejor precisión de clasificación de la historia del 99,01% para la identificación de modelos de cámara. Los capítulos 4 y 5 se centran en la identificación de cámaras fuente a partir de vídeos. De forma análoga a la identificación de cámaras a partir de imágenes, se utilizaron fotogramas del vídeo para clasificar la fuente de un vídeo. Entre los tres tipos de fotogramas de vídeo analizados, se observó que los fotogramas tipo ”I” contenían más rastros forenses (ya que no se veían afectados por la estabilización del vídeo). Se propuso una capa convolucional restringida ampliada para la supresión del contenido de la escena a partir de imágenes RGB (véase capítulo 4) para ConvNets de poca profundidad. Se observo que dicho esquema de supresión de escenas es contraproducente para ConvNets sofisticadas. También se estudió el impacto de la compresión de vídeo en los rastros forenses. En particular, el rendimiento del sistema se mantiene constante incluso cuando los vídeos nativos se someten a la compresión de YouTube y WhatsApp. Se realizaron amplios experimentos con los conjuntos de datos VISION y QUFVD junto con varias ConvNets sofisticadas para demostrar la eficacia de los métodos. Aunque los sistemas de aprendizaje automático se evaluaban tradicionalmente manteniendo la distribución del conjunto de prueba igual a la del de entrenamiento, en la práctica, los sistemas desplegados experimentan cambios distribucionales debido a varios factores no controlados. Por lo tanto, en la segunda parte de la tesis, se investiga la supresión de ruido para ConvNets robustos. En concreto, se exploraron dos direcciones independientes. En la primera dirección, se propone preprocesamiento previo para mejorar la robustez del modelo. El segundo enfoque consiste en realizar cambios en la arquitectura para mejorar la robustez del modelo frente a las corrupciones de la imagen. El capítulo 6 presenta una técnica de preprocesamiento de datos para extraer mapas de contorno CORF push-pull para el entrenamiento, que permite hacer las ConvNets robustas a corrupciones no vistas previamente. Por ejemplo, se pueden incluir estos mapas como canales adicionales a la imagen de entrada. Esto permite a las redes neuronales extraer características de todo el espacio de entrada en lugar de solo los mapas de contorno basados en CORF. De esta manera, se ayuda a la red a aprender también los detalles de textura prestando también especial atención a los contornos. Se sabe que un aumento adecuado de los datos mejora la robustez del modelo (Yun et al., 2019; Cubuk et al., 2019; Hendrycks et al., 2019b, 2021). Las técnicas de robustez presentadas en esta tesis son independientes del aumento de datos. Por lo tanto, sería interesante estudiar el rendimiento de un sistema cuando se utilizan métodos no basados en el aumento de datos junto con métodos basados en el aumento de datos. Especulamos que la introducción de robustez tanto en los datos de entrada como en el modelo ayudaría a mejorar la robustez del sistema global. El aumento de datos ayudaría al modelo a aprender un conjunto fijo de corrupciones y la robustez a nivel de modelo ayudaría a mejorar la robustez ante datos no vistos. En conclusión, una parte de este trabajo aborda el problema de la identificación de la cámara de origen a partir de imágenes digitales o vídeos aprovechando el ruido de la imagen. En lugar de basarse en enfoques convencionales, este trabajo hace uso de ConvNets y lleva más allá el estado del arte para la identificación de la cámara de origen basada tanto en imágenes como en vídeos en los conjuntos de datos disponibles públicamente Dresden, VISION y QUFVD. Como se ha mencionado anteriormente, además de estos conjuntos de datos de acceso público, es necesario una validación a gran escala en conjuntos de datos privados para probar rigurosamente la aceptabilidad de estos métodos en los tribunales de justicia. La segunda parte de esta tesis explora dos direcciones diferentes para mejorar la robustez del modelo ante datos no vistos durante el entrenamiento. Este es otro reto que se encuentra con cada sistema de IA desplegado (basado en ConvNets). Los dos métodos propuestos son novedosos y mejoran la robustez del modelo frente a una determinada categoría de corrupción de imágenes, llevando aun más lejos el estado del arte de la robustez fuera de distribución.[EN] [EN] This thesis addresses two important applications of source camera identification and improved robustness of ConvNets while leveraging image noise. The focus of the first part of the thesis is on the forensic analysis of digital images and videos. This helps LEAs to gather additional intelligence in identifying the person behind such content. This work has an important societal application to fighting child sexual abuse. The second part focuses on making ConvNets robust to unseen image corruptions, the techniques of which can be used for various applications. Both these parts are concerned with the noise in the input image, wherein, in the former case the presence of noise is crucial while in the latter case, it is suppressed. The first part of the thesis focuses on source camera identification, where the noise in the input image is leveraged to our advantage for the identification of the source camera from images or video frames. In comparison to traditional approaches (Goljan, 2008), recent methods based on ConvNets (Cozzolino and Verdoliva, 2019) have shown significant progress. To this end, this thesis is limited to the study of ConvNets for source camera identification. Furthermore, this work is restricted to identifying the source camera based on only the pixel data (without considering the accompanying image meta-data). This was done to safeguard the system from relying on meta-data, the tampering of which may go undetected. Chapters 2 and 3 deal with source camera identification from images. Forensic investigators could be faced with a situation to ascertain if two images come from the same camera device. In order to answer this question, a system design is proposed (Ch. 2) and validated with experiments for device-based image matching. This consists of a two-part network, the first one extracts forensic signature from an input image and the second network takes a pair of signatures to compute the similarity score between them. The experiments on the jpeg subset of the Dresden data set demonstrated the potential of this approach with scope for interesting future work. Chapter 3 poses the question, “Do some regions in an image have a greater presence of camera noise when compared to others”? Based on the observations that the sensor noise can be extracted when it is exposed to a uniformly lit scene and the scene content distorting the sensor noise, it was hypothesized to prefer homogeneous regions in an image for forensic analysis. It was shown that when such input data is trained in a hierarchical fashion, it results in a classifier that is computationally efficient, modular and more effective than a flat (single classifier) approach. By means of thorough experiments on the natural subset of the Dresden data set, we achieve the best-ever classification accuracy of 99.01% for camera model identification. Chapters 4 and 5 concerns source camera identification from videos. Analogous to camera identification from images, video frames were used for the source classification of a video. Among the three types of video frames, I-frames were found to contain more forensic traces (as they would be unaffected by video stabilization). An extended constrained convolutional layer was proposed for scene content suppression from RGB images (refer Ch. 4) for shallow ConvNets. It was realized that such a scene-suppression scheme is counter-productive for sophisticated ConvNets. The impact of video compression on forensic traces was also studied. In particular, the performance of the system remains consistent even when the native videos are subjected to YouTube and WhatsApp compression. Extensive experiments were conducted on the VISION and the QUFVD data sets along with various sophisticated ConvNets to demonstrate the effectiveness of the methods. Although machine learning systems were traditionally evaluated by keeping the test set distribution the same as the train, in practice, the deployed systems experience distributional shifts due to several uncontrolled factors. Therefore, in the second part of the thesis, noise suppression for robust ConvNets is investigated. In particular, two independent directions were explored. In the first direction, a pre-processing step to improve model robustness is proposed. The second approach consists of making architectural changes for improved model robustness to image corruptions. Chapter 6 focuses on image pre-processing for robust image classification. A transformation step has been proposed that attempts to enhance the generalization ability of the ConvNets. Concretely, the delineation maps of given images are determined using the CORF push-pull inhibition operator. Such an operation transforms an input image into a space that is more robust to noise before being processed by a Convolutional Neural Network (ConvNet). Our experiments on the Fashion MNIST data set with AlexNet showed that the proposed CORF-augmented pipeline exhibits substantially higher generalization ability for additive Gaussian and uniform noise than a conventional AlexNet without the CORF transformation step. While achieving comparable results on noise-free images. Chapter 7 investigates out-of-distribution robustness for ConvNets by making architectural changes. A computational layer namely PushPull-Conv is proposed to replace the traditional convolutional one, in the first layer of Convolutional Neural Network (ConvNet). The design of PushPull-Conv is brain-inspired and consists of excitatory and inhibitory (or push and pull) computation paths. This methodology helps achieve robustness against high-frequency corruptions with a little compromise on clean test data. We conducted extensive analysis and experiments on CIFAR10-C and ImageNet-C data sets to validate our hypothesis. In summary, this work leverages image noise and proposes better solutions for two vital applications namely source camera identification and improved robustness of convolutional neural networks. The proposed methods advance the state-of-the-art in the respective research problems and help address vital societal problems.Comisión EuropeaKarastoyanova, DimkaAlegre Gutiérrez, EnriqueAzzopardi, GeorgeIngenieria de Sistemas y AutomaticaEscuela de Ingenierias Industrial, Informática y Aeroespacial2023infoinfo:eu-repo/semantics/doctoralThesishttps://hdl.handle.net/10612/26000reponame:BULERIA. Repositorio Institucional de la Universidad de Leóninstname:Universidad de LeónInglésinfo:eu-repo/grantAgreement/EC/ Internal Security Fund - Police/ 821966http://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessoai:buleria.unileon.es:10612/260002026-06-24T12:43:27Z
score 15,811543

Similares en LA Referencia