Un enfoque multimodal basado en datos sensoriales para la identificación de sexismo en memes mediante variación del ritmo cardíaco, seguimiento ocular y señales de EEG
[ES] Detectar el sexismo en los memes de forma automática es una tarea compleja, pues su significado puede ser ambiguo y su intención negarse con facilidad (p. ej., bajo la excusa del humor), lo que hace que los análisis basados solo en contenido resulten a menudo insuficientes. Para avanzar en la d...
| Autor: | |
|---|---|
| Tipo de recurso: | tesis de maestría |
| Fecha de publicación: | 2025 |
| País: | España |
| Institución: | Universitat Politècnica de València (UPV) |
| Repositorio: | RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia |
| Idioma: | español |
| OAI Identifier: | oai:riunet.upv.es:10251/228574 |
| Acceso en línea: | https://riunet.upv.es/handle/10251/228574 |
| Access Level: | acceso abierto |
| Palabra clave: | Sexismo Memes Señales fisiológicas Seguimiento ocular Electroencefalografía (EEG) Variabilidad de la frecuencia cardíaca (VFC / HRV) Fusión multimodal Aprendizaje automático Inteligencia artificial Sexism detection Physiological signals Eye-tracking Electroencephalography (EEG) Heart-rate variability (HRV) Multimodal fusion Machine learning Artificial intelligence (AI) Máster Universitario en Inteligencia Artificial, Reconocimiento de Formas e Imagen Digital-Màster Universitari en Intel·ligència Artificial, Reconeixement de Formes i Imatge Digital |
| Sumario: | [ES] Detectar el sexismo en los memes de forma automática es una tarea compleja, pues su significado puede ser ambiguo y su intención negarse con facilidad (p. ej., bajo la excusa del humor), lo que hace que los análisis basados solo en contenido resulten a menudo insuficientes. Para avanzar en la detección automática de sexismo en memes, introducimos un paradigma centrado en el ser humano que complementa las características de contenido con respuestas fisiológicas. Realizamos dos experimentos con un total de 11 sujetos, registrando seguimiento ocular, variabilidad de la frecuencia cardíaca (VFC) y electroencefalografía (EEG) mientras visualizaban más de 4000 memes. Los resultados revelan diferencias fisiológicas estadísticamente significativas entre el procesamiento de memes sexistas y no sexistas (RQ1). Específicamente, los memes sexistas exigen un mayor esfuerzo cognitivo, manifestado en tiempos de reacción más largos y un mayor número de fijaciones, con un gradiente que aumenta desde los memes no sexistas hasta los sexistas críticos. Además, observamos una VFC significativamente más alta para todo el contenido sexista, sugiriendo una mayor regulación autonómica. El análisis de EEG muestra modulaciones de potencia frontales en la detección binaria, con una disminución de Alfa, Beta y Gamma compatible con una mayor activación cortical. La distinción entre sexismo directo y crítico revela patrones más complejos, como un aumento generalizado de la potencia en todas las bandas en el canal parietal P8 para el sexismo directo. Asimismo, categorías de sexismo específicas y emociones concretas (p. ej., el miedo) desencadenan firmas neurales únicas, como una activación frontal extendida. Estas características fisiológicas resultan altamente informativas para los modelos de aprendizaje automático (RQ2, RQ3). Nuestro modelo final de fusión multimodal, que integra texto enriquecido (caption de un modelo visión lenguaje (VLM) y Reconocimiento Óptico de Caracteres (OCR)) con EEG y seguimiento ocular, alcanza un AUC de estado del arte de 0.794 en la detección binaria (Tarea 1), una mejora estadísticamente significativa del 3.4% respecto a un potente modelo base visión-lenguaje (AUC 0.768). Para distinguir sexismo directo y crítico (Tarea 2), la fusión fisiológica eleva el AUC en un 4.3% (de 0.628 a 0.655). Finalmente, en la categorización de grano fino (Tarea 3), aunque el AUC no mejora significativamente, los datos de sensores aumentan drásticamente la precisión clasificatoria, incrementando el F1 de la categoría más desafiante, Misoginia y violencia no sexual, en un 26.3% (de 0.259 a 0.327). En conjunto, las respuestas fisiológicas humanas aportan una señal robusta que complementa el contenido y habilita sistemas de detección más precisos y sensibles al factor humano para combatir el sexismo en línea. |
|---|