The Role of cross-modal semantic interactions in real-world visuo-spatial attention

In our everyday life we must effectively orient attention to relevant objects and events in multisensory environments. The impact of cross-modal links for attention orienting to spatial and temporal cues has been widely described. However, real-life scenarios provide a rich web of semantic informati...

Descripción completa

Detalles Bibliográficos
Autor: Kvasova, Daria
Tipo de recurso: tesis doctoral
Estado:Versión publicada
Fecha de publicación:2020
País:España
Institución:CBUC, CESCA
Repositorio:TDR. Tesis Doctorales en Red
OAI Identifier:oai:www.tdx.cat:10803/668665
Acceso en línea:http://hdl.handle.net/10803/668665
Access Level:acceso abierto
Palabra clave:Attention
Semantics
Multisensory
Crossmodal interactions
Visual search
Eyetracking
Audiovisual processing
Natural scenes
Real life
Spatial orienting
159.9
id ES_18ee29edbe05cfbaa038eeacb8a6cb29
oai_identifier_str oai:www.tdx.cat:10803/668665
network_acronym_str ES
network_name_str España
repository_id_str
dc.title.none.fl_str_mv The Role of cross-modal semantic interactions in real-world visuo-spatial attention
title The Role of cross-modal semantic interactions in real-world visuo-spatial attention
spellingShingle The Role of cross-modal semantic interactions in real-world visuo-spatial attention
Kvasova, Daria
Attention
Semantics
Multisensory
Crossmodal interactions
Visual search
Eyetracking
Audiovisual processing
Natural scenes
Real life
Spatial orienting
159.9
title_short The Role of cross-modal semantic interactions in real-world visuo-spatial attention
title_full The Role of cross-modal semantic interactions in real-world visuo-spatial attention
title_fullStr The Role of cross-modal semantic interactions in real-world visuo-spatial attention
title_full_unstemmed The Role of cross-modal semantic interactions in real-world visuo-spatial attention
title_sort The Role of cross-modal semantic interactions in real-world visuo-spatial attention
dc.creator.none.fl_str_mv Kvasova, Daria
author Kvasova, Daria
author_facet Kvasova, Daria
author_role author
dc.contributor.none.fl_str_mv Soto-Faraco, Salvador
Universitat Pompeu Fabra. Departament de Ciències Experimentals i de la Salut
dc.subject.none.fl_str_mv Attention
Semantics
Multisensory
Crossmodal interactions
Visual search
Eyetracking
Audiovisual processing
Natural scenes
Real life
Spatial orienting
159.9
topic Attention
Semantics
Multisensory
Crossmodal interactions
Visual search
Eyetracking
Audiovisual processing
Natural scenes
Real life
Spatial orienting
159.9
description In our everyday life we must effectively orient attention to relevant objects and events in multisensory environments. The impact of cross-modal links for attention orienting to spatial and temporal cues has been widely described. However, real-life scenarios provide a rich web of semantic information through the different sensory modalities. Despite some previous studies have revealed an impact of crossmodal sematic correspondences, the results are mixed with regard to the conditions in which audiovisual semantic congruence can influence attention orienting. Furthermore, the vast majority of the research on crossmodal semantics used simple, stereotyped displays that are far from achieving ecological validity. The present thesis attempts to close this gap by addressing the role of identity-based crossmodal relationships on attention orienting in scenarios closer to real-world conditions. To this end, the experiments presented here attempt to extrapolate and generalize previous findings in more realistic environments by using naturalistic and dynamic stimuli, and address the theoretical questions of task relevance and perceptual load. The outcome of the three empirical studies in this thesis lead to several conclusions. First, that the effect of audio-visual semantic congruence on attention is not strictly automatic. Instead, they suggest that some top-down processing is necessary for audio-visual semantic congruence to trigger spatial orienting. The second conclusion to emerge is that crossmodal semantic congruence can guide attention under goal-directed conditions in visual search, and also under free observation in complex and dynamic scenes. Third, that perceptual load is a limiting factor for these interactions. These findings extend previous knowledge on object-based crossmodal interactions with simple stimuli and clarify how audio-visual semantically congruent relationships play out in realistic scenarios.
publishDate 2020
dc.date.none.fl_str_mv 2020
2020
2020
dc.type.none.fl_str_mv info:eu-repo/semantics/doctoralThesis
info:eu-repo/semantics/publishedVersion
format doctoralThesis
status_str publishedVersion
dc.identifier.none.fl_str_mv http://hdl.handle.net/10803/668665
url http://hdl.handle.net/10803/668665
dc.language.none.fl_str_mv Inglés
language_invalid_str_mv Inglés
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 135 p.
application/pdf
application/pdf
dc.publisher.none.fl_str_mv Universitat Pompeu Fabra
publisher.none.fl_str_mv Universitat Pompeu Fabra
dc.source.none.fl_str_mv TDX (Tesis Doctorals en Xarxa)
reponame:TDR. Tesis Doctorales en Red
instname:CBUC, CESCA
instname_str CBUC, CESCA
reponame_str TDR. Tesis Doctorales en Red
collection TDR. Tesis Doctorales en Red
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869404015144468480
spelling The Role of cross-modal semantic interactions in real-world visuo-spatial attentionKvasova, DariaAttentionSemanticsMultisensoryCrossmodal interactionsVisual searchEyetrackingAudiovisual processingNatural scenesReal lifeSpatial orienting159.9In our everyday life we must effectively orient attention to relevant objects and events in multisensory environments. The impact of cross-modal links for attention orienting to spatial and temporal cues has been widely described. However, real-life scenarios provide a rich web of semantic information through the different sensory modalities. Despite some previous studies have revealed an impact of crossmodal sematic correspondences, the results are mixed with regard to the conditions in which audiovisual semantic congruence can influence attention orienting. Furthermore, the vast majority of the research on crossmodal semantics used simple, stereotyped displays that are far from achieving ecological validity. The present thesis attempts to close this gap by addressing the role of identity-based crossmodal relationships on attention orienting in scenarios closer to real-world conditions. To this end, the experiments presented here attempt to extrapolate and generalize previous findings in more realistic environments by using naturalistic and dynamic stimuli, and address the theoretical questions of task relevance and perceptual load. The outcome of the three empirical studies in this thesis lead to several conclusions. First, that the effect of audio-visual semantic congruence on attention is not strictly automatic. Instead, they suggest that some top-down processing is necessary for audio-visual semantic congruence to trigger spatial orienting. The second conclusion to emerge is that crossmodal semantic congruence can guide attention under goal-directed conditions in visual search, and also under free observation in complex and dynamic scenes. Third, that perceptual load is a limiting factor for these interactions. These findings extend previous knowledge on object-based crossmodal interactions with simple stimuli and clarify how audio-visual semantically congruent relationships play out in realistic scenarios.En nuestra vida cotidiana debemos orientar efectivamente la atención a objetos y eventos relevantes en entornos multisensoriales. El impacto que tienen los enlaces intermodales en la orientación de la atención a señales espaciales y temporales ha sido ampliamente descrito. Sin embargo, los escenarios de la vida real proporcionan una rica red de información semántica a través de las diferentes modalidades sensoriales. A pesar de que algunos estudios previos han revelado un impacto de las correspondencias semánticas entre modalidades, los resultados se mezclan con respecto a las condiciones en que la congruencia semántica audiovisual puede influir en la orientación de la atención. Además, la gran mayoría de la investigación sobre semántica intermodal utilizó representaciones simples y estereotipadas que están lejos de alcanzar la validez ecológica. La presente tesis intenta llenar esta brecha al abordar el papel que las relaciones intermodales basadas en la identidad tienen en la orientación de la atención en escenarios más cercanos a las condiciones del mundo real. Con este fin, los experimentos presentados aquí intentan extrapolar y generalizar hallazgos previos en entornos más realistas mediante el uso de estímulos naturales y dinámicos, y abordar cuestiones teóricas como la relevancia de la tarea y la carga perceptiva. El resultado de los tres estudios empíricos de esta tesis condujo a varias conclusiones. Primero, que el efecto de la congruencia semántica audiovisual en la atención no es estrictamente automático. En cambio, sugieren que es necesario un procesamiento de arriba hacia abajo para que la congruencia semántica audiovisual desencadene en la orientación espacial. La segunda conclusión que surge es que la congruencia semántica intermodal puede guiar la atención en condiciones de búsqueda visual dirigida a un objetivo, y también bajo observación libre en escenas complejas y dinámicas. Tercero, la carga perceptiva es un factor limitante para estas interacciones. Estos hallazgos amplían el conocimiento previo sobre las interacciones intermodales basadas en objetos usando estímulos simples y aclaran cómo las relaciones audiovisuales semánticamente congruentes se desarrollan en escenarios realistaPrograma de doctorat en BiomedicinaUniversitat Pompeu FabraSoto-Faraco, SalvadorUniversitat Pompeu Fabra. Departament de Ciències Experimentals i de la Salut202020202020info:eu-repo/semantics/doctoralThesisinfo:eu-repo/semantics/publishedVersion135 p.application/pdfapplication/pdfhttp://hdl.handle.net/10803/668665TDX (Tesis Doctorals en Xarxa)reponame:TDR. Tesis Doctorales en Redinstname:CBUC, CESCAInglésADVERTIMENT. Tots els drets reservats. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.info:eu-repo/semantics/openAccessoai:www.tdx.cat:10803/6686652026-06-14T12:46:07Z
score 15,300719

Similares en LA Referencia