Generación de explicaciones basadas en ejemplos y contraejemplos a través de técnicas de Visual Question Answering

La poca transparencia en los modelos de Inteligencia Artificial (IA) se presenta como uno de los retos hoy en día en la industria. Esta poca transparencia se refiere a lo complicado de explicar cómo los grandes modelos de inteligencia artificial logran tomar una decisión. Por ello cobra importancia...

ver descrição completa

Detalhes bibliográficos
Autor: Bastardo Rojas, Ángel
Formato: tesis de maestría
Fecha de publicación:2025
País:España
Recursos:Universidad Complutense de Madrid (UCM)
Repositorio:Docta Complutense
Idioma:español
OAI Identifier:oai:docta.ucm.es:20.500.14352/122638
Acesso em linha:https://hdl.handle.net/20.500.14352/122638
Access Level:acceso abierto
Palavra-chave:004(043.3)
Inteligencia Artificial
Explicabilidad
Large Lenguage Model
Visual Question Answering
Razonamiento Basado en Casos
XAI
Artificial Intelligence
Explainability
Large Language Model
Case-Based Reasoning
Informática (Informática)
33 Ciencias Tecnológicas
Descrição
Resumo:La poca transparencia en los modelos de Inteligencia Artificial (IA) se presenta como uno de los retos hoy en día en la industria. Esta poca transparencia se refiere a lo complicado de explicar cómo los grandes modelos de inteligencia artificial logran tomar una decisión. Por ello cobra importancia la Inteligencia Artificial Explicable (XAI), campo de la inteligencia artificial que consiste en diseñar sistemas o métodos para hacer más transparente y fácil de comprender los mecanismos internos de los modelos de IA para los usuarios. En este Trabajo de Fin de Máster se propone un sistema de Case-Based Reasoning (CBR) que usa modelos de lenguaje multimodal, en concreto Large Lenguage Models (LLMs) para Visual Question Answering (VQA) y métricas de similitud textual y semántica, generando explicaciones basadas en ejemplos (factual) y contraejemplos (counter-factual). El método utiliza un modelo multimodal para crear descripciones textuales de imágenes y se utilizan métricas de similitud para recuperar las explicaciones y reutilizar la información textual generada anteriormente. Ambos enfoques (factual y conuterfactual) se han evaluado de forma offline y online, con usuarios reales, obteniendo resultados que indican que el método propuesto en este trabajo mejora la explicabilidad ante métodos tradicionales encontrados en la literatura.