Búsqueda de Respuestas en Español: Comparativa entre enfoques clásicos y modernos
Este Trabajo de Fin de Máster investiga la diferencia de rendimiento entre los métodos clásicos de Búsqueda de Respuestas (QA) basados en la recuperación de información (RI) y los enfoques modernos de embeddings y generación para la QA en español, utilizando la colección de la tarea CLEF 2005 QA com...
| Autor: | |
|---|---|
| Tipo de recurso: | tesis de maestría |
| Fecha de publicación: | 2025 |
| País: | España |
| Institución: | Universidad Nacional de Educación a Distancia |
| Repositorio: | e-spacio. Repositorio Institucional de la UNED |
| Idioma: | español |
| OAI Identifier: | oai:e-spacio.uned.es:20.500.14468/31204 |
| Acceso en línea: | https://hdl.handle.net/20.500.14468/31204 |
| Access Level: | acceso abierto |
| Palabra clave: | 1203.04 Inteligencia artificial Búsqueda de Respuestas Modelos de Lenguaje a Gran Escala RAG Inteligencia Artificial Generativa Question Answering Generative Artificial Intelligence Large Language Models |
| Sumario: | Este Trabajo de Fin de Máster investiga la diferencia de rendimiento entre los métodos clásicos de Búsqueda de Respuestas (QA) basados en la recuperación de información (RI) y los enfoques modernos de embeddings y generación para la QA en español, utilizando la colección de la tarea CLEF 2005 QA como punto de referencia histórico. El trabajo persigue tres objetivos: (1) comparar los métodos de recuperación basados en estadísticas de términos (TF, TF-IDF, BM25) con la recuperación de word embeddings (recuperación semántica); (2) contrastar los procesos extractivos basados únicamente en encoders con las arquitecturas de Generación Aumentada por Recuperación (RAG) impulsadas por Modelos de Lenguaje a Gran Escala (LLM) basados únicamente en decoders; y (3) analizar el comportamiento por tipo de pregunta (definición, factual, con restricción temporal) mediante un diseño experimental combinatorio. La configuración experimental comprende 36 ejecuciones que mezclan tres configuraciones con índices FAISS, clasificadores clásicos y varios modelos basados en transformers (como bert-base-spanish, variantes de RoBERTa, Llama-3.1, Qwen2.5 y gemma-2 ). La evaluación utiliza métricas para la RI y las métricas de respuesta automática (coincidencia exacta, F1, BLEU, BERTScore), complementadas con un análisis manual de errores. Las conclusiones principales muestran que los sistemas RAG con recuperación semántica suelen superar a los procesos basados únicamente en encoders para preguntas factuales y temporales, mientras que los sistemas basados únicamente en encoders siguen siendo más eficaces en preguntas de definición en las que la extracción literal y la trazabilidad son importantes; además, ciertas combinaciones de RAG alcanzan un alto rendimiento en la detección de preguntas NIL (sin respuesta). Este trabajo también hace hincapié en que la comparación numérica directa con CLEF 2005 debe realizarse con cautela, ya que la precisión basada en humanos de CLEF no es directamente comparable con la estricta métrica EM utilizada aquí; las métricas semánticas (F1, BERTScore) ayudan a salvar esa diferencia. |
|---|