| Summary: | Este Trabajo de Fin de Máster presenta una evaluación comparativa del rendimiento de la arquitectura Retrieval-Augmented Generation (RAG) aplicada a guías clínicas en reumatología. Con el objetivo de analizar cómo varía la calidad de las respuestas generadas en función del volumen de información recuperada y del modelo de lenguaje utilizado, se implementaron tres variantes: un modelo base puramente generativo (Generative), un modelo RAG con fragmentos de 500 caracteres (RAG500) y otro con fragmentos de 1000 caracteres (RAG1000). Para cada configuración, se emplearon tres LLM: GPT-3.5 Turbo, GPT-4o mini y GPT-4.1 mini. El corpus documental se construyó a partir de guías clínicas del American College of Rheumatology, procesadas mediante técnicas de extracción de texto (GROBID y LlamaParse), segmentación (RecursiveCharacterTextSplitter) y vectorización semántica (text-embedding-3-large), integrando herramientas como LangChain y LangSmith. Las respuestas fueron evaluadas con seis métricas: fidelidad, relevancia, precisión, concisión, completitud parcial y total, usando 340 preguntas clínicas generadas por un modelo externo (Gemini 1.5 Pro). Los resultados muestran mejoras significativas de RAG frente al modelo generativo. En el tercer experimento, RAG500 y RAG1000 fueron claramente preferidos (p \textless 0.001). Además, RAG1000 superó a RAG500 en fidelidad (p = 0.001), relevancia (p = 0.0013), precisión (p = 0.0011) y completitud (p \textless 0.001), aunque con ligera pérdida de concisión. Se aplicaron pruebas de Wilcoxon y binomial para validar estas diferencias. El estudio aporta evidencia sobre la eficacia de RAG para mejorar la generación de información clínica estructurada, destacando su potencial como sistema de apoyo a la toma de decisiones.
|
|---|
