Aportaciones para la generación automática de preguntas de opción múltiple utilizando técnicas de Inteligencia Artificial
Las preguntas de opción múltiple (MCQs) son herramientas de evaluación ampliamente utilizadas debido a su eficiencia y versatilidad para evaluar diversas habilidades cognitivas. Sin embargo, su creación manual, y especialmente la elaboración de distractores efectivos, es compleja y consume mucho tie...
| Author: | |
|---|---|
| Format: | doctoral thesis |
| Publication Date: | 2025 |
| Country: | España |
| Institution: | Universidad de Alcalá (UAH) |
| Repository: | e_Buah Biblioteca Digital Universidad de Alcalá |
| Language: | Spanish |
| OAI Identifier: | oai:ebuah.uah.es:10017/67814 |
| Online Access: | http://hdl.handle.net/10017/67814 |
| Access Level: | Open access |
| Keyword: | Inteligencia artificial Sistemas de información, diseño y componentes Informática Computer Science |
| Summary: | Las preguntas de opción múltiple (MCQs) son herramientas de evaluación ampliamente utilizadas debido a su eficiencia y versatilidad para evaluar diversas habilidades cognitivas. Sin embargo, su creación manual, y especialmente la elaboración de distractores efectivos, es compleja y consume mucho tiempo. Este trabajo propone un enfoque end-to-end para la generación automática de MCQs, abarcando tareas de generación de preguntas, obtención de respuestas y generación de distractores, utilizando modelos basados en la arquitectura Transformer (T5, Flan-T5 y LongT5), así como técnicas de fine-tuning como adaptaciones de rango bajo y cuantización, particularmente para la tarea de generación de distractores, logrando mejoras en métricas automáticas de evaluación. Además, se introduce un sistema multi-agente reflexivo basado en flujos de trabajo agentivos utilizando Claude-3.5 Sonnet, diseñado específicamente para generar y refinar MCQs sobre temas de programación. Las evaluaciones humanas confirman que el refinamiento reflexivo mejora aspectos como la relevancia y la claridad de la justificación de las respuestas. A pesar de estos avances, la creación de distractores efectivos sigue siendo un desafío considerable, destacando la necesidad de continuar con investigaciones y desarrollar métodos y métricas estandarizadas para su evaluación. |
|---|