Sistema conversacional para la atención en acceso a servicio público: análisis y evaluación del uso de Copilot Studio
El uso de inteligencia artificial generativa y generación aumentada por recuperación en la generación de respuestas asistentes conversacionales hace necesaria una validación completa que permita asegurar que las respuestas generadas por el sistema son seguras y valiosas para sus usuarios. Para ello,...
| Autor: | |
|---|---|
| Tipo de recurso: | tesis de maestría |
| Fecha de publicación: | 2025 |
| País: | España |
| Institución: | Universidad de Valladolid |
| Repositorio: | UVaDOC. Repositorio Documental de la Universidad de Valladolid |
| OAI Identifier: | oai:dnet:uvadoc______::7f819f0df8a03b32f839ac95648d0c70 |
| Acceso en línea: | https://uvadoc.uva.es/handle/10324/84507 |
| Access Level: | acceso abierto |
| Palabra clave: | Chatbot Copilot Studio Inteligencia artificial generativa Evaluación de sistemas conversacionales |
| Sumario: | El uso de inteligencia artificial generativa y generación aumentada por recuperación en la generación de respuestas asistentes conversacionales hace necesaria una validación completa que permita asegurar que las respuestas generadas por el sistema son seguras y valiosas para sus usuarios. Para ello, es fundamental contar con un marco de validación que permita comprobar la calidad de las respuestas y la experiencia del usuario, con el fin de evaluar la calidad general del sistema y detectar posibles puntos de mejora. En este trabajo, se ha realizado una revisión bibliográfica para conocer algunas de las técnicas empleadas en la validación y evaluación de sistemas conversacionales generativos, a partir de la cual se ha realizado un análisis sobre un chatbot desarrollado para la Universidad de Valladolid mediante la plataforma Copilot Studio, y accesible desde la página web institucional. Para este estudio se han recopilado un total de 556 sesiones de usuarios reales, que incluyen un total de 980 preguntas, de las cuales 250 han sido evaluadas manualmente para obtener una valoración de la calidad de las respuestas. Esta evaluación muestra como la naturaleza generalista de las preguntas de los usuarios, junto con el alcance limitado del sistema, ha llevado a una calidad de las respuestas menor a la esperada, observándose numerosos casos en la que el sistema no logra adecuarse a las necesidades del usuario. Pese a ello, la capacidad de las respuestas generativas resulta prometedora, y algunos ajustes en la identificación de los distintos temas podrían traducirse en mejoras significativas en la calidad de la respuesta, favoreciendo así un incremento en la interacción con el sistema, que por el momento se mantiene baja. Finalmente, se proponen una serie de mejoras que, junto a la descripción del sistema y la plataforma, pueden servir de guía para futuros desarrolladores interesados en mejorar la experiencia de usuario en sistemas conversacionales universitarios. |
|---|