A Unified Framework for Topic Segmentation Based on Semantic Correlation Modeling
Topic Segmentation, una de las muchas tareas dentro del panorama moderno del Procesamiento del Lenguaje Natural (NLP), consiste en detectar fronteras temáticas en documentos de texto secuenciales y representa un cuello de botella fundamental y todavía poco explorado en muchos pipelines de NLP. Tarea...
| Autor: | |
|---|---|
| Tipo de recurso: | tesis doctoral |
| Fecha de publicación: | 2026 |
| País: | España |
| Institución: | Universidad de Alcalá (UAH) |
| Repositorio: | e_Buah Biblioteca Digital Universidad de Alcalá |
| Idioma: | inglés |
| OAI Identifier: | oai:dnet:ebuahbibliot::c925f12369c6c04b154a4c52074b05a5 |
| Acceso en línea: | http://hdl.handle.net/10017/69416 |
| Access Level: | acceso abierto |
| Palabra clave: | Inteligencia artificial Heurística Técnicas de inferencia estadística Telecomunicaciones Telecommunication |
| Sumario: | Topic Segmentation, una de las muchas tareas dentro del panorama moderno del Procesamiento del Lenguaje Natural (NLP), consiste en detectar fronteras temáticas en documentos de texto secuenciales y representa un cuello de botella fundamental y todavía poco explorado en muchos pipelines de NLP. Tareas como Information Retrieval, el resumen automático y los sistemas de preguntas y respuestas sobre documentos largos, aplicaciones con un gran impacto social y tecnológico en la inteligencia artificial moderna, están estrechamente relacionadas con este problema crítico. Desarrollar modelos con una fuerte afinidad para Topic Segmentation sigue siendo un desafío debido a la forma en que se entrenan los modelos de lenguaje del estado del arte. Entre los paradigmas actuales, dominan los modelos entrenados mediante Masked Language Modeling (tareas orientadas a clasificación) y Causal Language Modeling (tareas comúnmente asociadas con la IA generativa). Sin embargo, el paradigma de entrenamiento más natural para Topic Segmentation surgiría de modelos entrenados bajo el marco de Contrastive Learning (tareas basadas en similaridad). Aunque este tipo de modelos existe, su entrenamiento todavía no alcanza la escalabilidad de los paradigmas utilizados por modelos más consolidados como BERT (Masked Language Modeling) y GPT (Causal Language Modeling). La idea central de esta tesis es proponer un marco unificado y genérico para Topic Segmentation. La hipótesis de partida es que la tarea de segmentación puede descomponerse en sub-tareas como la tokenización, la codificación semántica y la segmentación abstracta de matrices de correlación. Si esta descomposición es posible, se podrían construir modelos independientes capaces de resolver cada componente de forma coherente dentro de un marco unificado aplicable a múltiples dominios. Además, la tesis explora si Topic Segmentation podría actuar como señal supervisora para entrenar modelos de lenguaje dentro del paradigma de Contrastive Learning de forma escalable y transferible, lo que potencialmente abriría la puerta a un nuevo paradigma de entrenamiento. El trabajo aborda por tanto varios temas interconectados: Topic Segmentation, la segmentación de matrices de correlación como un problema relacionado y más estudiado, y las implicaciones más amplias de la hipótesis principal. Las cuestiones de transferibilidad y generalización conectan esta investigación con un amplio cuerpo de trabajo dentro del aprendizaje automático y la teoría estadística del aprendizaje. La creciente disponibilidad de datos a gran escala, la reutilización generalizada de modelos pre-entrenados y las evidencias recientes de zero-shot learners como GPT-3 sitúan el concepto de generalización en un nuevo contexto, planteando la cuestión de si la generalización debe entenderse principalmente como una propiedad del modelo o de la tarea que se está aprendiendo. Además, se sabe que los modelos entrenados bajo objetivos Masked Language Modeling pueden soportar tareas contrastivas como la similaridad semántica. Sin embargo, sigue sin estar claro si los modelos basados en Causal Language Modeling son adecuados para este tipo de tareas. Es posible que la geometría de las representaciones inducida por el entrenamiento Causal Language Modeling permita resolver la tarea de Topic Segmentation dentro de este marco, lo que ampliaría el conjunto de modelos que pueden utilizarse. Finalmente, idiomas como el español, utilizados por un gran número de hablantes en todo el mundo, siguen estando comparativamente menos explorados que el inglés en el campo del Procesamiento del Lenguaje Natural, aunque los modelos multilingües están marcando una tendencia creciente. |
|---|