10 Diseño y evaluación de modelos de aprendizaje automático no supervisado para la detección de anomalías en un sistema Spark

En el presente artículo se muestran los resultados obtenidos al diseñar y evaluar un modelo de aprendizaje automático no supervisado como es el K-Means para la detección de anomalías en tiempo real sobre múltiples sensores dentro de un sistema Spark utilizando un threshold para delimitar esas posibl...

Descripción completa

Detalles Bibliográficos
Autores: Bagheri-Gisour Marandyn, Farid, Larriva Novo, Xavier Andres, Villagrá, Víctor A.
Tipo de recurso: capítulo de libro
Fecha de publicación:2021
País:España
Institución:Universidad de Castilla-La Mancha
Repositorio:RUIdeRA. Repositorio Institucional de la UCLM
OAI Identifier:oai:ruidera.uclm.es:10578/28613
Acceso en línea:http://doi.org/10.18239/jornadas_2021.34.10
http://hdl.handle.net/10578/28613
Access Level:acceso abierto
Palabra clave:Machine Learning
K-Means
threshold
Spark
detección anomalías
Ciberseguridad
Descripción
Sumario:En el presente artículo se muestran los resultados obtenidos al diseñar y evaluar un modelo de aprendizaje automático no supervisado como es el K-Means para la detección de anomalías en tiempo real sobre múltiples sensores dentro de un sistema Spark utilizando un threshold para delimitar esas posibles anomalías. Los resultados obtenidos del modelo (aún en fase de desarrollo y mejora) demuestran la capacidad de poder detectar tres tipos de eventos: eventos no anómalos, eventos anómalos por características y eventos anómalos por aspectos temporales. Este comportamiento presenta características estimulantes para poder aplicar este tipo de algoritmos en un entorno real donde los datos no tienen ningún tipo de etiquetado. Todo ello, sumado a la capacidad que ofrece Spark para realizar el procesado de grandes volúmenes de datos en tiempo real, da como resultado un sistema prometedor capaz de clasificar eventos procedentes de diversos sensores de manera inmediata.