Sistema de Predicción de Consumo Energético sobre Grandes Volúmenes de Datos utilizando Apache Spark

El presente Trabajo Fin de Máster demuestra la viabilidad de aplicar técnicas de ciencia de datos y aprendizaje automático para la predicción del consumo energético sobre grandes volúmenes de información, utilizando Apache Spark. Se ha diseñado e implementado un pipeline automatizado a través de Apa...

ver descrição completa

Detalhes bibliográficos
Autor: González Frías, Álvaro
Formato: tesis de maestría
Fecha de publicación:2025
País:España
Recursos:Universidad de Sevilla (US)
Repositorio:idUS. Depósito de Investigación de la Universidad de Sevilla
OAI Identifier:oai:idus.us.es:11441/180673
Acesso em linha:https://hdl.handle.net/11441/180673
Access Level:acceso abierto
Palavra-chave:Predicción de consumo
Big Data
Machine Learning
Clustering
Apache Spark
Apache Airflow
Consumption prediction
id ES_1ecf5cd39379b0deb91fbc7c9307d113
oai_identifier_str oai:idus.us.es:11441/180673
network_acronym_str ES
network_name_str España
repository_id_str
spelling Sistema de Predicción de Consumo Energético sobre Grandes Volúmenes de Datos utilizando Apache SparkGonzález Frías, ÁlvaroPredicción de consumoBig DataMachine LearningClusteringApache SparkApache AirflowConsumption predictionEl presente Trabajo Fin de Máster demuestra la viabilidad de aplicar técnicas de ciencia de datos y aprendizaje automático para la predicción del consumo energético sobre grandes volúmenes de información, utilizando Apache Spark. Se ha diseñado e implementado un pipeline automatizado a través de Apache Airflow que integra todas las fases del ciclo de vida del modelo predictivo (ingesta, preprocesamiento, entrenamiento, evaluación, selección del mejor modelo y predicción), garantizando trazabilidad y reproducibilidad. El sistema evalúa distintos algoritmos de regresión mediante Spark MLlib, siendo Random Forest el que logra mayor precisión mientras que la Regresión Lineal destaca como alternativa eficiente en escenarios con restricciones de latencia. Asimismo, se explora la utilidad de la segmentación de clientes mediante clustering, comprobando que su beneficio depende de la heterogeneidad de los datos. Los resultados confirman que la solución propuesta es escalable y adaptable, aunque las limitaciones de Spark MLlib, al no incluir modelos avanzados como redes neuronales, restringen la captura de dependencias temporales complejas. En conjunto, el trabajo aporta un marco reproducible y extensible para la analítica energética, combinando ingeniería del software, Big Data y aprendizaje automático, con potencial de aplicación en entornos académicos e industriales.This Master’s Thesis demonstrates the feasibility of applying data science and machine learning techniques for energy consumption prediction over large volumes of data using Apache Spark. An automated pipeline has been designed and implemented through Apache Airflow, integrating all stages of the predictive model lifecycle (ingestion, preprocessing, training, evaluation, model selection, and prediction), ensuring traceability and reproducibility. The system evaluates various regression algorithms using Spark MLlib, with Random Forest achieving the highest accuracy, while Linear Regression stands out as an efficient alternative in scenarios with latency constraints. Additionally, the usefulness of customer segmentation through clustering is explored, confirming that its benefits depend on the data’s heterogeneity. The results confirm that the proposed solution is scalable and adaptable, although the limitations of Spark MLlib, which lacks advanced models such as neural networks, restrict the capture of complex temporal dependencies. Overall, the work provides a reproducible and extensible framework for energy analytics, combining software engineering, Big Data, and machine learning, with potential applications in both academic and industrial environments.Máster Universitario en Ingeniería del Software: Cloud, Datos y Gestión de las TecnologíasLuna Romera, José MaríaLenguajes y Sistemas InformáticosTIC134: Sistemas Informáticos2025info:eu-repo/semantics/masterThesisapplication/pdfapplication/pdfhttps://hdl.handle.net/11441/180673reponame:idUS. Depósito de Investigación de la Universidad de Sevillainstname:Universidad de Sevilla (US)Españolinfo:eu-repo/semantics/openAccessoai:idus.us.es:11441/1806732026-06-17T12:51:07Z
dc.title.none.fl_str_mv Sistema de Predicción de Consumo Energético sobre Grandes Volúmenes de Datos utilizando Apache Spark
title Sistema de Predicción de Consumo Energético sobre Grandes Volúmenes de Datos utilizando Apache Spark
spellingShingle Sistema de Predicción de Consumo Energético sobre Grandes Volúmenes de Datos utilizando Apache Spark
González Frías, Álvaro
Predicción de consumo
Big Data
Machine Learning
Clustering
Apache Spark
Apache Airflow
Consumption prediction
title_short Sistema de Predicción de Consumo Energético sobre Grandes Volúmenes de Datos utilizando Apache Spark
title_full Sistema de Predicción de Consumo Energético sobre Grandes Volúmenes de Datos utilizando Apache Spark
title_fullStr Sistema de Predicción de Consumo Energético sobre Grandes Volúmenes de Datos utilizando Apache Spark
title_full_unstemmed Sistema de Predicción de Consumo Energético sobre Grandes Volúmenes de Datos utilizando Apache Spark
title_sort Sistema de Predicción de Consumo Energético sobre Grandes Volúmenes de Datos utilizando Apache Spark
dc.creator.none.fl_str_mv González Frías, Álvaro
author González Frías, Álvaro
author_facet González Frías, Álvaro
author_role author
dc.contributor.none.fl_str_mv Luna Romera, José María
Lenguajes y Sistemas Informáticos
TIC134: Sistemas Informáticos
dc.subject.none.fl_str_mv Predicción de consumo
Big Data
Machine Learning
Clustering
Apache Spark
Apache Airflow
Consumption prediction
topic Predicción de consumo
Big Data
Machine Learning
Clustering
Apache Spark
Apache Airflow
Consumption prediction
description El presente Trabajo Fin de Máster demuestra la viabilidad de aplicar técnicas de ciencia de datos y aprendizaje automático para la predicción del consumo energético sobre grandes volúmenes de información, utilizando Apache Spark. Se ha diseñado e implementado un pipeline automatizado a través de Apache Airflow que integra todas las fases del ciclo de vida del modelo predictivo (ingesta, preprocesamiento, entrenamiento, evaluación, selección del mejor modelo y predicción), garantizando trazabilidad y reproducibilidad. El sistema evalúa distintos algoritmos de regresión mediante Spark MLlib, siendo Random Forest el que logra mayor precisión mientras que la Regresión Lineal destaca como alternativa eficiente en escenarios con restricciones de latencia. Asimismo, se explora la utilidad de la segmentación de clientes mediante clustering, comprobando que su beneficio depende de la heterogeneidad de los datos. Los resultados confirman que la solución propuesta es escalable y adaptable, aunque las limitaciones de Spark MLlib, al no incluir modelos avanzados como redes neuronales, restringen la captura de dependencias temporales complejas. En conjunto, el trabajo aporta un marco reproducible y extensible para la analítica energética, combinando ingeniería del software, Big Data y aprendizaje automático, con potencial de aplicación en entornos académicos e industriales.
publishDate 2025
dc.date.none.fl_str_mv 2025
dc.type.none.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
dc.identifier.none.fl_str_mv https://hdl.handle.net/11441/180673
url https://hdl.handle.net/11441/180673
dc.language.none.fl_str_mv Español
language_invalid_str_mv Español
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
application/pdf
dc.source.none.fl_str_mv reponame:idUS. Depósito de Investigación de la Universidad de Sevilla
instname:Universidad de Sevilla (US)
instname_str Universidad de Sevilla (US)
reponame_str idUS. Depósito de Investigación de la Universidad de Sevilla
collection idUS. Depósito de Investigación de la Universidad de Sevilla
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869404362769432576
score 15,812429

Registos relacionados