Predicción de consumo de recursos para la ejecución de procesos

La creación y consumo de datos a través de internet ha experimentado un incremento en los últimos años que implica que cada vez sea más necesario disponer de aplicaciones basadas en tecnologías Big Data que puedan tratar con esa información y obtener un valor de esos datos. Estas tecnologías general...

Descripción completa

Detalles Bibliográficos
Autor: García Hernández, Antonio
Tipo de recurso: tesis de maestría
Fecha de publicación:2022
País:España
Institución:Universidad Nacional de Educación a Distancia
Repositorio:e-spacio. Repositorio Institucional de la UNED
Idioma:español
OAI Identifier:oai:e-spacio.uned.es:20.500.14468/14197
Acceso en línea:https://hdl.handle.net/20.500.14468/14197
Access Level:acceso abierto
Palabra clave:1203.04 Inteligencia artificial
predicción de consumo de recursos
series temporales
Google Borg Cluster
Traces v3
aprendizaje automático
aprendizaje automático profundo
Jupyter Notebook
Python3
Scikit-Learn
Keras
TensorFlow
id ES_761a7a3de3a44cf35ba34ff10e60eecd
oai_identifier_str oai:e-spacio.uned.es:20.500.14468/14197
network_acronym_str ES
network_name_str España
repository_id_str
spelling Predicción de consumo de recursos para la ejecución de procesosGarcía Hernández, Antonio1203.04 Inteligencia artificialpredicción de consumo de recursosseries temporalesGoogle Borg ClusterTraces v3aprendizaje automáticoaprendizaje automático profundoJupyter NotebookPython3Scikit-LearnKerasTensorFlowLa creación y consumo de datos a través de internet ha experimentado un incremento en los últimos años que implica que cada vez sea más necesario disponer de aplicaciones basadas en tecnologías Big Data que puedan tratar con esa información y obtener un valor de esos datos. Estas tecnologías generalmente funcionan de modo distribuido sobre plataformas empresariales que pueden alcanzar en algunos casos miles de máquinas de procesamiento. Dado que estas plataformas van a gestionar cada vez más volumen de datos, se hace necesario optimizar los recursos existentes en la infraestructura de modo que se continue dando servicio a la ejecución de esas aplicaciones de un modo más eficiente. Una opción podría ser planificar la ejecución de aplicaciones conociendo cuando se van a producir los mayores consumos de recursos por parte de estas. De modo que se pudiese adelantar o retrasar algunos trabajos planificados para que sus picos de consumo no coincidan en tiempo y finalicen incorrectamente por falta de recursos en el sistema. En este trabajo se analizará un conjunto de datos real extraído de una plataforma de procesamiento distribuido donde multitud de aplicaciones ejecutan sus tareas de modo paralelizado y concurrente. Posteriormente, los datos serán utilizados para crear modelos de aprendizaje automático mediante series temporales con la idea de predecir, para la próxima ejecución de una determinada aplicación, cuando se producirá su pico de consumo máximo y cuál será el valor de este.Over the last years, creation and consumption of internet data has been increased. This makes necessary using Big Data technologies for managing these data and getting a value from them. Usually, these technologies work in distributed business environments that can amount to thousands of machines. As these platforms are expected to manage an increasing data volume, finding new ways for optimizing the available resources are needed, so they can continue providing support to those applications that must be executed in distributed environments. One possible solution could be scheduling the applications executions based on their peak resource consumptions. This way, several jobs could be delayed or forwarded so they cannot reach their consumption peaks at the same time and avoid evicting them due to the lack of available resources. This work will analyze a real distributed environment dataset where lots of applications are executed in a parallel way. Next, the dataset will be used for building time series machine learning models that will be able to forecast when will be the consumption peak and what is its value for the next execution of a certain application.Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia ArtificialCaminero Herráez, Agustín CarlosCuadra Troncoso, José Manuele-Spacio UNED20242024-05-2020222022-10-1020222022-10-10master thesishttp://purl.org/coar/resource_type/c_bdccinfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/20.500.14468/14197reponame:e-spacio. Repositorio Institucional de la UNEDinstname:Universidad Nacional de Educación a DistanciaEspañolspaopen accesshttp://purl.org/coar/access_right/c_abf2info:eu-repo/semantics/openAccesshttps://creativecommons.org/licenses/by-nc-nd/4.0/deed.esoai:e-spacio.uned.es:20.500.14468/141972026-06-06T12:38:31Z
dc.title.none.fl_str_mv Predicción de consumo de recursos para la ejecución de procesos
title Predicción de consumo de recursos para la ejecución de procesos
spellingShingle Predicción de consumo de recursos para la ejecución de procesos
García Hernández, Antonio
1203.04 Inteligencia artificial
predicción de consumo de recursos
series temporales
Google Borg Cluster
Traces v3
aprendizaje automático
aprendizaje automático profundo
Jupyter Notebook
Python3
Scikit-Learn
Keras
TensorFlow
title_short Predicción de consumo de recursos para la ejecución de procesos
title_full Predicción de consumo de recursos para la ejecución de procesos
title_fullStr Predicción de consumo de recursos para la ejecución de procesos
title_full_unstemmed Predicción de consumo de recursos para la ejecución de procesos
title_sort Predicción de consumo de recursos para la ejecución de procesos
dc.creator.none.fl_str_mv García Hernández, Antonio
author García Hernández, Antonio
author_facet García Hernández, Antonio
author_role author
dc.contributor.none.fl_str_mv Caminero Herráez, Agustín Carlos
Cuadra Troncoso, José Manuel
e-Spacio UNED
dc.subject.none.fl_str_mv 1203.04 Inteligencia artificial
predicción de consumo de recursos
series temporales
Google Borg Cluster
Traces v3
aprendizaje automático
aprendizaje automático profundo
Jupyter Notebook
Python3
Scikit-Learn
Keras
TensorFlow
topic 1203.04 Inteligencia artificial
predicción de consumo de recursos
series temporales
Google Borg Cluster
Traces v3
aprendizaje automático
aprendizaje automático profundo
Jupyter Notebook
Python3
Scikit-Learn
Keras
TensorFlow
description La creación y consumo de datos a través de internet ha experimentado un incremento en los últimos años que implica que cada vez sea más necesario disponer de aplicaciones basadas en tecnologías Big Data que puedan tratar con esa información y obtener un valor de esos datos. Estas tecnologías generalmente funcionan de modo distribuido sobre plataformas empresariales que pueden alcanzar en algunos casos miles de máquinas de procesamiento. Dado que estas plataformas van a gestionar cada vez más volumen de datos, se hace necesario optimizar los recursos existentes en la infraestructura de modo que se continue dando servicio a la ejecución de esas aplicaciones de un modo más eficiente. Una opción podría ser planificar la ejecución de aplicaciones conociendo cuando se van a producir los mayores consumos de recursos por parte de estas. De modo que se pudiese adelantar o retrasar algunos trabajos planificados para que sus picos de consumo no coincidan en tiempo y finalicen incorrectamente por falta de recursos en el sistema. En este trabajo se analizará un conjunto de datos real extraído de una plataforma de procesamiento distribuido donde multitud de aplicaciones ejecutan sus tareas de modo paralelizado y concurrente. Posteriormente, los datos serán utilizados para crear modelos de aprendizaje automático mediante series temporales con la idea de predecir, para la próxima ejecución de una determinada aplicación, cuando se producirá su pico de consumo máximo y cuál será el valor de este.
publishDate 2022
dc.date.none.fl_str_mv 2022
2022-10-10
2022
2022-10-10
2024
2024-05-20
dc.type.none.fl_str_mv master thesis
http://purl.org/coar/resource_type/c_bdcc
dc.type.openaire.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
dc.identifier.none.fl_str_mv https://hdl.handle.net/20.500.14468/14197
url https://hdl.handle.net/20.500.14468/14197
dc.language.none.fl_str_mv Español
spa
language_invalid_str_mv Español
language spa
dc.rights.none.fl_str_mv open access
http://purl.org/coar/access_right/c_abf2
info:eu-repo/semantics/openAccess
https://creativecommons.org/licenses/by-nc-nd/4.0/deed.es
rights_invalid_str_mv open access
http://purl.org/coar/access_right/c_abf2
https://creativecommons.org/licenses/by-nc-nd/4.0/deed.es
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial
publisher.none.fl_str_mv Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial
dc.source.none.fl_str_mv reponame:e-spacio. Repositorio Institucional de la UNED
instname:Universidad Nacional de Educación a Distancia
instname_str Universidad Nacional de Educación a Distancia
reponame_str e-spacio. Repositorio Institucional de la UNED
collection e-spacio. Repositorio Institucional de la UNED
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869411027686260736
score 15,811543