Analyzing sustainability of Code SLMs serving with runtime engines and execution providers

Background. The rapid growth of Language Models (LMs), particularly in code generation, requires substantial computational resources, raising concerns about energy consumption and environmental impact. Optimizing LMs inference for energy efficiency is crucial, and Small Language Models (SLMs) offer...

Descripción completa

Detalles Bibliográficos
Autor: Durán López, Francisco Javier
Tipo de recurso: tesis de maestría
Fecha de publicación:2025
País:España
Institución:Universitat Politècnica de Catalunya (UPC)
Repositorio:UPCommons. Portal del coneixement obert de la UPC
Idioma:inglés
OAI Identifier:oai:upcommons.upc.edu:2117/429361
Acceso en línea:https://hdl.handle.net/2117/429361
Access Level:acceso abierto
Palabra clave:Software measurement
Deep learning (Machine learning)
Energy consumption
aprenentatge profund
models de llenguatge
desplegament de models
inferència
IA verda
deep learning
language models
model serving
inference
green AI
Programari--Mesurament
Aprenentatge profund
Energia--Consum
Àrees temàtiques de la UPC::Informàtica::Impacte ambiental
Àrees temàtiques de la UPC::Informàtica::Enginyeria del software
id ES_0afe16e69f1f6dfbeca6f7a5eaa7a2e2
oai_identifier_str oai:upcommons.upc.edu:2117/429361
network_acronym_str ES
network_name_str España
repository_id_str
dc.title.none.fl_str_mv Analyzing sustainability of Code SLMs serving with runtime engines and execution providers
title Analyzing sustainability of Code SLMs serving with runtime engines and execution providers
spellingShingle Analyzing sustainability of Code SLMs serving with runtime engines and execution providers
Durán López, Francisco Javier
Software measurement
Deep learning (Machine learning)
Energy consumption
aprenentatge profund
models de llenguatge
desplegament de models
inferència
IA verda
deep learning
language models
model serving
inference
green AI
Programari--Mesurament
Aprenentatge profund
Energia--Consum
Àrees temàtiques de la UPC::Informàtica::Impacte ambiental
Àrees temàtiques de la UPC::Informàtica::Enginyeria del software
title_short Analyzing sustainability of Code SLMs serving with runtime engines and execution providers
title_full Analyzing sustainability of Code SLMs serving with runtime engines and execution providers
title_fullStr Analyzing sustainability of Code SLMs serving with runtime engines and execution providers
title_full_unstemmed Analyzing sustainability of Code SLMs serving with runtime engines and execution providers
title_sort Analyzing sustainability of Code SLMs serving with runtime engines and execution providers
dc.creator.none.fl_str_mv Durán López, Francisco Javier
author Durán López, Francisco Javier
author_facet Durán López, Francisco Javier
author_role author
dc.contributor.none.fl_str_mv Martínez Fernández, Silverio Juan
Martínez Martínez, Matías-Sebastián
dc.subject.none.fl_str_mv Software measurement
Deep learning (Machine learning)
Energy consumption
aprenentatge profund
models de llenguatge
desplegament de models
inferència
IA verda
deep learning
language models
model serving
inference
green AI
Programari--Mesurament
Aprenentatge profund
Energia--Consum
Àrees temàtiques de la UPC::Informàtica::Impacte ambiental
Àrees temàtiques de la UPC::Informàtica::Enginyeria del software
topic Software measurement
Deep learning (Machine learning)
Energy consumption
aprenentatge profund
models de llenguatge
desplegament de models
inferència
IA verda
deep learning
language models
model serving
inference
green AI
Programari--Mesurament
Aprenentatge profund
Energia--Consum
Àrees temàtiques de la UPC::Informàtica::Impacte ambiental
Àrees temàtiques de la UPC::Informàtica::Enginyeria del software
description Background. The rapid growth of Language Models (LMs), particularly in code generation, requires substantial computational resources, raising concerns about energy consumption and environmental impact. Optimizing LMs inference for energy efficiency is crucial, and Small Language Models (SLMs) offer a promising solution to reduce resource demands. Aim. Our goal is to analyze the impact of deep learning runtime engines and execution providers on energy consumption, execution time, and computing-resource utilization from the point of view of software engineers conducting inference in the context of code SLMs. Method. We conducted a technology-oriented, multi-stage experimental pipeline using twelve code generation SLMs to investigate energy consumption, execution time, and computing-resource utilization across the configurations. Results. Significant differences emerged across configurations. CUDA execution provider configurations outperformed CPU execution provider configurations in both energy consumption and execution time. Among the configurations, TORCH paired with CUDA demonstrated the greatest energy efficiency, achieving energy savings from 37.99% up to 89.16% compared to other serving configurations. Similarly, optimized runtime engines like ONNX with the CPU execution provider achieved from 8.98% up to 72.04% energy savings within CPU-based configurations. Also, TORCH paired with CUDA exhibited efficient computing-resource utilization. Conclusions. Serving configuration choice significantly impacts energy efficiency. While further research is needed, we recommend the above configurations best suited to software engineers’ requirements for enhancing serving efficiency in energy and performance.
publishDate 2025
dc.date.none.fl_str_mv 2025
2025-01-29
2025
2025-05-12
dc.type.none.fl_str_mv master thesis
http://purl.org/coar/resource_type/c_bdcc
NA
http://purl.org/coar/version/c_be7fb7dd8ff6fe43
dc.type.openaire.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
dc.identifier.none.fl_str_mv https://hdl.handle.net/2117/429361
url https://hdl.handle.net/2117/429361
dc.language.none.fl_str_mv Inglés
eng
language_invalid_str_mv Inglés
language eng
dc.rights.none.fl_str_mv open access
http://purl.org/coar/access_right/c_abf2
dc.rights.openaire.fl_str_mv info:eu-repo/semantics/openAccess
rights_invalid_str_mv open access
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universitat Politècnica de Catalunya
publisher.none.fl_str_mv Universitat Politècnica de Catalunya
dc.source.none.fl_str_mv reponame:UPCommons. Portal del coneixement obert de la UPC
instname:Universitat Politècnica de Catalunya (UPC)
instname_str Universitat Politècnica de Catalunya (UPC)
reponame_str UPCommons. Portal del coneixement obert de la UPC
collection UPCommons. Portal del coneixement obert de la UPC
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869403195501969408
spelling Analyzing sustainability of Code SLMs serving with runtime engines and execution providersDurán López, Francisco JavierSoftware measurementDeep learning (Machine learning)Energy consumptionaprenentatge profundmodels de llenguatgedesplegament de modelsinferènciaIA verdadeep learninglanguage modelsmodel servinginferencegreen AIProgramari--MesuramentAprenentatge profundEnergia--ConsumÀrees temàtiques de la UPC::Informàtica::Impacte ambientalÀrees temàtiques de la UPC::Informàtica::Enginyeria del softwareBackground. The rapid growth of Language Models (LMs), particularly in code generation, requires substantial computational resources, raising concerns about energy consumption and environmental impact. Optimizing LMs inference for energy efficiency is crucial, and Small Language Models (SLMs) offer a promising solution to reduce resource demands. Aim. Our goal is to analyze the impact of deep learning runtime engines and execution providers on energy consumption, execution time, and computing-resource utilization from the point of view of software engineers conducting inference in the context of code SLMs. Method. We conducted a technology-oriented, multi-stage experimental pipeline using twelve code generation SLMs to investigate energy consumption, execution time, and computing-resource utilization across the configurations. Results. Significant differences emerged across configurations. CUDA execution provider configurations outperformed CPU execution provider configurations in both energy consumption and execution time. Among the configurations, TORCH paired with CUDA demonstrated the greatest energy efficiency, achieving energy savings from 37.99% up to 89.16% compared to other serving configurations. Similarly, optimized runtime engines like ONNX with the CPU execution provider achieved from 8.98% up to 72.04% energy savings within CPU-based configurations. Also, TORCH paired with CUDA exhibited efficient computing-resource utilization. Conclusions. Serving configuration choice significantly impacts energy efficiency. While further research is needed, we recommend the above configurations best suited to software engineers’ requirements for enhancing serving efficiency in energy and performance.Contexto. El rápido crecimiento de los modelos de lenguaje (Language Models), particularmente en la generación de código, requiere recursos computacionales sustanciales, lo que genera preocupaciones sobre el consumo de energía y el impacto ambiental. Optimizar la inferencia de los modelos de lenguaje para mejorar la eficiencia energética es crucial, y los modelos de lenguaje pequeños (Small Language Models) ofrecen una solución prometedora para reducir las demandas de recursos. Objetivo. Nuestro objetivo es analizar el impacto de los runtime engines y los execution providers de aprendizaje profundo en el consumo de energía, el tiempo de ejecución y la utilización de recursos computacionales desde el punto de vista de los ingenieros de software que realizan inferencias en el contexto de los modelos de lenguaje pequeños de código. Método. Realizamos un pipeline experimental orientado a tecnología, de varias etapas, utilizando doce modelos de lenguaje pequeños de generación de código para investigar el consumo de energía, el tiempo de ejecución y la utilización de recursos computacionales en las distintas configuraciones. Resultados. Surgieron diferencias significativas entre las configuraciones. Las configuraciones con el execution provider CUDA superaron a las configuraciones con el execution provider CPU tanto en consumo de energía como en tiempo de ejecución. Entre las configuraciones, TORCH combinado con CUDA demostró la mayor eficiencia energética, logrando ahorros de energía desde el 37.99% hasta el 89.16% en comparación con otras configuraciones. De manera similar, runtime engines optimizados como ONNX con el execution provider CPU lograron ahorros de energía desde el 8.98% hasta el 72.04% dentro de configuraciones basadas en CPU. Además, TORCH combinado con CUDA mostró una eficiente utilización de los recursos computacionales. Conclusiones. La elección de la configuración de servicio impacta significativamente en la eficiencia energética. Aunque se necesita más investigación, recomendamos las configuraciones mencionadas anteriormente como las más adecuadas a los requisitos de los ingenieros de software para mejorar la eficiencia del servicio en términos de energía y rendimiento.Context. El ràpid creixement dels models de llenguatge (Language models), particularment en la generació de codi, requereix recursos computacionals substancials, cosa que genera preocupacions sobre el consum d’energia i l’impacte ambiental. Optimitzar la inferència dels models de llenguatge per millorar l’eficiència energètica és crucial, i els models de llenguatge petits (Small Language Models) ofereixen una solució prometedora per reduir la demanda de recursos. Objectiu. El nostre objectiu és analitzar l’impacte dels runtime engines i dels execution providers d’aprenentatge profund en el consum d’energia, el temps d’execució i la utilització de recursos computacionals des del punt de vista dels enginyers de programari que realitzen inferències en el context dels models de llenguatge petits de codi. Mètode. Hem realitzat un pipeline experimental orientat a tecnologia, de diverses etapes, utilitzant dotze models de llenguatge petits de generació de codi per investigar el consum d’energia, el temps d’execució i la utilització de recursos computacionals en diferents configuracions. Resultats. Han sorgit diferències significatives entre les configuracions. Les configuracions amb l’execution provider CUDA han superat les configuracions amb l’execution provider CPU tant en consum d’energia com en temps d’execució. Entre les configuracions, TORCH combinat amb CUDA ha demostrat la major eficiència energètica, aconseguint estalvis d’energia des del 37.99% fins al 89.16% en comparació amb altres configuracions. De manera similar, runtime engines optimitzats com ONNX amb l’execution provider CPU han aconseguit estalvis d’energia des del 8.98% fins al 72.04% dins de configuracions basades en CPU. A més, TORCH combinat amb CUDA ha mostrat una utilització eficient dels recursos computacionals. Conclusions. L’elecció de la configuració de servei impacta significativament en l’eficiència energètica. Encara que es necessita més recerca, recomanem les configuracions esmentades anteriorment com les més adequades als requisits dels enginyers de programari per millorar l’eficiència del servei en termes d’energia i rendiment.Universitat Politècnica de CatalunyaMartínez Fernández, Silverio JuanMartínez Martínez, Matías-Sebastián20252025-01-2920252025-05-12master thesishttp://purl.org/coar/resource_type/c_bdccNAhttp://purl.org/coar/version/c_be7fb7dd8ff6fe43info:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/2117/429361reponame:UPCommons. Portal del coneixement obert de la UPCinstname:Universitat Politècnica de Catalunya (UPC)Inglésengopen accesshttp://purl.org/coar/access_right/c_abf2info:eu-repo/semantics/openAccessoai:upcommons.upc.edu:2117/4293612026-05-27T15:37:01Z
score 15,811543

Similares en LA Referencia