Floating-point arithmetic paradigms for high-performance computing: software algorithms and hardware designs

(English) This dissertation explores the challenges and advancements in arithmetic representations and computations within computer architectures, focusing on the limitations of the IEEE 754 standard. Modern computing demands, driven by advancements in AI, HPC, and scientific simulations, make effic...

Descripción completa

Detalles Bibliográficos
Autor: Ledoux Pardo, Luis Eduardo
Tipo de recurso: tesis doctoral
Fecha de publicación:2024
País:España
Institución:Universitat Politècnica de Catalunya (UPC)
Repositorio:UPCommons. Portal del coneixement obert de la UPC
Idioma:inglés
OAI Identifier:oai:upcommons.upc.edu:2117/454987
Acceso en línea:https://hdl.handle.net/2117/454987
https://dx.doi.org/10.5821/dissertation-2117-454987
Access Level:acceso abierto
Palabra clave:004 - Informàtica
Àrees temàtiques de la UPC::Informàtica
id ES_fa57f15d62caa76880b342fa0efaf092
oai_identifier_str oai:upcommons.upc.edu:2117/454987
network_acronym_str ES
network_name_str España
repository_id_str
dc.title.none.fl_str_mv Floating-point arithmetic paradigms for high-performance computing: software algorithms and hardware designs
title Floating-point arithmetic paradigms for high-performance computing: software algorithms and hardware designs
spellingShingle Floating-point arithmetic paradigms for high-performance computing: software algorithms and hardware designs
Ledoux Pardo, Luis Eduardo
004 - Informàtica
Àrees temàtiques de la UPC::Informàtica
title_short Floating-point arithmetic paradigms for high-performance computing: software algorithms and hardware designs
title_full Floating-point arithmetic paradigms for high-performance computing: software algorithms and hardware designs
title_fullStr Floating-point arithmetic paradigms for high-performance computing: software algorithms and hardware designs
title_full_unstemmed Floating-point arithmetic paradigms for high-performance computing: software algorithms and hardware designs
title_sort Floating-point arithmetic paradigms for high-performance computing: software algorithms and hardware designs
dc.creator.none.fl_str_mv Ledoux Pardo, Luis Eduardo
author Ledoux Pardo, Luis Eduardo
author_facet Ledoux Pardo, Luis Eduardo
author_role author
dc.subject.none.fl_str_mv 004 - Informàtica
Àrees temàtiques de la UPC::Informàtica
topic 004 - Informàtica
Àrees temàtiques de la UPC::Informàtica
description (English) This dissertation explores the challenges and advancements in arithmetic representations and computations within computer architectures, focusing on the limitations of the IEEE 754 standard. Modern computing demands, driven by advancements in AI, HPC, and scientific simulations, make efficient and precise numerical representations crucial. This work investigates these challenges and proposes innovative solutions, evaluating their impact on computational efficiency and accuracy. The core problem is the inefficiencies of the IEEE 754 standard for floating-point arithmetic, which do not meet the needs of modern workloads. These inefficiencies result in higher energy consumption, inadequate precision, and suboptimal performance, especially in energy-constrained environments and high-precision applications. To address these challenges, this thesis explores various facets of arithmetic computation, from algorithmic concepts to metal and silicon structures. It introduces mechanisms to improve the adaptability of numerical representations, allowing precision adjustments according to computational tasks, resulting in more efficient circuits. Focusing on improving arithmetic performance, the thesis addresses energy consumption and highlights the importance of efficient arithmetic logic units. It also shows how these solutions can be integrated into various software frameworks, revealing a correlation between numerical requirements and internal precision, highlighting an underexploited aspect of general-purpose floating-point formats. Firstly, it develops a framework for generating Posit operators in hardware, improving accuracy and performance in tasks like image classification. The Posit Operator Framework, described in SystemVerilog, enables the construction of Multi-Layer Perceptrons for inference engines, applicable in POWER9/CAPI2 environments with FPGA acceleration. Secondly, it presents a generator for Systolic Arrays optimized for Matrix-Matrix Multiplication (MMM), showing the impact of custom hardware configurations on accuracy and energy efficiency. The MMM units are fully parametrizable and adapted to the numerical specifications of the workload, facilitated by a core generator with automated pipelining. These units allow evaluations with CAPI2 on FPGA and POWER9 systems, achieving up to two Tera floating-point operations per second. They have also demonstrated success in ASIC generation. Additionally, it establishes an open-source framework to integrate MMM units into high-level software, offering energy savings and enhanced precision for applications like AI and scientific computations. The methodology involves mapping General Matrix-Matrix Multiplication calls in BLAS libraries to our accelerators via the OpenCAPI coherent link, saturating the 22 GBps bandwidth by tuning computer formats to accommodate more Processing Elements while preserving accuracy. Finally, the resurgence of vector processing leads to a reevaluation of division algorithms, revealing opportunities to use smaller and slower computing units, allowing more units within varied energy and power budgets. This approach shows a broad Design Space Exploration. We developed an open-source EDA ASIC flow, facilitating parallel generation of multiple chip designs, enabling systematic exploration of power, performance, and area across various process design kits to identify optimal configurations. These contributions form an interdisciplinary thesis that advances solutions to computing challenges from an arithmetic perspective, overcoming the "arithmetic wall."
publishDate 2024
dc.date.none.fl_str_mv 2024
2024-10-02
2026
2026-02-12
dc.type.none.fl_str_mv doctoral thesis
http://purl.org/coar/resource_type/c_db06
VoR
http://purl.org/coar/version/c_970fb48d4fbd8a85
dc.type.openaire.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
dc.identifier.none.fl_str_mv https://hdl.handle.net/2117/454987
https://dx.doi.org/10.5821/dissertation-2117-454987
url https://hdl.handle.net/2117/454987
https://dx.doi.org/10.5821/dissertation-2117-454987
dc.language.none.fl_str_mv Inglés
eng
language_invalid_str_mv Inglés
language eng
dc.rights.none.fl_str_mv open access
http://purl.org/coar/access_right/c_abf2
Attribution-NonCommercial 4.0 International
http://creativecommons.org/licenses/by-nc/4.0/
dc.rights.openaire.fl_str_mv info:eu-repo/semantics/openAccess
rights_invalid_str_mv open access
http://purl.org/coar/access_right/c_abf2
Attribution-NonCommercial 4.0 International
http://creativecommons.org/licenses/by-nc/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universitat Politècnica de Catalunya
publisher.none.fl_str_mv Universitat Politècnica de Catalunya
dc.source.none.fl_str_mv reponame:UPCommons. Portal del coneixement obert de la UPC
instname:Universitat Politècnica de Catalunya (UPC)
instname_str Universitat Politècnica de Catalunya (UPC)
reponame_str UPCommons. Portal del coneixement obert de la UPC
collection UPCommons. Portal del coneixement obert de la UPC
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869425202262179840
spelling Floating-point arithmetic paradigms for high-performance computing: software algorithms and hardware designsLedoux Pardo, Luis Eduardo004 - InformàticaÀrees temàtiques de la UPC::Informàtica(English) This dissertation explores the challenges and advancements in arithmetic representations and computations within computer architectures, focusing on the limitations of the IEEE 754 standard. Modern computing demands, driven by advancements in AI, HPC, and scientific simulations, make efficient and precise numerical representations crucial. This work investigates these challenges and proposes innovative solutions, evaluating their impact on computational efficiency and accuracy. The core problem is the inefficiencies of the IEEE 754 standard for floating-point arithmetic, which do not meet the needs of modern workloads. These inefficiencies result in higher energy consumption, inadequate precision, and suboptimal performance, especially in energy-constrained environments and high-precision applications. To address these challenges, this thesis explores various facets of arithmetic computation, from algorithmic concepts to metal and silicon structures. It introduces mechanisms to improve the adaptability of numerical representations, allowing precision adjustments according to computational tasks, resulting in more efficient circuits. Focusing on improving arithmetic performance, the thesis addresses energy consumption and highlights the importance of efficient arithmetic logic units. It also shows how these solutions can be integrated into various software frameworks, revealing a correlation between numerical requirements and internal precision, highlighting an underexploited aspect of general-purpose floating-point formats. Firstly, it develops a framework for generating Posit operators in hardware, improving accuracy and performance in tasks like image classification. The Posit Operator Framework, described in SystemVerilog, enables the construction of Multi-Layer Perceptrons for inference engines, applicable in POWER9/CAPI2 environments with FPGA acceleration. Secondly, it presents a generator for Systolic Arrays optimized for Matrix-Matrix Multiplication (MMM), showing the impact of custom hardware configurations on accuracy and energy efficiency. The MMM units are fully parametrizable and adapted to the numerical specifications of the workload, facilitated by a core generator with automated pipelining. These units allow evaluations with CAPI2 on FPGA and POWER9 systems, achieving up to two Tera floating-point operations per second. They have also demonstrated success in ASIC generation. Additionally, it establishes an open-source framework to integrate MMM units into high-level software, offering energy savings and enhanced precision for applications like AI and scientific computations. The methodology involves mapping General Matrix-Matrix Multiplication calls in BLAS libraries to our accelerators via the OpenCAPI coherent link, saturating the 22 GBps bandwidth by tuning computer formats to accommodate more Processing Elements while preserving accuracy. Finally, the resurgence of vector processing leads to a reevaluation of division algorithms, revealing opportunities to use smaller and slower computing units, allowing more units within varied energy and power budgets. This approach shows a broad Design Space Exploration. We developed an open-source EDA ASIC flow, facilitating parallel generation of multiple chip designs, enabling systematic exploration of power, performance, and area across various process design kits to identify optimal configurations. These contributions form an interdisciplinary thesis that advances solutions to computing challenges from an arithmetic perspective, overcoming the "arithmetic wall."(Català) Aquesta dissertació explora els desafiaments i avenços en les representacions i càlculs aritmètics dins les arquitectures de computadors, centrant-se en les limitacions de l'estàndard IEEE754. Les demandes modernes de la informàtica, impulsades per avenços en IA, HPC i simulacions científiques, fan que les representacions numèriques eficients i precises siguin crucials. Aquest treball investiga aquests desafiaments i proposa solucions innovadores, avaluant el seu impacte en l'eficiència i precisió computacional. El problema central són les ineficiències de l'estàndard IEEE 754 per l'aritmètica de punt flotant, que no satisfà les necessitats de les càrregues de treball modernes. Aquestes ineficiències resulten en un major consum d'energia, precisió inadequada i rendiment subòptim, especialment en entorns amb restriccions d'energia i aplicacions d'alta precisió. Per abordar aquests desafiaments, aquesta tesi explora diverses facetes del càlcul aritmètic, des de conceptes algorísmics fins a les estructures de metall i silici. Introdueix mecanismes per millorar l'adaptabilitat de les representacions numèriques, permetent ajustos de precisió segons les tasques computacionals, resultant en circuits més eficients. En centrar-se en millorar el rendiment aritmètic, aquesta tesi aborda els perfils de consum d'energia i subratlla la importància de les unitats lògiques aritmètiques eficients. També mostra com aquestes solucions es poden integrar en diversos marcs de programari, revelant una correlació entre els requisits numèrics i la precisió interna necessària, destacant un aspecte subexplotat dels formats de punt flotant de propòsit general. En primer lloc, desenvolupa un marc per generar operadors Posit en maquinari, millorant la precisió i rendiment en tasques com la classificació d'imatges. El Marc d'Operadors Posit, descrit en SystemVerilog, permet construir Perceptrons Multicapa per a motors d'inferència, aplicables en entorns POWER9/CAPI2 amb acceleració FPGA. En segon lloc, presenta un generador per a Matrius Sistòliques optimitzades per a la Multiplicació de Matrius (MMM), mostrant l'impacte de configuracions de maquinari personalitzades en la precisió i eficiència energètica. Les unitats MMM són totalment parametrizables i adaptades a les especificacions numèriques de la càrrega de treball, facilitades per un generador central amb canalització automatitzada. Aquestes unitats permeten avaluacions amb CAPI2 en sistemes FPGA i POWER9, assolint fins a dos Tera operacions de punt flotant per segon. També han demostrat èxit en la generació d'ASIC. A més, estableix un marc de codi obert per integrar les unitats MMM en programari d'alt nivell, oferint estalvis d'energia i major precisió per a aplicacions com la IA i càlculs científics. La metodologia implica mapar les crides de Multiplicació de Matrius Generals en les biblioteques HPC BLAS als acceleradors a través de l'enllaç coherent OpenCAPI, saturant l'ample de banda de 22 GBps ajustant els formats de computadora per acomodar més Elements de Processament mentre es preserva la precisió. Finalment, el ressorgiment del processament vectorial porta a una reavaluació dels algorismes de divisió, revelant oportunitats per utilitzar unitats de càlcul més petites i lentes, permetent la inclusió de més unitats dins de diversos pressupostos d'energia i potència. Aquest enfocament exhibeix una àmplia Exploració de l'Espai de Disseny. Hem desenvolupat el nostre propi flux EDA ASIC de codi obert, que facilita la generació paral·lela de múltiples dissenys de xips, permetent una exploració sistemàtica de potència, rendiment i àrea a través de diversos kits de disseny de processos per identificar configuracions òptimes.(Español) Esta disertación explora los desafíos y avances en las representaciones y cálculos aritméticos dentro de las arquitecturas de computadoras, centrándose en las limitaciones del estándar IEEE754. Las demandas modernas de la informática, impulsadas por avances en IA, HPC y simulaciones científicas, hacen que las representaciones numéricas eficientes y precisas sean cruciales. Este trabajo investiga estos desafíos y propone soluciones innovadoras, evaluando su impacto en la eficiencia y precisión computacional. El problema central son las ineficiencias del estándar IEEE754 para la aritmética de punto flotante, que no satisface las necesidades de las cargas de trabajo modernas. Estas ineficiencias resultan en un mayor consumo de energía, precisión inadecuada y rendimiento subóptimo, especialmente en entornos con restricciones de energía y aplicaciones de alta precisión. Para abordar estos desafíos, esta tesis explora varias facetas del cálculo aritmético, desde conceptos algorítmicos hasta estructuras de metal y silicio. Introduce mecanismos para mejorar la adaptabilidad de las representaciones numéricas, permitiendo ajustes de precisión según las tareas computacionales y resultando en circuitos más eficientes. También se centra en mejorar el rendimiento aritmético, i.e. el consumo de energía y la importancia de unidades lógicas aritméticas eficientes. Además, muestra cómo integrar estas soluciones en diversos marcos de software, revelando una correlación entre los requisitos numéricos y la precisión interna necesaria, destacando un aspecto subexplotado de los formatos de punto flotante de propósito general. En primer lugar, desarrolla un marco para generar operadores Posit en hardware, mejorando la precisión y rendimiento en tareas como la clasificación de imágenes. El Marco de Operadores Posit, descrito en SystemVerilog, permite construir Perceptrones Multicapa para motores de inferencia, aplicables en entornos POWER9/CAPI2 con aceleración FPGA. En segundo lugar, presenta un generador para Matrices Sistólicas optimizadas para la Multiplicación de Matrices (MMM), mostrando el impacto de configuraciones de hardware personalizadas en la precisión y eficiencia energética. Las unidades MMM son totalmente parametrizables y adaptadas a las especificaciones numéricas de la carga de trabajo, facilitadas por un generador central con canalización automatizada. Estas unidades permiten evaluaciones con CAPI2 en sistemas FPGA y POWER9, alcanzando hasta dos Tera operaciones de punto flotante por segundo. También han demostrado éxito en la generación de ASIC. Además, establece un marco de código abierto para integrar las unidades MMM en software de alto nivel, ofreciendo ahorros de energía y mayor precisión para aplicaciones como la IA y cálculos científicos. La metodología implica mapear las llamadas de Multiplicación de Matrices Generales en las bibliotecas BLAS a los aceleradores a través del enlace coherente OpenCAPI, saturando el ancho de banda de 22 GBps ajustando los formatos de computadora para acomodar más Elementos de Procesamiento mientras se preserva la exactitud. Finalmente, el resurgimiento del procesamiento vectorial lleva a reevaluar los algoritmos de división, revelando oportunidades para usar unidades de cálculo más pequeñas y lentas, permitiendo incluir más unidades dentro de diversos presupuestos de energía y potencia. Este enfoque muestra una amplia Exploración del Espacio de Diseño. Hemos desarrollado un flujo EDA ASIC de código abierto, facilitando la generación paralela de múltiples diseños de chips y permitiendo explorar sistemáticamente potencia, rendimiento y área a través de diversos kits de diseño de procesos para identificar configuraciones óptimas. Estas contribuciones forman una tesis interdisciplinaria que avanza soluciones a los desafíos de la computación desde una perspectiva aritmética, superando el "muro aritmético".Universitat Politècnica de Catalunya20242024-10-0220262026-02-12doctoral thesishttp://purl.org/coar/resource_type/c_db06VoRhttp://purl.org/coar/version/c_970fb48d4fbd8a85info:eu-repo/semantics/doctoralThesisapplication/pdfhttps://hdl.handle.net/2117/454987https://dx.doi.org/10.5821/dissertation-2117-454987reponame:UPCommons. Portal del coneixement obert de la UPCinstname:Universitat Politècnica de Catalunya (UPC)Inglésengopen accesshttp://purl.org/coar/access_right/c_abf2Attribution-NonCommercial 4.0 Internationalhttp://creativecommons.org/licenses/by-nc/4.0/info:eu-repo/semantics/openAccessoai:upcommons.upc.edu:2117/4549872026-05-27T15:37:01Z
score 15,812429

Similares en LA Referencia