Interaction between computer architecture and artificial intelligence

(English) Since its inception with the first computing systems, computer architecture has lived through many revolutions and saw plenty of technological innovations. However, a significant challenge has persisted throughout the evolution of computing systems: the Memory Wall. To address this challen...

Descripción completa

Detalles Bibliográficos
Autor: Jamet, Alexandre Valentin
Tipo de recurso: tesis doctoral
Fecha de publicación:2024
País:España
Institución:Universitat Politècnica de Catalunya (UPC)
Repositorio:UPCommons. Portal del coneixement obert de la UPC
Idioma:inglés
OAI Identifier:oai:upcommons.upc.edu:2117/452757
Acceso en línea:https://hdl.handle.net/2117/452757
https://dx.doi.org/10.5821/dissertation-2117-452757
Access Level:acceso abierto
Palabra clave:004 - Informàtica
Àrees temàtiques de la UPC::Informàtica
id ES_0d3bcbd7bd7882f0cb7c4ff90b65db2f
oai_identifier_str oai:upcommons.upc.edu:2117/452757
network_acronym_str ES
network_name_str España
repository_id_str
dc.title.none.fl_str_mv Interaction between computer architecture and artificial intelligence
title Interaction between computer architecture and artificial intelligence
spellingShingle Interaction between computer architecture and artificial intelligence
Jamet, Alexandre Valentin
004 - Informàtica
Àrees temàtiques de la UPC::Informàtica
title_short Interaction between computer architecture and artificial intelligence
title_full Interaction between computer architecture and artificial intelligence
title_fullStr Interaction between computer architecture and artificial intelligence
title_full_unstemmed Interaction between computer architecture and artificial intelligence
title_sort Interaction between computer architecture and artificial intelligence
dc.creator.none.fl_str_mv Jamet, Alexandre Valentin
author Jamet, Alexandre Valentin
author_facet Jamet, Alexandre Valentin
author_role author
dc.subject.none.fl_str_mv 004 - Informàtica
Àrees temàtiques de la UPC::Informàtica
topic 004 - Informàtica
Àrees temàtiques de la UPC::Informàtica
description (English) Since its inception with the first computing systems, computer architecture has lived through many revolutions and saw plenty of technological innovations. However, a significant challenge has persisted throughout the evolution of computing systems: the Memory Wall. To address this challenge, architects have devised various latency tolerance techniques, including cache hierarchy, cache replacement policies, hardware prefetching, and off-chip prediction. Cache hierarchy involves the use of intermediate memories, such as caches, to store frequently accessed data close to the processor, thereby reducing memory access latencies. Cache replacement policies determine which data blocks should be stored or evicted from caches based on predictions of future reuse. Hardware prefetching mechanisms aim to bring data blocks that are likely to be needed in the near future into the cache proactively. Off-chip prediction predicts whether a load demand request will benefit from cache access or if it will require a DRAM access, allowing for speculative fetching of data blocks from DRAM to hide memory access latencies. This thesis addresses the challenges of cache management and memory access optimization in modern computer architectures, focusing on improving performance and energy efficiency across a variety of workloads. It presents three main contributions. The first contribution critically assesses the effectiveness of contemporary Last Level Cache (LLC) replacement policies across a diverse spectrum of workloads, encompassing graph processing, scientific, industrial applications, as well as standard benchmark suites like SPEC CPU 2006 and SPEC CPU 2017. Despite exhibiting notable performance enhancements in conventional benchmark scenarios, these existing LLC replacement policies often falter in capturing the nuanced access patterns characteristic of modern High-Performance Computing (HPC) and big data workloads. In response to this challenge, two novel LLC replacement policies, namely Multi-Sampler Multiperspective (MS-MPPPB) and Multiperspective with Dynamic Features Selector (DS-MPPPB), are introduced and rigorously evaluated. Demonstrating superior efficacy across a broad array of workloads, these innovative policies offer heightened performance benefits tailored specifically for HPC and big data applications. The second contribution is dedicated to enhancing memory access patterns, specifically for graph-processing workloads. These workloads are renowned for their irregular memory access patterns and suboptimal data locality. This contribution targets the first level of the cache hierarchy, as careful analysis reveals that, when considering graph-processing workloads, the vast majority of L1D misses eventually require a DRAM access. Introducing the innovative Large Predictor (LP), this endeavor aims to discern between regular and irregular memory accesses, channeling irregular accesses efficiently through a dedicated Side Data Cache (SDC). By synergizing LP with SDC, notable performance enhancements are achieved, surpassing conventional cache hierarchies and state-of-the-art cache replacement policies, particularly within the realm of graph-processing applications. The third contribution presents the Two Level Perceptron (TLP) predictor, a sophisticated approach that integrates off-chip prediction with adaptive prefetch filtering within the first-level data cache (L1D). Leveraging a dual-layered structure composed of the First Level Predictor (FLP) and Second Level Predictor (SLP), TLP effectively mitigates average DRAM transactions while enhancing overall performance across both single-core and multi-core workloads. Collectively, these contributions advance the state-of-the-art in cache management and memory access optimization, providing insights and techniques to enhance the performance and energy efficiency of modern computer architectures across a variety of workloads.
publishDate 2024
dc.date.none.fl_str_mv 2024
2024-09-27
2026
2026-02-05
dc.type.none.fl_str_mv doctoral thesis
http://purl.org/coar/resource_type/c_db06
VoR
http://purl.org/coar/version/c_970fb48d4fbd8a85
dc.type.openaire.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
dc.identifier.none.fl_str_mv https://hdl.handle.net/2117/452757
https://dx.doi.org/10.5821/dissertation-2117-452757
url https://hdl.handle.net/2117/452757
https://dx.doi.org/10.5821/dissertation-2117-452757
dc.language.none.fl_str_mv Inglés
eng
language_invalid_str_mv Inglés
language eng
dc.rights.none.fl_str_mv open access
http://purl.org/coar/access_right/c_abf2

http://creativecommons.org/licenses/by-nc/4.0/
dc.rights.openaire.fl_str_mv info:eu-repo/semantics/openAccess
rights_invalid_str_mv open access
http://purl.org/coar/access_right/c_abf2

http://creativecommons.org/licenses/by-nc/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universitat Politècnica de Catalunya
publisher.none.fl_str_mv Universitat Politècnica de Catalunya
dc.source.none.fl_str_mv reponame:UPCommons. Portal del coneixement obert de la UPC
instname:Universitat Politècnica de Catalunya (UPC)
instname_str Universitat Politècnica de Catalunya (UPC)
reponame_str UPCommons. Portal del coneixement obert de la UPC
collection UPCommons. Portal del coneixement obert de la UPC
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869403328572555264
spelling Interaction between computer architecture and artificial intelligenceJamet, Alexandre Valentin004 - InformàticaÀrees temàtiques de la UPC::Informàtica(English) Since its inception with the first computing systems, computer architecture has lived through many revolutions and saw plenty of technological innovations. However, a significant challenge has persisted throughout the evolution of computing systems: the Memory Wall. To address this challenge, architects have devised various latency tolerance techniques, including cache hierarchy, cache replacement policies, hardware prefetching, and off-chip prediction. Cache hierarchy involves the use of intermediate memories, such as caches, to store frequently accessed data close to the processor, thereby reducing memory access latencies. Cache replacement policies determine which data blocks should be stored or evicted from caches based on predictions of future reuse. Hardware prefetching mechanisms aim to bring data blocks that are likely to be needed in the near future into the cache proactively. Off-chip prediction predicts whether a load demand request will benefit from cache access or if it will require a DRAM access, allowing for speculative fetching of data blocks from DRAM to hide memory access latencies. This thesis addresses the challenges of cache management and memory access optimization in modern computer architectures, focusing on improving performance and energy efficiency across a variety of workloads. It presents three main contributions. The first contribution critically assesses the effectiveness of contemporary Last Level Cache (LLC) replacement policies across a diverse spectrum of workloads, encompassing graph processing, scientific, industrial applications, as well as standard benchmark suites like SPEC CPU 2006 and SPEC CPU 2017. Despite exhibiting notable performance enhancements in conventional benchmark scenarios, these existing LLC replacement policies often falter in capturing the nuanced access patterns characteristic of modern High-Performance Computing (HPC) and big data workloads. In response to this challenge, two novel LLC replacement policies, namely Multi-Sampler Multiperspective (MS-MPPPB) and Multiperspective with Dynamic Features Selector (DS-MPPPB), are introduced and rigorously evaluated. Demonstrating superior efficacy across a broad array of workloads, these innovative policies offer heightened performance benefits tailored specifically for HPC and big data applications. The second contribution is dedicated to enhancing memory access patterns, specifically for graph-processing workloads. These workloads are renowned for their irregular memory access patterns and suboptimal data locality. This contribution targets the first level of the cache hierarchy, as careful analysis reveals that, when considering graph-processing workloads, the vast majority of L1D misses eventually require a DRAM access. Introducing the innovative Large Predictor (LP), this endeavor aims to discern between regular and irregular memory accesses, channeling irregular accesses efficiently through a dedicated Side Data Cache (SDC). By synergizing LP with SDC, notable performance enhancements are achieved, surpassing conventional cache hierarchies and state-of-the-art cache replacement policies, particularly within the realm of graph-processing applications. The third contribution presents the Two Level Perceptron (TLP) predictor, a sophisticated approach that integrates off-chip prediction with adaptive prefetch filtering within the first-level data cache (L1D). Leveraging a dual-layered structure composed of the First Level Predictor (FLP) and Second Level Predictor (SLP), TLP effectively mitigates average DRAM transactions while enhancing overall performance across both single-core and multi-core workloads. Collectively, these contributions advance the state-of-the-art in cache management and memory access optimization, providing insights and techniques to enhance the performance and energy efficiency of modern computer architectures across a variety of workloads.(Català) Des dels seus inicis amb els primers sistemes informàtics, l’arquitectura de computadors ha experimentat moltes revolucions i innovacions tecnològiques. No obstant això, el Mur de Memòria ha estat un desafiament significatiu. Per abordar-lo, s’han ideat tècniques de tolerància a la latència, com la jerarquia de memòria cau, polítiques de reemplaçament de memòria cau, prefetching de maquinari i predicció fora del xip. La jerarquia de memòria cau utilitza memòries intermèdies per emmagatzemar dades freqüentment accedides prop del processador, reduint les latències d’accés a la memòria. Les polítiques de reemplaçament de memòria cau determinen quins blocs de dades s’han d’emmagatzemar o eliminar basant-se en prediccions de reutilització futura. El prefetching de maquinari porta proactivament blocs de dades a la memòria cau. La predicció fora del xip prediu si una sol·licitud de càrrega requerirà accés a DRAM, permetent la cerca especulativa de blocs de dades des de la DRAM per ocultar les latències d’accés a la memòria. Aquesta tesi aborda els desafiaments de la gestió de la memòria cau i l’optimització de l’accés a la memòria, centrant-se en millorar el rendiment i l’eficiència energètica en diverses càrregues de treball. Presenta tres contribucions principals. La primera contribució avalua l’efectivitat de les polítiques contemporànies de reemplaçament de l’Últim Nivell de Memòria Cau (LLC) en diverses càrregues de treball, incloent-hi el processament de gràfics, aplicacions científiques i industrials, així com conjunts de proves estàndard com SPEC CPU 2006 i SPEC CPU 2017. Tot i mostrar millores de rendiment notables en proves convencionals, aquestes polítiques sovint fallen en capturar els patrons d’accés característics de les càrregues de treball modernes de Computació d’Alta Prestació (HPC) i grans dades. Es presenten dues noves polítiques de reemplaçament de LLC, Multi-Sampler Multiperspectiva (MS-MPPPB) i Multiperspectiva amb Selector de Característiques Dinàmiques (DS-MPPPB), que ofereixen beneficis de rendiment elevats per a aplicacions de HPC i grans dades. La segona contribució es dedica a millorar els patrons d’accés a la memòria per a càrregues de treball de processament de gràfics, conegudes pels seus patrons d’accés irregulars i la seva localització de dades subòptima. Aquesta contribució se centra en el primer nivell de la jerarquia de memòria cau, ja que la majoria de fallades de L1D requereixen un accés a DRAM. Introduint el predictor innovador Large Predictor (LP), es busca discernir entre accessos a memòria regulars i irregulars, canalitzant els accessos irregulars a través d’una Memòria Cau de Dades Laterals (SDC). Amb la sinergia de LP i SDC, s’aconsegueixen millores de rendiment notables, superant les jerarquies de memòria cau convencionals. La tercera contribució presenta el predictor de Dos Nivells Perceptró (TLP), un enfocament que integra la predicció fora del xip amb el filtrat de prefetching adaptatiu dins del cau de dades de primer nivell (L1D). Aprofitant una estructura de dues capes composta pel Primer Nivell Predictor (FLP) i el Segon Nivell Predictor (SLP), TLP mitiga efectivament les transaccions de DRAM mentre millora el rendiment general en càrregues de treball d’un sol nucli i de múltiples nuclis. Col·lectivament, aquestes contribucions avancen l’estat de l’art en la gestió de la memòria cau i l’optimització de l’accés a la memòria, millorant el rendiment i l’eficiència energètica de les arquitectures de computadors modernes en diverses càrregues de treball.(Español) Desde sus inicios con los primeros sistemas informáticos, la arquitectura de computadoras ha experimentado muchas revoluciones y numerosas innovaciones tecnológicas. Sin embargo, la Pared de Memoria ha sido un desafío persistente. Para abordar este desafío, se han ideado técnicas de tolerancia a la latencia como la jerarquía de caché, políticas de reemplazo de caché, prefetching de hardware y predicción fuera del chip. La jerarquía de caché usa memorias intermedias para almacenar datos frecuentemente accedidos cerca del procesador, reduciendo las latencias de acceso a la memoria. Las políticas de reemplazo de caché determinan qué bloques de datos almacenar o eliminar basándose en predicciones de reutilización futura. El prefetching de hardware trae proactivamente bloques de datos a la caché. La predicción fuera del chip predice si una solicitud de carga requerirá acceso a DRAM, permitiendo la búsqueda especulativa de datos desde la DRAM para ocultar latencias de acceso a la memoria. Esta tesis aborda los desafíos de la gestión de caché y la optimización del acceso a la memoria en arquitecturas de computadoras modernas, enfocándose en mejorar el rendimiento y la eficiencia energética en diversas cargas de trabajo. Presenta tres contribuciones principales. La primera contribución evalúa la efectividad de las políticas contemporáneas de reemplazo de la Última Nivel de Caché (LLC) en diversas cargas de trabajo, incluyendo procesamiento de gráficos, aplicaciones científicas e industriales, así como suites de evaluación estándar como SPEC CPU 2006 y SPEC CPU 2017. A pesar de mostrar mejoras de rendimiento notables en pruebas convencionales, estas políticas de reemplazo de LLC existentes a menudo fallan en capturar los patrones de acceso de las cargas de trabajo modernas de Computación de Alto Rendimiento (HPC) y grandes datos. En respuesta, se introducen dos nuevas políticas de reemplazo de LLC, Multi-Sampler Multiperspectiva (MS-MPPPB) y Multiperspectiva con Selector de Características Dinámicas (DS-MPPPB), demostrando una eficacia superior en una amplia gama de cargas de trabajo, especialmente en aplicaciones de HPC y grandes datos. La segunda contribución mejora los patrones de acceso a la memoria para cargas de trabajo de procesamiento de gráficos, conocidas por sus patrones de acceso irregulares y localización de datos subóptima. Esta contribución se centra en el primer nivel de la jerarquía de caché, ya que la mayoría de fallos de L1D requieren acceso a DRAM. Introduciendo el innovador Predictor Grande (LP), se busca discernir entre accesos a memoria regulares e irregulares, canalizando los accesos irregulares eficientemente a través de una Caché de Datos Laterales (SDC). Con LP y SDC, se logran mejoras de rendimiento notables, superando las jerarquías de caché convencionales. La tercera contribución presenta el predictor de Dos Niveles Perceptrón (TLP), un enfoque que integra la predicción fuera del chip con el filtrado de prefetching adaptativo dentro del caché de datos de primer nivel (L1D). Con una estructura de dos capas compuesta por el Primer Nivel Predictor (FLP) y el Segundo Nivel Predictor (SLP), TLP mitiga efectivamente las transacciones de DRAM mientras mejora el rendimiento general en cargas de trabajo de un solo núcleo y de múltiples núcleos. Colectivamente, estas contribuciones avanzan el estado del arte en la gestión de caché y la optimización del acceso a la memoria, mejorando el rendimiento y la eficiencia energética de las arquitecturas de computadoras modernas en diversas cargas de trabajo.Universitat Politècnica de Catalunya20242024-09-2720262026-02-05doctoral thesishttp://purl.org/coar/resource_type/c_db06VoRhttp://purl.org/coar/version/c_970fb48d4fbd8a85info:eu-repo/semantics/doctoralThesisapplication/pdfhttps://hdl.handle.net/2117/452757https://dx.doi.org/10.5821/dissertation-2117-452757reponame:UPCommons. Portal del coneixement obert de la UPCinstname:Universitat Politècnica de Catalunya (UPC)Inglésengopen accesshttp://purl.org/coar/access_right/c_abf2http://creativecommons.org/licenses/by-nc/4.0/info:eu-repo/semantics/openAccessoai:upcommons.upc.edu:2117/4527572026-05-27T15:37:01Z
score 15,811543

Similares en LA Referencia