Despliegue de modelos de lenguaje de Inteligencia Artificial en plataformas distribuidas de tipo Serverless
[ES] Este TFM persigue el despliegue de modelos de inteligencia artificial de tipo Large Language Model (LLM) sobre infraestructuras distribuidas basadas en Kubernetes para la inferencia. Para ello, se estudiarán las alternativas existentes como vLLM o exo para la ejecución distribuida de modelos de...
| Autor: | |
|---|---|
| Tipo de documento: | dissertação |
| Data de publicação: | 2025 |
| País: | España |
| Recursos: | Universitat Politècnica de València (UPV) |
| Repositório: | RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia |
| Idioma: | espanhol |
| OAI Identifier: | oai:riunet.upv.es:10251/228565 |
| Acesso em linha: | https://riunet.upv.es/handle/10251/228565 |
| Access Level: | Acceso aberto |
| Palavra-chave: | Inteligencia artificial Large language model (LLM) Cloud Artificial Intelligence Kubernetes Máster Universitario en Computación en la Nube y de Altas Prestaciones / Cloud and High-Performance Computing-Màster Universitari en Computació en el Núvol i d&apos Altes Prestacions / Cloud and High-Performance Computing |
| Resumo: | [ES] Este TFM persigue el despliegue de modelos de inteligencia artificial de tipo Large Language Model (LLM) sobre infraestructuras distribuidas basadas en Kubernetes para la inferencia. Para ello, se estudiarán las alternativas existentes como vLLM o exo para la ejecución distribuida de modelos de forma distribuida y se analizará su integración con plataformas serverless de ejecución como OSCAR. Se pretende facilitar el despliegue y operación de LLMs abiertos como Llama, entre otros. Se analizará el rendimiento de las soluciones aportadas para facilitar su uso en tiempo razonable para interfaces de chatbot. |
|---|