Compromissos arbitrários entre custo e probabilidade à meta e algoritmo de busca heurística em planejamento probabilístico sob o critério GUBS
Processos de Decisão Markovianos de Caminho Estocástico mais Curto (SSP-MDPs) são utilizados para modelar problemas de decisões sequenciais probabilísticas em que o objetivo é minimizar o custo acumulado esperado para a meta. No entanto, na presença de estados a partir dos quais não se pode alcançar...
| Autor: | |
|---|---|
| Tipo de recurso: | tesis de maestría |
| Estado: | Versión publicada |
| Fecha de publicación: | 2023 |
| País: | Brasil |
| Institución: | Universidade de São Paulo (USP) |
| Repositorio: | Biblioteca Digital de Teses e Dissertações da USP |
| Idioma: | portugués |
| OAI Identifier: | oai:teses.usp.br:tde-25042023-220822 |
| Acceso en línea: | https://www.teses.usp.br/teses/disponiveis/45/45134/tde-25042023-220822/ |
| Access Level: | acceso abierto |
| Palabra clave: | Caminho Estocástico mais Curto Markov Decision Processes Planejamento probabilístico Probabilistic planning Processos de Decisão Markovianos Sequential decision making Stochastic Shortest Path Tomada de decisão sequencial |
| Sumario: | Processos de Decisão Markovianos de Caminho Estocástico mais Curto (SSP-MDPs) são utilizados para modelar problemas de decisões sequenciais probabilísticas em que o objetivo é minimizar o custo acumulado esperado para a meta. No entanto, na presença de estados a partir dos quais não se pode alcançar a meta (dead ends), o critério convencional de SSP-MDPs, que minimiza o custo acumulado esperado, pode deixar de ser bem-definido. Critérios lexicográficos podem resolver isso ao definir uma preferência sobre políticas que alcançam a meta com a máxima probabilidade possível. Outros critérios podem ao invés disso realizar um compromisso entre alguma medida de custo e probabilidade à meta. No entanto, ambas abordagens podem escolher políticas que podem não representar a escolha de um tomador de decisão realístico. O critério GUBS, que combina priorização de metas sobre históricos com Teoria da Utilidade Esperada para realizar compromissos entre custos e probabilidade à meta, foi proposto para resolver esses problemas. O critério eGUBS, que é um caso particular do GUBS quando uma função de utilidade exponencial é utilizada, foi depois também proposto, juntamente com o eGUBS-VI, um algoritmo baseado em iteração de valor que constitui o primeiro método para resolver SSP-MDPs sob o critério GUBS de maneira ótima. Esta dissertação contém uma comparação entre o critério GUBS e outros critérios para resolver SSP-MDPs na presença de dead ends, e introduz definições e resultados teóricos que mostram que o GUBS é o único desses critérios que não apenas possibilita a realização de compromissos entre grandes custos acumulados sobre pequenas perdas em probabilidade à meta, mas que também garante compromissos arbitrários que podem ser configurados a partir dos seus parâmetros sem conhecimento prévio do problema a ser resolvido. Além disso, esta dissertação introduz o eGUBS-AO*, um algoritmo ótimo de busca heurística para resolver o critério eGUBS. Resultados indicam que, quando uma boa função heurística é disponível ou quando o espaço de estados do problema é muito grande, o eGUBS-AO* pode ter um desempenho melhor que o eGUBS-VI ao realizar uma busca eficiente. Em outros casos, a abordagem mais simples do eGUBS-VI pode trazer melhores resultados. |
|---|