Automatic differentiation in probabilistic machine learning with variational inference
La era tecnológica que se vive actualmente está dando lugar a cantidades ingentes de información que requieren ser analizadas de forma automática. El machine learning puede ayudar a mitigar esta sobrecarga encontrando patrones y regularidades en los datos, los cuales pueden contener información rele...
| Autor: | |
|---|---|
| Tipo de recurso: | tesis de maestría |
| Fecha de publicación: | 2017 |
| País: | España |
| Institución: | Universitat Politècnica de Catalunya (UPC) |
| Repositorio: | UPCommons. Portal del coneixement obert de la UPC |
| Idioma: | español |
| OAI Identifier: | oai:upcommons.upc.edu:2117/109806 |
| Acceso en línea: | https://hdl.handle.net/2117/109806 |
| Access Level: | acceso abierto |
| Palabra clave: | Probabilities Bayesian Statistics Inferencia variacional modelos probabilísticos modelos probabilísticos gráficos inferencia Bayesiana diferenciación automática Tensorflow modelo de mixturas Gaussianas optimización por gradientes métodos estocásticos. Variational inference probabilistic models probabilistic graphical models bayesian inference automatic differentiation Gaussian mixture model gradient optimization sthocastic methods. Probabilitats Estadística Bayesiana Àrees temàtiques de la UPC::Informàtica |
| Sumario: | La era tecnológica que se vive actualmente está dando lugar a cantidades ingentes de información que requieren ser analizadas de forma automática. El machine learning puede ayudar a mitigar esta sobrecarga encontrando patrones y regularidades en los datos, los cuales pueden contener información relevante para realizar una determinada tarea. Áreas como la robótica o la medicina utilizan algoritmos de machine learning para decidir el siguiente movimiento que debe hacer un robot o para diagnosticar una posible enfermedad dados unos síntomas. Durante el último año, el mejor jugador de Go ha sido derrotado dos veces por un algoritmo de Google basado en deep learning y reinforcement learning, su traductor está mejorando cada día y su aplicación de fotos ya detecta e identifica las caras de tus amigos y los lugares donde te haces los selfies. Todo esto sucede mientras Amazon te aconseja qué productos deberías comprar y Tesla ya comercializa sus coches autónomos. El probabilistic machine learning se basa en el uso de las reglas de la teoría de la probabilidad para conseguir que las máquinas aprendan a identificar patrones en los datos. La utilización de la teoría de la probabilidad permite a estos métodos modelar la incertidumbre, un aspecto muy importante a la hora de tomar decisiones. Este tipo de machine learning permite separar la parte de modelización de la parte de inferencia. De esta forma, se pueden aplicar diversos algoritmos de inferencia independientemente del modelo probabilístico. Esta tesis de máster da una visión global del estado del arte en los frameworks de probabilistic programming, centra el análisis en torno a la aproximación variacional de Bayesian Inference e investiga el uso de Automatic Differentiation (AD) para automatizar ésta. Este documento se ha escrito de forma autocontenida con el objetivo de que el lector sepa exactamente de dónde provienen cada una de las fórmulas y algoritmos que aquí se explican. Para ello se ha seleccionado un modelo concreto, Gaussian Mixture Model (GMM), y se estudia el uso de la AD, a través de la librería Tensorflow, para su inferencia mediante diferentes métodos de Variational Inference (VI). |
|---|