Support Vector Machines and Multi-Task Learning

Máster Universitario en Investigación e Innovación en Tecnologías de la Información y las Comunicaciones

Detalles Bibliográficos
Autor: Ruiz Pastor, Carlos
Tipo de recurso: tesis de maestría
Fecha de publicación:2018
País:España
Institución:Universidad Autónoma de Madrid
Repositorio:Biblos-e Archivo. Repositorio Institucional de la UAM
Idioma:inglés
OAI Identifier:oai:repositorio.uam.es:10486/685390
Acceso en línea:http://hdl.handle.net/10486/685390
Access Level:acceso abierto
Palabra clave:Aprendizaje automático
Máquinas de Vectores Soporte
SVMs
Informática
id ES_348d2b61811e9aaeea9e2ceb00ffb1f6
oai_identifier_str oai:repositorio.uam.es:10486/685390
network_acronym_str ES
network_name_str España
repository_id_str
dc.title.none.fl_str_mv Support Vector Machines and Multi-Task Learning
title Support Vector Machines and Multi-Task Learning
spellingShingle Support Vector Machines and Multi-Task Learning
Ruiz Pastor, Carlos
Aprendizaje automático
Máquinas de Vectores Soporte
SVMs
Informática
title_short Support Vector Machines and Multi-Task Learning
title_full Support Vector Machines and Multi-Task Learning
title_fullStr Support Vector Machines and Multi-Task Learning
title_full_unstemmed Support Vector Machines and Multi-Task Learning
title_sort Support Vector Machines and Multi-Task Learning
dc.creator.none.fl_str_mv Ruiz Pastor, Carlos
author Ruiz Pastor, Carlos
author_facet Ruiz Pastor, Carlos
author_role author
dc.contributor.none.fl_str_mv Dorronsoro Ibero, José Ramón
Alaiz Gudín, Carlos María
Departamento de Ingeniería Informática
Escuela Politécnica Superior
dc.subject.none.fl_str_mv Aprendizaje automático
Máquinas de Vectores Soporte
SVMs
Informática
topic Aprendizaje automático
Máquinas de Vectores Soporte
SVMs
Informática
description Máster Universitario en Investigación e Innovación en Tecnologías de la Información y las Comunicaciones
publishDate 2018
dc.date.none.fl_str_mv 2018
2018-09-01
dc.type.none.fl_str_mv master thesis
http://purl.org/coar/resource_type/c_bdcc
NA
http://purl.org/coar/version/c_be7fb7dd8ff6fe43
dc.type.openaire.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
dc.identifier.none.fl_str_mv http://hdl.handle.net/10486/685390
url http://hdl.handle.net/10486/685390
dc.language.none.fl_str_mv Inglés
eng
language_invalid_str_mv Inglés
language eng
dc.rights.none.fl_str_mv open access
http://purl.org/coar/access_right/c_abf2
dc.rights.openaire.fl_str_mv info:eu-repo/semantics/openAccess
rights_invalid_str_mv open access
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblos-e Archivo. Repositorio Institucional de la UAM
instname:Universidad Autónoma de Madrid
instname_str Universidad Autónoma de Madrid
reponame_str Biblos-e Archivo. Repositorio Institucional de la UAM
collection Biblos-e Archivo. Repositorio Institucional de la UAM
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869405824969867264
spelling Support Vector Machines and Multi-Task LearningRuiz Pastor, CarlosAprendizaje automáticoMáquinas de Vectores SoporteSVMsInformáticaMáster Universitario en Investigación e Innovación en Tecnologías de la Información y las ComunicacionesEn la mayoría de casos los problemas que se resuelven utilizando aprendizaje automático no están aislados, sino que hay numerosas tareas similares con las que están relacionados. El aprendizaje multitarea es una aproximación del aprendizaje automático que trata de resolver múltiples tareas al mismo tiempo, logrando así una perspectiva más amplia del problema global. Las máquinas de vectores soporte son unos de los métodos más populares en aprendizaje automático, y han demostrado ser modelos útiles que además están apoyados por la teoría de optimización convexa. En este trabajo estudiamos la adaptación de las máquinas de vectores soporte con el objetivo de encajar en un entorno multitarea. Nuestro primer paso para lograr esto es explorar la teoría de optimización convexa, específicamente las máquinas de vectores soporte. Hacemos un resumen de los problemas de optimización, incluyendo las condiciones KKT, así como el truco del kernel y el algoritmo SMO, que es el más popular para entrenar SVMs. Basamos nuestro estudio en dos adaptaciones previas de las SVMs al aprendizaje multitarea, desarrollando sus ideas y presentando las similitudes y diferencias entre ambas aproximaciones. También analizamos la relación entre los enfoques para obtener las ventajas que cada uno ofrece. Para probar la precisión de las SVMs multitarea proponemos dos experimentos utilizando datos reales. El primero utiliza datos de estudiantes de institutos de Inglaterra y el objetivo es predecir los resultados de los estudiantes en un test específico. En estos experimentos se utilizan datos de estudiantes de 139 institutos, y la predicción de las notas en cada instituto se observa como una tarea distinta. El segundo experimento consiste en predecir la producción solar, medida como un porcentaje, en dos islas de España: Mallorca y Tenerife. Aunque ambas islas pertenecen a España la distancia entre ellas es de más de 2.200 km. Esto hace que las predicciones en cada isla sean tareas separadas. En estos experimentos comparamos el enfoque multitarea con un enfoque global monotarea y, cuando es posible, entrenando un modelo distinto para cada tarea. A partir de los resultados obtenidos podemos observar que el enfoque multitarea obtiene mejores resultados que el enfoque global monotarea. En el caso de los datos de institutos obtenemos un MAE de 8,226 puntos usando el enfoque monotarea y uno de 8,039 puntos con el multitarea. Además, esta mejora tiene lugar no solo globalmente sino también en la comparación tarea a tarea el enfoque multitarea obtiene mejores resultados en 90 de las 139 tareas. En el experimento solar obtenemos una mejora de 0.45% en Tenerife usando el modelo multitarea, mientras que en Mallorca el error es 0.15% mayor; por tanto, se obtiene globalmente una mejora de 0.15 %. Estos resultados dan la motivación para una investigación futura con el objetivo de desarrollar todo el potencial de las SVMs multitarea.In most cases the problems we solve using machine learning are not isolated; instead there are several similar and related tasks. Multi-task learning is an approach of machine learning that tries to solve multiple related tasks at the same time, achieving a broader perspective of the global problem. Support vector machines are one of the most popular methods in machine learning, and they have proven to be really useful models which are also supported by the convex optimization theory. In this work we study the adaptation of support vector machines in order to match a multi-task learning framework. Our rst step to achieve this goal is to explore convex optimization theory and more speci cally, support vector machines theory. We will give an overview of the optimization problems, including the KKT conditions, as well as the kernel trick and the SMO algorithm, the most used algorithm to train SVMs. We base our study in two previous adaptations of SVMs to multi-task learning, developing their ideas and presenting the similarities and di erences between the two approaches. We also analyze the relation between the approaches and the possible advantages each one o ers. To test the accuracy of multi-task SVMs we propose two experiments using real data. The rst one uses data from English school students and the goal is to predict the results of the students in a speci c test. In this experiment, 139 di erent schools are used and predicting the marks of their students in each one of them is seen as a di erent task. Our second experiment consists on predicting the solar production measured as a percentage in two di erent islands of Spain: Majorca and Tenerife. Although both islands are part of Spain, the distance between both is roughly 2,200 km, making the predictions separate tasks. In our experiments we compare the multi-task approach with a single-task global approach and, when possible, with a model specialized for each task. From the results obtained we can observe that multi-task approach gets better results than a single-task global approach. In the case of the school data we get a MAE of 8.226 points using the single-task approach while the multi-task approach achieves 8.039. Moreover, we see that this improvement takes place not only globally, but in a task by task comparison the multi-task approach performs better in 90 tasks out of 139. In the solar experiment we obtain an improvement of 0.45% in the MAE of the prediction in Tenerife using the multi-task model, while the error in Majorca is 0.15% worse than using a single-task approach, resulting in a global improvement of 0.15%. This results give the motivation to do further research in this area with the goal of nding the full potential of multi-task SVMs.Dorronsoro Ibero, José RamónAlaiz Gudín, Carlos MaríaDepartamento de Ingeniería InformáticaEscuela Politécnica Superior20182018-09-01master thesishttp://purl.org/coar/resource_type/c_bdccNAhttp://purl.org/coar/version/c_be7fb7dd8ff6fe43info:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10486/685390reponame:Biblos-e Archivo. Repositorio Institucional de la UAMinstname:Universidad Autónoma de MadridInglésengopen accesshttp://purl.org/coar/access_right/c_abf2info:eu-repo/semantics/openAccessoai:repositorio.uam.es:10486/6853902026-06-23T12:46:27Z
score 15,300719

Similares en LA Referencia