Continual Learing of Hand Gestures for Human Robot Interaction

Human communication is multimodal. For years, natural language processing has been studied as a form of human-machine or human-robot interaction. In recent years, computer vision techniques have been applied to the recognition of static and dynamic gestures, and progress is being made in sign langua...

ver descrição completa

Detalhes bibliográficos
Autor: Cucurull Salamero, Xavier
Formato: tesis de maestría
Fecha de publicación:2022
País:España
Recursos:Universitat Politècnica de Catalunya (UPC)
Repositorio:UPCommons. Portal del coneixement obert de la UPC
Idioma:inglés
OAI Identifier:oai:upcommons.upc.edu:2117/376650
Acesso em linha:https://hdl.handle.net/2117/376650
Access Level:acceso abierto
Palavra-chave:Computer vision
Human-computer interaction
Artificial intelligence
Visió per computador
aprenentatge continu
interacció humà-robot
reconeixement de gestos
aprenentatge màquina
xarxes neuronals
intel·ligència artificial
Computer Vision
Continual Learning
Human-Robot Interaction
Hand Gesture Recognition
Machine Learning
Deep Learning
Artificial Intelligence
Visió per ordinador
Interacció persona-ordinador
Intel·ligència artificial
Àrees temàtiques de la UPC::Informàtica::Intel·ligència artificial
id ES_6468fc78cdc82e70e5c9ccf4cfc73767
oai_identifier_str oai:upcommons.upc.edu:2117/376650
network_acronym_str ES
network_name_str España
repository_id_str
spelling Continual Learing of Hand Gestures for Human Robot InteractionCucurull Salamero, XavierComputer visionHuman-computer interactionArtificial intelligenceVisió per computadoraprenentatge continuinteracció humà-robotreconeixement de gestosaprenentatge màquinaxarxes neuronalsintel·ligència artificialComputer VisionContinual LearningHuman-Robot InteractionHand Gesture RecognitionMachine LearningDeep LearningArtificial IntelligenceVisió per ordinadorInteracció persona-ordinadorIntel·ligència artificialÀrees temàtiques de la UPC::Informàtica::Intel·ligència artificialHuman communication is multimodal. For years, natural language processing has been studied as a form of human-machine or human-robot interaction. In recent years, computer vision techniques have been applied to the recognition of static and dynamic gestures, and progress is being made in sign language recognition too. The typical way to train a machine learning algorithm to perform a classification task is to provide training examples for all the classes that need to be identified by the model. In a real-world scenario, such as in the use of assistive robots, it is useful to learn new concepts from interaction. However, unlike biological brains, artificial neural networks suffer from catastrophic forgetting, and as a result, are not good at incrementally learning new classes. In this thesis, the HAnd Gesture Incremental Learning (HAGIL) framework is proposed as a method to incrementally learn to classify static hand gestures. We show that HAGIL is able to incrementally learn up to 36 new symbols using only 5 samples for each old symbol, achieving a final average accuracy of over 90%. In addition to that, the incremental training time is reduced to a 10% of the time required when using all data available.Universitat Politècnica de CatalunyaGarrell Zulueta, Anais20222022-06-2720222022-11-17master thesishttp://purl.org/coar/resource_type/c_bdccNAhttp://purl.org/coar/version/c_be7fb7dd8ff6fe43info:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/2117/376650reponame:UPCommons. Portal del coneixement obert de la UPCinstname:Universitat Politècnica de Catalunya (UPC)Inglésengopen accesshttp://purl.org/coar/access_right/c_abf2info:eu-repo/semantics/openAccessoai:upcommons.upc.edu:2117/3766502026-05-27T15:37:01Z
dc.title.none.fl_str_mv Continual Learing of Hand Gestures for Human Robot Interaction
title Continual Learing of Hand Gestures for Human Robot Interaction
spellingShingle Continual Learing of Hand Gestures for Human Robot Interaction
Cucurull Salamero, Xavier
Computer vision
Human-computer interaction
Artificial intelligence
Visió per computador
aprenentatge continu
interacció humà-robot
reconeixement de gestos
aprenentatge màquina
xarxes neuronals
intel·ligència artificial
Computer Vision
Continual Learning
Human-Robot Interaction
Hand Gesture Recognition
Machine Learning
Deep Learning
Artificial Intelligence
Visió per ordinador
Interacció persona-ordinador
Intel·ligència artificial
Àrees temàtiques de la UPC::Informàtica::Intel·ligència artificial
title_short Continual Learing of Hand Gestures for Human Robot Interaction
title_full Continual Learing of Hand Gestures for Human Robot Interaction
title_fullStr Continual Learing of Hand Gestures for Human Robot Interaction
title_full_unstemmed Continual Learing of Hand Gestures for Human Robot Interaction
title_sort Continual Learing of Hand Gestures for Human Robot Interaction
dc.creator.none.fl_str_mv Cucurull Salamero, Xavier
author Cucurull Salamero, Xavier
author_facet Cucurull Salamero, Xavier
author_role author
dc.contributor.none.fl_str_mv Garrell Zulueta, Anais
dc.subject.none.fl_str_mv Computer vision
Human-computer interaction
Artificial intelligence
Visió per computador
aprenentatge continu
interacció humà-robot
reconeixement de gestos
aprenentatge màquina
xarxes neuronals
intel·ligència artificial
Computer Vision
Continual Learning
Human-Robot Interaction
Hand Gesture Recognition
Machine Learning
Deep Learning
Artificial Intelligence
Visió per ordinador
Interacció persona-ordinador
Intel·ligència artificial
Àrees temàtiques de la UPC::Informàtica::Intel·ligència artificial
topic Computer vision
Human-computer interaction
Artificial intelligence
Visió per computador
aprenentatge continu
interacció humà-robot
reconeixement de gestos
aprenentatge màquina
xarxes neuronals
intel·ligència artificial
Computer Vision
Continual Learning
Human-Robot Interaction
Hand Gesture Recognition
Machine Learning
Deep Learning
Artificial Intelligence
Visió per ordinador
Interacció persona-ordinador
Intel·ligència artificial
Àrees temàtiques de la UPC::Informàtica::Intel·ligència artificial
description Human communication is multimodal. For years, natural language processing has been studied as a form of human-machine or human-robot interaction. In recent years, computer vision techniques have been applied to the recognition of static and dynamic gestures, and progress is being made in sign language recognition too. The typical way to train a machine learning algorithm to perform a classification task is to provide training examples for all the classes that need to be identified by the model. In a real-world scenario, such as in the use of assistive robots, it is useful to learn new concepts from interaction. However, unlike biological brains, artificial neural networks suffer from catastrophic forgetting, and as a result, are not good at incrementally learning new classes. In this thesis, the HAnd Gesture Incremental Learning (HAGIL) framework is proposed as a method to incrementally learn to classify static hand gestures. We show that HAGIL is able to incrementally learn up to 36 new symbols using only 5 samples for each old symbol, achieving a final average accuracy of over 90%. In addition to that, the incremental training time is reduced to a 10% of the time required when using all data available.
publishDate 2022
dc.date.none.fl_str_mv 2022
2022-06-27
2022
2022-11-17
dc.type.none.fl_str_mv master thesis
http://purl.org/coar/resource_type/c_bdcc
NA
http://purl.org/coar/version/c_be7fb7dd8ff6fe43
dc.type.openaire.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
dc.identifier.none.fl_str_mv https://hdl.handle.net/2117/376650
url https://hdl.handle.net/2117/376650
dc.language.none.fl_str_mv Inglés
eng
language_invalid_str_mv Inglés
language eng
dc.rights.none.fl_str_mv open access
http://purl.org/coar/access_right/c_abf2
dc.rights.openaire.fl_str_mv info:eu-repo/semantics/openAccess
rights_invalid_str_mv open access
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universitat Politècnica de Catalunya
publisher.none.fl_str_mv Universitat Politècnica de Catalunya
dc.source.none.fl_str_mv reponame:UPCommons. Portal del coneixement obert de la UPC
instname:Universitat Politècnica de Catalunya (UPC)
instname_str Universitat Politècnica de Catalunya (UPC)
reponame_str UPCommons. Portal del coneixement obert de la UPC
collection UPCommons. Portal del coneixement obert de la UPC
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869409644178309120
score 15,301603

Registos relacionados