Adaptive Depth Scaling for Interpretable Equation Learning.

[EN] Equation Learners (Martius, G., & Lampert, C. H., 2016) are a type of network architecture that can discover generalizable equations with low error for unseen data, outperforming classic neural networks in terms of interpretability and accuracy. These models rely on predefined pools of...

Descripción completa

Detalles Bibliográficos
Autor: Jiménez-García, Jorge|||0009-0003-4855-7705
Tipo de recurso: tesis de maestría
Fecha de publicación:2025
País:España
Institución:Universitat Politècnica de València (UPV)
Repositorio:RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Idioma:inglés
OAI Identifier:oai:riunet.upv.es:10251/225633
Acceso en línea:https://riunet.upv.es/handle/10251/225633
Access Level:acceso abierto
Palabra clave:Funciones matemáticas
Aprendizaje de ecuaciones
Aprendizaje Profundo
Medida heurísticas
Mathematical functions
Equation learning
Heuristic measure
Deep learning
Máster Universitario en Inteligencia Artificial, Reconocimiento de Formas e Imagen Digital-Màster Universitari en Intel·ligència Artificial, Reconeixement de Formes i Imatge Digital
id ES_bd36d10226b4e51ea9cdc41d62e652a7
oai_identifier_str oai:riunet.upv.es:10251/225633
network_acronym_str ES
network_name_str España
repository_id_str
dc.title.none.fl_str_mv Adaptive Depth Scaling for Interpretable Equation Learning.
Escalado de profundidad adaptativo para el aprendizaje de ecuaciones interpretables.
Escalat de profunditat adaptatiu per a l&apos
aprenentatge d&apos
equacions interpretables.
title Adaptive Depth Scaling for Interpretable Equation Learning.
spellingShingle Adaptive Depth Scaling for Interpretable Equation Learning.
Jiménez-García, Jorge|||0009-0003-4855-7705
Funciones matemáticas
Aprendizaje de ecuaciones
Aprendizaje Profundo
Medida heurísticas
Mathematical functions
Equation learning
Heuristic measure
Deep learning
Máster Universitario en Inteligencia Artificial, Reconocimiento de Formas e Imagen Digital-Màster Universitari en Intel·ligència Artificial, Reconeixement de Formes i Imatge Digital
title_short Adaptive Depth Scaling for Interpretable Equation Learning.
title_full Adaptive Depth Scaling for Interpretable Equation Learning.
title_fullStr Adaptive Depth Scaling for Interpretable Equation Learning.
title_full_unstemmed Adaptive Depth Scaling for Interpretable Equation Learning.
title_sort Adaptive Depth Scaling for Interpretable Equation Learning.
dc.creator.none.fl_str_mv Jiménez-García, Jorge|||0009-0003-4855-7705
author Jiménez-García, Jorge|||0009-0003-4855-7705
author_facet Jiménez-García, Jorge|||0009-0003-4855-7705
author_role author
dc.contributor.none.fl_str_mv Onaindia de la Rivaherrera, Eva
Aso Mollar, Ángel
Departamento de Sistemas Informáticos y Computación
Escuela Técnica Superior de Ingeniería Informática
Instituto Universitario Valenciano de Investigación en Inteligencia Artificial
Repositorio Institucional de la Universitat Politècnica de València Riunet
dc.subject.none.fl_str_mv Funciones matemáticas
Aprendizaje de ecuaciones
Aprendizaje Profundo
Medida heurísticas
Mathematical functions
Equation learning
Heuristic measure
Deep learning
Máster Universitario en Inteligencia Artificial, Reconocimiento de Formas e Imagen Digital-Màster Universitari en Intel·ligència Artificial, Reconeixement de Formes i Imatge Digital
topic Funciones matemáticas
Aprendizaje de ecuaciones
Aprendizaje Profundo
Medida heurísticas
Mathematical functions
Equation learning
Heuristic measure
Deep learning
Máster Universitario en Inteligencia Artificial, Reconocimiento de Formas e Imagen Digital-Màster Universitari en Intel·ligència Artificial, Reconeixement de Formes i Imatge Digital
description [EN] Equation Learners (Martius, G., & Lampert, C. H., 2016) are a type of network architecture that can discover generalizable equations with low error for unseen data, outperforming classic neural networks in terms of interpretability and accuracy. These models rely on predefined pools of mathematical functions to generate a dense and explanatory representation of the set of points observed during training. However, due to limitations of the original architecture, selecting an appropriate network size is crucial for performance and training complexity, considering the relation between depth and how expressive the equation can be. Given the long training times these networks may need for obtaining a reduced and interpretable equation form, techniques that scale network size dynamically as deeper architectures become necessary are valuable. The contributions of this work are three-fold: (1) we explore architecture modifications with Skip/Concat connections to ensure the network is trainable when it is deeper than required; (2) a heuristic measure for estimating network learning capacity using gradient information is developed; and (3) a transfer mechanism for increasing network depth dynamically while maintaining knowledge from smaller network versions based on the heuristic metric is implemented. The proposed method achieves competitive results or improves with respect to extremely deep networks.
publishDate 2025
dc.date.none.fl_str_mv 2025
2025-09-10
2025
2025-07-24
dc.type.none.fl_str_mv master thesis
http://purl.org/coar/resource_type/c_bdcc
dc.type.openaire.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
dc.identifier.none.fl_str_mv https://riunet.upv.es/handle/10251/225633
url https://riunet.upv.es/handle/10251/225633
dc.language.none.fl_str_mv Inglés
eng
language_invalid_str_mv Inglés
language eng
dc.rights.none.fl_str_mv open access
http://purl.org/coar/access_right/c_abf2
Reserva de todos los derechos
http://rightsstatements.org/vocab/InC/1.0/
dc.rights.openaire.fl_str_mv info:eu-repo/semantics/openAccess
rights_invalid_str_mv open access
http://purl.org/coar/access_right/c_abf2
Reserva de todos los derechos
http://rightsstatements.org/vocab/InC/1.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universitat Politècnica de València
publisher.none.fl_str_mv Universitat Politècnica de València
dc.source.none.fl_str_mv reponame:RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
instname:Universitat Politècnica de València (UPV)
instname_str Universitat Politècnica de València (UPV)
reponame_str RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
collection RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869418181871796224
spelling Adaptive Depth Scaling for Interpretable Equation Learning.Escalado de profundidad adaptativo para el aprendizaje de ecuaciones interpretables.Escalat de profunditat adaptatiu per a l&aposaprenentatge d&aposequacions interpretables.Jiménez-García, Jorge|||0009-0003-4855-7705Funciones matemáticasAprendizaje de ecuacionesAprendizaje ProfundoMedida heurísticasMathematical functionsEquation learningHeuristic measureDeep learningMáster Universitario en Inteligencia Artificial, Reconocimiento de Formas e Imagen Digital-Màster Universitari en Intel·ligència Artificial, Reconeixement de Formes i Imatge Digital[EN] Equation Learners (Martius, G., & Lampert, C. H., 2016) are a type of network architecture that can discover generalizable equations with low error for unseen data, outperforming classic neural networks in terms of interpretability and accuracy. These models rely on predefined pools of mathematical functions to generate a dense and explanatory representation of the set of points observed during training. However, due to limitations of the original architecture, selecting an appropriate network size is crucial for performance and training complexity, considering the relation between depth and how expressive the equation can be. Given the long training times these networks may need for obtaining a reduced and interpretable equation form, techniques that scale network size dynamically as deeper architectures become necessary are valuable. The contributions of this work are three-fold: (1) we explore architecture modifications with Skip/Concat connections to ensure the network is trainable when it is deeper than required; (2) a heuristic measure for estimating network learning capacity using gradient information is developed; and (3) a transfer mechanism for increasing network depth dynamically while maintaining knowledge from smaller network versions based on the heuristic metric is implemented. The proposed method achieves competitive results or improves with respect to extremely deep networks.[ES] Los aprendices de ecuaciones (Martius, G., & Lampert, C. H., 2016) son un tipo de arquitectura de red que puede descubrir ecuaciones generalizables con bajo error para datos no vistos, superando a las redes neuronales clásicas en términos de interpretabilidad y precisión. Estos modelos se basan en conjuntos predefinidos de funciones matemáticas para generar una representación densa y explicativa del conjunto de puntos observados durante el entrenamiento. Sin embargo, debido a las limitaciones de la arquitectura original, la selección de un tamaño de red adecuado es crucial para el rendimiento y la complejidad del entrenamiento, teniendo en cuenta la relación entre la profundidad y lo expresiva que puede ser la ecuación. Dados los largos tiempos de entrenamiento que pueden necesitar estas redes para obtener una forma de ecuación reducida e interpretable, resultan valiosas las técnicas que escalan el tamaño de la red dinámicamente a medida que se hacen necesarias arquitecturas más profundas. Las contribuciones de este trabajo son tres: (1) exploramos modificaciones de la arquitectura con conexiones Skip/Concat para asegurar que la red es entrenable cuando es más profunda de lo requerido; (2) se desarrolla una medida heurística para estimar la capacidad de aprendizaje de la red usando información de gradiente; y (3) se implementa un mecanismo de transferencia para aumentar la profundidad de la red dinámicamente mientras se mantiene el conocimiento de versiones más pequeñas de la red basadas en la métrica heurística. El método propuesto logra resultados competitivos o mejores que redes extremadamente profundas.Universitat Politècnica de ValènciaOnaindia de la Rivaherrera, EvaAso Mollar, ÁngelDepartamento de Sistemas Informáticos y ComputaciónEscuela Técnica Superior de Ingeniería InformáticaInstituto Universitario Valenciano de Investigación en Inteligencia ArtificialRepositorio Institucional de la Universitat Politècnica de València Riunet20252025-09-1020252025-07-24master thesishttp://purl.org/coar/resource_type/c_bdccinfo:eu-repo/semantics/masterThesisapplication/pdfhttps://riunet.upv.es/handle/10251/225633reponame:RiuNet. Repositorio Institucional de la Universitat Politécnica de Valénciainstname:Universitat Politècnica de València (UPV)Inglésengopen accesshttp://purl.org/coar/access_right/c_abf2Reserva de todos los derechoshttp://rightsstatements.org/vocab/InC/1.0/info:eu-repo/semantics/openAccessoai:riunet.upv.es:10251/2256332026-06-13T07:49:27Z
score 15,811543

Similares en LA Referencia