Towards Practical HRTF Individualization: Machine Learning Approaches Using Visual Data
[ES] El auge de las tecnologías inmersivas, como la realidad virtual y la realidad aumentada, ha incrementado la demanda de audio espacial realista y personalizado. En este contexto, el audio binaural permite recrear la percepción de sonido 3D mediante auriculares. Su precisión depende de la Función...
| Autor: | |
|---|---|
| Formato: | tesis doctoral |
| Fecha de publicación: | 2025 |
| País: | España |
| Recursos: | Universitat Politècnica de València (UPV) |
| Repositorio: | RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia |
| Idioma: | inglés |
| OAI Identifier: | oai:riunet.upv.es:10251/231530 |
| Acesso em linha: | https://riunet.upv.es/handle/10251/231530 |
| Access Level: | acceso abierto |
| Palavra-chave: | Head-Related Transfer Function (HRTF) Deep Learnign Artificial Intelligence (AI) HRTF individualization Pinna Convolutional Neural Networks (CNNs) Aprendizaje profundo Función de Transferencia Relacionada con la Cabeza (HRTF) Binaural audio Individualización de HRT Armónicos esféricos Spherical harmonics Mesh2HRTF Ambisonics (HOA) Audio espacial Spatial audio 09.- Desarrollar infraestructuras resilientes, promover la industrialización inclusiva y sostenible, y fomentar la innovación |
| Resumo: | [ES] El auge de las tecnologías inmersivas, como la realidad virtual y la realidad aumentada, ha incrementado la demanda de audio espacial realista y personalizado. En este contexto, el audio binaural permite recrear la percepción de sonido 3D mediante auriculares. Su precisión depende de la Función de Transferencia Relacionada con la Cabeza (HRTF), que modela cómo la anatomía de cada oyente (cabeza, torso y especialmente el pabellón auditivo) modifica el sonido antes de llegar al oído. Aunque la medición de HRTF individuales ofrece la máxima fidelidad espacial, requiere equipamiento especializado y costoso, lo que la hace poco viable para usuarios no expertos. Esta tesis aborda la individualización práctica de HRTF mediante métodos accesibles que combinan información visual y aprendizaje automático. La hipótesis principal sostiene que los rasgos morfológicos del usuario, en particular la geometría compleja del pabellón auditivo, pueden capturarse con dispositivos de consumo y utilizarse para estimar HRTF personalizadas con precisión suficiente para aplicaciones inmersivas. La investigación comenzó explorando el uso de cámaras de profundidad de teléfonos inteligentes para reconstruir modelos 3D de cabeza y orejas, obteniendo geometría de bajo coste para simulaciones numéricas de HRTF. Posteriormente, y en línea con la evolución de los dispositivos de consumo, el enfoque se desplazó hacia métodos basados en imágenes 2D, más simples y generalizables. Como contribución adicional, se desarrolló un flujo de trabajo semiautomatizado para la alineación de mallas y la extracción precisa del pabellón auditivo utilizando la base de datos SONICOM. Experimentos con este conjunto de datos mostraron que la geometría del pabellón auditivo afecta de forma determinante a la respuesta en altas frecuencias de las HRTF, lo que sugiere que modelos de cabeza simplificados pueden ser suficientes en muchos escenarios de personalización y refuerza la viabilidad de enfoques centrados únicamente en la oreja. La tesis culmina con el diseño y evaluación de modelos de aprendizaje profundo entrenados con imágenes de orejas (en particular, del conjunto de datos HUTUBS), capaces de predecir coeficientes en armónicos esféricos de las HRTF y superar métodos previos. Sobre esta base, se propone un sistema completo de extremo a extremo que, a partir de una única fotografía lateral, detecta y recorta automáticamente la oreja y predice la magnitud de alta frecuencia de la HRTF del usuario mediante una red neuronal profunda modular. En conjunto, el trabajo aporta metodologías, flujos de procesado y evidencias sobre el papel acústico de la geometría de la oreja, avanzando hacia una personalización de HRTF más accesible y fácil de usar, sin necesidad de equipos de medición especializados. |
|---|