Immersive Teleoperation of a Robotic Arm with Grip Recognition and Haptic Feedback
[ES] El objetivo principal es configurar y evaluar un sistema de teleoperación háptica que permita a los usuarios manipular objetos con un brazo robótico imitando los movimientos de sus manos y reconociendo los gestos de agarre, incluyendo la fuerza aplicada y dedos involucrados. Además, el proyecto...
| Autor: | |
|---|---|
| Tipo de recurso: | tesis de maestría |
| Fecha de publicación: | 2024 |
| País: | España |
| Institución: | Universitat Politècnica de València (UPV) |
| Repositorio: | RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia |
| Idioma: | inglés |
| OAI Identifier: | oai:riunet.upv.es:10251/209550 |
| Acceso en línea: | https://riunet.upv.es/handle/10251/209550 |
| Access Level: | acceso abierto |
| Palabra clave: | Teleoperación inmersiva Brazo robótico Reconocimiento de agarre Retroalimentación háptica Mediciones Immersive teleoperation Robotic arm Grip recognition Haptic feedback Measurements TEORÍA DE LA SEÑAL Y COMUNICACIONES Máster Universitario en Tecnologías, Sistemas y Redes de Comunicaciones-Màster Universitari en Tecnologies, Sistemes i Xarxes de Comunicacions |
| Sumario: | [ES] El objetivo principal es configurar y evaluar un sistema de teleoperación háptica que permita a los usuarios manipular objetos con un brazo robótico imitando los movimientos de sus manos y reconociendo los gestos de agarre, incluyendo la fuerza aplicada y dedos involucrados. Además, el proyecto busca probar el sistema configurado en las bandas de frecuencia n78/n40 para mediciones en interiores/exteriores utilizando la Red Privada 5G de iTEAM-UPV. El sistema está diseñado en torno a dos nodos principales: (1) Nodo de Control y Orquestación Local: Situado junto al brazo robótico, este nodo gestiona la comunicación con controlador y pinza del robot, transmitiendo y recibiendo datos en tiempo real sobre el estado del robot y comandos del usuario. (2) Nodo Háptico y Teleoperación Remota: Operable a distancia, este nodo captura los movimientos del brazo del usuario a través de un dispositivo de seguimiento y los traduce en señales de control. También transmite a los guantes hápticos para proporcionar al usuario retroalimentación táctil basada en interacciones de la pinza. La comunicación entre nodos utilizando una Red Privada 5G es un aspecto crítico del proyecto. Se evalúa la eficacia de combinar dos protocolos de comunicación (TCP y UDP) en diferentes enlaces en diversas condiciones ambientales y distancias variables a través de seis posiciones de teleoperación dentro del Campus UPV. Además, se investigan tres configuraciones de flujo de comunicación para determinar el intercambio de datos más eficiente y confiable para un rendimiento óptimo del sistema. El proyecto aprovecha los marcos teóricos existentes y nuevos para control robótico y HMIs. Se emplean técnicas de aprendizaje automático, específicamente una CNN personalizada, para reconocer varios gestos de agarre realizados por el usuario, lo que permite una traducción más matizada de la intención del usuario en comandos de control para el brazo robótico. Además, se configuran, aplican y prueban varias estructuras matemáticas en el sistema general, incluidos mapeos de trayectoria para el brazo robótico, de fuerza y ancho para la pinza, así como distintos modelos para especificar sensaciones hápticas complejas. Se ha desarrollado un prototipo funcional del sistema utilizando componentes disponibles. El sistema integra un brazo robótico UR5e, pinza OnRobot RG2, guantes bHaptics DK1 e interfaz de cámara para control remoto. Se han empleado librerías como ROS Noetic, mediapipe y tensorflow para facilitar la comunicación, el seguimiento del movimiento y el reconocimiento de gestos de agarre. El trabajo de laboratorio se centró en definir y configurar todo el sistema de estudio, junto con la medición y el análisis de los aspectos de comunicación del sistema. Esto implicó probar el rendimiento de diferentes protocolos en diversas condiciones ambientales y configuraciones de flujo. Se midieron la latencia, el rendimiento, RSRP/RSRQ/SINR, así como requisitos de CPU/RAM para evaluar el impacto de protocolos de comunicación y la ubicación física en la capacidad de respuesta del sistema y la eficiencia de la transmisión. El proyecto demuestra con éxito la viabilidad de un sistema de teleoperación inmersivo con reconocimiento de agarre y retroalimentación háptica. El análisis de la comunicación produjo un conjunto de datos completo sobre el rendimiento del sistema en diversas condiciones. (A) En entornos interiores con una interferencia mínima de la señal, la latencia media del sistema de extremo a extremo con TCP se midió en alrededor de 95 ms. Esta latencia aumentó a un promedio de 172 ms en entornos exteriores con obstáculos de señal estáticos (e.g., árboles, edificios) y dinámicos (e.g., vehículos, personas). Por otro lado, UDP exhibió una latencia media ligeramente inferior (80 ms en interiores y 148 ms en exteriores) pero con valores de fluctuación más altos, lo que indica tiempos de llegada de paquetes de datos menos predecibles. (B) TCP demostró ser más confiable para transm |
|---|