Desarrollo de un sistema de rastreo de puntos clave de la cabeza y los brazos en expresiones básicas de la lengua de señas ecuatoriana

Abstract

La inclusión de personas con discapacidad auditiva depende en gran medida de la difusión de la Lengua de Señas Ecuatoriana (LSE). Sin embargo, el principal obstáculo para el aprendizaje autodirigido es la falta de retroalimentación inmediata, lo que impide que los estudiantes o personas interesadas verifiquen la corrección biomecánica de sus gestos cuando no hay un tutor presente. Por lo tanto, el presente trabajo de integración curricular tiene como finalidad desarrollar un sistema de rastreo y validación de trayectorias articulares en cabeza y brazos. Para la implementación, se utilizó la técnica de estimación de pose mediante la librería MediaPipe, permitiendo la extracción de puntos clave del esqueleto. La base de datos del modelo se construyó recopilando un corpus de video de repositorios digitales de acceso abierto, centrado en el léxico fundamental del LSE, asegurando la fidelidad técnica de los patrones de referencia, con esto se desarrolló un modelo estadístico interpretable basado en rangos de tolerancia variables, utilizando el algoritmo Dynamic Time Warping (DTW) para lograr una comparación temporal elástica entre una ejecución de un gesto de prueba con cada patrón de movimiento de cada articulación. Durante el desarrollo, se determinó que la selección de las articulaciones depende de la relevancia que tengan, de manera que se optimiza el procesamiento. La propuesta se implementó en Python, generando un sistema capaz de generar curvas de error por articulación e informes gráficos de las trayectorias. La evaluación del sistema demostró que el uso de la corrección tanto del sesgo vertical como horizontal, el error calculado junto con la comparación del comportamiento de las curvas de trayectorias, permite al sistema rastrear eficazmente la ejecución motora, entregando métricas objetivas y retroalimentación visual accesible para diferentes entornos.