Desarrollo de un sistema de rastreo de puntos clave de las manos en expresiones básicas de la lengua de señas ecuatoriana

Abstract

La Lengua de Señas Ecuatoriana (LSEC) constituye el principal medio de comunicación de la comunidad con discapacidad auditiva en el Ecuador; sin embargo, su conocimiento en la población general sigue siendo limitado, lo que genera barreras de inclusión en ámbitos educativos, sociales y laborales. En este contexto, el presente trabajo de integración curricular propone el desarrollo de un sistema de rastreo de puntos clave de las manos (keypoint tracking) aplicado a expresiones básicas de la LSEC, con el fin de generar representaciones temporales precisas que sirvan como base para futuras aplicaciones de clasificación automática y herramientas accesibles de enseñanza y aprendizaje. El proyecto emplea la técnica de un modelo de inteligencia artificial preentrenado, como MediaPipe, la cual permite detectar hasta 21 puntos anatómicos por mano y segmentar la región de interés en videos de señas. A partir de material gestual de uso libre como lo son videos, los cuales se procesan cuadro a cuadro para extraer y almacenar las coordenadas relevantes de puntos clave de las manos como series temporales. Estas trayectorias representan la dinámica espacial y temporal de gestos básicos de la LSEC. Los datos obtenidos se organizan en conjuntos de modelamiento y validación, que se evalúan utilizando métricas como Distancia Euclidiana y Deformación Temporal Dinámica (DTW), para medir la similitud entre diferentes ejecuciones de un mismo gesto. Este proceso permite caracterizar cada gesto de forma consistente y obtener las bases para modelos futuros de reconocimiento automático. El resultado del trabajo constituye un avance importante en la representación digital de la LSEC y un aporte pionero para la construcción de sistemas inteligentes orientados a la accesibilidad y la comunicación inclusiva en el Ecuador.