Diseño e implementación de un sistema con interacción gestual para la enseñanza de lenguaje de señas básico ecuatoriano a niños con discapacidad auditiva mediante sensores gestuales.

Abstract

El trabajo de titulación pretende ofrecer el desarrollo de un sistema gestual interactivo enfocado al aprendizaje del lenguaje de señas básico Ecuatoriano principalmente a niños con discapacidad auditiva, sin descartar que el sistema puede ser utilizado por niños, jóvenes y adultos también que tengan o no ésta discapacidad, el sistema puede ser manipulado con diferentes gestos realizados con la mano que permitirá desplazarse por diferentes opciones del sistema sin la necesidad que el usuario manipule físicamente el computador. La pantalla principal que se muestra al usuario tiene diferentes modos de aprendizaje, el modo ordenado, que presenta las letras del alfabeto de manera ascendente (A – Z), el usuario debe realizar la configuración con la seña con la mano derecha como es presentada en la interfaz del usuario y el sistema reconocerá si se realizó de forma correcta y posteriormente continuar con las siguiente configuración, caso contrario el sistema no continuará hasta que se realice correctamente, el siguiente modo presenta 10 configuraciones aleatorias, que tendrá el mismo principio de funcionamiento que el modo ordenado, el tercero es el modo aprendizaje donde el usuario tendrá 30 segundos para realizar el mayor número de configuraciones presentando una puntuación. Para lograr este reconocimiento se utiliza un sensor gestual que brinda información del movimiento del brazo, palma, y dedos de la mano que acompañado por un algoritmo que permite manejar todos los datos que envía el dispositivo en coordenadas de dirección (X, Y, Z), para ser analizados y procesados para el reconocimiento de configuraciones de señas realizadas por el usuario.