Desarrollo de una aplicación móvil de visión artificial que fortalezca el proceso de enseñanza-aprendizaje de configuración manual del lenguaje de señas en los alumnos de primer y segundo grado de la Unidad Educativa Especializada Camilo Gallegos para personas con discapacidad auditiva.

Abstract

El presente proyecto brinda soporte al proceso de enseñanza-aprendizaje de la configuración manual del lenguaje de señas ecuatoriano, es dirigido a los alumnos de primer y segundo grado de la Unidad Educativa Especializada Camilo Gallegos, ubicado en la ciudad de Ambato. La aplicación “En Señas” está enfocada en funcionar como una herramienta iterativa e interactiva para la enseñanza-refuerzo del usuario y/o las personas con discapacidad auditiva, por lo que presenta una colección de 50 palabras del diccionario del lenguaje de señas publicado por la FENASEC.EC. Esta aplicación cuenta con tres segmentos, el primero de ellos es el vocabulario, el cual contiene la colección de palabras, que permite mostrar imágenes con el significado de la seña y videos que muestran la forma correcta de realizar la seña. El segundo segmento cuenta con el proceso práctico, en donde la cámara del dispositivo móvil detecta y reconoce la configuración manual realizada por el alumno. Por último el segmento de validación, una vez reconocida la seña, la aplicación determina si se realizó correcta o incorrectamente la configuración manual mostrando un mensaje de acierto o error. La aplicación se desarrolló mediante los frameworks Opencv y Python en conjunto con la librería de Tensorflow para el tratamiento de las imágenes y la construcción de la red neuronal. Fue realizada en Android Studio, utilizando la metodología MADAMDM para la interfaz de usuario y la unión de la red neuronal artificial.