Desarrollo de una aplicación web para reconocimiento de lengua de señas sin movimiento usando inteligencia artificial.

Abstract

En la provincia de Santo Domingo de los Tsáchilas, de 11.767 personas con discapacidad, el 10,48%, lo equivalente a 1.233 individuos, presenta discapacidad auditiva, siendo la población objetivo. Además, se identificó una población indirecta beneficiada de 3.699 personas para la aplicación web SoGo Sign. La aplicación, basada en inteligencia artificial y aprendizaje profundo, implementa el modelo clasificatorio de MediaPipe sobre la estructura de redes neuronales convolucionales (CNN), incluyendo VGG16 de dieciséis capas y ResNet50 de cincuenta capas. En la metodología, Design Thinking se aplicó en la fase de planificación y diseño para la especificación de requerimientos mediante Focus Group, y Kanban se implementó durante el desarrollo para gestionar tareas y abordar posibles retrasos. En el entrenamiento, el modelo de MediaPipe logró una precisión del 97,52% para números y 91,14% para el abecedario. Las pruebas de clasificación de los modelos, en un entorno de producción, alcanzaron un 90% para los números y 87,92% para las letras. Las encuestas de satisfacción del usuario reflejan valores de “Bueno” con tendencia a “Excelente” en escala Likert para criterios como contenido, diseño, estructura, clasificación del modelo y seguridad. Las pruebas de rendimiento de la aplicación SoGo Sign demostraron la capacidad de manejar 3.000 peticiones, con un procesamiento de 33,09 peticiones por segundo, un tiempo de respuesta promedio de 231 milisegundos y una tasa de error del 0%. Estos resultados respaldan la viabilidad de una segunda versión del aplicativo, incorporando lengua de señas con movimiento con procesamiento de video en tiempo real, y enfoque gamificado.