Framework de Reconocimiento de Emociones para el análisis de salud ocupacional en tiempo real, aplicando un Método Multimodal basado en Deep Learning

Abstract

El Desarrollo del presente Proyecto contempla desarrollar un Framework de Reconocimiento Emocional para el Análisis de Salud Ocupacional en tiempo real, aplicando un método multimodal basado en Deep Learning. En primera instancia se realiza un exhaustivo proceso de investigación sobre métodos y técnicas de reconocimiento emocional analizando el nivel de afectación dentro del cuadro de salud ocupacional. Posteriormente se trabaja bajo definiciones de reconocimiento, encontrando fuentes de investigación y casos de éxito con relación a procesos similares. Para el desarrollo del framework se emplearon técnicas de reconocimiento emocional basada en rostro (FER), reconocimiento emocional del habla (SER) y sets de datos predefinidos como: MESD, RAVDESS, TESS y SAVEE que permitan la identificación de señales fisiológicas, gestuales, no verbales y vocales a través de la extracción emocional. Dichos conjuntos de datos sirvieron como base para el entrenamiento y validación de un modelo de red neuronal convolucional de capas múltiples, mediante el uso de métricas de evaluación estándar como la matriz de confusión y técnicas de validación por retención "Hold-out", se desarrolla un modelo con una precisión del 92% sobre las 7 emociones universales. El proyecto se lleva a cabo en el entorno de programación de Google Colab bajo lenguaje Python y librerías externas que facilitan la identificación de patrones clave durante el proceso de reconocimiento emocional, empleando técnicas de aprendizaje automático según la sea la necesidad, además se procede con la implementación de los modelos predictivos mediante un aplicativo web de uso sencillo.