Diseño e implementación de un sistema traductor de lengua de señas mediante inteligencia artificial para personas con discapacidad auditiva

Abstract

RESUMEN: El presente proyecto de investigación denominado “Diseño e implementación de un sistema traductor de lengua de señas mediante inteligencia artificial para personas con discapacidad auditiva” tiene como objetivo aprovechar la evolución de la tecnología para disminuir las barreras de comunicación existentes entre personas oyentes y personas que padecen discapacidad auditiva, estas barreras impiden que las personas puedan interactuar con su entorno y dificultan su desenvolvimiento en los diferentes ambientes educativos, laborales y sociales. Ante la falta de atención en estos grupos vulnerables se desarrolla un sistema que permite la traducción de la lengua de señas de manera que agilice el proceso de comunicación, para ello se utiliza la inteligencia artificial que es uno de los avances tecnológicos que está mejorando la calidad de vida de las personas. También se emplearon redes neuronales que por medio de un entrenamiento previo pueden realizar una cantidad de tareas teniendo resultados con gran precisión. Para llevar a cabo el entrenamiento de la red neuronal fue necesaria la utilización de varias herramientas y algoritmos que optimicen ciertos procesos y brinden soluciones rápidas, siendo una de ellas Mediapipe que facilita la detección de la mano a partir de los fotogramas que capte el sistema, esto lo realiza gracias a los modelos de aprendizaje automático que posee, donde cada fotograma es procesado para obtener información importante acerca de los puntos de referencia de la mano, siendo 21 puntos los que se pueden extraer de la mano y cada uno conformado por coordenadas X, Y y Z que son la posición de cada falange o nudillo de la mano. Esta información posteriormente es procesada y almacenada para ocuparla en el entrenamiento de la red neuronal. En base a los resultados obtenidos se comprueba que el sistema implementado funciona de manera correcta y es una herramienta de gran ayuda para las personas con discapacidad auditiva permitiendo que mejore su comunicación con un alto nivel de confiabilidad, en condiciones lumínicas buenas el sistema detecta el 94,46%, mientras que en condiciones lumínicas regulares detecta el 92,08% y finalmente en condiciones lumínicas malas detecta el 89,15% de los gestos realizados.