Traducción automática de las lenguas de signos

La traducción automática de las lenguas de signos ha sido posible, aunque de forma limitada, desde 1977, cuando un proyecto de investigación logró que las letras inglesas de un teclado coincidiesen con las letras del alfabeto manual de la lengua de signos estadounidense (SAL, por sus siglas en inglés). Esta tecnología traduce el lenguaje de signos al lenguaje escrito u oral, y el lenguaje escrito u oral al lenguaje de signos, sin la necesidad de un intérprete humano. Los lenguajes de signos poseen características fonológicas diferentes a las de los lenguajes hablados, cosa que ha supuesto un obstáculo para los desarrolladores. Los desarrolladores utilizan el aprendizaje visual y automático para reconocer parámetros fonológicos específicos exclusivos de los lenguajes de signos, el reconocimiento del habla y el procesamiento del lenguaje natural que permiten la comunicación interactiva entre personas sordas y oyentes.

Limitaciones

Las tecnologías de la traducción del lenguaje de signos están limitadas de igual manera que la traducción del lenguaje hablado. Ninguno puede traducir con una precisión del 100%. De hecho, las tecnologías de la traducción del lenguaje de signos están muy por debajo de sus posibilidades en el lenguaje hablado. Esto se debe, de manera nada trivial, a que los lenguajes de signos tienen múltiples formas de articularse. Mientras que las lenguas habladas se articulan a través del tracto vocal, las lenguas de signos se articulan a través de las manos, los brazos, la cabeza, los hombros, el torso y algunas partes de la cara. Esta expresión multicanal hace muy difícil la traducción de las lenguas de signos. Otro reto para la TA (Traducción Automática) de lengua de signos es el hecho de que no existe un formato escrito formal para esta lengua. Existen sistemas de anotación, pero no se ha adoptado ningún sistema de escritura lo suficientemente extendido, en la comunidad internacional de sordos, como para que pueda ser considerado como la "forma escrita" de una lengua de signos determinada. Los lenguajes de signos se graban en varios formatos de vídeo. No existe un corpus paralelo estándar de oro SMT que sea lo suficientemente grande para SMT, por ejemplo.

Historia

La historia de la traducción automática del lenguaje de signos comenzó con el desarrollo de hardware como las manos robóticas de ortografía digital. En 1977, un proyecto manual de deletreo con los dedos llamado RALPH (abreviatura de "Robotic Alphabet") creó una mano robótica que puede traducir el alfabeto al deletreo con los dedos.​ Más tarde, el uso de guantes con sensores de movimiento se convirtió en la corriente principal, y nacieron algunos proyectos como el CyberGlove y el VPL Data Glove.​ El hardware llevable hizo posible capturar las formas y movimientos de los hablantes de lengua de signos con la ayuda del software de un ordenador. Sin embargo, las cámaras con el desarrollo de la visión por ordenador reemplazaron esos dispositivos llevables debido a su eficiencia y a que tienen menos limitaciones físicas para los hablantes de lengua de signos.​ Para procesar los datos recopilados a través de los dispositivos, los investigadores implementaron redes neuronales como el Simulador de red neuronal de Stuttgart para el reconocimiento de patrones en sus proyectos, como CyberGlove.​ Los investigadores también utilizan muchos otros enfoques para el reconocimiento de signos. Por ejemplo, los modelos ocultos de Markov se utilizan para analizar los datos estadísticamente,​ y el GRASP y otros programas de aprendizaje automático usan los conjuntos de capacitación para mejorar la precisión del reconocimiento de signos.​

Tecnologías

VISICAST

http://www.visicast.cmp.uea.ac.uk/Visicast_index.html

Proyecto eSIGN

http://www.visicast.cmp.uea.ac.uk/eSIGN/index.html

The American Sign Language Avatar Project at DePaul University

http://asl.cs.depaul.edu/

Spanish to LSE

https://www.semanticscholar.org/paper/Methodology-for-developing-a-Speech-into-Sign-in-a-L%C3%B3pez-Lude%C3%B1a-San-Segundo/496f8e35add9fad94a59156f473261ecd3175635

SignAloud

SignAloud es una tecnología que incorpora un par de guantes creados por un grupo de estudiantes de la Universidad de Washington que transliteran la lengua de signos estadounidense (SAL) al inglés.​​ Durante el otoño de 2016, dos estudiantes no-sordos de la Universidad de Washington, Thomas Pryor y David Azodi, tuvieron la idea de este aparato. Azodi tiene una larga trayectoria y vinculación en Administración de Empresas, mientras que Pryor es un ingeniero experto.​ En mayo de 2016, los creadores contaron a NPR que estaban trabajando más estrechamente con personas que utilizan SAL para poder entender mejor a la audiencia y adaptar el producto a las necesidades de estas personas en vez de asumir lo que necesitan.​ Sin embargo, no han lanzado nuevas versiones desde entonces. El invento de estos estudiantes fue uno de los siete que ganaron el Premio Lemelson MIT de estudiantes que busca premiar y reconocer a los jóvenes inventores. Incluyeron su invento en la categoría «¡Úsalo!» del premio que incluye avances tecnológicos para productos existentes. Se les premió con 10 000 $.​​

Los guantes tienen sensores que rastrean los movimientos de las manos de los usuarios y envían los datos a un sistema informático vía Bluetooth. El sistema informático analiza los resultados y los relaciona con palabras en inglés que a su vez, se reproducen en voz alta por una voz digital.​ Los guantes no proporcionan una comunicación recíproca, ya que no son capaces de transformar el inglés escrito en movimientos de los guantes, y tampoco son capaces de escuchar el lenguaje y hacerle signos a una persona sorda. El dispositivo tampoco incorpora expresiones faciales y otros marcadores no manuales del lenguaje de signos que pueden alterar la interpretación exacta del SAL.​

ProDeaf​

ProDeaf (WebLibras) es un programa informático para la traducción tanto de texto como de voz al portugués «Libras» (Lengua de Signos Brasileña). El software tiene el objetivo de mejorar la comunicación entre sordos y oyentes. En la actualidad, también puede encontrarse una edición beta en desarrollo para el lenguaje de signos estadounidense. Los miembros del equipo original comenzaron el proyecto en el año 2010 junto a un grupo de expertos, entre los que se incluían lingüistas, diseñadores, programadores y traductores, y entre los que se encontraban tanto oyentes como sordos. El equipo se creó en la Universidad Federal de Pernambuco (UFPE) a partir de un grupo de estudiantes implicados en un proyecto de ciencias de la informática. El grupo tenía un miembro sordo y con dificultades para comunicarse con el resto del grupo. Para completar el proyecto y ayudar al compañero a comunicarse, el grupo creó Proativa Soluções y desde entonces ha continuado avanzando. Por otra parte, la versión beta actual para el lenguaje de signos estadounidense es muy limitada. Por ejemplo, hay una entrada en el diccionario y la única palabra para la letra s es «saltar» Si el dispositivo no ha sido programado con la palabra, entonces el avatar digital debe deletrear la palabra. La última actualización de la aplicación fue en junio de 2016, pero ProDeaf ha aparecido en más de 400 artículos en los medios de comunicación más populares del país.

Como la aplicación no puede leer el lenguaje de signos y convertirlo en palabra o texto, hablamos de una herramienta de comunicación unidireccional. Además, el usuario no puede iniciar sesión en la aplicación y recibir una traducción al inglés de ninguna forma, dado aún se encuentra en su versión beta.

Kinect Sign Language Translator​

Desde 2012, algunos investigadores de la Academia China de las Ciencias y especialistas de la educación para sordos de la Beijing Union University en China han colaborado con el equipo asiático de Microsoft Research para crear el Kinect Sign Language Translator (traductor de lengua de signos Kinect). El traductor consta de dos modos: traducción y comunicación. El modo de traducción es capaz de traducir palabras una por una de lengua de signos a escrita y viceversa y, por otro lado, el modo comunicación puede traducir frases completas y, mediante el avatar 3D, una conversación se puede traducir automáticamente. El modo traducción puede también detectar posturas y la forma de la mano, además de la trayectoria del movimiento mediante el uso de tecnologías de aprendizaje automático, reconocimiento de patrones y visión artificial. De igual manera, el dispositivo permite la comunicación recíproca ya que con el reconocimiento de habla se puede traducir la lengua hablada a la lengua de signos y el avatar modelado 3D puede traducir el mensaje para la gente sorda.

El proyecto original comenzó en China, enfocado a traducir la lengua de signos del país. En 2013 el proyecto se presentó en la Microsoft Research Faculty Summit y la Microsoft Company meeting. Actualmente, hay investigadores trabajando en Estados Unidos para implementar la traducción de la lengua de signos estadounidense. Por ahora, el dispositivo solo es un prototipo y la precisión de los modos de traducción y comunicación todavía no es perfecta.

SignAll​

SignAll es un sistema de traducción automática de lengua de signos desarrollado por Dolphio Technologies en Hungría. El equipo es “pionero en desarrollar el primer medio de traducción automatizada de lengua de signos, basada en la visión monitorizada y el Procesamiento de lenguajes naturales (PLN) para permitir la comunicación cotidiana entre individuos que usen la lengua de signos estadounidense”. El sistema de SignAll utiliza el dispositivo Kinect de Microsoft y otras cámaras web con sensores de profundidad conectadas al ordenador. La tecnología de visión artificial puede reconocer la forma de la mano así como el movimiento de la persona que se esté comunicando en lengua de signos y el sistema de procesamiento de lenguajes naturales convierte los datos recogidos por la visión artificial en una oración simple en inglés. El desarrollador del proyecto es sordo y el resto del equipo está compuesto por diversos ingenieros y especialistas en lingüística tanto sordos como no sordos. Esta tecnología tiene la capacidad de incorporar los cinco parámetros de la lengua de signos estadounidense, lo que ayuda al dispositivo a interpretar con precisión a la persona sorda. Muchas compañías como Deloitte y LT-innovate han patrocinado el proyecto y otras como Microsoft Bizspark y Hungary’s Renewal han colaborado en él también.

MotionSavvy​

MotionSavvy fue el primer sistema de lenguaje de signos a voz. Un grupo del Rochester Institue of Technology / National Technical Institute for the Deaf creó el aparato (UNI) en 2012 que “surgió del acelerador Leap Motion AXLR8R”. El equipo usó una funda para tabletas que utiliza la capacidad del mando Leap Motion. Los seis miembros del equipo eran estudiantes sordos del departamento de la educación de sordos. El aparato actualmente es uno de los dos dispositivos de comunicación recíproca que se usa solamente para el lenguaje de signos estadounidense. Permite a los sordos hablar con signos al aparato que luego lo interpreta, o viceversa, recibe el inglés oral y lo traduce al lenguaje de signos estadounidense. El aparato se venda por 198 dólares. Algunas otras herramientas son la capacidad de interactuar, retroalimentación en tiempo real, Sign Builder (donde los usuarios pueden grabar nuevos signos), y CrowdSign (donde los usuarios pueden compartir y descargar signos).

Muchos reseñaron el aparato, como revistas tecnológicas o la revista TIME. Wired dijo: “No era difícil saber que la tecnología como [UNI] podría ser transformativo” y que “[UNI] me pareció casi mágico”. Katy Steinmetz de la revista TIME dijo: “Esta tecnología podría cambiar el modo de vida de los sordos”. Sean Buckley de Engadget mencionó: “UNI podría convertirse en una herramienta de comunicación increíble”.

Referencias

• Datos: Q30324136