El modelo SL2T de Google DeepMind trae dictado en Lenguaje de Signos Americano a los teléfonos Pixel

Puntos clave

• Google DeepMind ha lanzado SL2T, un modelo de lenguaje de signos a texto que convierte el Lenguaje de Signos Americano en inglés escrito en un teléfono.
• SL2T se estrena primero en el Pixel 11 dentro de Gboard, la aplicación de teclado de Google, y Live Transcribe, su herramienta de subtítulos.
• El modelo fue entrenado con más de 100.000 horas de signado en más de 50 lenguajes de signos, aproximadamente una cuarta parte en LSA.
• En el punto de referencia FLEURS-ASL, SL2T obtuvo 70 BLEURT sin ajuste específico de tarea, cifra que el equipo dice que está muy por encima de cualquier figura previamente reportada.
• Para proteger la privacidad, el teléfono envía solo coordenadas de puntos corporales al servidor, no video de cámara, y descarta el metraje original.

Durante décadas, el dictado por voz ha permitido que las personas oyentes hablen con sus teléfonos en lugar de escribir. Los usuarios sordos han estado en gran medida excluidos de esa comodidad.

Google DeepMind quiere cambiar eso. El laboratorio ha lanzado SL2T, abreviatura de sign-language-to-text, un modelo que ve a alguien signando y produce texto escrito en otro idioma. Ahora está integrado en dos aplicaciones en el Pixel 11: Gboard, el teclado, y Live Transcribe, que muestra palabras habladas como subtítulos. Adelantamos lo que Google planeaba anunciar el día anterior al lanzamiento del Pixel 11.

La primera versión maneja Lenguaje de Signos Americano a inglés. Se prometen más dispositivos e idiomas adicionales.

¿Qué puede hacer realmente un usuario con esto?

Signarse en cualquier lugar donde normalmente escribirían. Esa es la propuesta, y es concreta.

Gboard permite que un usuario sordo signee para buscar en la web, escribir un mensaje o pedirle a Gemini, el chatbot de Google, que ejecute una tarea. En Live Transcribe, puede signarse una respuesta durante una conversación cara a cara en lugar de escribir texto con los dedos. Los evaluadores de Google dijeron que signarse en LSA se sentía más rápido y natural que escribir en inglés.

Eso importa porque los lenguajes de signos no son inglés representado con las manos. Son idiomas completos con su propia gramática, construidos a partir de movimientos simultáneos de las manos, brazos, cara y torso.

¿Cómo funciona el modelo?

SL2T realiza dos tareas difíciles a la vez: observa cuidadosamente el cuerpo y luego traduce entre dos idiomas diferentes.

Una herramienta en el dispositivo llamada MediaPipe, una biblioteca de seguimiento corporal de Google, rastrea puntos en quien signea, cosas como nudillos y puntos de referencia faciales. Solo esas coordenadas viajan a los servidores de Google. El video de la cámara permanece en el teléfono y se desecha. Esa decisión de diseño es la historia de privacidad, y es significativa.

El modelo del lado del servidor traduce los puntos móviles directamente en texto en inglés. Los sistemas más antiguos a menudo pasaban por una taquigrafía escrita intermedia llamada "glosa". SL2T salta ese paso, lo que Google dice que evita limitar el vocabulario y permite que la calidad mejore a medida que llegan más datos.

El entrenamiento utilizó más de 100.000 horas de signado en más de 50 lenguajes de signos, aproximadamente una cuarta parte en LSA. El entrenamiento en muchos idiomas juntos ayudó al modelo a aprender estructuras compartidas entre ellos.

¿Qué tan bueno es realmente?

Bueno, con limitaciones honestas. En FLEURS-ASL, un conjunto de prueba público para traducción de LSA a inglés, SL2T obtuvo 70 BLEURT sin ajuste específico de tarea. BLEURT es una puntuación de calidad automatizada para traducciones. Google dice que esa cifra está muy por delante de resultados previos.

Los puntos de referencia no son toda la historia. El equipo enumera modos de fallo reales: signos raros y deletreo dactilológico rápido. Un ejemplo documentado convirtió "prey" en "grey". Las oraciones pasivas y el tiempo cuando el contexto es escaso también lo complican. Por separado, los ingenieros abordaron el retraso de transmisión, texto alucinado cuando nadie está signando, signado con una mano mientras se sostiene el teléfono y desempeño justo para aproximadamente el 10% de los signadores que son zurdos.

¿Quién lo formó?

Colaboradores sordos, desde el principio. El proyecto fue concebido por Sam Sepah, un ingeniero sordo en Google, y los socios sordos participaron en la recopilación de datos y la revisión de impacto.

Google también estableció un Comité Asesor de Lenguaje de Signos en IA con organizaciones de sordos y expertos, y publicó un informe de impacto conjunto junto con el lanzamiento de SL2T 1.0 en Gboard y Live Transcribe.

¿Qué deben obtener los lectores de esto?

Si usas LSA y posees un Pixel 11, el dictado de signos es ahora una opción integrada en el teclado y en Live Transcribe. Las aristas ásperas en signos raros o rápidos son reales, y la lista de idiomas crecerá con el tiempo.

Esta es una de las primeras veces que una IA de lenguaje de signos ha dejado el laboratorio de investigación y llegado a un producto de consumidor comercializado. La puntuación de referencia es genuinamente sólida. Lo que se está vendiendo ligeramente en exceso es la preparación para la gama completa de estilos de signado: los modos de fallo que el equipo publicó honestamente son los que hay que observar a medida que se amplía el despliegue.