El modelo SL2T de Google DeepMind trae dictado en lenguaje de signos americano a los teléfonos Pixel

Puntos clave

• Google DeepMind ha lanzado SL2T, un modelo de lenguaje de signos a texto que convierte el lenguaje de signos americano en inglés escrito en un teléfono.
• SL2T llega primero en el Pixel 11 dentro de Gboard, la aplicación de teclado de Google, y Live Transcribe, su herramienta de subtítulos.
• El modelo se entrenó con más de 100.000 horas de signado en más de 50 lenguajes de signos, aproximadamente una cuarta parte en ASL.
• En el punto de referencia FLEURS-ASL, SL2T logró 70 BLEURT sin ajuste fino específico de la tarea, según dice el equipo, muy por encima de cualquier cifra reportada anteriormente.
• Para proteger la privacidad, el teléfono envía solo coordenadas de puntos corporales al servidor, no el video de la cámara, y descarta el metraje original.

Durante décadas, la dictación por voz ha permitido que las personas oyentes hablen a sus teléfonos en lugar de escribir. Los usuarios sordos han sido mayormente excluidos de esa comodidad.

Google DeepMind quiere cambiar eso. El laboratorio ha lanzado SL2T, abreviatura de sign-language-to-text, un modelo que observa a alguien signando y produce texto escrito en otro idioma. Ahora está integrado en dos aplicaciones en el Pixel 11: Gboard, el teclado, y Live Transcribe, que muestra palabras habladas como subtítulos.

La primera versión maneja lenguaje de signos americano al inglés. Se prometen más dispositivos e idiomas adicionales.

¿Qué puede hacer realmente un usuario con esto?

Signarse en cualquier lugar donde normalmente escribirían. Ese es el argumento, y es uno concreto.

En Gboard, un usuario sordo puede signarse para buscar en la web, escribir un mensaje, redactar un documento o pedirle a Gemini, el chatbot de Google, que realice una tarea. En Live Transcribe, pueden signarse una respuesta durante una conversación cara a cara en lugar de escribir texto. Los probadores de Google dijeron que signarse en ASL se sentía más rápido y natural que escribir en inglés.

Eso importa porque los lenguajes de signos no son inglés hecho con las manos. Son lenguajes completos con su propia gramática, construidos a partir de movimientos de las manos, brazos, cara, cabeza y torso que ocurren simultáneamente.

¿Cómo funciona el modelo?

SL2T hace dos trabajos difíciles a la vez: observa cuidadosamente el cuerpo y luego traduce entre dos idiomas diferentes.

Una herramienta en el dispositivo llamada MediaPipe Holistic rastrea puntos en la persona que signa, como nudillos, codos e hitos faciales. Solo esas coordenadas viajan a los servidores de Google. El video de la cámara se queda en el teléfono y se desecha. Esa opción de diseño es la historia de privacidad, y es una significativa.

El modelo del lado del servidor luego traduce los puntos en movimiento directamente al texto en inglés. Los sistemas más antiguos a menudo pasaban por una abreviatura escrita intermedia llamada "gloss". SL2T omite ese paso, que según Google evita limitar el vocabulario y permite que la calidad mejore a medida que llegan más datos.

El entrenamiento utilizó más de 100.000 horas de signado en más de 50 lenguajes de signos. Aproximadamente una cuarta parte fue ASL. Entrenar en muchos idiomas juntos, según dice el equipo, ayudó al modelo a aprender estructuras compartidas entre ellos.

¿Qué tan bueno es realmente?

Bueno, con limitaciones honestas. En FLEURS-ASL, un conjunto de prueba público para traducción de ASL a inglés, SL2T obtuvo 70 BLEURT sin ajuste fino específico de la tarea. BLEURT es una puntuación de calidad automatizada para traducciones. Google dice que esa cifra está muy por delante de resultados anteriores.

Los puntos de referencia no son toda la historia. El equipo enumera modos de fallo reales: signos raros, dactilología rápida (un ejemplo convirtió "prey" en "grey"), oraciones pasivas y tiempo verbal cuando el contexto es limitado. Los ingenieros también trabajaron en problemas que un punto de referencia no detectará, incluyendo retraso en transmisión, texto alucinado cuando nadie está signando, signado con una sola mano mientras se sostiene el teléfono y rendimiento justo para aproximadamente el 10% de signantes que son zurdos.

¿Quién lo formó?

Colaboradores sordos, desde el principio. El proyecto fue concebido por Sam Sepah, un ingeniero sordo en Google, y socios sordos participaron en la recopilación de datos, pruebas de usuario y revisión de impacto.

Google también estableció un Comité Asesor de Lenguaje de Signos de IA con organizaciones de sordos y expertos, y publicó un informe de impacto conjunto junto con el lanzamiento de SL2T 1.0 en Gboard y Live Transcribe.

¿Qué deben sacar los lectores de esto?

Si tú o alguien que conoces usa ASL y posee un Pixel 11, la dictación de signos ahora es una opción integrada en el teclado y en Live Transcribe. Espera asperezas en signos raros o rápidos. Espera que la lista de idiomas crezca.

Para todos los demás, esta es una de las primeras veces que una IA de lenguaje de signos ha salido del laboratorio de investigación y ha llegado a un producto de consumo enviado.