Le modèle SL2T de Google DeepMind apporte la dictée en langue des signes américaine aux téléphones Pixel

Points clés

• Google DeepMind a lancé SL2T, un modèle de langue-des-signes-vers-texte qui convertit la langue des signes américaine en anglais écrit sur un téléphone.
• SL2T est d'abord disponible sur le Pixel 11 dans Gboard, l'application clavier de Google, et Live Transcribe, son outil de sous-titrage.
• Le modèle a été entraîné sur plus de 100 000 heures de signatures dans plus de 50 langues des signes, dont environ un quart en LSA.
• Sur l'indice de référence FLEURS-ASL, SL2T a obtenu 70 BLEURT en zéro-shot, ce que l'équipe dit être bien au-dessus de tout chiffre précédemment rapporté.
• Pour protéger la vie privée, le téléphone envoie uniquement les coordonnées des points corporels au serveur, pas la vidéo de la caméra, et supprime le contenu original.

Pendant des décennies, la dictée vocale a permis aux personnes entendantes de parler à leurs téléphones au lieu de taper. Les utilisateurs sourds ont été largement exclus de cette commodité.

Google DeepMind veut changer cela. Le laboratoire a lancé SL2T, l'abréviation de langue-des-signes-vers-texte, un modèle qui regarde quelqu'un signer et produit du texte écrit dans une autre langue. Il est maintenant intégré à deux applications sur le Pixel 11 : Gboard, le clavier, et Live Transcribe, qui affiche les paroles parlées sous forme de sous-titres.

La première version gère la langue des signes américaine vers l'anglais. D'autres appareils et d'autres langues sont promis.

Que peut réellement faire un utilisateur avec ?

Signer partout où il taperait normalement. C'est l'argument, et c'est un argument concret.

Dans Gboard, un utilisateur sourd peut signer pour rechercher sur le web, écrire un message, rédiger un document, ou demander à Gemini, le chatbot de Google, d'accomplir une tâche. Dans Live Transcribe, il peut signer une réponse lors d'une conversation en face à face au lieu de taper du texte. Les testeurs de Google ont dit que signer en LSA semblait plus rapide et plus naturel que de taper en anglais.

C'est important car les langues des signes ne sont pas l'anglais rendu avec les mains. Ce sont des langues complètes avec leur propre grammaire, construites à partir de mouvements des mains, des bras, du visage, de la tête et du torse se produisant simultanément.

Comment fonctionne le modèle ?

SL2T accomplit deux tâches difficiles à la fois : il observe attentivement le corps, puis traduit entre deux langues différentes.

Un outil sur l'appareil appelé MediaPipe Holistic suit les points sur le signataire, comme les articulations, les coudes et les repères faciaux. Seules ces coordonnées se transmettent aux serveurs de Google. La vidéo de la caméra reste sur le téléphone et est supprimée. Ce choix de conception est l'histoire de la vie privée, et c'est un important.

Le modèle côté serveur traduit ensuite les points en mouvement directement en texte anglais. Les systèmes plus anciens passaient souvent par un raccourci écrit intermédiaire appelé « glose ». SL2T ignore cette étape, ce que Google dit évite de limiter le vocabulaire et permet à la qualité de s'améliorer à mesure que plus de données arrivent.

La formation a utilisé plus de 100 000 heures de signatures dans plus de 50 langues des signes. Environ un quart était en LSA. La formation sur de nombreuses langues ensemble, selon l'équipe, a aidé le modèle à apprendre les structures partagées entre elles.

À quel point est-ce vraiment bon ?

Bon, avec des limites honnêtes. Sur FLEURS-ASL, un ensemble de test public pour la traduction LSA vers anglais, SL2T a obtenu 70 BLEURT sans aucun affinage spécifique à la tâche. BLEURT est un score de qualité automatisé pour les traductions. Google appelle ce chiffre bien en avant des résultats antérieurs.

Les repères ne sont pas toute l'histoire. L'équipe énumère les modes de défaillance réels : signes rares, dactylologie rapide (un exemple a changé « prey » en « grey »), phrases passives, et temps quand le contexte est mince. Les ingénieurs ont également travaillé sur des problèmes qu'un repère ne détectera pas, notamment le délai de diffusion, le texte halluciné quand personne ne signe, la signature d'une seule main tout en tenant le téléphone, et une performance équitable pour les environ 10 % de signataires qui sont gauchers.

Qui l'a façonné ?

Les collaborateurs sourds, dès le départ. Le projet a été conçu par Sam Sepah, un ingénieur sourd chez Google, et les partenaires sourds ont participé à la collecte de données, aux tests utilisateurs et à l'examen des impacts.

Google a également mis en place un Comité consultatif en matière d'IA et de langue des signes avec des organisations et des experts sourds, et a publié un rapport d'impact conjoint parallèlement à la sortie de SL2T 1.0 dans Gboard et Live Transcribe.

Qu'est-ce que les lecteurs doivent en retenir ?

Si vous ou quelqu'un que vous connaissez utilisez la LSA et possédez un Pixel 11, la dictée en langue des signes est maintenant une option intégrée dans le clavier et dans Live Transcribe. Attendez-vous à des imperfections sur les signes rares ou rapides. Attendez-vous à ce que la liste des langues s'agrandisse.

Pour tous les autres, c'est l'une des premières fois qu'une IA de langue des signes quitte le laboratoire de recherche et atterrit dans un produit de consommation commercialisé.