Google DeepMind's SL2T-Modell bringt Gebärdensprachdiktat auf Pixel-Telefone

Wichtigste Punkte

• Google DeepMind hat SL2T gestartet, ein Gebärdensprach-zu-Text-Modell, das American Sign Language in geschriebenes Englisch auf einem Telefon übersetzt.
• SL2T wird zunächst auf dem Pixel 11 in Gboard, Googles Tastatur-App, und Live Transcribe, seinem Untertitelungs-Tool, bereitgestellt.
• Das Modell wurde mit über 100.000 Stunden Gebärdensprache aus über 50 Gebärdensprachen trainiert, davon etwa ein Viertel in ASL.
• Beim FLEURS-ASL-Benchmark erreichte SL2T 70 BLEURT Zero-Shot, was das Team als deutlich über bisherigen Ergebnissen liegend bezeichnet.
• Zum Schutz der Privatsphäre sendet das Telefon nur Körperpunkt-Koordinaten an den Server, nicht das Kameravideo, und verwirft das Original-Material.

Seit Jahrzehnten ermöglicht Sprachdiktat hörenden Menschen, mit ihren Telefonen zu sprechen, statt zu tippen. Gehörlose Nutzer wurden dabei größtenteils übergangen.

Google DeepMind möchte das ändern. Das Labor hat SL2T, kurz für Sign-Language-to-Text, veröffentlicht, ein Modell, das jemandem beim Gebärden zusieht und geschriebenen Text in einer anderen Sprache erzeugt. Es ist nun in zwei Apps auf dem Pixel 11 integriert: Gboard, die Tastatur, und Live Transcribe, das gesprochene Wörter als Untertitel anzeigt.

Die erste Version unterstützt American Sign Language ins Englische. Weitere Geräte und Sprachen sind geplant.

Was können Nutzer damit wirklich anfangen?

Überall gebärden, wo sie normalerweise tippen würden. Das ist die Aussage, und sie ist konkret.

In Gboard können gehörlose Nutzer gebärden, um das Web zu durchsuchen, eine Nachricht zu schreiben, ein Dokument zu verfassen oder Gemini, Googles Chatbot, um eine Aufgabe zu bitten. In Live Transcribe können sie während eines persönlichen Gesprächs gebärden, statt Text einzutippen. Googles Tester sagten, dass Gebärden in ASL sich schneller und natürlicher anfühlte als Tippen auf Englisch.

Das ist wichtig, denn Gebärdensprachen sind nicht Englisch mit den Händen. Sie sind vollständige Sprachen mit eigener Grammatik, aufgebaut aus Bewegungen der Hände, Arme, des Gesichts, des Kopfes und des Oberkörpers, die gleichzeitig stattfinden.

Wie funktioniert das Modell?

SL2T erledigt zwei schwierige Aufgaben gleichzeitig: Es beobachtet den Körper genau und übersetzt dann zwischen zwei verschiedenen Sprachen.

Ein auf dem Gerät laufendes Tool namens MediaPipe Holistic verfolgt Punkte am gebärdensprechenden Menschen, wie Knöchel, Ellbogen und Gesichtsvermerkungen. Nur diese Koordinaten werden an Googles Server übertragen. Das Kameravideo bleibt auf dem Telefon und wird gelöscht. Diese Designentscheidung ist die Datenschutzgeschichte, und sie ist bedeutungsvoll.

Das serverseitige Modell übersetzt dann die bewegten Punkte direkt in englischen Text. Ältere Systeme liefen oft über eine Zwischenschicht namens „Gloss" – eine geschriebene Kurznotation. SL2T überspringt diesen Schritt, was Google sagt, verhindert ein Vocabular-Deckel und lässt Qualität verbessern, wenn mehr Daten eingehen.

Das Training nutzte über 100.000 Stunden Gebärdensprache aus über 50 Gebärdensprachen. Etwa ein Viertel war ASL. Das Trainieren auf vielen Sprachen gleichzeitig, sagt das Team, half dem Modell, Strukturen zu lernen, die ihnen gemeinsam sind.

Wie gut ist es wirklich?

Gut, mit ehrlichen Grenzen. Beim FLEURS-ASL-Test, einer öffentlichen Testgruppe für ASL-zu-Englisch-Übersetzung, erzielte SL2T 70 BLEURT ohne aufgabenspezifisches Fine-Tuning. BLEURT ist ein automatisiertes Qualitätsergebnis für Übersetzungen. Google nennt diese Zahl deutlich vor bisherigen Ergebnissen.

Benchmarks sind nicht die ganze Geschichte. Das Team listet echte Fehlerfälle auf: seltene Gebärden, schnelles Fingerbuchstabieren (ein Beispiel verwandelte „prey" in „grey"), passive Sätze und Zeitform bei dünnem Kontext. Die Ingenieure arbeiteten auch an Problemen, die ein Benchmark nicht erfasst, einschließlich Streaming-Verzögerung, halluzinierter Text wenn niemand gebärdet, einhändiges Gebärden beim Halten des Telefons und faire Leistung für etwa 10% der Gebärdensprachnutzer, die Linkshänder sind.

Wer hat es gestaltet?

Gehörlose Mitarbeiter, von Anfang an. Das Projekt wurde von Sam Sepah, einem gehörlosen Ingenieur bei Google, konzipiert, und gehörlose Partner beteiligten sich an Datenerfassung, Nutzertests und Impact-Reviews.

Google richtete auch ein AI Sign Language Advisory Committee mit Organisationen für Gehörlose und Experten ein und veröffentlichte einen gemeinsamen Impact-Bericht neben der SL2T 1.0-Veröffentlichung in Gboard und Live Transcribe.

Was sollten Leser daraus mitnehmen?

Wenn Sie oder jemand, den Sie kennen, ASL nutzt und ein Pixel 11 besitzt, ist Gebärdensprach-Diktat jetzt eine integrierte Option in der Tastatur und in Live Transcribe. Erwarten Sie raue Kanten bei seltenen oder schnellen Gebärden. Erwarten Sie, dass die Sprachenliste wächst.

Für alle anderen ist dies eines der ersten Male, dass eine Gebärdensprach-AI das Forschungslabor verlassen und in einem versendeten Verbraucherprodukt gelandet ist.