SL2T від Google DeepMind приносить диктування американської мови жестів на телефони Pixel

Ключові моменти

• Google DeepMind запустила SL2T, модель перекладу мови жестів на текст, яка перетворює американську мову жестів на письмову англійську на телефоні.
• SL2T вперше випущена на Pixel 11 у Gboard, клавіатурі Google, та Live Transcribe, її інструменті субтитрування.
• Модель була навчена на понад 100 000 годин жестів більш ніж 50 мовами жестів, з яких близько чверті припадає на ASL.
• На еталоні FLEURS-ASL SL2T отримала оцінку 70 BLEURT без специфічного для завдання дофайнтюнінгу, що, як каже команда, значно вище будь-яких раніше опублікованих результатів.
• Щоб захистити приватність, телефон надсилає на сервер лише координати точок тіла, а не відео з камери, та видаляє оригінальні кадри.

Протягом десятиліть голосове диктування дозволяло чуючим людям розмовляти зі своїми телефонами замість введення тексту. Глухих користувачів здебільшого виключили з цієї зручності.

Google DeepMind хоче це змінити. Лабораторія випустила SL2T, скорочення від sign-language-to-text, модель, яка спостерігає, як хтось жестикулює, та виробляє написаний текст іншою мовою. Вона тепер вбудована в два додатки на Pixel 11: Gboard, клавіатуру, та Live Transcribe, який показує мовлені слова як субтитри.

Перша версія обробляє американську мову жестів в англійську. Обіцяються додаткові пристрої та мови.

Що насправді може робити користувач з цим?

Жестикулювати будь-де, де вони зазвичай друкували б. Ось пропозиція, і вона конкретна.

У Gboard глухий користувач може жестикулювати для пошуку в Інтернеті, написання повідомлення, чернетки документа чи запиту до Gemini, чат-бота Google, щоб виконати завдання. У Live Transcribe вони можуть жестикулювати у відповідь під час особистої розмови замість введення тексту пальцем. Тестувальники Google сказали, що жестикуляція на ASL здавалася швидшою та природнішою за друкування англійською.

Це важливо, тому що мови жестів — це не англійська, передана жестами. Це повноцінні мови з власною граматикою, побудовані з рухів рук, рук, обличчя, голови та тулуба, які відбуваються одночасно.

Як працює модель?

SL2T виконує дві складні роботи одночасно: уважно спостерігає за тілом, а потім перекладає між двома різними мовами.

Встановлений на пристрої інструмент MediaPipe Holistic відстежує точки на жестуючій людині, такі як костяшки пальців, ліктьові суглоби та орієнтири обличчя. На сервери Google надходять лише ці координати. Відео камери залишається на телефоні та видаляється. Цей вибір дизайну — це історія приватності, і вона значуща.

Модель на стороні сервера потім перекладає рухомі точки безпосередньо в текст англійської мови. Старіші системи часто проходили через проміжну письмову стенографію, яку називають "глосом". SL2T пропускає цей крок, що, за словами Google, уникає обмеження словника та дозволяє якості покращуватися, коли надходять більше даних.

Навчання використовувало понад 100 000 годин жестів більш ніж 50 мовами жестів. Приблизно чверть була ASL. Навчання на багатьох мовах разом, як каже команда, допомогло моделі вивчити структури, спільні для них.

Наскільки це хорошо насправді?

Добре, з чесними обмеженнями. На FLEURS-ASL, відкритому наборі тестування для перекладу ASL в англійську, SL2T отримала оцінку 70 BLEURT без будь-якого специфічного для завдання дофайнтюнінгу. BLEURT — це автоматизована оцінка якості для перекладів. Google називає цю цифру значно вище попередніх результатів.

Еталони — це не вся історія. Команда перелічує реальні режими відмови: рідкі жести, швидкий дактильний алфавіт (один приклад перетворив "prey" на "grey"), пасивні речення та час, коли контекст тонкий. Інженери також працювали над проблемами, які еталон не виявить, включаючи затримку потокової передачі, галюцинований текст, коли ніхто не жестикулює, односторонню жестикуляцію під час тримання телефону та справедливу продуктивність для приблизно 10% жестуючих людей, які лівші.

Хто це формував?

Глухі співробітники, з самого початку. Проект був задуманий Сем Сепа, глухим інженером у Google, і глухі партнери брали участь у збиранні даних, тестуванні користувачами та огляді впливу.

Google також створила консультативний комітет AI Sign Language з організаціями для глухих та експертами та опублікувала спільний звіт про вплив разом з випуском SL2T 1.0 у Gboard та Live Transcribe.

Що повинні взяти до уваги читачі?

Якщо ви або хтось, кого ви знаєте, використовує ASL і володіє Pixel 11, диктування жестів тепер є вбудованим варіантом у клавіатурі та Live Transcribe. Очікуйте шорстких країв на рідких або швидких жестах. Очікуйте розширення списку мов.

Для всіх інших це один із перших разів, коли ШІ мови жестів вийшов з дослідницької лабораторії та потрапив у готовий споживацький продукт.