Голосовий ШІ вміє розмовляти, але чи дійсно він слухає?
Масштабне дослідження з участю людей показує, що найкращі сучасні голосові моделі часто упускають паузи, заїкання та зміни тону, які робить реальну розмову можливою.
Ключові моменти
- Hume AI протестувала понад 40 голосових моделей за 60-ти вимірюваннями, використовуючи понад 1 мільйон оцінок людей від реальних слухачів.
- Жодна голосова модель не посіла місце в топ-п'ять за всіма восьма групами можливостей, що тестували, тобто немає явного загального лідера.
- У шумних умовах рівень помилок транскрипції був приблизно в чотири рази вищий, ніж у аудіо з музичним супроводом — розрив, який стандартні тести приховують.
- Автоматизовані оцінювачі на базі ШІ збігалися з людськими оцінювачами на однозначних завданнях, але значно розходилися в судженнях, що стосуються емоцій, ідентичності та тону.
- Тест, названий Real World VoiceEQ, тепер у відкритому доступі як таблиця лідерів, де порівнюються проприєтарні та відкритокодові голосові системи.
Ви, мабуть, це вже помічали. Ви питаєте голосового помічника щось просте, він правильно відповідає, але весь діалог відчувається якось не так. Трохи монотонно. Трохи офіційно.
Саме цей розрив між технічно коректним і справді природним намагається виміряти новий тест Real World VoiceEQ. Розроблений компанією Hume AI і опублікований через Hugging Face, це одна з найбільших оцінок голосового ШІ з участю людей, що базується на понад мільйоні окремих оцінок від слухачів з різними акцентами, демографічними характеристиками та умовами прослуховування.
Головний висновок є відверто критичним: голосові моделі значно покращилися у синтезі мовлення. Але у розумінні мовлення вони просунулися набагато менше.
Чому це важливо для звичайних користувачів?
Тому що голос стає головним способом взаємодії мільйонів людей зі ШІ — через боти обслуговування клієнтів, помічники охорони здоров'я або розумні динаміки. Якщо такі системи не вловлюють тон, заїкання або емоційні сигнали, вони роблять серйозні помилки.
Команда Hume наводить конкретний приклад. Агент з виявлення шахрайства в банку запитує, чи впізнаєте ви підозрілу транзакцію. Впевнене «Так» і невпевнене, розтягнуте «...так...» виглядають однаково в текстовій транскрипції. Людина миттєво чує різницю. Більшість сучасних голосових моделей — ні.
У цьому й полягає паралінгвістична проблема: інформація, яка міститься в способі вимовлення, а не просто в словах. Темп. Гучність. Легка дрижання в голосі. Сучасні моделі, як правило, орієнтовані на транскрипцію, обробляють слова й по суті ігнорують все інше.
Тест охопив чотири широкі категорії голосових технологій. Автоматичне розпізнавання мовлення (ASR) перетворює вимовлені слова на текст. Синтез мовлення (TTS) перетворює текст назад у мовлення. Мовлення-на-мовлення (S2S) обробляє голосовий вхідний сигнал і відповідає прямо голосом. Розуміння мовлення вимірює, наскільки добре система схоплює сенс і емоції за вимовленим.
Результати були набагато різнорідніші, ніж припускають традиційні тести. Рівень помилок транскрипції в мовленні, супроводжуваному шумом, був приблизно в чотири рази вищий, ніж у мовленні з музичним фоном — величезна різниця, яку єдиний усередненої показник повністю приховав би.
Дослідження також виявило проблему з оптимізацією результатів тестів. Кілька моделей відтворили відомі помилки зі стандартних еталонних транскрипцій і навіть реконструювали слова, яких насправді не було в аудіо. Це припускає, що деякі системи настроєні на хороший результат у опублікованих тестах, а не на якісну роботу в реальній розмові.
Автоматизовані оцінювачі на базі ШІ, іноді звані мовно-мовленнєвими моделями, також мали обмеження. Вони добре узгоджувалися з людськими оцінювачами на чітких, перевірюваних завданнях, таких як точність вимови. Узгодженість різко падала, коли судження потребувало соціальної інтерпретації, наприклад чи звучав голос емоційно послідовним протягом тривалого розмови.
Для пацієнтів, які використовують ШІ-помічники у охороні здоров'я, для людей, що телефонують на автоматизовану лінію підтримки в стані стресу, або для будь-кого, чий акцент не входить у стандартні дані навчання, ці розриви не є дрібничками. Вони визначають, чи відчуває людина себе у безпеці та зрозумілою.
Компанія Hume повідомляє, що тест та його публічна таблиця лідерів уже доступні, і лабораторії та компанії можуть використовувати базову платформу оцінювання для тестування своїх моделей в конкретних реальних умовах.
