Голосовой ИИ может говорить, но может ли он действительно слушать?
Крупномасштабное исследование с участием людей показывает, что современные лучшие голосовые модели часто упускают паузы, колебания и изменения тона, которые делают реальный диалог возможным.
Ключевые моменты
- Hume AI протестировала более 40 голосовых моделей по 60 критериям с использованием более одного миллиона оценок реальных слушателей.
- Ни одна голосовая модель не вошла в топ-пять по всем восьми протестированным группам возможностей, что означает отсутствие явного лидера.
- В шумных условиях частота ошибок при распознавании речи примерно в четыре раза выше, чем при воспроизведении с музыкальным фоном — этот пробел скрывают стандартные эталоны.
- Автоматические ИИ-оценки совпадали с оценками человека при выполнении четких задач, но расходились при суждениях, связанных с эмоциями, идентификацией и тоном.
- Эталон Real World VoiceEQ теперь публично доступен в виде таблицы лидеров, сравнивающей собственные и открытые голосовые системы.
Вы, вероятно, это замечали. Вы задаете голосовому помощнику простой вопрос, он отвечает правильно, но весь диалог кажется немного странным. Немного безжизненным. Немного не так.
Именно этот разрыв между технически корректным и по-настоящему естественным пытается измерить новый эталон Real World VoiceEQ. Созданный компанией Hume AI и опубликованный через Hugging Face, он является одной из крупнейших оценок голосового ИИ с участием людей, проведенных на сегодняшний день, и основан на более чем одном миллионе отдельных оценок слушателей с разными акцентами, демографией и условиями прослушивания.
Главный вывод звучит без обиняков: голосовые модели значительно улучшились в производстве речи. Они не улучшились в понимании речи.
Почему это важно для обычных пользователей?
Это важно, потому что голос быстро становится способом, которым миллионы людей взаимодействуют с ИИ через чат-боты обслуживания клиентов, помощников здравоохранения или умные колонки. Если такие системы не могут уловить тон, колебание или эмоциональные сигналы, они делают существенные ошибки.
Команда Hume приводит конкретный пример. Агент по борьбе с мошенничеством в банке спрашивает, признаете ли вы подозрительную транзакцию. Уверенное «Да» и растянутое, неуверенное «...да...» идентичны в письменной расшифровке. Человек сразу услышит разницу. Многие современные голосовые модели — нет.
В этом и состоит паралингвистическая проблема: информация, которая содержится в том, как что-то сказано, а не только в том, что сказано. Темп. Громкость. Небольшое дрожание. Современные модели обычно ориентированы на расшифровку и в основном игнорируют все остальное.
Эталон протестировал четыре широкие категории голосовых технологий. Автоматическое распознавание речи (ASR) преобразует произнесенные слова в текст. Преобразование текста в речь (TTS) преобразует текст обратно в произнесенные слова. Преобразование речи в речь (S2S) обрабатывает устный ввод и отвечает непосредственно речью. Понимание речи измеряет, насколько хорошо система понимает смысл и эмоции, стоящие за сказанным.
Результаты варьировались намного больше, чем предполагают традиционные эталоны. Частота ошибок при распознавании речи с шумовым фоном примерно в четыре раза выше, чем при распознавании речи с музыкальным фоном — огромная разница, которая при подсчете единого среднего показателя полностью скроется.
Исследование также выявило проблему с манипулированием эталонами. Несколько моделей воспроизводили известные ошибки, найденные в стандартных справочных расшифровках, и даже восстанавливали слова, которых не было в аудио. Это говорит о том, что некоторые системы могут быть настроены на хорошие результаты в опубликованных тестах, а не на хорошую работу в реальном диалоге.
Автоматические ИИ-оценки, иногда называемые речевыми языковыми моделями, также показали ограничения. Они хорошо согласовывались с оценками человека при четких, проверяемых задачах, таких как точность произношения. Согласие резко снижалось, когда суждение требовало социальной интерпретации, например, звучал ли голос эмоционально последовательно на протяжении длительного звонка.
Для пациентов, использующих ИИ-помощников здравоохранения, для людей, звонящих на автоматическую линию поддержки в расстроенном состоянии, или для всех, чей акцент выходит за пределы стандартных данных обучения, эти пробелы не незначительны. Они определяют, кажется ли взаимодействие безопасным и понятным.
Hume говорит, что эталон и его публичная таблица лидеров уже доступны, и что лаборатории и компании могут использовать базовую платформу оценки для тестирования своих моделей в определенных условиях реального мира.
