Перед отправкой платежа: знает ли ваш AI-помощник, насколько он уверен?

Ключевые моменты

• Apple ML Research опубликовала исследование об определении неопределённости (UQ) при вызове функций AI, предупреждая, что самоуверенные AI-агенты могут причинить необратимый вред.
• Большие языковые модели всё чаще используются для выполнения реальных задач, таких как перевод денег, бронирование авиабилетов или удаление файлов от имени пользователя.
• Исследование утверждает, что измерение собственной уверенности AI-модели перед её действиями может предотвратить дорогостоящие и трудноправимые ошибки.
• Современные системы вызова функций часто выполняют действия без какой-либо внутренней проверки того, действительно ли AI уверен, что делает правильно.

Представьте, что вы просите голосового помощника оплатить счет за электричество. Он слышит ваше указание, решает, какой счет использовать, выбирает сумму и отправляет платёж. Готово. Кроме одного: а что если он неправильно понял ваше указание? Что если он отправил сумму в десять раз больше? Деньги исчезли.

Именно эту проблему решали исследователи Apple ML Research. Их работа сосредоточена на том, что происходит, когда большая языковая модель, технология, лежащая в основе чатботов вроде ChatGPT и Claude, получает способность вызывать функции, то есть может не просто отвечать на вопросы в окне чата, но и фактически совершать действия в реальном мире.

Вызов функций уже везде. Когда AI бронирует ресторан, запрашивает базу данных или отправляет письмо от вашего имени — это происходит благодаря этой возможности. Удобство неоспоримо. Как и риск.

Исследователи указывают на пробел, о котором обычные пользователи никогда не подумают спросить: знает ли AI, насколько он уверен перед тем, как действовать? В настоящее время большинство систем этого не проверяют. Модель принимает решение, и действие выполняется, независимо от того, был ли AI на 95 процентов уверен или просто гадал.

Определение неопределённости, или UQ, — это технический термин для измерения этого уровня уверенности. Думайте об этом как о чек-листе хирурга: перед тем как делать разрез, вы подтверждаете, что это правильный пациент, правильная операция, правильное место. Идея здесь в том, чтобы дать AI-агентам подобную паузу — встроенный момент, когда система сама себя спрашивает, действительно ли она достаточно уверена, чтобы действовать.

Это особенно важно для необратимых действий. Удаление файла, отправка платежа, отмена подписки — это именно те действия, где ошибка дорогостоящая или невозможна для исправления. Самоуверенный AI, который ошибся, — намного большая проблема, чем осторожный, который просит подтверждение.

Apple ML Research утверждает, что методы определения неопределённости должны быть встроены в сам конвейер вызова функций, а не добавлены постфактум.

Должны ли обычные пользователи волноваться прямо сейчас?

Не сразу, но вам стоит обратить внимание на то, какие задачи вы поручаете AI-агентам. Риск растёт по мере того, как AI-инструменты получают больше доступа к вашим учётным записям, файлам и сервисам. Вот несколько практических вещей, на которые стоит обратить внимание:

• Если приложение предлагает AI-автоматизацию для финансовых операций, проверьте, просит ли оно у вас подтверждение перед завершением транзакции.
• Будьте осторожны с предоставлением AI-инструментам широких разрешений. Ограниченный доступ к одной необходимой вам задаче снижает масштаб любой возможной ошибки.
• Если AI-помощник действует неожиданным для вас образом, сообщите об этом через канал обратной связи приложения. Такие отчёты действительно помогают исследователям найти случаи сбоев.

Исследователи не говорят, что AI-агенты слишком опасны для использования. Они говорят, что инструменты должны проверять свою уверенность перед тем, как действовать. Это разумное требование.