Исследователи Apple создали виртуального пользователя для тестирования ИИ-ассистентов до запуска для реальных людей

Ключевые моменты

• Apple ML Research опубликовала PARE, платформу для тестирования ИИ-ассистентов, которые действуют без запроса, в 2025 году.
• PARE моделирует приложения как машины с конечным числом состояний — структурированную карту всех экранов и действий, которые может предложить приложение, вместо простых списков команд.
• Современные методы тестирования ИИ-ассистентов не учитывают пошаговый, зависящий от состояния характер реального использования приложений.
• Платформа позволяет разработчикам смоделировать реалистичного пользователя и измерить производительность проактивного агента до его внедрения в реальный продукт.

Большинство ИИ-ассистентов ждут, пока вы их что-нибудь попросите. Проактивный агент — это программное обеспечение, которое наблюдает за вашими действиями и действует от вашего имени ещё до того, как вы что-либо введёте, — совсем другое дело. Он может заметить задержку вашего рейса и переписать билет, или заметить, что завтра нужно оплатить счёт, и запланировать платёж. Полезно, да. Но и рискованно, если что-то пойдёт не так.

Проблема в том, что создание и тестирование таких ассистентов — сложная задача. Нужен реалистичный суррогат человека — кто-то (или что-то), кто щёлкает по меню, заполняет формы и меняет решение посередине задачи, как делают настоящие люди. До сих пор для этого не существовало хорошего инструмента.

Apple ML Research представила PARE — Proactive Agent Research Environment — чтобы заполнить эту брешь.

Что это на самом деле меняет для разработчиков?

Это даёт им безопасную платформу для тестирования перед выпуском. PARE работает, отображая каждое приложение как машину с конечным числом состояний — подумайте об этом как о детальной блок-схеме, показывающей каждый экран, каждую кнопку и каждый путь, по которому пользователь может пройти через программное обеспечение. Это намного более полная картина, чем плоские списки команд, на которых полагались более ранние инструменты тестирования.

Имея эту карту, PARE может пропустить смоделированного пользователя через реалистичные последовательности: открыть календарь, проверить вторник, заметить конфликт, попытаться перенести встречу. Тестируемый ИИ-ассистент должен реагировать на каждый шаг, точно так же, как если бы рядом сидел настоящий человек.

Предыдущие платформы рассматривали приложения как торговый автомат: вводишь команду, получаешь результат. PARE рассматривает их как разговор, который разворачивается во времени, что намного ближе к тому, как люди на самом деле используют программное обеспечение.

Что это означает для обычных людей?

В ваших приложениях сегодня ничего не меняется. Это исследовательская инфраструктура, закулисная поддержка, которую команды ИИ используют для проверки своей работы.

Но долгосрочный эффект имеет значение. Проактивные агенты появляются в телефонах, ноутбуках и инструментах производительности быстрее, чем думает большинство людей. Такая платформа тестирования, как PARE, означает, что команды, создающие этих агентов, имеют способ измерить, помогает ли ассистент или создаёт хаос до того, как он попадёт на ваше устройство. Думайте об этом как о краш-тесте для программного обеспечения на основе ИИ.

Честное замечание: смоделированный пользователь — это всё ещё симуляция. Люди делают непредсказуемые вещи, и ни одна лабораторная среда не может это полностью воспроизвести. Хорошие результаты тестирования в PARE — это необходимый, но не гарантирующий результат для того, чтобы проактивный агент вёл себя идеально в реальных условиях.

Суть: Если вы используете программное обеспечение для повышения производительности и интересуетесь, будет ли однажды ИИ-ассистент управлять вашим календарём или входящей почтой без запроса, ответ — да. Такие платформы, как PARE, — это способ, которым исследователи проверяют, что эти ассистенты не устроят беспорядок раньше всего.