ИИ-агентам доверяют больше решений, чем компании могут на самом деле проверить

Ключевые моменты

• В опросе июня 2026 года 157 корпоративных команд 50% сообщили о развертывании ИИ-агента или функции ИИ, которые прошли внутреннее тестирование и затем вызвали сбой, видимый клиентам.
• Каждая четвертая из этих компаний столкнулась с таким сбоем более одного раза.
• 66% опрошенных предприятий уже разрешают развертывание ИИ без проверки человеком или планируют это в течение 12 месяцев.
• Только 5% респондентов сказали, что полностью доверяют автоматизированным системам тестирования, которые решают, готов ли ИИ к развертыванию.
• Крупные компании с 2500 и более сотрудниками движутся быстрее всего к нулевому контролю со стороны человека, и они также сообщают о больших сбоях у клиентов, чем меньшие фирмы.

Представьте себе инспектора качества, который тихо признается, что контрольный список в основном неправильный. Именно такая ситуация описывается в опросе, опубликованном VentureBeat, в широком диапазоне корпоративных команд ИИ в данный момент.

Опрос VB Pulse июня 2026 года опросил 157 человек в компаниях с 100 и более сотрудниками о том, как они тестируют и выпускают ИИ-агентов — программные продукты, которые могут выполнять многошаговые задачи самостоятельно, например обрабатывать возврат денег клиентом, обновлять запись базы данных или составлять и отправлять сообщение без нажатия кнопки человеком. Выборка была самовыбранной, а не случайной, поэтому цифры следует рассматривать как сигнал, а не как перепись.

Сигнал неудобен. Половина обследованных компаний уже развернула агента, который прошел все внутренние тесты и все же продолжал наносить ущерб опыту клиента. Четверть сделала это более одного раза.

Почему пройденный тест не гарантирует работающего агента?

Потому что традиционное тестирование ПО проверяет, дает ли фиксированный вход ожидаемый результат, а ИИ-агенты работают не так. Агент сам выбирает последовательность действий, вызывает внешние инструменты, извлекает живые данные и может вести себя по-разному при каждом запуске, даже для одной и той же задачи.

Агент может выполнить пять шагов совершенно правильно, а на шестом раскрыть чувствительную информацию. Он может составить действительный возврат и отправить его без ожидания одобрения. Каждое отдельное решение выглядит нормально. Конечный результат — это проблема.

Национальный институт стандартов и технологий США сделал аналогичное наблюдение в своем руководстве Generative AI Profile: поведение, измеренное в контролируемой среде тестирования, часто не сохраняется, как только в картину входят реальные пользователи, непредсказуемые подсказки и живые данные. Руководство требует полевого тестирования и постоянного мониторинга после запуска, а не только предварительного релиза.

Сами респонденты опроса, похоже, это понимают. Когда их спросили, почему они не доверяют автоматизированному тестированию, наиболее частый ответ, данный 29%, состоял в том, что результаты тестирования не совпадают с тем, что на самом деле происходит в реальном мире.

И все же автономия продолжает расширяться. Две трети обследованных компаний уже работают или активно строят развертывания без участия человека. Только 5% полностью доверяют автоматизированным проверкам, которые выполняли бы работу, которую раньше выполнял человеческий рецензент.

Этот разрыв — растущая автономия на основе шатких гарантий — является главной проблемой.

Рекомендации Anthropic по оценке агентов проводят здесь полезную линию: система, которая успешно работает один раз, — это не то же самое, что система, которая надежно работает. Для всего, что касается клиентов, денег или данных, надежность — это единственный важный показатель.

Что компании должны делать на самом деле? Запускайте каждый сценарий несколько раз. Варьируйте формулировку и контекст. Имитируйте сбои инструментов. Когда в производстве происходит реальный инцидент, превратите его в постоянный тестовый случай, чтобы одинаковый сбой не повторился незаметно. И расширяйте нулевой контроль со стороны человека только там, где последствия ошибки действительно низки; составление внутреннего резюме — это не то же самое, что одобрение финансовой операции.

Удаление человека из процесса не устраняет риск. Это просто устраняет человека, который мог бы его заметить.