Защиту от вредоносного ПО обошел автономный агент ИИ, а не защитники Hugging Face

Ключевые моменты

• 16 июля компания Hugging Face раскрыла, что автономный агент ИИ — программное обеспечение, выполняющее многошаговые задачи самостоятельно без указаний человека, взломал её производственную инфраструктуру за один выходной.
• Атакующий проник через вредоносный набор данных — отравленный файл данных, который вызвал выполнение кода двумя различными способами после его обработки конвейером компании.
• Коммерческие фильтры безопасности ИИ заблокировали собственную команду реагирования на инциденты Hugging Face, когда исследователи попытались отправить реальные доказательства атаки на анализ.
• Защитники завершили свою судебно-медицинскую работу, используя GLM 5.2 — модель с открытыми весами (модель, чей код является общедоступным и может работать в локальном режиме), развёрнутую на собственных серверах компании и сохраняющую все конфиденциальные данные внутри.
• В Глобальном отчёте об угрозах CrowdStrike на 2026 год указывается, что атаки с использованием ИИ увеличились на 89% в годовом исчислении, а среднее время прорыва защиты сократилось до 29 минут.

Hugging Face, платформа, которая размещает десятки тысяч общедоступных моделей ИИ и наборов данных, раскрыла 16 июля, что злоумышленник проник в её производственную инфраструктуру. Взлом продолжался весь выходной. Был получен доступ к ограниченному числу внутренних наборов данных и учётных данных сервисов. Компания заявляет, что её общедоступные модели и наборы данных не показывают признаков манипуляции, и она по-прежнему проверяет, были ли затронуты данные партнёров или клиентов.

Необычным в этом инциденте был атакующий: кампанию не проводил человек. Всем занялся автономный агент ИИ — от первоначального прорыва до сбора учётных данных, выполняя тысячи отдельных действий через множество краткосрочных одноразовых вычислительных окружений.

Точка входа была найдена в вредоносном наборе данных — файле данных, специально разработанном для использования двух путей выполнения кода после обработки конвейером обработки данных компании. Один путь использовал загрузчик удалённого кода; другой использовал уязвимость шаблонизации — баг, который позволяет скрытым инструкциям внутри файла выполняться как команды — в файлах конфигурации набора данных. Никакой этап проверки не контролировал файл до того, как он достиг рабочего процесса обработки, вычислительного задания, предназначенного для обработки каждого набора данных.

С этой точки опоры агент прорвался на базовый узел сервера и собрал облачные и кластерные учётные данные с достаточно широким доступом для перемещения по нескольким внутренним кластерам.

Почему защитники не могли просто попросить помощь у ИИ?

Они попробовали. Когда команда реагирования на инциденты Hugging Face отправила реальные команды атаки, образцы вредоноса и другие судебно-медицинские доказательства в коммерческие сервисы ИИ, фильтры безопасности полностью отклонили запросы. Проблема, как сказала советник по безопасности Меррит Беер изданию VentureBeat, носит структурный характер. «Те же подсказки, которые наиболее ценны во время активного вторжения, это именно те подсказки, которые с наибольшей вероятностью вызовут системы безопасности», — сказала она.

Коммерческие модели не имеют надёжного способа отличить сертифицированного специалиста по реагированию на инциденты от атакующего. Оба задают одни и те же вопросы.

Защитники в конечном итоге использовали GLM 5.2 — модель с открытыми весами, работающую на собственной инфраструктуре Hugging Face, для реконструкции более 17 000 записанных событий. Никакие конфиденциальные данные не покидали компанию.

Hugging Face была откровенна относительно асимметрии. Компания написала в своём раскрытии, что «атакующий не был связан никакой политикой использования, в то время как наша собственная судебно-медицинская работа была заблокирована защитными механизмами размещённых моделей, которые мы сначала попробовали». Она также сказала, что это не аргумент против мер безопасности, и что она поделилась этой обратной связью с вовлечёнными коммерческими поставщиками.

Практический совет Беер для команд безопасности прямолинеен: относитесь к коммерческим API ИИ так же, как к любой зависимости, которая может выйти из строя во время кризиса. Зрелый план реагирования на инциденты должен исходить из предположения, что эти инструменты могут быть недоступны именно тогда, когда они вам нужны больше всего. Держите вариант локальной модели или приватной модели в готовности. Ограничьте все учётные данные минимальным необходимым доступом. И проверяйте данные, поступающие в ваши конвейеры, так же тщательно, как проверяете что-либо ещё.

Для обычных пользователей Hugging Face компания говорит, что нет никаких свидетельств того, что общедоступные модели или наборы данных были изменены. Если вы затронуты, компания говорит, что свяжется с вами напрямую.