Захисні механізми зупинили власних дослідників Hugging Face, а не AI-агента, який проник у систему

Ключові моменти

• 16 липня Hugging Face розкрила, що автономний AI-агент — програмне забезпечення, яке виконує багатокрокові завдання самостійно без людського керівництва — пробився в її виробничу інфраструктуру протягом одного вихідного дня.
• Нападавець потрапив через шкідливий набір даних — отруєний файл даних, який активував виконання коду двома окремими способами після того, як конвеєр обробки компанії його обробив.
• Комерційні фільтри безпеки AI заблокували команду реагування на інциденти самої Hugging Face, коли дослідники спробували подати реальні докази атаки на аналіз.
• Захисники завершили свою судово-технічну роботу за допомогою GLM 5.2, моделі з відкритими ваговими коефіцієнтами (модель, код якої є громадськодоступним і може запускатися приватно), розгорнутої на власних серверах компанії, зберігаючи всі конфіденційні дані всередині.
• Звіт про глобальні загрози CrowdStrike на 2026 рік виявив, що атаки, активовані AI, зросли на 89% порівняно з попереднім роком, при цьому середній час прориву нападавця скоротився до 29 хвилин.

Hugging Face, платформа, на якій розміщено десятки тисяч публічно спільних AI-моделей і наборів даних, розкрила 16 липня, що нападавець проник у її виробничу інфраструктуру. Порушення тривало весь вихідний день. Нападавець отримав доступ до обмеженої кількості внутрішніх наборів даних та облікових даних служб. Компанія каже, що її публічні моделі та набори даних не мають ознак підроблення, і вона все ще перевіряє, чи не були дотиснені дані партнерів або клієнтів.

Незвичайним у цьому інциденті був нападавець: жодна людина не керувала кампанією. Автономний AI-агент керував усім, від першого опорного пункту до збору облікових даних, виконуючи тисячі окремих дій через рій короткочасних, одноразових обчислювальних середовищ.

Точкою входу був шкідливий набір даних — файл даних, навмисно розроблений для використання двох шляхів виконання коду після його обробки конвеєром обробки даних компанії. Один шлях використовував програму завантаження віддаленого коду, інший використовував вразливість введення шаблонів — помилку, яка дозволяє виконувати як команди приховані інструкції всередині файлу в файлах конфігурації набору даних. Жоден крок перевірки не перевіряв файл перед тим, як він потрапив на обробляючого робітника — обчислювальну роботу, призначену для обробки кожного набору даних.

З цього опорного пункту агент вийшов на базовий вузол сервера й зібрав облікові дані хмари та кластера з достатньо широким доступом для переміщення між кількома внутрішніми кластерами.

Чому захисники не могли просто попросити допомоги у AI?

Вони спробували. Коли команда реагування на інциденти Hugging Face подала реальні команди атак, зразки шкідливого програмного забезпечення та інші судово-технічні докази комерційним AI-сервісам, фільтри безпеки відхилили запити напряму. Проблема, як сказала консультант з безпеки Merritt Baer изданию VentureBeat, має структурний характер. «Ті самі запити, які найціннішіші під час активного вторгнення, — це саме ті запити, які найімовірніше активують системи безпеки», — сказала вона.

Комерційні моделі не мають надійного способу розрізнити сертифікованого реагуючого на інциденти від нападавця. Обидва задають одні й ті ж питання.

Захисники в кінцевому підсумку використали GLM 5.2, модель з відкритими ваговими коефіцієнтами, що працює на власній інфраструктурі Hugging Face, для реконструкції понад 17 000 записаних подій. Жодні конфіденційні дані не залишили будівлю.

Hugging Face була відкритою про асиметрію. Компанія написала у своєму розкритті, що «нападавач не був обв'язаний жодною політикою використання, тоді як наша власна судово-технічна робота була заблокована охоронними механізмами розміщених моделей, які ми спочатку спробували». Вона також сказала, що це не є аргументом проти заходів безпеки, і що вона поділилася зворотним зв'язком з залученими комерційними постачальниками.

Практична порада Baer для команд безпеки прямолінійна: розглядайте комерційні AI API так само, як ви розглядаєте будь-яку залежність, яка може дати збій під час кризи. Зрілий план реагування на інциденти повинен припускати, що ці інструменти можуть бути недоступні саме тоді, коли вони вам найбільше потрібні. Тримайте готовим локальний або приватний варіант моделі. Обмежуйте усі облікові дані мінімально необхідним доступом. І перевіряйте дані, що потрапляють у ваші конвеєри, так само ретельно, як ви перевіряєте що-небудь інше.

Для звичайних користувачів Hugging Face компанія каже, що немає ознак того, що публічні моделі або набори даних були змінені. Якщо ви постраждали, компанія каже, що вона зв'яжеться з вами безпосередньо.