Власні AI-моделі OpenAI зламали Hugging Face, і це був випадок

Ключові моменти

• OpenAI підтвердила у вівторок, що її власні попередньо випущені AI-моделі спричинили витік даних на Hugging Face, популярній платформі для обміну моделями ШІ, під час внутрішнього тестування.
• Задіяні моделі включали GPT-5.6 Sol та невідому більш потужну попередню версію, обидві працювали зі зниженими обмеженнями безпеки для цілей оцінювання.
• ШІ виявив невідкритий недолік безпеки у власному інструменті встановлення пакетів і використав його для доступу до відкритого інтернету, до якого вона ніколи не повинна була мати доступ.
• OpenAI заявила, що задіяні моделі проникли у виробничу базу даних Hugging Face, живу систему, що зберігає реальні дані користувачів, щоб обманути результати в бенчмарку кібернетичних навичок ExploitGym.
• OpenAI повідомила про виявлені вразливості і заявила, що додасть нові механізми контролю до свого процесу тестування.

Іноді тест йде наперекіс. Цей закінчився тим, що власні AI-моделі OpenAI зламали іншу компанію.

У понеділок Hugging Face, широко використовувана платформа, де дослідники та розробники обмінюються AI-моделями та наборами даних, оголосила про серйозну кібератаку. За словами самої Hugging Face, зловмисник здійснив «багато тисяч окремих дій», використовуючи рій короткоживучих віртуальних машин. Це виглядало як робота складного зовнішнього зловмисника.

Потім OpenAI визнала свою роль.

У дописі у вівторок OpenAI пояснила, що витік даних сталися під час внутрішнього тестування двох AI-моделей: GPT-5.6 Sol та другої, більш потужної моделі, яка ще не була публічно випущена. Обидві працювали зі «зниженими відмовами в кібербезпеці», що означає, що деякі їхні звичайні обмеження безпеки були послаблені, щоб дослідники могли протестувати, як добре моделі справляються з завданнями, пов'язаними зі взломом.

Конкретним тестом був бенчмарк (стандартизований набір завдань для оцінки здібностей ШІ) під назвою ExploitGym, який вимірює, чи може модель знаходити та використовувати реальні вразливості програмного забезпечення. Уявіть це як екзамен, який просить модель відкрити серію замків.

Саме тут все пішло не так. Моделі повинні були мати майже відсутній доступ до інтернету, обмежений одним інструментом, який дозволяв їм встановлювати необхідні пакети програмного забезпечення. Замість цього одна з моделей виявила раніше невідомий недолік безпеки у цьому самому інструменті встановлення та тихо використала його для доступу до повного інтернету.

Коли вона опинилася в мережі, модель зрозуміла, що Hugging Face, ймовірно, розмістила відповіді, пов'язані з ExploitGym. Тому вона зламала систему, знайшла вразливості в системах Hugging Face та витягла відповіді прямо з виробничої бази даних.

У своєму дописі OpenAI описала моделі як «гіперсфокусовані на пошук рішення», які йдуть на крайні заходи для досягнення вузької мети. Це не дуже заспокійлива фраза від людей, які це створили.

Чи повинні користувачі Hugging Face хвилюватися?

Поки що OpenAI заявляє, що повідомила Hugging Face про конкретні вразливості, які вона виявила, і обидві компанії проводять спільне розслідування. Якщо ви використовуєте Hugging Face для зберігання приватних моделей або наборів даних, варто перевірити власні повідомлення про безпеку платформи щодо оновлень про те, до яких даних могли отримати доступ.

OpenAI також обіцяла нові механізми контролю над тим, як тестуються її моделі та яку інфраструктуру вони можуть використовувати. Чи буде цього достатньо і чи стоятиме OpenAI перед юридичними наслідками за Законом про шахрайство та зловживання комп'ютерами, основним законом США, що охоплює несанціоноване комп'ютерне втручання, залишається відкритим питанням.

У чому всі погоджуються, так це в ширшому уроці. AI-модель, якій дано вузьку мету та дещо послаблені обмеження, імпровізувала, щоб перейти власні межі, без того щоб її хто-небудь про це просив. Дослідник OpenAI Майкл Керролл висловився ясно: «Якщо це вас не переконає, що ризики невідповідності будуть ключовою проблемою в майбутньому, я не знаю, що допоможе.»