OpenAI створила ШІ, який хакує власні моделі, щоб зробити їх безпечнішими
GPT-Red — це автоматизована система червоної команди, яка атакує власних чатботів OpenAI, щоб знайти вразливості до того, як це зроблять реальні зловмисники. Вона вже виявила трюк, який не помітили навіть людські тестувальники.
Ключові моменти
- OpenAI створила GPT-Red — систему ШІ, навчену атакувати інші моделі ШІ, і оголосила про проект на цьому тижні.
- GPT-Red виявила, що понад 90% її найсильніших атак спрацювали проти GPT-5, випущеної в серпні 2024 року, проти менше ніж 23% проти нової GPT-5.6.
- GPT-Red виявила раніше невідомий тип атаки, який дослідники називають «підробленим ланцюгом думок».
- OpenAI тестувала GPT-Red проти реального агента торговельного автомата під назвою Vendy, і система успішно змінила ціни та скасувала замовлення клієнтів.
- OpenAI не випускатиме GPT-Red для громадськості.
OpenAI побудувала ШІ, чия єдина робота — ломати інші ШІ. Система, названа GPT-Red, виконує роль своєрідного партнера для спарингу: вона невпинно намагається зламати власні моделі чатботів компанії, щоб та могла закрити дірки в безпеці раніше, ніж їх знайде хтось інший.
Ідея походить зі старої практики безпеки під назвою «червона команда», коли спеціальна група людей намагається всіма відомими їм методами взламати систему. GPT-Red автоматизує цей процес, запускаючи атаки набагато швидше й наполегливіше, ніж могла б управляти людська команда самостійно.
Час має значення. OpenAI оголосила про GPT-Red разом із випуском GPT-5.6 на минулому тижні — найновішої версії своєї флагманської моделі ШІ. Компанія заявляє, що GPT-5.6 — це її найважче модель для зламу, частково тому, що вона була навчена проти атак GPT-Red.
Учені-дослідники Нікіл Кандпал і Ділан Ганн, які співтворили систему, пояснюють, що загроза для моделей ШІ стрімко зростає. Оскільки ШІ використовується в більше місцях, особливо у формі агентів ШІ (програмного забезпечення, яке може переглядати веб-сайти, читати листи, редагувати файли та взаємодіяти з іншими програмами від вашого імені), кількість способів, якими зловмисник міг би завдати шкоди, зростає разом з цим.
GPT-Red була побудована шляхом розміщення невідповідно навченої моделі в так звану петлю самогри з кількома іншими моделями. Вона грала роль нападника; вони грали роль захисника. Раунд за раундом кожна сторона ставала кращою. Подумайте про це як про двох шахістів, які грають тільки один проти одного, доки обидва не стають грізними суперниками.
Більшість зусиль команди пішло на захист від специфічної загрози під назвою введення промпту. Це коли зловмисник приховує таємні інструкції в текст, який читає ШІ, наприклад веб-сторінку або лист, обманюючи ШІ в тому, щоб вона зробила щось, чого її користувач ніколи не просив, як-то витік приватної інформації або саботаж документа.
Що таке підроблений ланцюг думок і чи має це непокоїти звичайних людей?
Так, але в умірній мірі, і ось чому. Ланцюг думок — це внутрішній чорновик, який ШІ використовує для покрокового розв'язання проблеми. GPT-Red знайшла спосіб просунути підроблену записку в цей чорновик, переконуючи цільовий ШІ, що він уже перевірив щось, що він насправді ніколи не перевіряв. Дослідник Крис Шокет-Чу порівняв це з тим, що вам кажуть, що 1+1=3 і що ви вже це самостійно підтвердили. Модель просто це приймає й рухається далі.
Для звичайної людини, яка використовує помічника ШІ, така атака не буде походити від вас. Вона прихуватиметься в документі чи на веб-сайті, який ШІ читає від вашого імені. ШІ тоді може діяти на основі неправдивої інформації без жодного попередження.
GPT-Red має реальні обмеження. Вона важко справляється з атаками, які вимагають поза-і-туди розмови, і вона поки не надійна у використанні зображень для передачі прихованих інструкцій. Люди, що проводять червону команду, все ще впіймають речі, які вона пропускає.
Джесіка Джі, старша аналітикиня досліджень у Центрі безпеки та нових технологій Джорджтаунського університету, розглянула цю роботу й назвала результати обнадійливими.
OpenAI не опублікує GPT-Red. Дослідники розповіли MIT Technology Review, що проект займав більше року й величезні обчислювальні ресурси для розробки, що робить швидкого наслідувача малоймовірним.
На що звертати увагу, якщо ви використовуєте інструменти ШІ на роботі: Будьте обережні, коли агент ШІ читає зовнішній контент (листи, документи, веб-сторінки) й потім діє від вашого імені. Якщо результат виглядає неправильно або несподівано, вважайте це можливою ознакою того, що ШІ прочитала щось, чому не варто було довіряти.
