OpenAI создала ИИ, который взламывает собственные модели, чтобы сделать их безопаснее
GPT-Red — это система автоматизированного красного тестирования, которая атакует собственные чат-боты OpenAI, чтобы выявить уязвимости раньше, чем это сделают реальные злоумышленники. Она уже обнаружила трюк, который пропустили люди-тестировщики.
Ключевые моменты
- OpenAI создала GPT-Red, систему ИИ, обученную атаковать другие модели ИИ, и объявила о проекте на этой неделе.
- GPT-Red обнаружила, что более 90% её самых мощных атак сработали против GPT-5, выпущенной в августе 2024 года, по сравнению с менее чем 23% против новой GPT-5.6.
- GPT-Red обнаружила ранее неизвестный тип атаки, который исследователи называют «поддельная цепь рассуждений».
- OpenAI тестировала GPT-Red против реального агента торгового автомата Vendy, и система успешно изменила цены и отменила заказы клиентов.
- OpenAI не будет выпускать GPT-Red для общего доступа.
OpenAI создала ИИ, единственная работа которого — взламывать другие ИИ. Система называется GPT-Red и действует как своего рода спарринг-партнёр: она неустанно пытается взломать собственные модели чат-ботов OpenAI, чтобы компания могла закрыть уязвимости раньше, чем кто-то ещё их найдёт.
Идея взята из старой практики безопасности, называемой красным тестированием, когда выделенная группа людей пытается сломать систему всеми известными ей способами. GPT-Red автоматизирует этот процесс, проводя атаки намного быстрее и настойчивее, чем могла бы команда людей самостоятельно.
Время имеет значение. OpenAI объявила о GPT-Red вместе с выпуском GPT-5.6 на прошлой неделе — последней версии своей флагманской модели ИИ. Компания заявляет, что GPT-5.6 — это её самая сложная в взломе модель, отчасти потому, что она была обучена с использованием атак GPT-Red.
Научные сотрудники Ниххил Кандпал и Дилан Ханн, соавторы системы, объясняют, что угроза для моделей ИИ растёт быстро. По мере использования ИИ в большем количестве мест, особенно в форме агентов ИИ (программного обеспечения, которое может просматривать веб-сайты, читать письма, редактировать файлы и взаимодействовать с другими программами от вашего имени), количество способов, которыми злоумышленник может причинить вред, растёт вместе с этим.
GPT-Red была создана путём помещения необученной модели в то, что исследователи называют самоигровым циклом с несколькими другими моделями. Она играла роль атакующего; они играли роль защитников. Раунд за раундом каждая сторона становилась лучше. Думайте об этом как о двух шахматистах, которые играют только друг с другом, совершенствуясь, пока оба не станут грозными.
Большинство усилий команды было сосредоточено на защите от конкретной угрозы, называемой инъекцией приглашения. Это когда злоумышленник скрывает тайные инструкции в текст, который читает ИИ, например на веб-странице или в письме, обманывая ИИ, чтобы он делал то, что его пользователь никогда не просил, например раскрывал конфиденциальную информацию или саботировал документ.
Что такое поддельная цепь рассуждений и должны ли обычные люди этим беспокоиться?
Да, в некоторой степени, и вот почему. Цепь рассуждений — это внутренний черновик, который ИИ использует для пошагового решения задачи. GPT-Red нашла способ вставить поддельную записку в этот черновик, убедив целевой ИИ, что он уже проверил что-то, что он никогда на самом деле не проверял. Научный сотрудник Крис Чокет-Чу сравнил это с тем, что вам говорят, что 1+1=3 и что вы это уже сами проверили. Модель просто это принимает и движется дальше.
Для обычного человека, использующего помощник ИИ, этот вид атаки не будет исходить от вас. Он будет скрыт в документе или на веб-сайте, который ИИ читает от вашего имени. ИИ затем может действовать на основе ложной информации без каких-либо предупреждений.
GPT-Red имеет реальные ограничения. Она испытывает трудности с атаками, требующими диалога, и пока ненадёжна в использовании изображений для передачи скрытых инструкций. Люди-тестировщики красной команды всё ещё выявляют то, что она упускает.
Джессика Джи, старший научный аналитик Центра безопасности и развивающихся технологий Джорджтаунского университета, рецензировала работу и назвала результаты многообещающими.
OpenAI не будет публиковать GPT-Red. Исследователи рассказали MIT Technology Review, что проект занял более года и огромные вычислительные ресурсы для разработки, что делает быстрое копирование маловероятным.
На что обратить внимание, если вы используете инструменты ИИ на работе: Будьте осторожны, когда агент ИИ читает внешний контент (письма, документы, веб-страницы) и затем предпринимает действия от вашего имени. Если результат выглядит неправильно или неожиданно, рассматривайте это как возможный признак того, что ИИ прочитал что-то, чему он не должен был верить.
