Исследователи обращают любимое оружие хакеров против них самих

Ключевые моменты

• Исследователи Tracebit опубликовали в понедельник результаты, показывающие, что инъекции подсказок можно использовать как защитную ловушку против агентов взлома на базе ИИ.
• Этот метод работает путем размещения скрытых инструкций рядом с паролями и криптографическими ключами, хранящимися на Amazon Web Services (AWS), облачной платформе компании Amazon.
• Скрытые инструкции заставляют атакующий ИИ попытаться выполнить действие, которое запрещают его собственные правила безопасности, заставляя его остановиться.
• Для работы этого метода не требуется патч или обновление программного обеспечения на стороне злоумышленника; встроенные барьеры безопасности ИИ выполняют основную работу.

Годами злоумышленники использовали трюк, называемый инъекцией подсказок, для захвата помощников ИИ. Инъекция подсказки — это скрытая инструкция, встроенная в обычный контент, например электронное письмо или приглашение календаря, которая говорит ИИ делать то, чего его владелец никогда не намеревался. ИИ читает инструкцию, рассматривает ее как законную и следует ей. Утекают конфиденциальные данные. Наносится ущерб.

Теперь компания по безопасности Tracebit перевернула этот трюк с ног на голову.

В понедельник исследователи Tracebit сообщили, впервые об этом рассказала Ars Technica AI, что они нашли способ использовать инъекции подсказок как ловушку, а не как оружие. Идея проста. Вы размещаете тщательно сформулированную скрытую инструкцию прямо рядом с паролями, криптографическими ключами (длинными последовательностями символов, которые блокируют и разблокируют зашифрованные данные) и другими секретами, хранящимися на AWS. Когда агент взлома на базе ИИ, программное обеспечение, которое может выполнять многошаговые атаки самостоятельно, проникает внутрь и читает эти учетные данные, он также читает вашу инструкцию.

Эта инструкция говорит атакующему ИИ сделать то, что его разработчики специально запретили.

Компании, создающие ИИ, встраивают в свои модели так называемые защитные барьеры. Представьте себе защитные барьеры как встроенную совесть: набор правил, которые препятствуют ИИ переходить определенные границы, например помогать кому-то причинить вред. Когда захваченный ИИ пытается выполнить внедренную команду, он наталкивается на одну из этих границ. Он останавливается. Атака заканчивается.

Это элегантный пример боевого айкидо в сфере безопасности. Инструмент нападающего становится защитой.

Этот подход относится к более широкой категории, называемой поддельными токенами или ловушками-приманками, поддельные учетные данные, оставленные в местах, где злоумышленники вероятно будут искать. Если кто-то их коснется, вы узнаете, что произошел взлом. Версия Tracebit выполняет ту же работу, но также активно нарушает атаку, а не просто подает сигнал тревоги.

Означает ли это, что взлом ИИ решен?

Нет. Этот метод работает специально против агентов ИИ, которые полагаются на большие языковые модели, технологию, лежащую в основе таких инструментов, как ChatGPT, потому что эти модели имеют встроенные правила безопасности, которые можно срабатить. Человеческий злоумышленник или упрощенный ИИ без защитных барьеров полностью проигнорирует внедренную инструкцию. Это открытие многообещающе, но это только один уровень защиты, а не полное решение.

Для организаций, хранящих конфиденциальные учетные данные в облачной среде, практический вывод стоит отметить: даже ваши поддельные данные теперь могут дать отпор.