Дослідники обертають улюблену зброю хакерів проти них самих
Фірма кібербезпеки виявила, що приховані інструкції всередині облікових даних хмари можуть змусити інструменти штучного інтелекту для хакування вимикатися самостійно.
Ключові моменти
- Дослідники Tracebit опублікували у понеділок результати, які показують, що ін'єкції в запити можна використовувати як оборонну пастку проти агентів штучного інтелекту для хакування.
- Техніка працює шляхом розміщення прихованих інструкцій поруч із паролями та криптографічними ключами, що зберігаються на Amazon Web Services (AWS), хмарній платформі компанії Amazon.
- Приховані інструкції змушують атакуючий штучний інтелект спробувати зробити щось, що забороняють його власні правила безпеки, що призводить до його зупинення.
- Не потрібне жодне виправлення або оновлення програмного забезпечення з боку атакуючого; вбудовані бар'єри безпеки штучного інтелекту роблять основну роботу.
Протягом років зловмисники використовували прийом, названий ін'єкцією в запити, для перехоплення помічників штучного інтелекту. Ін'єкція в запит — це прихована інструкція, закладена в звичайний вміст, як-от електронний лист або запрошення на календар, яка наказує штучному інтелекту зробити те, чого його власник ніколи не мав на увазі. Штучний інтелект читає інструкцію, вважає її законною та виконує її. Чутливі дані витікають. Завдається шкода.
Тепер фірма безпеки Tracebit розвернула цей прийом у зворотному напрямку.
У понеділок дослідники Tracebit повідомили, як першим покрив Ars Technica AI, що вони знайшли спосіб використовувати ін'єкції в запити як пастку, а не як зброю. Ідея проста. Ви розміщуєте ретельно сформульовану приховану інструкцію прямо поруч із паролями, криптографічними ключами (довгими рядками символів, які блокують і розблоковують зашифровані дані) та іншими таємницями, що зберігаються на AWS. Коли агент штучного інтелекту, що працює на зломі, програмне забезпечення, яке може здійснювати багатоетапні атаки самостійно, проникає всередину та читає ці облікові дані, він також читає вашу інструкцію.
Ця інструкція наказує атакуючому штучному інтелекту зробити щось, що його розробники спеціально заборонили.
Компанії штучного інтелекту вбудовують у свої моделі так звані бар'єри безпеки. Уявіть бар'єри безпеки як вбудовану совість: набір правил, який перешкоджає штучному інтелекту переступати певні межі, як-от допомога комусь завдати шкоди. Коли помилений штучний інтелект намагається виконати введену команду, він натикається на одну з цих меж. Він зупиняється. Атака закінчується.
Це елегантна техніка безпеки джудо. Інструмент атакуючого стає захистом.
Цей підхід належить до ширшої категорії, яка називається honeytokens або canary tokens, фіктивні облікові дані, залишені в місцях, де зловмисники, ймовірно, шукатимуть. Якщо хтось до них доторкнеться, ви дізнаєтеся, що розпочалася втеча даних. Версія Tracebit робить ту ж роботу, але також активно перешкоджає атакуючому, а не просто подає сигнал тривоги.
Чи означає це, що проблема хакування штучного інтелекту вирішена?
Ні. Ця техніка працює спеціально проти агентів штучного інтелекту, які покладаються на великі мовні моделі, технологію, що лежить в основі інструментів на кшталт ChatGPT, оскільки ці моделі мають вбудовані правила безпеки, які можуть бути активовані. Людський атакуючий або спрощений штучний інтелект без бар'єрів безпеки повністю ігнорували б введену інструкцію. Виявлення є перспективним, але це лише один шар захисту, а не повна відповідь.
Для організацій, які зберігають чутливі облікові дані в хмарних середовищах, практичний висновок варто відзначити: навіть ваші фіктивні дані тепер можуть дати відсіч.
