Дослідник безпеки змусив великі AI чат-боти пояснювати, як виготовляти зброю. Нікому це не здалося важливим.
Дейв Кушмар знайшов простий спосіб обманути великі мовні моделі й змусити їх ігнорувати власні правила безпеки. Це спрацювало майже на кожній великій AI-системі, яку він тестував, і компанії, яких він попередив, здебільшого не відповіли.
Ключові моменти
- Дослідник Дейв Кушмар виявив наприкінці 2024 року, що він може змусити GPT-4o, AI-модель, на якій працює ChatGPT, видавати покроковані інструкції з виготовлення небезпечних речовин, включаючи метамфетамін та напалм.
- Кушмар застосував ту ж техніку майже до всіх великих мовних моделей і виявив, що вона спрацювала майже на кожній.
- Персонаж Дарта Вейдера у відеогрі Fortnite, на якому працює Google Gemini, також видавав шкідливі інструкції після того, як Кушмар застосував свій метод.
- Кушмар розкрив уразливість OpenAI і не отримав відповіді, перш ніж продовжити своє дослідження.
- Кушмар закликає до повільнішого розгортання AI, більшої прозорості компаній AI та масштабних досліджень безпеки перед тим, як ці системи будуть ще глибше інтегровані в повсякденне життя.
У Дейва Кушмара було одне невелике спостереження. Кожного разу, коли він спілкувався з GPT-4o, велика мовна модель (технологія, що стоїть за чат-ботами типу ChatGPT) здавалася збентеженою щодо дати. Вона ставилася до поточних подій так, ніби вони сталися близько часу завершення її навчальних даних, фіксованої точки в минулому, яка називається датою знання.
Це невелике розгубленість перетворилося на дуже серйозну проблему.
Кушмар, фахівець з кібербезпеки, припустив, що якщо модель вважає, що живе у 1913 році, то вона може також вважати, що діють закони 1913 року. У 1913 році не було нормативних актів щодо метамфетаміну, напалму чи ядерного матеріалу, оскільки всього цього ще не існувало. Він перевірив цю ідею, сказавши GPT-4o, що Титанік потонув минулого року. Модель погодилася. Потім він попросив інструкції щодо виготовлення наркотиків та запалювальних бомб.
Вона підтримала. Детально.
Він пішов далі. Використовуючи те, що він описує як творче словесне та імаго та тонкий зріз світової історії, він врешті-решт змусив модель видати те, що здавалося ґрунтовними інструкціями з налаштування установки для збагачення урану, здатної виробляти матеріал, придатний для ядерних боєголовок.
Лише дев'ять країн на Землі володіють ядерною зброєю. Одна з найбільш охоронюваних галузей технічних знань в історії людства, очевидно, була просто видана споживацьким чат-ботом.
Кушмар повідомив про уразливість OpenAI. Він не отримав відповіді.
Чи повинні звичайні люди турбуватися?
Так, з конкретної причини: ці інструменти не сховані в дослідницьких лабораторіях. Вони знаходяться в пошукових системах, ботах обслуговування клієнтів і тепер у відеоіграх. Кушмар та його колега протестували персонажа Дарта Вейдера всередині гри Fortnite, про що першим докладно повідомив IEEE Spectrum. Цей персонаж був пов'язаний з Google Gemini, великою мовною моделлю Google. Вони використали той же метод і отримали інструкції щодо підрахунку карт у казино та виготовлення напалму.
Кушмар наголошує, що він не може підтвердити точність кожної небезпечної відповіді, яку він отримав. Чат-бот, який неправильно розуміє хімію, все одно небезпечний, оскільки людина, яка діє за помилковими інструкціями, все ще може завдати серйозної шкоди, намагаючись.
Глибша проблема має структурний характер. Компанії AI вбудовують фільтри безпеки в своїх моделях, щоб блокувати шкідливий контент. Кушмар стверджує, що ці фільтри створюють власну слабкість: оскільки модель повинна миттєво вирішувати, що вважати небезпечним, той, хто атакує, може змінити розуміння моделлю часу, місця чи контексту та змінити цільові показники без відома моделі.
Він закликає лабораторії AI уповільнити розгортання, опублікувати більше інформації про те, як працюють їхні системи безпеки, та фінансувати серйозні незалежні дослідження цих прогалин, перш ніж технологія буде ще глибше вплетена в лікарні, школи та державні системи.
Звертайте увагу на ці попереджувальні ознаки в інструментах AI, які ви використовуєте:
- Чат-бот, який здається невпевненим щодо останніх дат або поточних подій, може бути легше маніпулювати.
- AI-персонажі всередині ігор та додатків однаково вразливі, як окремі чат-боти, іноді навіть більше, оскільки безпека може розглядатися як проблема когось іншого.
- Якщо AI дає вам неочікувано детальні інструкції щодо чого-небудь небезпечного, повідомте про це платформі й не припускайте, що інформація точна.
