Захисні фільтри AI, створені для зупинення хакерів, тепер блокують людей, які намагаються зупинити хакерів
Дослідники безпеки кажуть, що фільтри безпеки провідних інструментів AI є непослідовними, дратівними і спонукають законних захисників звертатися до нерегульованих іноземних моделей.
Ключові моменти
- Моделі AI Anthropic Mythos та Fable у червні стали об'єктом контролю експорту уряду США, що обмежило доступ до них за межами країни.
- Як Anthropic, так і OpenAI мають перевірені програми, які надають затвердженим дослідникам кібербезпеки дещо вільніший доступ до своїх інструментів AI.
- Кілька дослідників у сфері наступальної безпеки кажуть, що фільтри все ще блокують необхідну роботу і дають непередбачувані результати навіть у межах цих програм.
- Деякі дослідники кажуть, що обмеження спонукають їх звертатися до китайських моделей AI з відкритим кодом, таких як GLM, які не мають жодних фільтрів чи перевірки.
- Один дослідник з компанії-виробника компонентів для смартфонів сказав, що їхні інструменти AI стали майже непридатні для роботи з безпеки, тому що ніхто не подав заявку на участь у перевіреній програмі.
Кібербезпека завжди була гра з двома сторонами. Те ж саме знання, яке дозволяє захиснику закрити дір, дозволяє нападальнику протискатися крізь неї. Тепер інструменти AI опинилися в центрі цієї напруги, і фільтри безпеки, вбудовані в них, починають дратувати саме людей, для захисту яких вони були призначені.
Що насправді йде не так?
Компанії AI вставляють захисні бар'єри, тобто автоматичні правила, які зупиняють програмне забезпечення від відповідей на питання, які вони вважають небезпечними, в свої моделі, щоб запобігти використанню їх злочинцями для створення шкідливого ПО або планування атак. Проблема в тому, що ці ж самі правила блокують законних дослідників безпеки від виконання своєї роботи.
Крис Анлей, головний науковець компанії NCC Group, що займається консалтингом у сфері безпеки, навів чистий приклад. Коли він просить модель AI спробувати використати вразливість у програмному забезпеченні, він перевіряє, чи вразливість реальна і достатньо небезпечна, щоб її виправити. Захисний бар'єр, який відхиляє цей запит, нікого не захищає. Він просто залишає вразливість непідтвердженою і потенційно відкритою для справжнього нападальника.
«Виправити цей код — це як суттєвий механізм захисту, так і дорожна карта для пошуку критичних вразливостей», — сказав Анлей. «Один і той же інструмент одночасно є наступальним інструментом і захисним інструментом, і ці два аспекти не можна відокремити».
Його аналогія: це як молоток. Без нього не можна побудувати дім, але він також може розбити вікно.
Наскільки серйозна непослідовність?
Вона достатньо хаотична, щоб витратити серйозний час. Крис Томпсон, виконавчий директор компанії RemoteThreat у сфері кібербезпеки та засновник конференції Offensive AI Con, присвяченої безпеці та AI, розповів TechCrunch, що навіть у затвердженим програмах дослідників Anthropic та OpenAI захисні бар'єри срабатують по-різному від одного дня до іншого.
«Ви витрачаєте багато часу на переговори з моделлю замість роботи над основною програмою безпеки», — сказав Томпсон. «Замість аналізу вразливості ви намагаєтеся зрозуміти, чому моделі надмірно очищують вихідні дані».
Один невідомий дослідник з виробника компонентів для смартфонів висловився ясно: «Якщо вона дізнається, що ми займаємося чимось, пов'язаним з безпекою, вона просто зупиняється і непридатна до використання».
На користь кого це йде?
На користь моделей з відкритим кодом без будь-яких фільтрів, багато з яких розроблені в Китаї. Томпсон сказав, що відповідальні дослідники відходять від систем, на які розповсюджується контроль США, на користь іноземних інструментів, які не мають жодної підзвітності.
«Ви маєте цих відповідальних дослідників, які відштовхуються від систем США до іноземних систем», — сказав він. «Я думаю, що мати ці захисні бар'єри на місці більш шкідливо, ніж корисно».
Не всі дослідники почувають себе заблокованими. Джузеппе Калі, який знаходить та розробляє zero-days (раніше невідомі вразливості програмного забезпечення, для яких ще не існує патча), сказав, що тримає AI подалі від дійсного пошуку вразливостей, тому що хоче, щоб це відкриття залишилося його власним. Для допоміжних завдань, таких як розуміння незнайомого коду, він вважає інструменти достатньо корисними.
«Я ревнивий до своїх вразливостей», — сказав Калі, — «і я надто люблю цю гру, щоб дозволити моделям грати за мене».
Розв'язок Томпсона полягає не в тому, щоб повністю демонтувати захисні бар'єри. Він хоче, щоб лабораторії AI розширили доступ для перевірених дослідників, застосовували послідовні правила і притягували до відповідальності зловмисників у разі зловживання. Без цього балансу, стверджує він, захисники відстатимуть від нападальників, які не мають таких обмежень.
Часті питання
Чи впливають ці обмеження на звичайних користувачів комп'ютерів?
Прямо — ні. Тертя, описане тут, торкається професійних дослідників безпеки, а не звичайних людей, які використовують AI для написання текстів або робочих завдань. Загальні захисні бар'єри залишаються на місці для всіх.
Чому компанії AI взагалі обмежують питання кібербезпеки?
Вони побоюються, що детальна покрокова інструкція щодо атак може допомогти злочинцям створити шкідливе ПО або порушити системи. Складність полягає в тому, що ця ж інструкція — це саме те, що потрібно законним захисникам для тестування та зміцнення цих систем першими.
Що таке модель AI з відкритим кодом і чому вона не має захисних бар'єрів?
Модель AI з відкритим кодом — це модель, нижчий код якої вільно опубліковано, щоб кожен міг завантажити та запустити її на своєму комп'ютері. Оскільки вона працює локально, компанії посередині немає, щоб застосовувати правила, саме тому дослідники використовують їх для конфіденційної роботи, але також тому що вони мають свої власні ризики.
