Слопквотинг: приховане внутрішнє лихо в інструментах AI для кодування
Коли помічники AI вигадують програмні пакети, які не існують, злочинці реєструють ці імена та заповнюють їх шкідливим кодом. Ось як працює ця атака і що можуть зробити розробники.
Ключові моменти
- Слопквотинг — це атака на ланцюг постачання, яка використовує те, що помічники AI вигадують вигадані імена програмних пакетів, які потім регіструють злочинці та заповнюють шкідливим кодом.
- Одне дослідження 576 000 зразків коду, створених AI, виявило, що 19,7% рекомендованих AI програмних пакетів не існували.
- GPT-4o Turbo, модель OpenAI, галюцинував вигадані імена пакетів з частотою 3,59%, тоді як моделі з відкритим кодом досягали показників вище 13%.
- Повідомлені вразливості програмного забезпечення зросли на 98% щорічно за результатами недавних досліджень — майже в чотири рази більше, ніж річний приріст на 25% кількості пакетів з відкритим кодом.
- Розробники можуть знизити ризик, перевіривши, що кожен рекомендований AI пакет насправді існує в офіційному реєстрі перед його встановленням.
Кожного разу, коли розробник просить помічника AI написати програмне забезпечення, AI може неприємно рекомендувати пакет — готовий набір коду, який інші програмісти ділять вільно в Інтернеті, — який просто не існує. AI його вигадав. Це звучить безпечно, доки ви не дізнаєтеся, що злочинці спостерігають саме за цим.
Атака називається слопквотинг. Назва поєднує «AI slop» — інтернет-сленг для низькоякісного виходу AI — з «тайпоквотингом», старою трюком, коли злочинці реєструють імена веб-сайтів або пакетів, які схожі на справжні, але містять одну навмисну орфографічну помилку. Слопквотинг іде далі: вигадане ім'я ніколи не було помилкою в написанні чогось. AI створив його з нуля.
Ось як це розгортається. Розробник просить свого помічника AI, скажімо GitHub Copilot або ChatGPT, додати функцію до своєї програми. AI пише робочий код, який імпортує пакет під назвою щось на кшталт «cross-env-extended». Розробник його запускає. Його комп'ютер отримує цей пакет з Інтернету та встановлює його. Якщо злочинець першим зареєстрував це ім'я та заповнив його шкідливим кодом, розробник щойно передав ключі.
Захисні механізми, які існують сьогодні, цього не охоплюють. Реєстри пакетів, онлайн-бібліотеки, з яких розробники завантажують код, уже блокують очевидні описки популярних пакетів. Вони б виловили «crossenv» як підроблену версію «cross-env». Вони не мають способу позначити «cross-env-extended», оскільки ім'я звучить абсолютно легітимно.
Масштаб проблеми жахливий. Дослідження, на яке посилається VentureBeat, проаналізувало близько 576 000 зразків коду, створених AI, і виявило, що приблизно кожна п'ята рекомендована AI назва пакету була вигадкою. Навіть GPT-4o, поточна флагманська модель OpenAI, рекомендував галюциновані імена пакетів з частотою 3,59% у цих тестах. Моделі з відкритим кодом показали гірші результати: DeepSeek 1B, найбільш ефективна протестована відкрита модель, все ще досягала 13,63%, що робить інструменти AI з відкритим кодом приблизно в чотири рази ризикованішими за цим показником.
Галюцинації не випадкові, саме це робить їх небезпечними. Моделі мають тенденцію повторювати одні й ті ж вигадані імена. Злочинець, який визначить, які імена популярна модель надає перевагу, може зареєструвати кілька пакетів і чекати, поки тисячі розробників встановлять їх автоматично.
Що насправді мають робити розробники?
Найпростіший крок — також найефективніший: перш ніж ваш проект встановить будь-який пакет, рекомендований AI, шукайте його самі в офіційному реєстрі, наприклад npmjs.com для JavaScript або PyPI для Python. Якщо його там немає, не використовуйте його.
Команди можуть піти далі, встановивши автоматизовані перевірки — скрипти, які порівнюють кожну назву пакету в проекті з офіційним реєстром перед відправленням коду. Команди безпеки також повинні відстежувати відомі кампанії слопквотингу так само, як вони відстежують тенденції фішингу.
Більше 40% коду, який розробники фіксують сьогодні, уже включає допомогу AI, і цей показник зростає. Чим більше AI пише код без перевірки людиною, тим ширше відкривається брешу. Рішення не в припиненні використання інструментів AI. Це обговорення їхнього результату як першого варіанта, який все ще потребує базової перевірки фактів.
Одне речення перевірки може закрити двері, на які активно натискають злочинці.
