AI знаходить помилки за хвилини. Доведення їх реальності потребує людини.
Команди безпеки захлинуються від згенерованих AI звітів про вразливості, які виглядають переконливо, але розпадаються під час спроб їх відтворити. Старе правило досі в силі: покажи свою роботу або забудь про це.
Ключові моменти
- Інструменти безпеки з допомогою AI можуть просканувати весь кодовий базис за хвилини — завдання, яке раніше займало у досвідченого аналітика тиждень.
- Платформи для залучення багатозвіків, які платять грошові винагороди дослідникам, які знаходять справжні програмні дефекти, повідомляють про сплеск AI-генерованих звітів, які виявляються вигадками.
- Розробник проекту curl з відкритим вихідним кодом публічно описав перевантаженість хорошо відрендерованими звітами про помилки, які не витримують тестування.
- Дійсний звіт про безпеку потребує робочої демонстрації, а не просто писемного опису — це завжди було так.
- Власники малих підприємств, які отримують неприхідні листи про «критичні дефекти», повинні попросити живу демонстрацію на тестовому обліку перед будь-якими діями.
Як вперше повідомила ThreatVectr, світ дослідження безпеки зіткнувся з простою проблемою: AI-інструменти дуже добре виглядають впевнено, а впевненість — не те ж саме, що правильно.
Ось як насправді виглядає новий робочий процес. Дослідник безпеки відкриває AI-асистентний інструмент, який використовує велику мовну модель (той самий тип технології, що живить чатботи на кшталт ChatGPT) для читання програмного коду. Інструмент підсумовує, що робить програма, позначає функції, які виглядають підозріло, і навіть готує приклади атак, звані корисними навантаженнями, які дослідник може запустити проти живої системи. Те, що раніше займало дні, тепер займає одне цілих день.
Ця швидкість справді корисна. Ніхто не сперечається з цим.
Проблема виникає далі. Велика мовна модель не знає, коли вона вгадує. Вона опише вразливість впевненою технічною мовою, придумає ім'я функції, яка насправді не існує в коді, і запропонує атаку, яка ніколи не була протестована на реальній системі. Кожен з цих звітів потім потрапляє до чиєїсь поштової скриньки.
Які це витрати для реальних людей?
Це витрати часу, якого командам безпеки не вистачає найбільше. Кожен підроблений звіт повинен пройти тріаж, що означає, що аналітик повинен сісти, уважно прочитати його, спробувати відтворити описаний дефект, а потім написати відповідь з поясненням, чому його насправді немає. Помножте це на сотні AI-генерованих подань щотижня, і ви витратили ресурс, який намагалися захистити.
Волонтери, які підтримують популярне програмне забезпечення з відкритим вихідним кодом — інструменти, які використовують щодня мільйони людей і підприємств, — відчувають це найбільше. Розробник curl, широко використовуваного інструменту передачі даних, публічно заявив, що AI-генеровані галюцинації (вигадки, які модель виробляє з абсолютною впевненістю) з'їдають час, доступний для справжної роботи.
Платформи для залучення багатозвіків повідомляють про той самий сценарій. Платите дослідникам за справжні знахідки, і раптом з'являється фінансовий стимул заповнити чергу AI-скласеними здогадками.
Стандарт, який насправді має значення, не змінився. Дійсна знахідка означає робочу демонстрацію: точні кроки, точна версія програмного забезпечення, а в ідеалі — доказ концепції, коротка частина коду або конкретна послідовність вхідних даних, які надійно спричиняють дефект. Проза без доказу — це просто здогадка в білому халаті.
Один чесний висновок: якщо хтось надсилає вам листа, стверджуючи, що знайшов критичний дефект на вашому веб-сайті, попросіть у нього демонстрацію на тестовому середовищі. Легітимні дослідники очікують цього запиту. Люди, які риб'ячать на швидкий заробіток, рідко це реалізують.
