Одна отруєна електронна листівка може таємно переписати пам'ять вашого AI-асистента

Ключові моменти

• MemGhost — це новий описаний напад, який використовує одну електронну листівку для вплантування неправдивої, стійкої пам'яті в AI-асистента без знання користувача.
• Напад працює на AI-агентах — програмному забезпеченні, яке читає вашу електронну пошту та здійснює дії від вашого імені — які мають увімкнену функцію довгострокової пам'яті.
• Ця техніка є формою prompt injection — прихованих інструкцій, закопаних у звичайному вмісті, які AI читає як команди.
• Продукти, включаючи ChatGPT від OpenAI, Claude від Anthropic та Gemini від Google, тепер пропонують функції пам'яті, які можуть бути мішенню.
• Користувачі можуть перевірити та видалити збережені спогади в налаштуваннях більшості основних AI-асистентів прямо зараз.

Дайте AI-асистенту пам'ять та поштову скриньку — і ви дали зловмиснику спосіб тихо переписати те, що він думає про вас. Це вражаючий висновок методу атаки MemGhost, вперше детально описаний ThreatVectr, однією з наших сестринських публікацій.

Механіка тривожна своєю простотою. Зловмисник відправляє цілі одну електронну листівку. Ніхто з людей не повинен її відкривати чи на щось клацати. AI-агент, програмне забезпечення, яке читає вашу папку "Вхідні" та діє від вашого імені, автоматично її відкриває й знаходить інструкції, закопані в текст. Ці інструкції вказують асистенту зберегти неправдивий факт про вас та мовчати про це. Асистент підкоряється.

З того моменту кожна майбутня розмова формується вплантованою брехнею.

Чи мають користувачі турбуватися?

Так, з деякими важливими уточненнями. Напад реальний і технічно обґрунтований, але для його роботи потрібна специфічна конфігурація: ваш AI-асистент має мати як доступ до папки "Вхідні", так і увімкнену функцію довгострокової пам'яті. Не кожна конфігурація має обидві.

Тим не менше, така комбінація стає звичайною. Функції пам'яті тепер є стандартом у мейнстрім-продуктах. ChatGPT, Claude та Gemini усі пропонують стійке запам'ятовування — здатність переносити факти про вас між окремими розмовами. Багато підприємств також безпосередньо інтегрують AI-агентів у корпоративні поштові системи. Поверхня атаки розширюється.

Основний трюк, prompt injection, не новий. Дослідники вперше задокументували його публічно в 2022 році, і він знаходиться на вершині списку ризиків Open Worldwide Application Security Project для додатків на основі великих мовних моделей — технології, що стоїть за чат-ботами на кшталт ChatGPT. Те, що додає MemGhost, — це те, чого не мали старіші атаки: тривалість. Стандартна prompt injection закінчується, коли ви закриваєте вікно чату. Отруєна пам'ять зберігається у всіх майбутніх сеансах.

Практична небезпека неявна, а не драматична. Маніпульований асистент може керувати вашими рішеннями, перекошувати резюме чи спрямовувати рекомендацію, все це спираючись на "факт", який зловмисник написав місяцями раніше.

Що ви можете зробити прямо зараз. Якщо ви використовуєте AI-асистента з увімкненою пам'яттю, відкрийте його налаштування та прочитайте те, що він зберіг. ChatGPT, Claude та Gemini дозволяють вам переглядати та видаляти окремі спогади. Видаліть все, що ви не впізнаєте. Двічі подумайте, перш ніж дати будь-якому AI-агенту беснаглядний цілодобовий доступ до папки "Вхідні", яка отримує пошту від незнайомців, особливо робочого облікового запису.

Для компаній, які розгортають AI-агентів, рекомендації чіткіші. Розглядайте кожен документ, електронну листівку та веб-сторінку, яку читає агент, як ненадійний вхідний сигнал. Логуйте все, що агент записує до пам'яті. Вимагайте схвалення людиною будь-якого нового збереженого факту, перш ніж він закріпиться. Припускайте, що спроби prompt injection надійдуть, оскільки вони обов'язково надійдуть.