Одно отравленное письмо может втайне переписать память вашего ИИ-помощника
Недавно описанная атака под названием MemGhost показывает, как одно сообщение в вашем почтовом ящике может внедрить ложный «факт» в долгосрочную память ИИ-агента, без вашего ведома.
Ключевые моменты
- MemGhost — это недавно описанная атака, которая использует одно письмо для внедрения ложного, стойкого воспоминания в ИИ-помощника без ведома пользователя.
- Атака работает на ИИ-агентов, программное обеспечение, которое читает вашу электронную почту и выполняет действия от вашего имени, с включённой функцией долгосрочной памяти.
- Эта техника представляет собой форму инъекции подсказок — скрытые инструкции, встроенные в обычный контент, который ИИ интерпретирует как команды.
- Продукты, включая ChatGPT от OpenAI, Claude от Anthropic и Gemini от Google, все теперь предлагают функции памяти, которые могут быть целью атак.
- Пользователи могут просматривать и удалять сохранённые воспоминания в настройках большинства основных ИИ-помощников прямо сейчас.
Дайте ИИ-помощнику память и почтовый ящик — и вы предоставите злоумышленнику способ тихо переписать то, что он думает о вас. Это главный вывод из MemGhost, нового метода атаки, впервые описанного на ThreatVectr, одним из наших сестринских изданий.
Механизм атаки устрашающе прост. Злоумышленник отправляет жертве одно письмо. Ни один человек не должен открывать его или нажимать на что-либо. ИИ-агент, программное обеспечение, которое читает вашу папку входящих и действует от вашего имени, автоматически открывает его и находит инструкции, встроенные в текст. Эти инструкции приказывают помощнику сохранить о вас ложный факт и молчать об этом. Помощник подчиняется.
С этого момента каждый будущий разговор формируется внедрённой ложью.
Должны ли пользователи беспокоиться?
Да, с некоторыми важными оговорками. Атака реальна и технически обоснована, но требует определённой конфигурации для работы: ваш ИИ-помощник должен иметь одновременно доступ к почтовому ящику и включённую функцию долгосрочной памяти. Не все настройки имеют оба эти условия.
Тем не менее, такая комбинация становится всё более распространённой. Функции памяти теперь стандартны в основных продуктах. ChatGPT, Claude и Gemini все предлагают постоянное запоминание — способность сохранять факты о вас между отдельными беседами. Многие компании также подключают ИИ-агентов напрямую к корпоративным системам электронной почты. Поверхность атаки растёт.
Базовый трюк, инъекция подсказок, не нов. Исследователи впервые документировали его публично в 2022 году, и он занимает первое место в списке рисков Открытого проекта безопасности приложений для приложений на основе больших языковых моделей, технологии, на которой работают такие чат-боты, как ChatGPT. Что MemGhost добавляет — это то, чего не было в старых атаках: устойчивость. Стандартная инъекция подсказок заканчивается, когда вы закрываете окно чата. Отравленная память сохраняется во всех будущих сеансах.
Практическая опасность тонкая, а не драматичная. Манипулируемый помощник может направлять ваши решения, искажать резюме или смещать рекомендацию, всё это опираясь на «факт», который злоумышленник написал месяцы назад.
Что вы можете сделать прямо сейчас. Если вы используете ИИ-помощника с включённой памятью, откройте его настройки и прочитайте, что он сохранил. ChatGPT, Claude и Gemini все позволяют вам просматривать и удалять отдельные воспоминания. Удалите всё, что вы не узнаёте. Дважды подумайте, прежде чем давать какому-либо ИИ-агенту неконтролируемый, круглосуточный доступ к почтовому ящику, который получает письма от незнакомцев, особенно рабочему аккаунту.
Для компаний, внедряющих ИИ-агентов, рекомендации более чёткие. Рассматривайте каждый документ, письмо и веб-страницу, которые читает агент, как ненадёжные данные. Логируйте всё, что агент записывает в памяти. Требуйте одобрение человеком любого нового сохранённого факта, прежде чем он зафиксируется. Предполагайте, что попытки инъекции подсказок произойдут, потому что они обязательно произойдут.
