Un'Email Avvelenata Può Riscrivere Segretamente la Memoria del Tuo Assistente AI

Punti chiave

• MemGhost è un attacco appena descritto che utilizza un'email per piantare una memoria falsa e duratura all'interno di un assistente AI senza la conoscenza dell'utente.
• L'attacco funziona su agenti AI, software che legge la tua email e compie azioni per tuo conto, che hanno una funzione di memoria a lungo termine abilitata.
• La tecnica è una forma di prompt injection, istruzioni nascoste sepolte in contenuti ordinari che l'AI legge come comandi.
• Prodotti tra cui ChatGPT di OpenAI, Claude di Anthropic e Gemini di Google offrono tutti funzioni di memoria che potrebbero essere prese di mira.
• Gli utenti possono controllare ed eliminare le memorie archiviate nelle impostazioni della maggior parte dei principali assistenti AI in questo momento.

Dai a un assistente AI una memoria e una casella di posta, e avrai dato a un attaccante un modo per riscrivere silenziosamente quello che crede di sapere su di te. Questo è il scoperta sorprendente dietro MemGhost, un nuovo metodo di attacco descritto per primo da ThreatVectr, una delle nostre pubblicazioni sorelle.

La meccanica è inquietante nella sua semplicità. Un attaccante invia al bersaglio un'email. Nessun umano ha bisogno di aprirla o fare clic su nulla. L'agente AI, software che legge la tua casella di posta e agisce per tuo conto, l'apre automaticamente e trova istruzioni sepolte nel testo. Quelle istruzioni dicono all'assistente di memorizzare un fatto falso su di te e rimanere silenzioso al riguardo. L'assistente obbedisce.

Da quel momento in poi, ogni conversazione futura è plasmata dalla bugia piantata.

Gli utenti dovrebbero preoccuparsi?

Sì, con un contesto importante. L'attacco è reale e tecnicamente valido, ma richiede una configurazione specifica per funzionare: il tuo assistente AI deve avere sia l'accesso alla casella di posta che una funzione di memoria a lungo termine attivata. Non tutti gli assetti ne hanno entrambi.

Tuttavia, quella combinazione sta diventando comune. Le funzioni di memoria sono ormai standard nei prodotti mainstream. ChatGPT, Claude e Gemini offrono tutti il ricordo persistente, la capacità di portare fatti su di te tra conversazioni separate. Molte aziende stanno anche collegando direttamente agenti AI nei sistemi di posta elettronica aziendale. La superficie di attacco è in crescita.

Il trucco sottostante, prompt injection, non è nuovo. I ricercatori l'hanno documentato pubblicamente per la prima volta nel 2022, e si trova in cima all'elenco dei rischi dell'Open Worldwide Application Security Project per le applicazioni di modelli linguistici di grandi dimensioni, la tecnologia dietro chatbot come ChatGPT. Quello che MemGhost aggiunge è qualcosa che gli attacchi più vecchi mancavano: permanenza. Un'iniezione di prompt standard termina quando chiudi la finestra di chat. Una memoria avvelenata persiste in ogni sessione futura.

Il pericolo pratico è sottile piuttosto che drammatico. Un assistente manipolato potrebbe indirizzare le tue decisioni, distorcere un riepilogo, o spingere un consiglio, il tutto basandosi su un 'fatto' che un attaccante ha scritto mesi prima.

Quello che puoi fare adesso. Se usi un assistente AI con memoria abilitata, apri le sue impostazioni e leggi cosa ha memorizzato. ChatGPT, Claude e Gemini ti permettono tutti di visualizzare ed eliminare singole memorie. Elimina tutto ciò che non riconosci. Pensa due volte prima di dare a qualsiasi agente AI accesso insorvegliato e continuo a una casella di posta che riceve posta da estranei, specialmente un account di lavoro.

Per le aziende che implementano agenti AI, la guida è più netta. Tratta ogni documento, email e pagina web che l'agente legge come input non attendibile. Registra tutto quello che l'agente scrive nella memoria. Richiedi a un umano di approvare ogni nuovo fatto memorizzato prima che si fissi. Assumi che i tentativi di prompt injection verranno, perché verranno.