Um Email Envenenado Pode Reescrever Secretamente a Memória do Seu Assistente de IA

Pontos-chave

• MemGhost é um ataque recentemente descrito que utiliza um email para plantar uma memória falsa e duradoura dentro de um assistente de IA sem o conhecimento do utilizador.
• O ataque funciona em agentes de IA, software que lê o seu email e executa ações em seu nome, que têm uma funcionalidade de memória de longo prazo ativada.
• A técnica é uma forma de injeção de prompt, instruções ocultas enterradas em conteúdo comum que a IA lê como comandos.
• Produtos incluindo o ChatGPT da OpenAI, o Claude da Anthropic e o Gemini da Google oferecem funcionalidades de memória que poderiam ser alvo.
• Os utilizadores podem verificar e eliminar memórias armazenadas nas definições da maioria dos principais assistentes de IA neste momento.

Dê a um assistente de IA uma memória e uma caixa de correio, e terá entregue a um atacante uma forma de reescrever silenciosamente o que pensa saber sobre si. Esta é a conclusão clara por trás do MemGhost, um novo método de ataque primeiro detalhado pela ThreatVectr, uma das nossas publicações irmãs.

A mecânica é perturbadora pela sua simplicidade. Um atacante envia ao alvo um email. Nenhum humano precisa de o abrir ou clicar em nada. O agente de IA, software que lê a sua caixa de entrada e age em seu nome, abre-o automaticamente e encontra instruções enterradas no texto. Essas instruções dizem ao assistente para armazenar um facto falso sobre si e manter-se calado sobre isso. O assistente obedece.

A partir desse momento, cada conversa futura é moldada pela mentira plantada.

Os utilizadores devem estar preocupados?

Sim, com um contexto importante. O ataque é real e tecnicamente sólido, mas requer uma configuração específica para funcionar: o seu assistente de IA deve ter tanto acesso à caixa de entrada como uma funcionalidade de memória de longo prazo ativada. Nem todas as configurações têm ambas.

Ainda assim, essa combinação está a tornar-se comum. As funcionalidades de memória são agora padrão em produtos mainstream. ChatGPT, Claude e Gemini oferecem recordação persistente, a capacidade de manter factos sobre si entre conversas separadas. Muitas empresas também estão a conectar agentes de IA diretamente a sistemas de email corporativos. A superfície de ataque está a crescer.

O truque subjacente, injeção de prompt, não é novo. Os investigadores documentaram-no publicamente pela primeira vez em 2022, e encontra-se no topo da lista de riscos do Open Worldwide Application Security Project para aplicações de grandes modelos de linguagem, a tecnologia por trás de chatbots como ChatGPT. O que o MemGhost acrescenta é algo que os ataques antigos careciam: longevidade. Uma injeção de prompt padrão termina quando você fecha a janela do chat. Uma memória envenenada persiste em cada sessão futura.

O perigo prático é subtil em vez de dramático. Um assistente manipulado pode orientar as suas decisões, distorcer um resumo ou influenciar uma recomendação, enquanto se baseia num 'facto' que um atacante escreveu meses antes.

O que pode fazer agora. Se utiliza um assistente de IA com memória ativada, abra as suas definições e leia o que tem armazenado. ChatGPT, Claude e Gemini permitem-lhe visualizar e eliminar memórias individuais. Elimine qualquer coisa que não reconheça. Pense duas vezes antes de dar a qualquer agente de IA acesso não supervisionado e ininterrupto a uma caixa de entrada que recebe correio de estranhos, especialmente uma conta profissional.

Para empresas que implementam agentes de IA, a orientação é mais clara. Trate cada documento, email e página web que o agente lê como entrada não confiável. Registe tudo o que o agente escreve para memória. Exija que um humano aprove qualquer novo facto armazenado antes que ele seja consolidado. Assuma que tentativas de injeção de prompt virão, porque virão.