Investigadores Transformam Arma Favorita dos Hackers em Sua Própria Defesa

Pontos principais

• Investigadores da Tracebit publicaram descobertas na segunda-feira mostrando que injeções de prompt podem ser usadas como uma armadilha defensiva contra agentes de hacking por IA.
• A técnica funciona colocando instruções ocultas ao lado de senhas e chaves criptográficas armazenadas na Amazon Web Services (AWS), plataforma de computação em nuvem da Amazon.
• As instruções ocultas enganam uma IA atacante para tentar algo que as suas próprias regras de segurança proíbem, fazendo-a parar.
• Nenhuma correção ou atualização de software é necessária do lado do atacante para isto funcionar; as barreiras de segurança incorporadas da IA fazem o trabalho pesado.

Durante anos, atacantes utilizaram um truque chamado injeção de prompt para sequestrar assistentes de IA. Uma injeção de prompt é uma instrução oculta enterrada dentro de conteúdo comum, como um email ou um convite de calendário, que diz a uma IA para fazer algo que o seu proprietário nunca pretendeu. A IA lê a instrução, trata-a como legítima e segue-a. Dados sensíveis vazam. O dano é feito.

Agora uma empresa de segurança chamada Tracebit inverteu o truque.

Na segunda-feira, investigadores da Tracebit relataram, primeiro coberto pela Ars Technica AI, que tinham encontrado uma forma de usar injeções de prompt como uma armadilha em vez de uma arma. A ideia é simples. Coloca-se uma instrução oculta cuidadosamente formulada bem ao lado das senhas, chaves criptográficas (longas sequências de caracteres que bloqueiam e desbloqueiam dados encriptados) e outros segredos armazenados na AWS. Quando um agente de hacking alimentado por IA, software que pode executar ataques multi-etapa de forma autónoma, invade e lê essas credenciais, também lê a sua instrução.

Essa instrução diz à IA atacante para fazer algo que os seus desenvolvedores especificamente proibiram.

As empresas de IA incorporam o que se chama de salvaguardas nos seus modelos. Pense em salvaguardas como uma consciência incorporada: um conjunto de regras que impede a IA de ultrapassar certas linhas, como ajudar alguém a causar dano. Quando a IA capturada tenta seguir o comando injetado, atinge uma dessas linhas. Para. O ataque termina.

É uma peça elegante de judô de segurança. A própria ferramenta do atacante torna-se a defesa.

A abordagem pertence a uma categoria mais ampla chamada honeytokens ou canary tokens, credenciais de engodo deixadas em lugares onde os atacantes têm probabilidade de procurar. Se alguém as tocar, sabe-se que uma violação está em curso. A versão da Tracebit faz o mesmo trabalho, mas também perturba ativamente o atacante em vez de apenas soar um alarme.

Isto significa que o hacking por IA foi resolvido?

Não. Esta técnica funciona especificamente contra agentes de IA que dependem de grandes modelos de linguagem, a tecnologia por trás de ferramentas como o ChatGPT, porque esses modelos têm regras de segurança incorporadas que podem ser acionadas. Um atacante humano, ou uma IA simplificada sem salvaguardas, ignoraria completamente a instrução injetada. A descoberta é promissora, mas é uma camada de defesa, não uma resposta completa.

Para organizações que armazenam credenciais sensíveis em ambientes de nuvem, a conclusão prática merece ser notada: até os seus dados de engodo podem agora contra-atacar.