OpenAI Criou uma IA que Hackeia os Seus Próprios Modelos para os Tornar Mais Seguros

Pontos-chave

• OpenAI criou GPT-Red, um sistema de IA treinado para atacar outros modelos de IA, e anunciou o projeto esta semana.
• GPT-Red descobriu que mais de 90% dos seus ataques mais fortes funcionaram contra GPT-5, lançado em agosto de 2024, em comparação com menos de 23% contra o novo GPT-5.6.
• GPT-Red descobriu um tipo de ataque previamente desconhecido que os investigadores chamam de "falsa cadeia de pensamento".
• OpenAI testou GPT-Red contra um agente real de máquina de venda automática chamado Vendy e o sistema conseguiu alterar preços e cancelar encomendas de clientes.
• OpenAI não irá disponibilizar GPT-Red ao público.

OpenAI construiu uma IA cujo único trabalho é quebrar outras IAs. O sistema, chamado GPT-Red, funciona como um tipo de parceiro de treino: tenta incansavelmente hackear os próprios modelos de chatbot da OpenAI para que a empresa possa corrigir as falhas antes que alguém mais as encontre.

A ideia vem de uma prática de segurança antiga chamada teste de segurança ofensivo, em que um grupo dedicado de pessoas tenta todos os truques que conhece para quebrar um sistema. GPT-Red automatiza esse processo, executando ataques muito mais rapidamente e persistentemente do que uma equipa humana conseguiria fazer sozinha.

O tempo é importante. OpenAI anunciou GPT-Red juntamente com o lançamento da semana passada do GPT-5.6, a versão mais recente do seu modelo de IA principal. A empresa afirma que GPT-5.6 é o seu modelo mais difícil de quebrar até agora, em parte porque foi treinado contra os ataques do GPT-Red.

Os investigadores-cientistas Nikhil Kandpal e Dylan Hunn, que co-criaram o sistema, explicam que a ameaça aos modelos de IA está a crescer rapidamente. À medida que a IA é utilizada em mais locais, especialmente sob a forma de agentes de IA (software que pode navegar em websites, ler e-mails, editar ficheiros e interagir com outros programas em seu nome), o número de maneiras pelas quais um atacante poderia causar danos cresce com ela.

GPT-Red foi construído colocando um modelo não treinado no que os investigadores chamam de ciclo de auto-jogo com vários outros modelos. Jogou o papel de atacante; eles jogaram o papel de defesa. Ronda após ronda, todos os lados melhoraram. Pense em dois jogadores de xadrez que apenas jogam um contra o outro, treinando até que ambos sejam formidáveis.

A maioria do esforço da equipa foi dedicada a defender-se contra uma ameaça específica chamada injeção de instruções. É quando um atacante esconde instruções secretas dentro de texto que uma IA lê, como uma página web ou um e-mail, enganando a IA para fazer algo que o seu utilizador nunca pediu, como vazar informações privadas ou sabotar um documento.

O que é uma falsa cadeia de pensamento, e deve preocupar pessoas comuns?

Sim, moderadamente, e eis o porquê. Uma cadeia de pensamento é o bloco de notas interno que uma IA usa para resolver um problema passo a passo. GPT-Red encontrou uma maneira de introduzir uma nota falsa nesse bloco de notas, convencendo a IA alvo de que já tinha verificado algo que nunca tinha verificado. O investigador-cientista Chris Choquette-Choo comparou-o a ser dito que 1+1=3 e que já tinha confirmado isso você mesmo. O modelo simplesmente aceita e segue em frente.

Para uma pessoa comum usando um assistente de IA, este tipo de ataque não viria de si. Estaria escondido num documento ou website que a IA lê em seu nome. A IA poderia então agir sobre informações falsas sem qualquer aviso.

GPT-Red tem limitações reais. Tem dificuldades com ataques que requerem conversas de ida e volta, e ainda não é fiável ao utilizar imagens para transportar instruções ocultas. Os testadores humanos ainda apanham coisas que lhe escapam.

Jessica Ji, analista sénior de investigação do Centro para Segurança e Tecnologia Emergente da Universidade de Georgetown, reviu o trabalho e chamou os resultados promissores.

OpenAI não irá publicar GPT-Red. Os investigadores disseram à MIT Technology Review que o projeto levou mais de um ano e enormes recursos de computação para construir, tornando um rápido imitador improvável.

O que observar se usar ferramentas de IA no trabalho: Tenha cuidado quando um agente de IA lê conteúdo externo (e-mails, documentos, páginas web) e depois toma medidas em seu nome. Se o resultado parecer errado ou inesperado, trate-o como um sinal possível de que a IA leu algo em que não deveria ter confiado.