Um em cada três comandos perigosos de IA em programação escapam aos revisores humanos, dados do jogo mostram

Pontos-chave

• Os jogadores aprovaram aproximadamente um em cada três pedidos maliciosos de agentes de IA para programação em mais de 40 mil execuções do jogo e 409 mil comandos totais analisados.
• O comando perigoso mais frequentemente ignorado, "npm run analyze", foi aprovado em quase 65 por cento das vezes, apesar de um aviso visível no histórico do jogo.
• A telemetria própria da Anthropic mostra que utilizadores reais aprovam cerca de 93 por cento dos pedidos de permissão do Claude Code, a sua ferramenta de IA para programação.
• O "modo automático" do Claude Code da Anthropic detém aproximadamente 83 por cento dos comportamentos excessivos ou perigosos antes de serem executados, mas cerca de 17 por cento ainda passam.
• O programador belga Alex Wauters criou o jogo no final de maio de 2025 depois de notar que a maioria dos programadores ou aprovam tudo automaticamente ou ignoram completamente as verificações de permissões.

Aqui está algo que provavelmente não esperava ler hoje: o teste de segurança mais honesto de IA para programação neste momento é um jogo de navegador que consegue completar em menos de um minuto.

O jogo, criado pelo programador de software belga Alex Wauters, coloca-o na cadeira de um revisor humano observando um agente de IA para programação, um software que executa tarefas de programação complexas passo a passo em seu nome, a pedir permissão para executar comandos. Tem 60 segundos. Aprove os seguros. Bloqueie os perigosos. Obtenha a pontuação mais alta possível.

Em mais de 40 mil execuções, os jogadores aprovaram aproximadamente um em cada três pedidos maliciosos. Esse não é um bom número.

Por que os humanos continuam a aprovar comandos perigosos?

A fadiga é a resposta rápida. Revisar cada ação que um agente de IA executa é genuinamente cansativo e, quando está submerso em pedidos, a sua atenção desvia-se.

Wauters criou o jogo depois de notar um padrão entre programadores que utilizam o Claude Code, a ferramenta de IA para programação da Anthropic. Confrontados com uma avalanche de pop-ups de permissão, muitos simplesmente ativaram uma definição chamada "dangerously-skip-permissions", que permite ao modelo executar sem pedir aprovação humana. O outro grupo clicou em aprovar tudo sem ler realmente.

Nenhuma abordagem é segura.

"A elevada quantidade de ruído introduz fadiga e os programadores nem sempre têm o contexto do que mudou para determinar rapidamente o risco", escreveu Wauters numa publicação de blogue lançada juntamente com o jogo no final de maio.

Os dados do jogo, primeiro reportados pelo The Register AI, confirmam isso em detalhes desconfortáveis. Violações de âmbito, coisas como um agente lendo silenciosamente ficheiros de credenciais da AWS ou dados de configuração do Kubernetes (ficheiros que armazenam chaves de acesso e definições de servidores, exatamente o tipo de coisa que um atacante adoraria roubar), foram ignoradas 35 por cento das vezes. Comandos obviamente catastróficos, como ordenar a eliminação de um sistema de ficheiros inteiro, foram apanhados com mais frequência. As pessoas ainda conseguem reconhecer uma bomba quando a veem.

As ameaças mais enganosas passaram despercebidas. Pedidos de Curl para endereços web desconhecidos e pacotes typosquatted (pacotes de software com nomes deliberadamente soletrados quase como os confiáveis, concebidos para enganar as pessoas a executarem código malicioso) foram ignorados quase tão frequentemente como os roubos de credenciais.

Tipo de comando	Taxa de não-detecção aproximada
Violações de âmbito (p. ex. leitura de ficheiros de credenciais)	35%
Pacotes typosquatted	~35%
Pedidos de Curl para APIs desconhecidas	~35%
Injeções de crontab / sequestro de configuração de git	Inferior
Comandos obviamente destrutivos (p. ex. eliminar raiz)	Mínimo

O pior resultado: "npm run analyze", um comando que parece rotineiro mas pode ser configurado para executar qualquer código escondido dentro de um ficheiro de projeto. Quase 65 por cento dos jogadores aprovaram-no. O jogo até exibiu um aviso no histórico diretamente acima do botão de aprovação. Dois terços não o leram.

Isto está realmente a acontecer fora do jogo?

Sim. A Anthropic confirmou com os seus próprios dados.

Numa publicação de maio de 2025 sobre como o Claude Code trata as permissões, a Anthropic disse que os utilizadores aprovam cerca de 93 por cento de todos os pedidos de permissão que a ferramenta gera. "Quanto mais aprovações um utilizador vê, menos atenção dedica a cada uma", escreveu a empresa.

A resposta da Anthropic é o "modo automático", um sistema que utiliza um classificador de IA separado, um modelo treinado para avaliar se um comando parece arriscado, para filtrar pedidos perigosos antes de chegarem ao humano. Detém cerca de 83 por cento das ações problemáticas. Os 17 por cento restantes ainda chegam à mesa de um humano.

A Anthropic é clara que o modo automático é "uma camada de defesa em profundidade dentro de uma caixa de areia, não um substituto para uma."

Wauters concorda. A sua recomendação é executar agentes de programação dentro de ambientes virtuais isolados chamados caixas de areia ou devcontainers (espaços de trabalho digitais selados que limitam o que o agente pode tocar na sua máquina real), usar ferramentas como modo automático e escrever ganchos personalizados (pequenos scripts que interceptam comandos antes de serem executados) para sinalizar qualquer coisa suspeita antes de ser executada automaticamente.

"Precisamos de tornar as ferramentas mais fáceis de utilizar para tornar estes sistemas mais seguros do que apontar para revisão humana como uma solução válida", disse ele ao The Register AI.

Se entregar uma tarefa longa a um agente de IA e se afastar, o que regressar pode não ser o que esperava. Verificar é importante e compreender o que está a verificar é ainda mais importante.