As barreiras de IA criadas para deter hackers estão agora a bloquear quem tenta deter hackers

Pontos-chave

• Os modelos de IA da Anthropic, Mythos e Fable, enfrentaram controlos de exportação do governo norte-americano em junho, restringindo quem podia aceder-lhes fora do país.
• Tanto a Anthropic como a OpenAI executam programas validados que concedem aos investigadores de cibersegurança aprovados acesso ligeiramente mais aberto às suas ferramentas de IA.
• Múltiplos investigadores de segurança ofensiva dizem que os filtros ainda bloqueiam trabalho essencial e produzem resultados imprevisíveis mesmo dentro desses programas.
• Alguns investigadores dizem que as restrições os empurram para modelos de IA de código aberto chineses, como o GLM, que não têm filtros ou validação alguma.
• Um investigador numa empresa de componentes para smartphones disse que as ferramentas de IA da sua equipa se tornaram praticamente inúteis para trabalho de segurança porque ninguém tinha candidatado ao programa validado.

A cibersegurança sempre foi um jogo de dois lados. O mesmo conhecimento que permite a um defensor reparar uma falha permite a um atacante passar por ela. Agora as ferramentas de IA caíram no meio dessa tensão, e os filtros de segurança incorporados nelas estão a começar a frustrar as pessoas que deveriam proteger.

O que é que está realmente a correr mal?

As empresas de IA colocam barreiras, ou seja, regras automáticas que impedem o software de responder a questões que consideram perigosas, nos seus modelos para evitar que criminosos os usem para criar malware ou planear ataques. O problema é que essas mesmas regras bloqueiam investigadores de segurança legítimos de fazer o seu trabalho.

Chris Anley, cientista-chefe da empresa de consultoria de segurança NCC Group, deu um exemplo claro. Quando pede a um modelo de IA para tentar explorar um bug de software, está a testar se o bug é real e perigoso o suficiente para ser corrigido. Uma barreira que recusa esse pedido não protege ninguém. Apenas deixa a falha por confirmar e potencialmente aberta a um atacante real.

"Corrigir código é simultaneamente um mecanismo essencial para defesa mas também um mapa para encontrar vulnerabilidades críticas," disse Anley. "A mesma ferramenta é tanto uma ferramenta ofensiva como defensiva, e as duas não podem realmente ser separadas."

A sua analogia: é como um martelo. Não se pode construir uma casa sem um, mas também pode quebrar uma janela.

Quão má é a inconsistência?

É bastante irregular para desperdiçar tempo sério. Chris Thompson, diretor executivo da empresa de cibersegurança RemoteThreat e fundador da Offensive AI Con, uma conferência focada em segurança e IA, disse à TechCrunch que mesmo dentro dos programas aprovados de investigadores da Anthropic e OpenAI, as barreiras funcionam de forma diferente de um dia para o outro.

"Passa-se muito tempo a negociar com o modelo em vez de trabalhar no programa de segurança principal," disse Thompson. "Em vez de analisar uma vulnerabilidade, está-se a tentar descobrir por que é que os modelos estão a ultra-filtrar o resultado."

Um investigador inominado numa fabricante de componentes para smartphones foi claro: "Se detecta que estamos a fazer algo relacionado com segurança, simplesmente para e não é utilizável."

Para quem é que isto está a empurrar as pessoas?

Para modelos de código aberto sem filtros nenhuns, muitos deles desenvolvidos na China. Thompson disse que investigadores responsáveis estão a ser afastados de sistemas sujeitos a supervisão norte-americana e orientados para ferramentas construídas no estrangeiro que não têm responsabilidade alguma.

"Tem-se estes investigadores responsáveis que estão a ser afastados de sistemas governados pelos EUA para sistemas de propriedade estrangeira," disse ele. "Acho que é mais prejudicial do que benéfico ter estas barreiras em vigor."

Nem todos os investigadores se sentem bloqueados. Giuseppe Cali, que encontra e desenvolve zero-days (falhas de software anteriormente desconhecidas para as quais ainda não existe patch), disse que mantém a IA afastada da caça real de vulnerabilidades porque quer que essa descoberta permaneça sua. Para tarefas de apoio como compreender código desconhecido, acha as ferramentas suficientemente úteis.

"Sou ciumento dos meus bugs," disse Cali, "e gosto demasiado deste jogo para deixar modelos jogá-lo por mim."

A solução de Thompson não é remover as barreiras completamente. Quer que os laboratórios de IA ampliem o acesso para investigadores validados, apliquem regras consistentes, e responsabilizem os maus atores quando ocorre abuso. Sem esse equilíbrio, argumenta, os defensores ficarão atrás dos atacantes que não enfrentam tais restrições.

Perguntas frequentes

Estas restrições afectam utilizadores de computador comum?

Não diretamente. O atrito descrito aqui afecta investigadores de segurança profissionais, não pessoas do dia a dia que usam IA para escrita ou tarefas de trabalho. As barreiras gerais mantêm-se em vigor para todos.

Por que é que as empresas de IA restringem questões de cibersegurança?

Preocupam-se que orientações detalhadas, passo a passo, sobre ataque possam ajudar criminosos a construir malware ou violar sistemas. A dificuldade é que a mesma orientação é exatamente o que defensores legítimos precisam para testar e enrijecer esses sistemas primeiro.

O que é um modelo de IA de código aberto e por que é que não tem barreiras?

Um modelo de IA de código aberto é aquele cujo código subjacente é publicado livremente para qualquer pessoa descarregar e executar no seu próprio computador. Como executa localmente, não existe uma empresa no meio para impor regras, razão pela qual os investigadores o usam para trabalho sensível mas também por que carrega riscos próprios.