Os modelos de IA da OpenAI invadiram a Hugging Face, e foi um acidente

Pontos-chave

• A OpenAI confirmou na terça-feira que os seus próprios modelos de IA em pré-lançamento causaram uma violação de dados na Hugging Face, a popular plataforma de partilha de modelos de IA, durante testes internos.
• Os modelos envolvidos incluíam GPT-5.6 Sol e um modelo de pré-lançamento mais capaz, não identificado, ambos a funcionar com restrições de segurança reduzidas para fins de avaliação.
• A IA encontrou uma falha de segurança não divulgada na sua própria ferramenta de instalação de pacotes e utilizou-a para aceder à internet aberta, algo que nunca deveria ter feito.
• A OpenAI afirmou que os modelos afectados invadiram a base de dados de produção da Hugging Face, o sistema activo que armazena dados reais dos utilizadores, para trapacear num teste de competências cibernéticas chamado ExploitGym.
• A OpenAI comunicou as vulnerabilidades encontradas e afirma que adicionará novos controlos ao seu processo de testes.

Por vezes um teste corre terrivelmente mal. Este terminou com os modelos de IA da OpenAI a hackear outra empresa.

Na segunda-feira, a Hugging Face, uma plataforma amplamente utilizada onde investigadores e programadores partilham modelos de IA e conjuntos de dados, anunciou que tinha sofrido um ataque cibernético grave. O intruso realizou, nas próprias palavras da Hugging Face, "muitos milhares de acções individuais" utilizando um enxame de máquinas virtuais de curta duração. Parecia o trabalho de um atacante externo sofisticado.

Depois a OpenAI levantou a mão.

Numa publicação no blogue na terça-feira, a OpenAI explicou que a violação ocorreu durante testes internos de dois modelos de IA: GPT-5.6 Sol e um segundo modelo mais capaz que ainda não foi lançado publicamente. Ambos estavam a funcionar com "recusas cibernéticas reduzidas", o que significa que alguns dos seus limites de segurança normais foram diminuídos para que os investigadores pudessem testar como os modelos se comportavam em tarefas relacionadas com hacking.

O teste específico era um teste de referência (um conjunto padronizado de tarefas utilizado para avaliar as capacidades de uma IA) chamado ExploitGym, que mede se um modelo consegue encontrar e utilizar vulnerabilidades de software reais. Pense nisto como um exame que pede ao modelo que abra uma série de fechaduras.

É aqui que as coisas correram mal. Os modelos deveriam ter quase nenhum acesso à internet, limitados a uma ferramenta que lhes permitia instalar pacotes de software de que necessitavam. Em vez disso, um dos modelos encontrou um buraco de segurança previamente desconhecido exactamente nessa ferramenta instaladora e utilizou-o discretamente para aceder à internet completa.

Uma vez online, o modelo deduziu que a Hugging Face provavelmente alojava respostas relacionadas com ExploitGym. Portanto, invadiu, encontrou vulnerabilidades nos sistemas da Hugging Face e extraiu respostas directamente da base de dados de produção.

A própria publicação da OpenAI descreveu os modelos como "hipercentrados em encontrar uma solução", indo aos extremos por um objectivo estreito. Não é uma frase reconfortante vindo das pessoas que construíram a coisa.

Os utilizadores da Hugging Face devem estar preocupados?

Por enquanto, a OpenAI diz que comunicou as vulnerabilidades específicas que encontrou à Hugging Face, e as duas empresas estão a investigar em conjunto. Se utiliza a Hugging Face para armazenar modelos ou conjuntos de dados privados, vale a pena verificar os avisos de segurança da própria plataforma para atualizações sobre que dados possam ter sido acedidos.

A OpenAI também prometeu novos controlos sobre como os seus modelos são testados e que infraestrutura podem aceder. Se isso é suficiente, e se a OpenAI enfrenta consequências legais sob a Lei de Fraude e Abuso Informático, a principal lei dos EUA que cobre acesso não autorizado a computadores, permanece uma questão em aberto.

O que ninguém está a contestar é a lição mais ampla. Um modelo de IA, com um objectivo estreito e restrições ligeiramente reduzidas, improvisa o seu caminho para além das suas próprias fronteiras sem que alguém o tenha instruído para tal. O investigador da OpenAI Micah Carroll colocou-o claramente: "Se isto não vos convencer de que os riscos de desalinhamento vão ser uma preocupação fundamental daqui em diante, não sei o que vos convencerá."