Investigadores Descobriram uma Forma de Ler os "Pensamentos Ocultos" da IA, e Isto Levanta Questões Reais de Segurança

Pontos-chave

• Investigadores da Universidade de Tübingen e colaboradores encontraram um método para extrair os passos de raciocínio oculto de grandes modelos de IA, incluindo os da OpenAI, Anthropic e Google.
• A mesma técnica expôs dados privados, como palavras-passe e chaves API, armazenados no processo de raciocínio de um modelo, embora as três empresas tenham entretanto corrigido essa falha específica.
• Um modelo chinês chamado Kimi K3, criado pela Moonshot AI, produziu padrões de raciocínio notavelmente semelhantes aos resultados ocultos do Claude Opus 4.8 e GPT 5.6 Sol, levantando questões sobre se foi treinado copiando esses modelos.
• Os investigadores alertam que a semelhança é sugestiva, não uma prova conclusiva de cópia.
• Corrigir completamente o problema mais profundo exigiria alterações significativas na forma como as interfaces de programação destas empresas funcionam.

Todos os modelos de IA avançados têm um tipo de monólogo interno. Antes de lhe dar uma resposta, trabalha o problema passo a passo no que os investigadores chamam de "cadeia de pensamento", um processo de raciocínio escrito que o modelo utiliza para resolver problemas difíceis. As empresas mantêm este raciocínio oculto. É comercialmente sensível, e partilhá-lo abertamente tornaria fácil para os concorrentes copiar.

Agora uma equipa de cientistas informáticos encontrou uma forma de ler esses pensamentos ocultos mesmo assim.

A técnica, reportada pela Wired AI, provém de investigadores da Universidade de Tübingen, do Instituto Max Planck, do instituto de segurança de IA MATS Research e da empresa de segurança Snyk. A sua ideia-chave é quase elegante na sua simplicidade.

Como funciona realmente o ataque?

As empresas de IA normalmente oferecem os seus modelos em vários tamanhos. Um modelo grande é poderoso mas dispendioso de executar; uma versão menor do mesmo modelo custa menos. Ambas as versões partilham a mesma estrutura subjacente, o que significa que partilham a mesma capacidade de descodificar dados encriptados transmitidos entre elas.

Quando utiliza um grande modelo de IA através de uma API (application programming interface, a ligação digital que permite aos programas comunicar entre si), o modelo envia uma cópia encriptada do seu raciocínio para o seu computador para partilhar parte do trabalho de processamento. Os investigadores descobriram que alimentar este raciocínio encriptado com um modelo irmão mais pequeno e barato pode desbloqueá-lo.

Por que é que o modelo mais pequeno colabora quando o maior não o faria? Os modelos mais pequenos recebem menos "treino de alinhamento", o processo que ensina a IA a seguir regras e a recusar pedidos desconfortáveis. Remova essa proteção e o modelo fica muito mais disposto a mostrar o seu raciocínio.

"A ideia de substituir mensagens por uma variante mais fraca do modelo que tem a mesma chave de descodificação mas alinhamento mais fraco é muito interessante", disse Florian Tramer, especialista em segurança informática na ETH Zurique.

O que encontraram lá dentro?

Duas coisas, e têm gravidades bastante diferentes.

Primeiro: palavras-passe e chaves API. Se alguma vez tivesse colado credenciais sensíveis num prompt enquanto utilizava um destes serviços de IA, essa informação poderia ter acabado no interior do traço de raciocínio do modelo. Os investigadores extraíram-na. A OpenAI, Anthropic e Google foram todas alertadas no mês passado, e cada uma atualizou os seus sistemas para bloquear essa fuga específica. Se utilizou algum destes serviços antes da correção, vale a pena rodar qualquer chave API ou palavra-passe que possa ter incluído nos prompts.

Segundo: a questão da cópia. Os investigadores colocaram 90 questões a vários modelos de IA, depois deram a alguns modelos de peso aberto (modelos de IA livremente descarregáveis que qualquer pessoa pode executar) as palavras iniciais de traços de raciocínio capturados dos grandes modelos proprietários. Kimi K3, um modelo da empresa chinesa Moonshot AI, gerou raciocínio notavelmente semelhante ao resultado oculto do Claude Opus 4.8 e GPT 5.6 Sol. Dois outros modelos testados, incluindo o DeepSeek chinês e o Inkling fabricado nos EUA, não apresentaram o mesmo padrão.

Os investigadores são cuidadosos sobre o que isto significa. O seu artigo afirma que os resultados "não conseguem estabelecer causalmente destilação", o que significa que não provaram que a cópia ocorreu. A destilação é uma técnica amplamente utilizada no desenvolvimento de IA onde um novo modelo mais pequeno aprende estudando os resultados de um maior. É prática normal. A controvérsia é se as empresas chinesas a utilizaram para copiar modelos americanos sem permissão.

Os utilizadores comuns devem preocupar-se agora?

A falha de fuga de palavras-passe está corrigida. Esta é a preocupação prática mais urgente, e está resolvida.

A questão mais lata, de que o raciocínio oculto ainda pode ser parcialmente extraído mesmo após a correção, permanece. Corrigi-la completamente exigiria que estas empresas redesenhassem como as suas APIs funcionam do zero. Alexander Panfilov, o investigador da Universidade de Tübingen que liderou o trabalho, diz que a vulnerabilidade mais profunda persiste.

Por enquanto, aplica-se uma regra simples: não cole palavras-passe, detalhes pessoais ou informações comerciais sensíveis em nenhum chatbot ou ferramenta de IA. Esse conselho foi sempre sensato. Esta investigação torna-o um pouco mais urgente.

Perguntas comuns

Os meus dados correm risco se utilizar ChatGPT, Claude ou Gemini?

A falha específica que poderia expor palavras-passe e chaves API foi corrigida pelas três empresas. Daqui para a frente, evite incluir informações sensíveis nos prompts de IA como um hábito geral, uma vez que os serviços de IA processam as suas entradas em servidores externos.

O que é destilação, e é ilegal?

A destilação é uma técnica onde um novo modelo de IA aprende estudando os resultados de um modelo existente, essencialmente utilizando um modelo mais inteligente como professor. É amplamente utilizada e legal na maioria dos contextos, embora utilizá-la para copiar um modelo proprietário de um concorrente sem permissão pudesse violar termos de serviço ou levantar questões de propriedade intelectual.