Os Modelos de IA Precisam Realmente de Esquecer Tudo? Investigadores da Apple Dizem Que Não

Pontos principais

• Os investigadores da Apple ML Research identificaram subconjuntos de dados de treino que têm tão pouca influência nos resultados de um modelo que removê-los pode ser desnecessário.
• Os métodos atuais de desaprendizagem de IA tratam todos os dados de forma igual, mesmo quando alguns dados tiveram quase nenhum efeito no comportamento do modelo.
• Ignorar a remoção destes pontos de dados de baixo impacto poderia reduzir o tempo de computação e o custo das atualizações de modelo relacionadas com privacidade.
• Os resultados aplicam-se tanto a modelos de linguagem (o tipo que alimenta chatbots) como a modelos de visão (IA que analisa imagens).

Quando pede a uma empresa para eliminar os seus dados, provavelmente assume que a IA treinada neles vai mudar. Os investigadores da Apple ML Research agora sugerem que essa assunção está frequentemente errada, e essa diferença entre expectativa e realidade poderia na verdade poupar muito dinheiro.

Aqui está o contexto. Os modelos de IA aprendem processando enormes quantidades de dados. Após o treino, alguns desses dados deixam uma impressão forte no comportamento do modelo. Outros dados mal registam nada. A nova investigação concentra-se nessa segunda categoria.

O termo técnico que os investigadores usam é desaprendizagem automática, que significa ensinar a um modelo de IA treinado a comportar-se como se nunca tivesse visto um pedaço específico de dados. As leis de privacidade em vários países já empurram as empresas nesta direção. O problema é que os métodos atuais de desaprendizagem são dispendiosos. Tratam cada item da "lista de esquecimento" da mesma forma, quer esse item tenha moldado o modelo fortemente ou o tenha tocado mal.

A equipa da Apple usou uma ferramenta chamada funções de influência, uma técnica que mede quanto é que qualquer exemplo de treino individual realmente alterou o comportamento final do modelo. Pense nisto como verificar recibos após uma festa: algumas compras movimentaram o total da fatura, outras eram tão pequenas que eram ruído. Os investigadores descobriram que uma parte significativa dos dados de treino se enquadra na categoria de ruído.

O seu argumento é direto: se um ponto de dados teve impacto negligenciável no modelo, ignorar a sua remoção formal produz resultados quase idênticos à eliminação completa, a uma fração do custo computacional. As GPUs, os chips especializados que fazem o trabalho pesado de cálculo que a IA necessita, são dispendiosas de executar. Qualquer método que reduza as horas de GPU traduz-se em dinheiro real poupado.

O achado confirmou-se em dois tipos diferentes de tarefas de IA: reconhecimento de linguagem e de imagem.

Isto significa que as empresas podem ignorar pedidos de eliminação?

Não. A investigação não dá às empresas um passe legal para ignorar pedidos de privacidade. O que sugere é que os engenheiros que constroem ferramentas de desaprendizagem poderiam priorizar pontos de dados de alta influência e acelerar com segurança os de baixa influência, reduzindo custos sem prejudicar o resultado.

Para pessoas ordinárias, a implicação honesta é esta: os dados que contribui para um sistema de IA não afetam esse sistema igualmente. A sua interação podia ser formativa, ou podia ser ruído de fundo.

O viés de sobrevivência também vale a pena assinalar aqui. Os investigadores identificaram os casos de baixo impacto, mas o trabalho duro e dispendioso permanece para dados de alto impacto, precisamente os registos sensíveis com maior probabilidade de importar numa disputa real de privacidade.

Conclusão: Se trabalha num negócio que lida com modelos de IA e dados de utilizadores, pergunte à sua equipa técnica quais dados no seu conjunto de treino realmente fazem diferença. Pode estar a pagar para "esquecer" coisas que o modelo nunca realmente aprendeu.