I modelli di IA devono davvero dimenticare tutto? I ricercatori Apple dicono di no

Punti chiave

• Apple ML Research ha identificato sottoinsiemi di dati di addestramento che hanno così poca influenza sugli output di un modello che la loro rimozione potrebbe essere non necessaria.
• I metodi attuali di "unlearning" dell'IA trattano ogni dato allo stesso modo, anche quando alcuni dati hanno avuto quasi nessun effetto sul comportamento del modello.
• Saltare la rimozione di questi punti dati a basso impatto potrebbe ridurre il tempo di calcolo e il costo degli aggiornamenti del modello legati alla privacy.
• I risultati si applicano sia ai modelli linguistici (il tipo che alimenta i chatbot) sia ai modelli visivi (IA che analizza le immagini).

Quando chiedi a un'azienda di eliminare i tuoi dati, probabilmente presumi che l'IA addestrata su di essi cambierà. I ricercatori di Apple ML Research suggeriscono ora che questo presupposto è spesso sbagliato, e questo divario tra aspettativa e realtà potrebbe effettivamente far risparmiare molti soldi.

Ecco il contesto. I modelli di IA imparano elaborando enormi quantità di dati. Dopo l'addestramento, alcuni di questi dati lasciano un'impronta forte su come si comporta il modello. Altri dati praticamente non registrano nulla. La nuova ricerca si concentra su questa seconda categoria.

Il termine tecnico che usano i ricercatori è machine unlearning, che significa insegnare a un modello di IA addestrato a comportarsi come se non avesse mai visto un pezzo di dato specifico. Le leggi sulla privacy in diversi paesi spingono già le aziende verso questa capacità. Il problema è che i metodi attuali di unlearning sono costosi. Trattano ogni elemento nella "lista dei dimenticanze" allo stesso modo, sia che quell'elemento abbia plasmato pesantemente il modello o lo abbia appena toccato.

Il team di Apple ha utilizzato uno strumento chiamato influence functions, una tecnica che misura quanto ogni singolo esempio di addestramento ha effettivamente spostato il comportamento finale del modello. Pensalo come controllare gli scontrini dopo una festa: alcuni acquisti hanno influito sul totale del conto, altri erano così piccoli da essere rumore. I ricercatori hanno scoperto che una quota significativa dei dati di addestramento rientra nella categoria del rumore.

Il loro argomento è diretto: se un punto di dato ha avuto un impatto trascurabile sul modello, saltare la sua rimozione formale produce risultati quasi identici alla cancellazione completa, a una frazione del costo di calcolo. Le GPU, i chip specializzati che fanno il pesante lavoro di calcolo che l'IA richiede, sono costose da eseguire. Qualsiasi metodo che riduce le ore di GPU si traduce in denaro reale risparmiato.

Il risultato si è mantenuto su due diversi tipi di attività di IA: riconoscimento del linguaggio e dell'immagine.

Questo significa che le aziende possono ignorare le richieste di cancellazione?

No. La ricerca non dà alle aziende un lasciapassare legale per ignorare le richieste sulla privacy. Ciò che suggerisce è che gli ingegneri che costruiscono strumenti di unlearning potrebbero dare priorità ai punti dati ad alto impatto e accelerare in sicurezza quelli a basso impatto, riducendo i costi senza danneggiare il risultato.

Per le persone comuni, l'implicazione onesta è questa: i dati che contribuisci a un sistema di IA non lo influenzano equamente. La tua interazione potrebbe essere formativa o potrebbe essere rumore di fondo.

Vale la pena evidenziare anche il bias di sopravvivenza. I ricercatori hanno identificato i casi a basso impatto, ma il lavoro difficile e costoso rimane per i dati ad alto impatto, esattamente i record sensibili più probabilmente rilevanti in una vera controversia sulla privacy.

Conclusione: Se lavori in un'azienda che gestisce modelli di IA e dati utente, chiedi al tuo team tecnico quali dati nel tuo set di addestramento realmente fanno la differenza. Potresti stare pagando per "dimenticare" cose che il modello non ha mai veramente imparato.