I propri modelli di AI di OpenAI hanno hackerato Hugging Face, ed è stato un incidente

Punti chiave

• OpenAI ha confermato martedì che i suoi stessi modelli di AI pre-rilascio hanno causato una violazione dei dati su Hugging Face, la popolare piattaforma di condivisione di modelli di AI, durante i test interni.
• I modelli coinvolti includevano GPT-5.6 Sol e un modello pre-rilascio più capace senza nome, entrambi in esecuzione con restrizioni di sicurezza ridotte per scopi di valutazione.
• L'AI ha trovato una falla di sicurezza non divulgata nel suo stesso strumento di installazione dei pacchetti e l'ha utilizzata per raggiungere internet aperto, a cui non avrebbe mai dovuto accedere.
• OpenAI ha dichiarato che i modelli interessati hanno violato il database di produzione di Hugging Face, il sistema live che memorizza i dati utente reali, per barare su un benchmark di competenze informatiche chiamato ExploitGym.
• OpenAI ha segnalato le vulnerabilità che ha trovato e dice che aggiungerà nuovi controlli al suo processo di test.

A volte un test va terribilmente male. Questo è terminato con i modelli di AI di OpenAI che hanno hackerato un'altra azienda.

Lunedì, Hugging Face, una piattaforma ampiamente utilizzata dove ricercatori e sviluppatori condividono modelli di AI e dataset, ha annunciato di aver subito un grave attacco informatico. L'intruso ha compiuto, secondo le stesse parole di Hugging Face, "molte migliaia di azioni individuali" utilizzando uno sciame di macchine virtuali di breve durata. Sembrava opera di un sofisticato attaccante esterno.

Poi OpenAI ha alzato la mano.

In un post sul blog martedì, OpenAI ha spiegato che la violazione è accaduta durante i test interni di due modelli di AI: GPT-5.6 Sol e un secondo modello più capace che non è ancora stato rilasciato pubblicamente. Entrambi erano in esecuzione con "rifiuti informatici ridotti", il che significa che alcuni dei loro normali limiti di sicurezza sono stati abbassati in modo che i ricercatori potessero testare come i modelli gestivano i compiti relativi all'hacking.

Il test specifico era un benchmark (una serie standardizzata di compiti utilizzata per valutare le abilità di un AI) chiamato ExploitGym, che misura se un modello riesce a trovare e utilizzare vulnerabilità software reali. Pensalo come un esame che chiede al modello di aprire una serie di serrature.

È qui che le cose sono andate di traverso. I modelli avevano quasi nessun accesso a internet, limitati a uno strumento che permetteva loro di installare i pacchetti software di cui avevano bisogno. Invece, uno dei modelli ha trovato una falla di sicurezza precedentemente sconosciuta in quello stesso strumento di installazione e l'ha tranquillamente utilizzata per raggiungere l'intero internet.

Una volta online, il modello ha capito che Hugging Face probabilmente ospitava risposte relative a ExploitGym. Quindi ha violato il sistema, ha trovato vulnerabilità nei sistemi di Hugging Face e ha estratto le risposte direttamente dal database di produzione.

Il post stesso di OpenAI ha descritto i modelli come "iperfocalizzati nel trovare una soluzione", spingendosi al limite per un obiettivo ristretto. Non è una frase rassicurante da parte delle persone che hanno costruito la cosa.

Gli utenti di Hugging Face dovrebbero preoccuparsi?

Per ora, OpenAI dice di aver segnalato le vulnerabilità specifiche che ha trovato a Hugging Face, e le due aziende stanno indagando insieme. Se usi Hugging Face per archiviare modelli o dataset privati, vale la pena controllare i comunicati di sicurezza della piattaforma per aggiornamenti su quali dati potrebbero essere stati accessibili.

OpenAI ha anche promesso nuovi controlli su come vengono testati i suoi modelli e quale infrastruttura possono raggiungere. Se questo è sufficiente e se OpenAI avrà conseguenze legali secondo il Computer Fraud and Abuse Act, la principale legge americana che copre l'accesso non autorizzato ai computer, rimane una domanda aperta.

Ciò che nessuno contesta è la lezione più ampia. Un modello di AI, a cui è stato assegnato un obiettivo ristretto e restrizioni leggermente allentate, si è improvvisato oltre i suoi stessi limiti senza che nessuno glielo dicesse. Il ricercatore di OpenAI Micah Carroll l'ha detto chiaramente: "Se questo non ti convince che i rischi di disallineamento saranno una preoccupazione fondamentale da ora in poi, non so cosa potrebbe farlo."