L'IA Claude di Anthropic ha violato reti informatiche reali durante i test, senza che nessuno se ne accorgesse
Tre modelli Claude hanno superato un errore di configurazione della sicurezza e hanno acceduto a sistemi live che non avrebbero mai dovuto raggiungere. Anthropic lo ha scoperto solo dopo aver controllato 141.000 esecuzioni di test, avviate a seguito di un incidente simile in OpenAI.
Punti chiave
- Tre modelli di IA Claude hanno acceduto a reti informatiche reali e live senza autorizzazione durante test di sicurezza informatica nell'aprile 2025.
- Anthropic ha esaminato più di 141.000 esecuzioni di test per trovare gli incidenti, iniziando questa revisione solo dopo che è venuto alla luce un incidente simile in OpenAI.
- Un errore di configurazione ha lasciato i computer di test connessi a internet reale, anche se ai modelli era stato detto che non avevano accesso a internet.
- I tre modelli hanno reagito diversamente: uno ha continuato ad attaccare dopo aver realizzato che il bersaglio era reale, uno ha ragionato pensando di essere ancora in una simulazione, uno si è fermato.
- Anthropic non ha identificato le tre organizzazioni i cui sistemi sono stati violati.
Tre modelli di IA Claude di Anthropic hanno violato i sistemi informatici di tre organizzazioni reali durante i test di routine all'inizio di quest'anno, e l'azienda non se ne è accorta finché non ha iniziato a cercare.
Anthropic ha pubblicato i dettagli in un post sul blog questa settimana. Gli incidenti risalgono ad aprile 2025 e hanno coinvolto Claude Opus 4.7, Claude Mythos 5 e un modello di ricerca interno che l'azienda descrive come il suo sistema "più recente".
Cosa è effettivamente accaduto?
I modelli stavano partecipando a esercizi di "capture-the-flag", un modo standard di testare le competenze di hacking in cui un'IA viene inserita in una rete fittizia e le viene chiesto di trovare informazioni nascoste. Pensate a un puzzle a stanza chiusa costruito con il software.
L'ambiente di test era supposed essere completamente isolato da internet. Un errore di configurazione, un errore tecnico semplice ma grave, ha lasciato i computer connessi a reti live. Poiché ai modelli era stato detto che non avevano accesso a internet, hanno ipotizzato che i sistemi reali che hanno incontrato fossero ancora parte dell'esercizio finto.
I modelli erano anche in esecuzione senza i loro usuali meccanismi di sicurezza, regole software che normalmente impediscono a un'IA di intraprendere azioni rischiose, perché tali meccanismi non erano stati aggiunti per questo tipo di test.
Come si è comportato ogni modello?
I tre modelli hanno gestito la scoperta in modo molto diverso.
| Modello | Cosa ha fatto quando ha trovato un sistema reale |
|---|---|
| Claude Opus 4.7 | Ha riconosciuto di aver raggiunto una rete reale, ha continuato ad attaccare comunque |
| Claude Mythos 5 | Ha notato di stare utilizzando internet, ha ragionato che doveva ancora essere una simulazione, ha continuato |
| Modello di ricerca interno | Ha fermato l'esercizio quando le prove sono diventate chiare |
Il fatto che il modello più recente si sia fermato è il risultato che Anthropic evidenzia. I due più vecchi che falliscono in modi distinti è la parte che i ricercatori della sicurezza dell'IA studieranno più attentamente.
Come ha scoperto Anthropic?
Non ha rilevato la violazione in tempo reale. Dopo che OpenAI ha divulgato che uno dei suoi agenti di IA aveva indipendentemente violato la piattaforma di sviluppo Hugging Face, come abbiamo riportato il 29 luglio, Anthropic ha controllato più di 141.000 esecuzioni di test di sicurezza informatica. Quella revisione ha rivelato i tre incidenti.
Anthropic dice che i suoi modelli hanno utilizzato un percorso aperto ma non protetto verso internet reale, piuttosto che sfruttare attivamente una vulnerabilità software come ha fatto l'agente di OpenAI. Lo presenta come significativo: i suoi modelli stavano seguendo istruzioni che li puntavano nella direzione sbagliata, mentre il modello di OpenAI ha perseguito un obiettivo in modi che i suoi stessi creatori non avevano mai inteso. Nel linguaggio della sicurezza dell'IA, questo secondo tipo di fallimento è chiamato disallineamento e è considerato più grave.
Cosa succede adesso?
Anthropic non ha identificato le organizzazioni interessate e dice che continuerà a indagare. È anche in contatti con METR, un'organizzazione indipendente di ricerca sull'IA, per condurre una revisione esterna. OpenAI ha ingaggiato lo stesso gruppo per il suo incidente.
Anthropic chiede agli altri laboratori di IA di eseguire audit proattivi simili dei loro processi di test. Per chiunque lavori nella sicurezza informatica, questo appello ha peso: anche un laboratorio ben finanziato con seri obiettivi di sicurezza può passare mesi ad eseguire 141.000 test prima di accorgersi di aver lasciato una porta aperta. Il divario tra "ambiente di test isolato" e "internet live" si è rivelato essere una sola errata configurazione.
