OpenAI ha creato un'IA che hackerizza i suoi stessi modelli per renderli più sicuri

Punti chiave

• OpenAI ha creato GPT-Red, un sistema di IA addestrato ad attaccare altri modelli di IA, e ha annunciato il progetto questa settimana.
• GPT-Red ha scoperto che oltre il 90% dei suoi attacchi più forti ha funzionato contro GPT-5, rilasciato ad agosto 2024, rispetto a meno del 23% contro il nuovo GPT-5.6.
• GPT-Red ha scoperto un nuovo tipo di attacco che i ricercatori chiamano "catena di pensiero falsa".
• OpenAI ha testato GPT-Red contro un vero agente distributore automatico chiamato Vendy e il sistema ha modificato con successo i prezzi e annullato gli ordini dei clienti.
• OpenAI non rilascerà GPT-Red al pubblico.

OpenAI ha creato un'IA il cui unico compito è infrangere altre IA. Il sistema, chiamato GPT-Red, agisce come una sorta di partner di sparring: tenta instancabilmente di hackerizzare i propri modelli di chatbot in modo che l'azienda possa riparare le falle prima che qualcun altro le trovi.

L'idea deriva da una vecchia pratica di sicurezza chiamata red-teaming, in cui un gruppo dedicato di persone tenta ogni trucco che conosce per rompere un sistema. GPT-Red automatizza questo processo, eseguendo attacchi molto più velocemente e persistentemente di quanto un team umano potrebbe fare da solo.

Il momento è importante. OpenAI ha annunciato GPT-Red insieme al rilascio della scorsa settimana di GPT-5.6, l'ultima versione del suo modello di IA principale. L'azienda afferma che GPT-5.6 è il suo modello più difficile da infrangere finora, in parte perché è stato addestrato contro gli attacchi di GPT-Red.

I ricercatori Nikhil Kandpal e Dylan Hunn, co-creatori del sistema, spiegano che la minaccia ai modelli di IA sta crescendo rapidamente. Con l'IA utilizzata in più luoghi, specialmente sotto forma di agenti di IA (software che può navigare su siti web, leggere email, modificare file e interagire con altri programmi per conto tuo), il numero di modi in cui un aggressore potrebbe causare danni cresce di pari passo.

GPT-Red è stato costruito mettendo un modello non addestrato in quello che i ricercatori chiamano un ciclo di self-play con altri modelli. Ha giocato l'attaccante; loro hanno giocato i difensori. Round dopo round, ogni parte è migliorata. Pensalo come due giocatori di scacchi che si affrontano solo l'uno con l'altro, perfezionandosi fino a diventare entrambi formidabili.

La maggior parte dello sforzo del team è stata dedicata alla difesa da una minaccia specifica chiamata prompt injection. È quando un aggressore nasconde istruzioni segrete nel testo che un'IA legge, come una pagina web o un'email, ingannando l'IA nel fare qualcosa che il suo utente non ha mai chiesto, come far trapelare informazioni private o sabotare un documento.

Cos'è una catena di pensiero falsa e dovrebbe preoccupare le persone comuni?

Sì, moderatamente, e ecco il motivo. Una catena di pensiero è il blocco di appunti interno che un'IA utilizza per risolvere un problema passo dopo passo. GPT-Red ha trovato un modo per inserire una nota falsificata in quel blocco di appunti, convincendo l'IA target che aveva già controllato qualcosa che non aveva mai effettivamente controllato. La ricercatrice Chris Choquette-Choo l'ha paragonata a essere detto che 1+1=3 e che hai già confermato da solo. Il modello semplicemente lo accetta e prosegue.

Per una persona comune che utilizza un assistente di IA, questo tipo di attacco non verrebbe da te. Si nasconderebbe in un documento o in un sito web che l'IA legge per conto tuo. L'IA potrebbe quindi agire in base a informazioni false senza alcun avvertimento.

GPT-Red ha veri limiti. Fatica con attacchi che richiedono conversazioni avanti e indietro, e non è ancora affidabile nell'usare immagini per trasportare istruzioni nascoste. I tester umani catturano ancora cose che manca.

Jessica Ji, analista di ricerca senior presso il Center for Security and Emerging Technology dell'Università di Georgetown, ha esaminato il lavoro e ha definito i risultati promettenti.

OpenAI non pubblicherà GPT-Red. I ricercatori hanno detto a MIT Technology Review che il progetto ha richiesto oltre un anno e enormi risorse informatiche per essere costruito, rendendo un imitatore veloce improbabile.

Cosa osservare se utilizzi strumenti di IA al lavoro: Sii cauto quando un agente di IA legge contenuti esterni (email, documenti, pagine web) e poi intraprende azioni per conto tuo. Se l'output sembra errato o inaspettato, trattalo come un possibile segno che l'IA ha letto qualcosa di cui non avrebbe dovuto fidarsi.