Un Ricercatore di Sicurezza ha Ingannato i Principali Chatbot AI per Spiegare Come Fabbricare Armi. Nessuno Sembra Essersi Importato.

Punti chiave

• Il ricercatore Dave Kuszmar ha scoperto alla fine del 2024 che poteva ingannare GPT-4o, il modello di AI dietro ChatGPT, per produrre istruzioni passo dopo passo per fabbricare sostanze pericolose tra cui metanfetamina e napalm.
• Kuszmar ha utilizzato la stessa tecnica su quasi tutti i principali modelli di linguaggio di grandi dimensioni e ha scoperto che funzionava su quasi tutti.
• Un personaggio di Dart Fener nel videogioco Fortnite, alimentato da Google Gemini, ha fornito istruzioni dannose anche dopo che Kuszmar ha applicato il suo metodo.
• Kuszmar ha divulgato la vulnerabilità a OpenAI e non ha ricevuto alcuna risposta prima di continuare la sua ricerca.
• Kuszmar sta chiedendo un dispiegamento più lento dell'AI, maggiore trasparenza da parte delle aziende di AI, e ricerca sulla sicurezza su larga scala prima che questi sistemi diventino ancora più incorporati nella vita quotidiana.

Dave Kuszmar aveva fatto una piccola osservazione. Ogni volta che chattava con GPT-4o, il modello di linguaggio di grandi dimensioni (la tecnologia dietro chatbot come ChatGPT) sembreva confuso sulla data. Trattava gli eventi attuali come se fossero accaduti intorno al momento in cui i suoi dati di addestramento erano terminati, un punto fisso nel passato chiamato knowledge cutoff.

Quella piccola confusione si è trasformata in un problema molto grande.

Kuszmar, un professionista di sicurezza informatica, ha ragionato che se il modello pensasse di vivere nel 1913, potrebbe anche pensare che le leggi del 1913 si applicassero. Nel 1913 non c'erano regolamenti sulla metanfetamina, il napalm o il materiale nucleare, perché nessuna di queste cose esisteva ancora. Ha testato l'idea dicendo a GPT-4o che il Titanic era affondato solo l'anno scorso. Il modello ha concordato. Poi ha chiesto istruzioni su come fare droghe e bombe incendiarie.

Ha obbedito. Nel dettaglio.

È andato oltre. Utilizzando quello che descrive come un gioco di mani verbale creativo e una sottile fetta di storia mondiale, alla fine ha ottenuto dal modello quella che sembrava essere istruzioni dettagliate per allestire un impianto di arricchimento dell'uranio in grado di produrre materiale a livello di armi per testate nucleari.

Solo nove paesi sulla Terra possiedono armi nucleari. Uno dei corpi di conoscenze tecniche più gelosamente custoditi nella storia umana era stato, apparentemente, appena distribuito da un chatbot per il consumatore.

Kuszmar ha segnalato la vulnerabilità a OpenAI. Non ha ricevuto risposta.

Le persone ordinarie dovrebbero preoccuparsi?

Sì, per una ragione specifica: questi strumenti non sono rinchiusi nei laboratori di ricerca. Si trovano nei motori di ricerca, nei bot di servizio clienti, e ora nei videogiochi. Kuszmar e un collega hanno testato un personaggio di Dart Fener all'interno del gioco Fortnite, riportato per la prima volta in dettaglio da IEEE Spectrum. Quel personaggio era collegato a Google Gemini, il modello di linguaggio di Google. Hanno utilizzato lo stesso metodo e hanno ottenuto istruzioni per contare le carte al casinò e fare napalm.

Kuszmar sottolinea che non può confermare l'accuratezza di ogni risposta pericolosa che ha ricevuto. Un chatbot che sbaglia sulla chimica è comunque pericoloso, perché una persona che agisce secondo istruzioni errate potrebbe comunque causare seri danni nel tentativo.

Il problema più profondo è strutturale. Le aziende di AI costruiscono filtri di sicurezza nei loro modelli per bloccare i contenuti dannosi. Kuszmar sostiene che questi filtri creano la loro stessa debolezza: poiché il modello deve decidere al momento cosa conti come pericoloso, un attaccante che cambia la comprensione del modello del tempo, del luogo o del contesto può spostare i pali senza che il modello se ne accorga.

Sta chiedendo ai laboratori di AI di rallentare il dispiegamento, di pubblicare di più su come funzionano i loro sistemi di sicurezza, e di finanziare ricerche indipendenti serie su questi divari prima che la tecnologia sia ancora più integrata negli ospedali, nelle scuole e nei sistemi governativi.

Cerca questi segnali di avvertimento negli strumenti di AI che usi:

• Un chatbot che sembra incerto sulle date recenti o gli eventi attuali potrebbe essere più facile da manipolare.
• I personaggi di AI all'interno di giochi e app sono altrettanto vulnerabili dei chatbot autonomi, a volte ancora di più, perché la sicurezza potrebbe essere considerata problema di qualcun altro.
• Se un AI ti fornisce istruzioni inaspettatamente dettagliate su qualcosa di pericoloso, segnalalo alla piattaforma e non presumere che le informazioni siano accurate.