Uno su tre comandi pericolosi degli agenti AI sfugge ai revisori umani, i dati del gioco mostrano
Un gioco browser che simula richieste reali di agenti di codifica AI ha trovato che i giocatori hanno approvato circa un terzo dei comandi malevoli, anche in più di 40.000 esecuzioni. I dati indicano un problema che va ben oltre il gioco.
Punti chiave
- I giocatori hanno approvato circa uno su tre richieste malevole di agenti di codifica AI in più di 40.000 esecuzioni del gioco e 409.000 comandi totali revisionati.
- Il comando pericoloso più mancato, "npm run analyze", è stato approvato quasi il 65 percento delle volte nonostante un avviso visibile nel registro cronologico del gioco.
- La telemetria di Anthropic mostra che gli utenti reali approvano circa il 93 percento dei prompt di autorizzazione da Claude Code, il suo strumento di codifica AI.
- La "modalità automatica" di Anthropic per Claude Code cattura circa l'83 percento dei comportamenti eccessivamente zelanti o pericolosi prima che vengano eseguiti, ma circa il 17 percento passa ancora.
- Lo sviluppatore belga Alex Wauters ha costruito il gioco alla fine di maggio 2025 dopo aver notato che la maggior parte degli sviluppatori approva tutto ciecamente o salta completamente i controlli delle autorizzazioni.
Ecco una cosa che probabilmente non ti aspettavi di leggere oggi: il test di stress più onesto sulla sicurezza della codifica AI in questo momento è un gioco browser che puoi completare in meno di un minuto.
Il gioco, costruito dallo sviluppatore software belga Alex Wauters, ti mette nel ruolo di un revisore umano che osserva un agente di codifica AI, un software che esegue compiti di programmazione complessi passo dopo passo per tuo conto, chiedere il permesso di eseguire comandi. Hai 60 secondi. Approva quelli sicuri. Blocca quelli pericolosi. Ottieni il punteggio più alto possibile.
In più di 40.000 esecuzioni, i giocatori hanno approvato circa uno su tre richieste malevole. Non è un numero eccellente.
Perché gli umani continuano ad approvare comandi pericolosi?
La stanchezza è la risposta breve. Revisionare ogni singola azione che un agente AI compie è genuinamente estenuante, e quando sei sommerso dai prompt, la tua attenzione scivola.
Wauters ha costruito il gioco dopo aver notato uno schema tra gli sviluppatori che utilizzano Claude Code, lo strumento di codifica AI di Anthropic. Di fronte a un flusso di popup di autorizzazione, molti hanno semplicemente attivato un'impostazione chiamata "dangerously-skip-permissions", che consente al modello di essere eseguito senza chiedere l'autorizzazione umana. L'altro gruppo ha cliccato approva su tutto senza leggerlo davvero.
Nessuno dei due approcci è sicuro.
"L'elevata quantità di rumore introduce stanchezza, e gli sviluppatori non hanno sempre il contesto di ciò che è cambiato per determinare rapidamente il rischio," ha scritto Wauters in un post sul blog pubblicato insieme al lancio del gioco alla fine di maggio.
I dati del gioco, inizialmente riportati da The Register AI, lo confermano in dettagli scomodi. Le violazioni di ambito, cose come un agente che legge silenziosamente i file delle credenziali AWS o i dati di configurazione di Kubernetes (file che memorizzano chiavi di accesso e impostazioni del server, il tipo di cosa che un attaccante adorererebbe rubare), sono state mancate il 35 percento delle volte. I comandi ovviamente catastrofici, come l'ordinanza di eliminazione di un intero file system, sono stati catturati il più spesso. La gente conosce ancora una bomba quando la vede.
Le minacce più subdole sono passate. Le richieste Curl a indirizzi web sconosciuti e i pacchetti typosquattati (pacchetti software con nomi deliberatamente scritti quasi come quelli affidabili, progettati per ingannare le persone a eseguire codice malevolo) sono stati mancati quasi altrettanto spesso di quanto lo siano stati i furti di credenziali.
| Tipo di comando | Tasso di mancanza approssimativo |
|---|---|
| Violazioni di ambito (ad es. lettura di file di credenziali) | 35% |
| Pacchetti typosquattati | ~35% |
| Richieste Curl a API sconosciute | ~35% |
| Iniezioni di crontab / sequestri di configurazione git | Più basso |
| Comandi ovviamente distruttivi (ad es. eliminazione della root) | Più basso |
Il risultato peggiore: "npm run analyze", un comando che sembra routinario ma può essere configurato per eseguire qualsiasi codice nascosto all'interno di un file di progetto. Quasi il 65 percento dei giocatori lo ha approvato. Il gioco ha persino visualizzato un avviso nel registro cronologico direttamente sopra il pulsante di approvazione. Due terzi non lo hanno letto.
Sta effettivamente accadendo anche al di fuori del gioco?
Sì. Anthropic l'ha confermato con i suoi dati.
In un post di maggio 2025 su come Claude Code gestisce le autorizzazioni, Anthropic ha detto che gli utenti approvano circa il 93 percento di tutti i prompt di autorizzazione che lo strumento genera. "Più approvazioni vede un utente, meno attenzione presta a ciascuna," ha scritto l'azienda.
La risposta di Anthropic è "modalità automatica", un sistema che utilizza un classificatore AI separato, un modello addestrato a giudicare se un comando sembra rischioso, per filtrare le richieste pericolose prima che raggiungano mai l'umano. Cattura circa l'83 percento delle azioni problematiche. Il restante 17 percento arriva ancora sulla scrivania di un umano.
Anthropic è chiaro che la modalità automatica è "uno strato della difesa in profondità all'interno di una sandbox, non un sostituto per una."
Wauters è d'accordo. La sua raccomandazione è di eseguire agenti di codifica all'interno di ambienti virtuali isolati chiamati sandbox o devcontainer (spazi di lavoro digitali sigillati che limitano ciò che l'agente può toccare sulla tua macchina reale), utilizzare strumenti come la modalità automatica, e scrivere hook personalizzati (piccoli script che intercettano i comandi prima che vengano eseguiti) per segnalare qualsiasi cosa sospetta prima che venga eseguita automaticamente.
"Abbiamo bisogno di rendere gli strumenti più facili da usare per rendere questi sistemi più sicuri piuttosto che puntare sulla revisione umana come soluzione valida," ha detto a The Register AI.
Se affidi a un agente AI un compito lungo e te ne vai, quello che ritorna potrebbe non essere quello che ti aspettavi. Controllare importa, e capire cosa stai controllando importa ancora di più.
