L'AI ha corretto i bug di sicurezza correttamente solo il 26% delle volte in uno studio di 6.080 patch

Punti chiave

• 1Password ha testato 6.080 patch di sicurezza generate da AI e ha scoperto che solo il 26% ha corretto il difetto senza effetti collaterali indesiderati.
• Sia ChatGPT-5.5 che Claude Opus 4.8 hanno prodotto patch con difetti nascosti nel 53,9% dei casi quando la vulnerabilità era complessa.
• Quasi la metà di tutte le patch, il 49,3%, ha lasciato aperto almeno un percorso che un attaccante potrebbe ancora sfruttare.
• Ogni tentativo di patch è costato tra 2,11 e 2,81 dollari, ma verificare se la correzione è sicura richiede tempo di specialisti umani in aggiunta.
• Anthropic, l'azienda dietro Claude, ha detto a 1Password che gli specialisti umani devono rimanere l'approvazione finale agli attuali livelli di capacità dell'AI.

1Password, l'azienda di gestione delle password che la maggior parte delle persone conosce dai propri telefoni, ha pubblicato uno studio questa settimana con un risultato deprimente: gli strumenti AI non stanno correggendo in modo affidabile i bug di sicurezza che affermano di correggere. Come riportato per la prima volta da ThreatVectr, la ricerca ha eseguito 6.080 patch generate da due modelli AI ampiamente utilizzati contro sei vulnerabilità software reali e di recente divulgazione.

Il numero principale è il 26%. Questa è la quota di patch che hanno effettivamente risolto il problema in modo pulito, senza danni nascosti.

Cosa è andato esattamente storto con l'altro 74%?

La maggior parte di queste patch sembrava corretta in superficie. Si sono compilate (il che significa che il computer ha accettato il codice), hanno superato i test di base e non hanno mostrato alcun errore ovvio. Il problema era sepolto sottoterra.

I ricercatori hanno chiamato questa categoria di output scadente FLAWED, abbreviazione di Fix-Like Artifacts With Embedded Defects. L'etichetta è appropriata: il codice appare sano ma porta una debolezza nascosta.

Il ricercatore Keith Hoodlet ha fornito un chiaro esempio. Quando entrambi i modelli AI hanno affrontato un difetto in Spring AI, un framework software che gli sviluppatori utilizzano per costruire applicazioni basate su AI, hanno filtrato i caratteri di attacco specifici utilizzati nel test. Un attaccante che utilizzasse caratteri leggermente diversi passerebbe direttamente attraverso lo stesso vecchio buco. Più di un terzo delle patch inizialmente promettenti era fragile esattamente in questo modo.

I numeri per il resto dei fallimenti si suddividono così:

Dovresti preoccuparti delle app che usi oggi?

Non immediatamente, ma dovresti sapere che le aziende di software sono sotto costante pressione per spedire correzioni di sicurezza velocemente, e gli strumenti AI sono sempre più parte di quel processo.

Se queste patch AI saltano un'attenta revisione umana, la correzione che arriva sul tuo telefono o laptop potrebbe non proteggerti effettivamente. Il codice sembra corretto. Potrebbe non essere così.

La posizione di Anthropic è chiara: gli esperti del dominio umano devono rimanere i revisori finali. La maggior parte degli analisti di sicurezza professionali già tratta l'output dell'AI come una prima bozza, non un prodotto finito. Questo abitudine è ancora più importante adesso.

Il costo fa parte dell'immagine. Ogni ciclo di patch è costato circa 2,11 dollari con ChatGPT-5.5 e 2,81 dollari con Claude Opus 4.8. Economico per tentativo. Ma il punto di Hoodlet è che il vero costo è il tempo dello specialista umano qualificato necessario per verificare se una determinata patch è effettivamente sicura da distribuire. Quel tempo non scompare solo perché una macchina ha scritto il codice.

Un insegnamento onesto: se gestisci software o lavori nell'IT, tratta ogni patch di sicurezza generata da AI come faresti con la prima pull request di uno sviluppatore junior. Leggila. Testala adeguatamente. La macchina è veloce, ma veloce non è la stessa cosa di giusto.