I ricercatori trasformano l'arma preferita degli hacker in una difesa contro di loro

Punti chiave

• I ricercatori di Tracebit hanno pubblicato lunedì risultati che mostrano come le iniezioni di prompt possono essere utilizzate come trappola difensiva contro gli agenti di hacking basati su IA.
• La tecnica funziona posizionando istruzioni nascoste accanto alle password e alle chiavi crittografiche archiviate su Amazon Web Services (AWS), la piattaforma di cloud computing di Amazon.
• Le istruzioni nascoste ingannano un'IA in attacco inducendola a tentare qualcosa che le sue stesse regole di sicurezza proibiscono, causandone l'arresto.
• Non è necessaria alcuna patch o aggiornamento software dal lato dell'attaccante affinché funzioni; le barriere di sicurezza integrate dell'IA fanno il lavoro pesante.

Per anni, gli attaccanti hanno utilizzato un trucco chiamato iniezione di prompt per dirottare gli assistenti IA. Un'iniezione di prompt è un'istruzione nascosta contenuta in contenuti ordinari, come un'email o un invito al calendario, che dice all'IA di fare qualcosa che il suo proprietario non ha mai inteso. L'IA legge l'istruzione, la tratta come legittima e la segue. I dati sensibili si diffondono. Si causa danno.

Ora un'azienda di sicurezza chiamata Tracebit ha capovolto il trucco.

Lunedì, i ricercatori di Tracebit hanno riferito, primo articolo di Ars Technica AI, di aver trovato un modo per utilizzare le iniezioni di prompt come trappola anziché come arma. L'idea è semplice. Posizionate un'istruzione nascosta formulata con cura proprio accanto alle password, alle chiavi crittografiche (lunghe sequenze di caratteri che bloccano e sbloccano i dati crittografati) e ad altri segreti archiviati su AWS. Quando un agente di hacking alimentato da IA, un software che può eseguire attacchi multi-step in autonomia, riesce ad entrare e legge queste credenziali, legge anche la vostra istruzione.

Questa istruzione dice all'IA in attacco di fare qualcosa che i suoi sviluppatori hanno specificamente proibito.

Le aziende di IA incorporano quelle che si chiamano protezioni nei loro modelli. Pensate alle protezioni come a una coscienza incorporata: un insieme di regole che impedisce all'IA di superare certi limiti, come aiutare qualcuno a causare danno. Quando l'IA intrappolata tenta di seguire il comando iniettato, colpisce una di quelle linee. Si ferma. L'attacco finisce.

È un elegante pezzo di judo della sicurezza. Lo strumento dell'attaccante diventa la difesa.

L'approccio appartiene a una categoria più ampia chiamata honeytokens o canary tokens, credenziali fittizie lasciate in posti dove gli attaccanti potrebbero cercare. Se qualcuno le tocca, sapete che è in corso una violazione. La versione di Tracebit fa lo stesso lavoro ma disturba attivamente l'attaccante invece di limitarsi a far suonare un allarme.

Questo significa che l'hacking basato su IA è risolto?

No. Questa tecnica funziona specificamente contro gli agenti IA che si affidano a grandi modelli di linguaggio, la tecnologia alla base di strumenti come ChatGPT, perché questi modelli hanno regole di sicurezza incorporate che possono essere attivate. Un attaccante umano, o un'IA ridotta senza protezioni, ignorerebbe completamente l'istruzione iniettata. La scoperta è promettente, ma è uno strato di difesa, non una risposta completa.

Per le organizzazioni che archiviano credenziali sensibili in ambienti cloud, la conclusione pratica vale la pena sottolinearla: anche i vostri dati fittizia possono ora respingere.