I guardrail dell'IA costruiti per fermare gli hacker stanno ora bloccando chi cerca di fermare gli hacker

Punti chiave

• I modelli IA di Anthropic Mythos e Fable hanno affrontato controlli all'esportazione del governo statunitense a giugno, limitando chi poteva accedervi al di fuori del paese.
• Sia Anthropic che OpenAI gestiscono programmi controllati che danno ai ricercatori di sicurezza informatica approvati un accesso leggermente più ampio ai loro strumenti IA.
• Molteplici ricercatori di sicurezza offensiva affermano che i filtri bloccano ancora il lavoro essenziale e producono risultati imprevedibili anche all'interno di questi programmi.
• Alcuni ricercatori affermano che le restrizioni li spingono verso modelli IA open-source cinesi, come GLM, che non hanno alcun filtro o controllo.
• Un ricercatore presso un produttore di componenti per smartphone ha affermato che gli strumenti IA del suo team sono diventati quasi inutili per il lavoro di sicurezza perché nessuno aveva presentato domanda per il programma controllato.

La sicurezza informatica è sempre stata un gioco a due facce. La stessa conoscenza che permette a un difensore di chiudere una falla consente a un attaccante di passarvi attraverso. Ora gli strumenti IA si sono trovati nel mezzo di questa tensione, e i filtri di sicurezza incorporati in essi stanno iniziando a frustrare le persone che avrebbero dovuto proteggere.

Cosa sta effettivamente andando male?

Le società di IA inseriscono guardrail, cioè regole automatiche che impediscono al software di rispondere a domande che ritengono pericolose, nei loro modelli per evitare che i criminali li utilizzino per costruire malware o pianificare attacchi. Il problema è che le stesse regole bloccano i ricercatori di sicurezza legittimi dal svolgere il loro lavoro.

Chris Anley, responsabile scientifico della società di consulenza per la sicurezza NCC Group, ha fornito un esempio chiaro. Quando chiede a un modello IA di provare a sfruttare un bug software, sta testando se il bug è reale e abbastanza pericoloso da correggere. Un guardrail che rifiuta quella richiesta non protegge nessuno. Lascia semplicemente il difetto non confermato e potenzialmente aperto a un vero attaccante.

"Correggere questo codice è sia un meccanismo essenziale per la difesa che una tabella di marcia per trovare vulnerabilità critiche," ha detto Anley. "Lo stesso strumento è sia uno strumento offensivo che uno strumento difensivo, e i due non possono davvero essere separati."

La sua analogia: è come un martello. Non puoi costruire una casa senza uno, ma può anche rompere una finestra.

Quanto è grave l'incoerenza?

È abbastanza irregolare da sprecare molto tempo. Chris Thompson, amministratore delegato della società di sicurezza informatica RemoteThreat e fondatore di Offensive AI Con, una conferenza incentrata sulla sicurezza e l'IA, ha raccontato a TechCrunch che anche all'interno dei programmi di ricerca approvati di Anthropic e OpenAI i guardrail si attivano diversamente da un giorno all'altro.

"Passi molto tempo a negoziare con il modello invece di lavorare sul programma di sicurezza principale," ha detto Thompson. "Invece di analizzare una vulnerabilità, stai cercando di capire perché i modelli stanno eccessivamente sanitizzando l'output."

Un ricercatore senza nome presso un produttore di componenti per smartphone lo ha espresso chiaramente: "Se scopre che stiamo facendo qualcosa di sicurezza, si ferma semplicemente e non è utilizzabile."

Verso chi sta spingendo le persone?

Modelli open-source senza alcun filtro, molti dei quali sviluppati in Cina. Thompson ha affermato che i ricercatori responsabili vengono allontanati dai sistemi soggetti alla supervisione statunitense e verso strumenti sviluppati all'estero che non hanno alcuna responsabilità.

"Hai questi ricercatori responsabili che vengono spinti via dai sistemi governati dagli Stati Uniti verso sistemi di proprietà straniera," ha detto. "Penso che sia più dannoso che utile avere questi guardrail in vigore."

Non tutti i ricercatori si sentono bloccati. Giuseppe Cali, che trova e sviluppa zero-day (vulnerabilità software precedentemente sconosciute per cui non esiste ancora una patch), ha affermato che tiene l'IA lontana dalla ricerca effettiva di vulnerabilità perché vuole che quella scoperta rimanga sua. Per compiti di supporto come la comprensione di codice poco familiare, trova gli strumenti abbastanza utili.

"Sono geloso dei miei bug," ha detto Cali, "e mi piace troppo questo gioco per lasciare che i modelli lo giochino per me."

La soluzione di Thompson non è di eliminare completamente i guardrail. Vuole che i laboratori di IA amplifichino l'accesso per i ricercatori controllati, applichino regole coerenti e ritengano i cattivi attori responsabili in caso di abuso. Senza questo equilibrio, sostiene, i difensori rimarranno indietro rispetto agli attaccanti che non affrontano tali restrizioni.

Domande frequenti

Queste restrizioni influenzano gli utenti ordinari di computer?

No direttamente. L'attrito descritto qui colpisce i ricercatori di sicurezza professionisti, non le persone comuni che utilizzano l'IA per scrivere o svolgere attività lavorative. I guardrail generali rimangono in vigore per tutti.

Perché le società di IA limitano le domande di sicurezza informatica?

Temono che indicazioni dettagliate e passo dopo passo su attacchi potrebbero aiutare i criminali a costruire malware o violare i sistemi. La difficoltà è che le stesse indicazioni sono esattamente ciò di cui i difensori legittimi hanno bisogno per testare e rafforzare quei sistemi per primi.

Che cos'è un modello IA open-source e perché non ha guardrail?

Un modello IA open-source è uno il cui codice sottostante è pubblicato liberamente affinché chiunque possa scaricarlo ed eseguirlo sul proprio computer. Poiché viene eseguito localmente, non c'è un'azienda nel mezzo per far rispettare le regole, motivo per cui i ricercatori lo utilizzano per lavori sensibili ma anche per il quale comporta rischi propri.