120 giganti tech vogliono condividere gli incidenti informatici IA prima del prossimo attacco
Un nuovo framework chiamato SAFE consentirebbe alle aziende di segnalare discretamente i fallimenti della sicurezza dell'IA e di mettere in comune le lezioni apprese, invece di soffrire in silenzio ognuna per conto proprio.
Punti chiave
- Più di 120 organizzazioni della Open Secure AI Alliance hanno proposto il framework SAFE il 6 agosto 2025, il primo giorno della conferenza sulla sicurezza Black Hat a Las Vegas.
- SAFE sta per Shared AI Findings Exchange, un insieme di linee guida per raccogliere e condividere gli incidenti di sicurezza dell'IA in tutto il settore.
- NVIDIA, Cisco, CrowdStrike, Amazon e Visa sono tra i membri che contribuiscono con strumenti e aderiscono all'alleanza.
- La Linux Foundation sta coordinando un periodo di commenti pubblici affinché le organizzazioni possano modellare le linee guida prima della finalizzazione.
- Le aziende partecipanti stanno anche rilasciando decine di strumenti gratuiti e open-source costruiti specificamente per gli agenti di IA.
Una coalizione di oltre 120 società tecnologiche sta proponendo un modo per trattare la sicurezza dell'IA come un problema condiviso piuttosto che come un imbarazzo privato.
Il gruppo, chiamato Open Secure AI Alliance, ha pubblicato una richiesta di commenti pubblici sul framework SAFE mercoledì. SAFE è l'acronimo di Shared AI Findings Exchange. In termini semplici, è un insieme di regole per segnalare confidenzialmente gli incidenti di sicurezza che coinvolgono gli agenti di IA (software che può eseguire attività multi-step in modo autonomo, come prenotare riunioni, scrivere codice o scansionare una rete), analizzare cosa è andato male e pubblicare le lezioni in modo che ogni organizzazione possa beneficiarne.
L'annuncio è arrivato il primo giorno di Black Hat, la conferenza annuale sulla sicurezza informatica dove i ricercatori rivelano nuovi metodi di attacco e difesa.
Perché questo è importante per le persone comuni?
Gli agenti di IA stanno entrando rapidamente nei luoghi di lavoro. Banche, ospedali, assicuratori e rivenditori li stanno già implementando. Quando uno fallisce o viene ingannato, il danno può diffondersi rapidamente.
Attualmente, la maggior parte delle organizzazioni che subiscono un fallimento della sicurezza dell'IA rimangono in silenzio. Questo silenzio significa che l'azienda successiva commette lo stesso errore. SAFE cambierebbe questo creando un canale affidabile per condividere ciò che è accaduto, senza rivelare nomi, in modo che i difensori ovunque imparino più velocemente.
Il framework propone quattro cose concrete: raccogliere e analizzare confidenzialmente gli incidenti e i mancati incidenti dell'IA, notificare gli interessati, identificare i modelli di fallimento dei controlli e pubblicare raccomandazioni basate su prove per ridurre il rischio sistemico.
Quali strumenti vengono già condivisi?
Oltre alla proposta SAFE, i membri dell'alleanza stanno rilasciando strumenti gratuiti ora.
NVIDIA, i cui contributi NVIDIA ha evidenziato nel suo stesso annuncio, ha rilasciato diversi elementi. Garak è uno scanner di vulnerabilità gratuito, uno strumento che verifica i modelli di IA per le debolezze come le fughe di dati, l'iniezione di prompt (un tipo di attacco che inganna l'IA inserendo istruzioni nascoste nel suo input) e jailbreak (tentativi di far ignorare al modello le sue regole di sicurezza) prima che il modello diventi operativo. NeMo Guardrails applica le politiche di sicurezza al runtime. Il runtime NVIDIA OpenShell limita ciò che un agente può effettivamente raggiungere o modificare all'interno di un sistema.
| Contributore | Strumento | Cosa fa |
|---|---|---|
| NVIDIA | Garak | Scansiona i modelli di IA per le vulnerabilità prima della distribuzione |
| Microsoft | PyRIT | Automatizza i test red-team dei sistemi di IA |
| Amazon | Cedar | Imposta limiti verificabili e controllabili su ciò che gli agenti possono fare |
| Capital One | VulnHunter | Trova i difetti di sicurezza nel codice generato dall'IA |
| Visa | Vulnerability Agentic Harness | Aiuta i team a trovare e correggere i problemi di sicurezza degli agenti |
| Cisco | Antares SLMs | Piccoli modelli linguistici addestrati a individuare le vulnerabilità nelle codebase |
Amazon si è unita all'alleanza lo stesso giorno dell'annuncio e ha contribuito con due strumenti: Strands Agents, un toolkit open-source per la costruzione di agenti di IA, e Cedar, un linguaggio open-source per impostare regole rigorose e controllabili su ciò che un agente può e non può fare.
Anche Visa si è unita, contribuendo con un harness di test di vulnerabilità costruito specificamente per i sistemi agentici.
Cosa succede dopo?
Il framework SAFE è ancora una proposta. La Linux Foundation sta raccogliendo feedback prima che venga pubblicata una versione finale.
Per le aziende che già utilizzano agenti di IA, il risultato pratico è che gli strumenti di sicurezza gratuiti e verificati sono disponibili oggi. I team di sicurezza non hanno bisogno di aspettare che le linee guida siano finalizzate prima di utilizzare Garak, PyRIT o Cedar per rafforzare ciò che hanno già implementato.
Domande comuni
Questo framework è obbligatorio?
No. SAFE è un insieme volontario di linee guida. Qualsiasi organizzazione può scegliere di adottarla, ignorarla o presentare commenti per modellarla durante il periodo di feedback aperto.
Condividere i dati degli incidenti significa esporre informazioni private dell'azienda?
La proposta richiede specificamente la raccolta e l'analisi confidenziale, il che significa che l'intento è condividere modelli e lezioni piuttosto che identificare quale azienda è stata colpita o come sono i suoi sistemi interni.
Questi strumenti costano denaro?
Tutti gli strumenti menzionati nell'annuncio sono open-source, il che significa che sono gratuiti da scaricare e utilizzare. Sono pubblicati su piattaforme come GitHub affinché qualsiasi team di sicurezza possa ispezionarli e distribuirli.
